Ứng dụng học sâu cho bài toán gợi ý

Ứng Dụng Học Sâu Cho Bài Toán Gợi Ý: Cách Tiếp Cận Hiệu Quả

• Tác giả: Võ Hà Nhật Tân
• Người hướng dẫn: ThS. Quách Đình Hoàng
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Kỹ thuật Dữ liệu
• Đề tài: Ứng dụng học sâu cho bài toán gợi ý
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2022
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: MỞ ĐẦU
• 1.1. Tính cấp thiết của đề tài
• 1.2. Mục tiêu của đề tài
• 1.3. Cách tiếp cận và phương pháp nghiên cứu
• 1.3.1. Cách tiếp cận
• 1.3.2. Phương pháp nghiên cứu
• 1.4. Phân tích những công trình có liên quan
• 1.5. Kết quả dự kiến đạt được
• 1.6. Bố cục của bài báo cáo
• 2. CHƯƠNG 2: TỔNG QUAN VỀ DEEP LEARNING
• 2.1. Khái niệm về neural
• 2.2. Hàm kích hoạt
• 2.3. Hàm Leaky ReLU
• 2.4. Ưu điểm và nhược điểm
• 2.5. Ứng dụng Deep Learning
• 3. CHƯƠNG 3: TỔNG QUAN VỀ HỆ THỐNG GỢI Ý
• 3.1. Giới thiệu về hệ thống gợi ý
• 3.2. Một số khái niệm chung về hệ thống gợi ý
• 3.3. Tổng quan về các phương pháp
• 3.4. Các hệ thống gợi ý truyền thống
• 3.5. Những ưu nhược điểm của Content Based
• 3.6. Memory-based Collaborative filtering
• 3.7. Model-based Collaborative filtering
• 3.8. Những ưu nhược điểm của Collaborative filtering
• 4. CHƯƠNG 4: HỆ THỐNG GỢI Ý DỰA TRÊN HỌC SÂU
• 4.1. Tổng quan về hệ thống gợi ý dựa trên học sâu
• 4.2. Một số mô hình gợi ý dựa trên học sâu
• 4.3. Recommendation with Neural Building Blocks
• 4.4. Recommendation with Deep Hybrid Models
• 4.5. Ưu điểm của hệ thống gợi ý dựa trên học sâu
• 4.6. Nhược điểm của hệ thống gợi ý dựa trên học sâu
• 4.7. Đề xuất mô hình gợi ý dựa trên học sâu
• 4.8. Tổng quan về AutoEncoder và các biến thể của nó
• 4.8.1. Loss Function
• 5. CHƯƠNG 5: CÀI ĐẶT VÀ THỬ NGHIỆM HỆ THỐNG GỢI Ý
• 5.1. Môi trường và các công cụ được sử dụng
• 5.2. Tập dữ liệu
• 5.3. Thư viện Keras của Tensorflow
• 5.4. Máy chủ Colab của Google
• 5.5. Dữ liệu và trực quan dữ liệu
• 5.5.1. Mô tả dữ liệu
• 5.5.2. Trực quan dữ liệu
• 5.6. Thực nghiệm hệ thống gợi ý truyền thống
• 5.6.1. Cách triển khai
• 5.6.2. Áp dụng với tập dữ liệu
• 5.6.3. Memory-based Collaborative Filtering. Model-based Collaborative Filtering
• 5.7. Thực nghiệm hệ thống gợi ý dựa trên học sâu
• 5.7.1. Tiền xử lý dữ liệu
• 5.7.2. Xử lý dữ liệu thô
• 5.7.3. Chia tập train, test, validation
• 5.7.4. Chuyển đổi DataFrame thành ma trận
• 5.7.5. Xây dựng mô hình AutoEncoder
• 5.7.6. Thử nghiệm mô hình
• 5.7.7. Xây dựng mô hình Deep AutoEncoder
• 5.7.8. Thử nghiệm mô hình
• 5.7.9. Xây dựng mô hình kết hợp
• 5.7.10. Mô hình kết hợp
• 5.7.11. Thử nghiệm mô hình
• 5.7.12. Kết quả thực nghiệm
• 6. CHƯƠNG 6: KẾT LUẬN
• 6.1. Kết quả đạt được
• 6.2. Nhược điểm
• 6.3. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Học sâu và bài toán gợi ý

Học sâu (Deep Learning) là một nhánh của học máy (Machine Learning) tập trung vào việc sử dụng các mạng neural nhiều lớp để giải quyết các bài toán phức tạp. Trong bối cảnh bài toán gợi ý (Recommendation Problem), học sâu đã chứng minh được hiệu quả vượt trội so với các phương pháp truyền thống. Các mô hình học máy (Machine Learning Models) như AutoEncoder và Deep AutoEncoder được sử dụng để dự đoán sở thích của người dùng dựa trên dữ liệu lịch sử. Hệ thống gợi ý (Recommendation System) dựa trên học sâu không chỉ cải thiện độ chính xác mà còn tối ưu hóa hiệu suất, giúp đưa ra các gợi ý phù hợp hơn với nhu cầu người dùng.

1.1. Ứng dụng học sâu trong gợi ý

Ứng dụng học sâu trong bài toán gợi ý đã mang lại nhiều lợi ích đáng kể. Các mô hình học sâu như AutoEncoder và Deep AutoEncoder được sử dụng để phân tích dữ liệu người dùng và đưa ra dự đoán chính xác hơn. Hệ thống gợi ý dựa trên học sâu có khả năng xử lý lượng dữ liệu lớn và phức tạp, giúp tối ưu hóa hiệu suất và cải thiện trải nghiệm người dùng. Ví dụ, Netflix và YouTube đã áp dụng học sâu để cải thiện độ chính xác của các gợi ý, từ đó tăng tỷ lệ tương tác và doanh thu.

1.2. Tối ưu hóa thuật toán học sâu

Tối ưu hóa thuật toán học sâu là một bước quan trọng trong việc cải thiện hiệu suất của hệ thống gợi ý. Các kỹ thuật như tối ưu hóa hiệu suất (Performance Optimization) và tối ưu hóa thuật toán (Algorithm Optimization) được áp dụng để giảm thiểu sai số và tăng tốc độ xử lý. Phân tích dữ liệu (Data Analysis) và mô hình hóa học máy (Machine Learning Modeling) đóng vai trò quan trọng trong việc tối ưu hóa các thuật toán học sâu (Deep Learning Algorithms), giúp hệ thống đưa ra gợi ý chính xác và nhanh chóng hơn.

II. Giải pháp tối ưu cho hệ thống gợi ý

Giải pháp tối ưu (Optimal Solution) cho hệ thống gợi ý đòi hỏi sự kết hợp giữa học sâu và các kỹ thuật gợi ý (Recommendation Techniques) truyền thống. Tối ưu hóa (Optimization) là quá trình quan trọng để cải thiện hiệu suất và độ chính xác của hệ thống. Các mô hình học máy (Machine Learning Models) như AutoEncoder và Deep AutoEncoder được sử dụng để phân tích dữ liệu và đưa ra dự đoán chính xác hơn. Hệ thống thông minh (Intelligent System) dựa trên học sâu không chỉ cải thiện trải nghiệm người dùng mà còn giúp tăng doanh thu cho các doanh nghiệp.

2.1. Tối ưu hóa hiệu suất

Tối ưu hóa hiệu suất (Performance Optimization) là một yếu tố quan trọng trong việc cải thiện hệ thống gợi ý. Các kỹ thuật như phân tích dữ liệu (Data Analysis) và tối ưu hóa thuật toán (Algorithm Optimization) được áp dụng để giảm thiểu sai số và tăng tốc độ xử lý. Hệ thống gợi ý dựa trên học sâu có khả năng xử lý lượng dữ liệu lớn và phức tạp, giúp tối ưu hóa hiệu suất và cải thiện trải nghiệm người dùng. Ví dụ, Netflix đã áp dụng học sâu để cải thiện độ chính xác của các gợi ý, từ đó tăng tỷ lệ tương tác và doanh thu.

2.2. Kỹ thuật gợi ý dựa trên học sâu

Kỹ thuật gợi ý (Recommendation Techniques) dựa trên học sâu đã chứng minh được hiệu quả vượt trội so với các phương pháp truyền thống. Các mô hình học máy (Machine Learning Models) như AutoEncoder và Deep AutoEncoder được sử dụng để phân tích dữ liệu người dùng và đưa ra dự đoán chính xác hơn. Hệ thống gợi ý dựa trên học sâu không chỉ cải thiện độ chính xác mà còn tối ưu hóa hiệu suất, giúp đưa ra các gợi ý phù hợp hơn với nhu cầu người dùng. Ví dụ, YouTube đã áp dụng học sâu để cải thiện độ chính xác của các gợi ý, từ đó tăng tỷ lệ tương tác và doanh thu.

III. Phân tích dữ liệu và mô hình hóa

Phân tích dữ liệu (Data Analysis) và mô hình hóa học máy (Machine Learning Modeling) là hai yếu tố quan trọng trong việc xây dựng hệ thống gợi ý hiệu quả. Học sâu (Deep Learning) đã chứng minh được hiệu quả trong việc xử lý lượng dữ liệu lớn và phức tạp, giúp tối ưu hóa hiệu suất và cải thiện trải nghiệm người dùng. Các mô hình học máy (Machine Learning Models) như AutoEncoder và Deep AutoEncoder được sử dụng để phân tích dữ liệu và đưa ra dự đoán chính xác hơn. Hệ thống thông minh (Intelligent System) dựa trên học sâu không chỉ cải thiện trải nghiệm người dùng mà còn giúp tăng doanh thu cho các doanh nghiệp.

3.1. Phân tích dữ liệu trong gợi ý

Phân tích dữ liệu (Data Analysis) là bước quan trọng trong việc xây dựng hệ thống gợi ý hiệu quả. Các kỹ thuật như phân loại (Classification) và dự đoán (Prediction) được sử dụng để phân tích dữ liệu người dùng và đưa ra dự đoán chính xác hơn. Học sâu (Deep Learning) đã chứng minh được hiệu quả trong việc xử lý lượng dữ liệu lớn và phức tạp, giúp tối ưu hóa hiệu suất và cải thiện trải nghiệm người dùng. Ví dụ, Netflix đã áp dụng học sâu để cải thiện độ chính xác của các gợi ý, từ đó tăng tỷ lệ tương tác và doanh thu.

3.2. Mô hình hóa học máy

Mô hình hóa học máy (Machine Learning Modeling) là quá trình xây dựng các mô hình học máy (Machine Learning Models) để giải quyết các bài toán cụ thể. Trong hệ thống gợi ý, các mô hình học máy như AutoEncoder và Deep AutoEncoder được sử dụng để phân tích dữ liệu và đưa ra dự đoán chính xác hơn. Học sâu (Deep Learning) đã chứng minh được hiệu quả trong việc xử lý lượng dữ liệu lớn và phức tạp, giúp tối ưu hóa hiệu suất và cải thiện trải nghiệm người dùng. Ví dụ, YouTube đã áp dụng học sâu để cải thiện độ chính xác của các gợi ý, từ đó tăng tỷ lệ tương tác và doanh thu.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh công nghệ thông tin phát triển nhanh chóng và các dịch vụ trực tuyến ngày càng phổ biến, người dùng có thể tiếp cận khối lượng thông tin khổng lồ một cách nhanh chóng. Tuy nhiên, sự bùng nổ dữ liệu này cũng dẫn đến hiện tượng quá tải thông tin (Information Overload), khiến người dùng gặp nhiều khó khăn trong việc tìm kiếm các nội dung hoặc sản phẩm phù hợp với sở thích cá nhân. Các số liệu thực tế được tác giả dẫn chứng trong đề tài phản ánh rõ quy mô dữ liệu trực tuyến:

• Năm 2018, danh mục sản phẩm của sàn thương mại điện tử Amazon đạt khoảng 12.000 sản phẩm.
• Năm 2019, mỗi phút có khoảng 500 giờ video được tải lên nền tảng YouTube.
• Năm 2019, có khoảng 500 triệu dòng trạng thái được đăng tải mỗi ngày trên mạng xã hội Twitter.

Mặc dù các công cụ tìm kiếm truyền thống có thể hỗ trợ giải quyết vấn đề truy xuất thông tin, nhưng các công cụ này không cung cấp khả năng cá nhân hóa dữ liệu theo nhu cầu riêng biệt của từng cá nhân. Đối với các doanh nghiệp trực tuyến, việc cá nhân hóa nội dung đóng vai trò quyết định trong việc giữ chân khách hàng, nâng cao trải nghiệm người dùng và gia tăng doanh thu. Điển hình, 80% thời lượng xem phim trên Netflix đến từ hệ thống gợi ý và 60% lượt nhấp vào video trên YouTube xuất phát từ các đề xuất trên trang chủ.

Trước sự phát triển mạnh mẽ của học sâu (Deep Learning) trong các lĩnh vực thị giác máy tính, xử lý ngôn ngữ tự nhiên và nhận dạng giọng nói, việc ứng dụng các kiến trúc mạng nơ-ron sâu vào hệ thống gợi ý (Recommender Systems) mở ra khả năng mô hình hóa các mối quan hệ phi tuyến tính phức tạp trong dữ liệu người dùng và sản phẩm, khắc phục các hạn chế cố hữu của các mô hình gợi ý truyền thống. Khóa luận tốt nghiệp kỹ sư ngành Kỹ thuật Dữ liệu với đề tài "Ứng dụng học sâu cho bài toán gợi ý" do sinh viên Võ Hà Nhật Tân và Phạm Đình Nhiên thực hiện dưới sự hướng dẫn của ThS. Quách Đình Hoàng tại Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh tập trung giải quyết bài toán dự đoán điểm đánh giá (rating) và đề xuất phim phù hợp cho người dùng.

Mục tiêu và nhiệm vụ nghiên cứu của đề tài được xác định cụ thể theo đề cương:

1. Tìm hiểu cơ sở lý thuyết về hệ thống gợi ý và các phương pháp gợi ý truyền thống.
2. Tìm hiểu cơ sở lý thuyết về học sâu và các thuật toán học sâu áp dụng cho bài toán gợi ý.
3. Xây dựng hệ thống gợi ý dựa trên các phương pháp truyền thống và các thuật toán học sâu.
4. Tiến hành cài đặt thực nghiệm, thử nghiệm các mô hình và đánh giá kết quả.

Đối tượng và phạm vi nghiên cứu của đề tài:

• Đối tượng nghiên cứu: Các thuật toán gợi ý truyền thống (Lọc theo nội dung - Content-Based Filtering, Lọc cộng tác - Collaborative Filtering, Phân rã ma trận - Matrix Factorization / SVD) và các mô hình gợi ý dựa trên học sâu (Mạng nơ-ron tự mã hóa - AutoEncoder, Deep AutoEncoder, mô hình kết hợp).
• Phạm vi dữ liệu: Bộ dữ liệu chuẩn MovieLens (bao gồm các tệp dữ liệu về đánh giá ratings, thông tin phim movies và thông tin người dùng users).
• Phạm vi thời gian: Đề tài được triển khai thực hiện từ ngày 01/03/2022 đến ngày 18/07/2022.

---

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng lý thuyết vững chắc dựa trên hai trụ cột chính là học sâu và lý thuyết hệ thống gợi ý:

1. Khung lý thuyết về học sâu và mạng nơ-ron nhân tạo

Tác giả hệ thống hóa kiến trúc mạng nơ-ron nhân tạo thông qua mô hình toán học của các nút (neurons) và các tầng (layers). Mối quan hệ giữa dữ liệu đầu vào $X$, ma trận trọng số $W$, vector độ lệch (bias) $B$ và đầu ra $Y$ được biểu diễn dưới dạng: $$Y = f(W \cdot X + B)$$ Trong đó $f()$ là hàm kích hoạt (Activation Function) giữ vai trò đưa tính phi tuyến vào mạng. Khóa luận phân tích chi tiết cơ sở toán học, đặc tính và đồ thị của các hàm kích hoạt tiêu biểu:

• Hàm Sigmoid: $f(x) = \frac{1}{1 + e^{-x}}$, ánh xạ giá trị vào khoảng $(0, 1)$, có đạo hàm liên tục $f'(x) = f(x)(1 - f(x))$ nhưng dễ gây triệt tiêu đạo hàm và chi phí tính toán số mũ cao.
• Hàm Tanh: $f(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}$, chuẩn hóa dữ liệu quanh giá trị 0 trong khoảng $(-1, 1)$, giúp quá trình học ở các tầng tiếp theo thuận lợi hơn.
• Hàm ReLU (Rectified Linear Unit): $f(x) = \max(0, x)$, tốc độ hội tụ nhanh gấp 6 lần hàm Tanh và tính toán đơn giản, tuy nhiên gặp hiện tượng "Dying ReLU" khi các giá trị âm bị triệt tiêu về 0 và trọng số không được cập nhật trong quá trình lan truyền ngược.
• Hàm Leaky ReLU: $f(x) = \max(0.01x, x)$ hoặc $\max(\alpha x, x)$ với độ dốc dương nhỏ ở vùng âm nhằm giải quyết triệt để lỗi "Dying ReLU".
• Hàm Softmax: Chuẩn hóa đầu ra thành phân phối xác suất cho các bài toán phân loại nhiều lớp.
• Hàm SELU (Scaled Exponential Linear Unit): Hàm kích hoạt tự chuẩn hóa (Self-normalizing) giúp bảo toàn kỳ vọng và phương sai qua các tầng ẩn.
• Thuật toán lan truyền ngược (Backpropagation): Ứng dụng quy tắc chuỗi trong đạo hàm và thuật toán giảm độ dốc (Gradient Descent) để tính đạo hàm riêng của hàm sai số đối với từng trọng số, từ đó tối ưu hóa mạng nơ-ron từ tầng đầu ra ngược về tầng đầu vào.

2. Khung lý thuyết về hệ thống gợi ý

Khóa luận làm rõ các khái niệm cốt lõi: Mặt hàng (Item), Hồ sơ người dùng (User Profile), Ma trận tương tác Người dùng - Sản phẩm (Utility Matrix / User-Item Matrix). Phản hồi của người dùng được chia làm hai loại:

• Phản hồi tường minh (Explicit feedback): Người dùng trực tiếp chấm điểm (rating), cho độ tin cậy cao nhưng khó thu thập đầy đủ.
• Phản hồi ẩn (Implicit feedback): Dấu vết hành vi như lịch sử xem, số lần nhấp chuột, thời gian lưu trang.

Khóa luận phân loại và so sánh 3 phương pháp tiếp cận chính trong hệ thống gợi ý:

• Lọc cộng tác (Collaborative Filtering): Phân tích tương quan người dùng - người dùng (User-User) hoặc mục - mục (Item-Item) dựa trên ma trận xếp hạng.
• Lọc dựa trên nội dung (Content-Based Filtering): Dựa trên thuộc tính của sản phẩm đã được đánh giá trong quá khứ để gợi ý các sản phẩm có đặc trưng tương đồng.
• Hệ thống dựa trên tri thức (Knowledge-Based Recommenders): Suy luận sự phù hợp giữa nhu cầu người dùng và thuộc tính sản phẩm dựa trên cơ sở luật tri thức chuyên gia.

3. Phương pháp nghiên cứu và công cụ thực nghiệm

• Phương pháp nghiên cứu: Phân tích, tổng hợp tài liệu chuyên khảo; mô hình hóa toán học; thiết kế và huấn luyện mạng nơ-ron; thực nghiệm so sánh định lượng trên bộ dữ liệu chuẩn.
• Nguồn dữ liệu: Tập dữ liệu MovieLens với các bảng thông tin xếp hạng, danh mục phim và đặc trưng người dùng.
• Công cụ và môi trường: Ngôn ngữ lập trình Python, các thư viện học máy và học sâu TensorFlow, Keras, PyTorch; môi trường tính toán Google Colab.
• Chỉ số đánh giá: Sai số toàn phương trung bình (Root Mean Squared Error - RMSE) được sử dụng làm thước đo chính để đánh giá độ chính xác của các mô hình dự đoán xếp hạng.

---

Thiết kế và triển khai thực nghiệm

Khóa luận xây dựng quy trình thực nghiệm hoàn chỉnh bao gồm các giai đoạn:

[Dữ liệu thô MovieLens] 
[Mô hình truyền thống]    [Mô hình AutoEncoder]    [Mô hình Deep AutoEncoder]
(Content-Based, CF, SVD)   (Single hidden layer)     (Multi-layer: [256, 512, 256])
                     [Đánh giá sai số RMSE]

1. Xử lý dữ liệu và ma trận hóa

• Dữ liệu thô từ các tệp ratings, movies, users của MovieLens được làm sạch, loại bỏ các trường thông tin không cần thiết và mã hóa các biến phân loại.
• Dữ liệu dạng bảng (DataFrame) được chuyển đổi thành cấu trúc ma trận tương tác User - Item.
• Thiết lập hai phương án xử lý các giá trị xếp hạng chưa được người dùng đánh giá (missing values): gán bằng giá trị 0 và gán bằng giá trị trung bình (mean rating).

2. Thiết kế các mô hình thực nghiệm

• Mô hình truyền thống:
  • Xây dựng giải thuật Content-Based tính toán trọng số quan tâm của người dùng theo thể loại phim.
  • Cài đặt Memory-based Collaborative Filtering theo hai hướng User-User và Item-Item.
  • Cài đặt Model-based Collaborative Filtering áp dụng kỹ thuật phân rã ma trận giá trị suy biến (Singular Value Decomposition - SVD).
• Mô hình học sâu:
  • Xây dựng mạng nơ-ron tự mã hóa chuẩn (AutoEncoder) học biểu diễn tiềm ẩn của vector đánh giá người dùng/mục.
  • Mở rộng kiến trúc mạng sâu (Deep AutoEncoder) với nhiều tầng ẩn (cấu trúc đa tầng đối xứng như [256, 512, 256]).
  • Xây dựng mô hình kết hợp (Hybrid Model) tích hợp các thành phần học sâu.
  • Khảo sát thực nghiệm ảnh hưởng của các hàm kích hoạt (SELU, ELU, ReLU), số lượng nơ-ron và siêu tham số huấn luyện đến tốc độ hội tụ và giá trị RMSE.

---

Nội dung chính theo từng chương

Báo cáo khóa luận được tổ chức thành 6 chương với cấu trúc nội dung chi tiết như sau:

Chương 1: Mở đầu

Chương này thiết lập nền tảng cho toàn bộ đề tài:

• Trình bày tính cấp thiết của đề tài xuất phát từ vấn đề quá tải thông tin số lượng lớn trên các nền tảng Internet (YouTube, Amazon, Twitter).
• Khẳng định vai trò của hệ thống gợi ý cá nhân hóa trong việc nâng cao trải nghiệm người dùng và thúc đẩy doanh thu doanh nghiệp (dẫn chứng tỷ lệ gợi ý thành công tại Netflix và YouTube).
• Xác định mục tiêu nghiên cứu, cách tiếp cận, phương pháp luận nghiên cứu và phân tích các công trình liên quan trong các lĩnh vực thương mại điện tử, bán lẻ, truyền thông đa phương tiện và ngân hàng.
• Trình bày kết quả dự kiến đạt được và bố cục tổng quan của bài báo cáo.

Chương 2: Tổng quan về Deep Learning

Chương 2 cung cấp nền tảng lý thuyết toàn diện về học sâu:

• Phân biệt rõ ràng ranh giới và mối quan hệ phân tầng giữa Trí tuệ nhân tạo (AI), Học máy (Machine Learning) và Học sâu (Deep Learning).
• Trình bày cấu trúc sinh học và mô hình toán học của nơ-ron nhân tạo, cơ chế liên kết trọng số ma trận và vector độ lệch.
• Khảo sát chuyên sâu các hàm kích hoạt: Sigmoid, Tanh, ReLU, phân tích lỗi "Dying ReLU", hàm cải tiến Leaky ReLU, Softmax và hàm tự chuẩn hóa SELU.
• Trình bày chi tiết toán học của thuật toán lan truyền ngược (Backpropagation) sử dụng đạo hàm riêng và Gradient Descent để cập nhật trọng số nhằm tối thiểu hóa hàm mất mát.
• Đánh giá ưu điểm (tính linh hoạt, tự động trích xuất đặc trưng, xử lý dữ liệu phức tạp) và nhược điểm (đòi hỏi dữ liệu lớn, chi phí tính toán cao) của Deep Learning.
• Tổng quan các ứng dụng thực tiễn: xe tự lái (Tesla), phân tích cảm xúc, trợ lý ảo (Siri, Google Assistant, Cortana), mạng xã hội (Facebook, Instagram, Twitter) và chăm sóc sức khỏe.

Chương 3: Tổng quan về hệ thống gợi ý

Chương 3 đi sâu vào nguyên lý và cơ chế của các hệ thống gợi ý:

• Trình bày định nghĩa hệ thống gợi ý, khái niệm Mặt hàng (Item), Hồ sơ người dùng (User profile), phân biệt phản hồi tường minh (explicit) và phản hồi ẩn (implicit), cấu trúc ma trận tương tác Người dùng - Sản phẩm (Utility Matrix).
• Phân tích và so sánh 3 nhóm tiếp cận chính: Collaborative Recommendation Systems, Content-based Recommendation Systems và Knowledge-based Recommenders Systems.
• Phân tích chi tiết cơ chế hoạt động, công thức tính toán và ưu nhược điểm của các hệ thống gợi ý truyền thống:
  • Phương pháp lọc theo nội dung (Content-Based).
  • Phương pháp lọc cộng tác dựa trên bộ nhớ (Memory-based Collaborative Filtering) gồm tương quan người dùng - người dùng (User-User) và mục - mục (Item-Item).
  • Phương pháp lọc cộng tác dựa trên mô hình (Model-based Collaborative Filtering) sử dụng kỹ thuật phân rã ma trận giá trị suy biến (Singular Value Decomposition - SVD).

Chương 4: Hệ thống gợi ý dựa trên học sâu

Chương 4 tập trung vào việc mô hình hóa hệ thống gợi ý bằng các kỹ thuật học sâu:

• Tổng quan về sự phát triển của hệ thống gợi ý dựa trên học sâu nhằm vượt qua các giới hạn của mô hình truyền thống trong việc học các biểu diễn phi tuyến phức tạp.
• Khảo sát các mô hình gợi ý tiêu biểu: Recommendation with Neural Building Blocks, Recommendation with Deep Hybrid Models, Multi-Layer Perceptron (MLP), mô hình Wide & Deep, Convolutional Neural Networks (CNN), Recurrent Neural Networks (RNN), Restricted Boltzmann Machine (RBM) và Deep Reinforcement Learning (DRL).
• Đánh giá ưu điểm và hạn chế của các hệ thống gợi ý dựa trên học sâu.
• Đề xuất mô hình gợi ý dựa trên kiến trúc nơ-ron tự mã hóa: Tổng quan về AutoEncoder, Item-based AutoEncoder, kiến trúc mạng sâu Deep AutoEncoder và thiết lập các hàm mất mát (Loss Function).

Chương 5: Cài đặt và thử nghiệm hệ thống gợi ý

Chương 5 là nội dung thực nghiệm trọng tâm của khóa luận:

• Giới thiệu môi trường và công cụ thực nghiệm: Ngôn ngữ Python, thư viện Keras của TensorFlow, máy chủ Google Colab.
• Khảo sát, mô tả và trực quan hóa chi tiết tập dữ liệu MovieLens: Phân tích số lượng xếp hạng qua các năm, phân bố người dùng theo nhóm tuổi, nghề nghiệp, giới tính, số lượng phim theo thể loại và điểm đánh giá trung bình theo từng thể loại phim.
• Triển khai thực nghiệm các mô hình truyền thống: Cài đặt Content-Based (tính toán hồ sơ người dùng, ma trận item và dự đoán phim gợi ý), Memory-based Collaborative Filtering (User-User, Item-Item) và Model-based Collaborative Filtering (phân rã SVD, giảm chiều không gian tiềm ẩn).
• Triển khai thực nghiệm các mô hình học sâu:
  • Tiền xử lý dữ liệu thô, chia tập Train, Test, Validation và chuyển đổi DataFrame thành ma trận.
  • Xây dựng và thử nghiệm mô hình AutoEncoder.
  • Xây dựng và thử nghiệm mô hình mạng sâu Deep AutoEncoder (cấu hình tầng ẩn [256, 512, 256]).
  • Xây dựng và thử nghiệm mô hình kết hợp (Hybrid).
  • Khảo sát thực nghiệm các siêu tham số, so sánh hiệu năng giữa việc gán xếp hạng mặc định bằng 0 và giá trị trung bình kết hợp với các hàm kích hoạt khác nhau (SELU, ELU, ReLU) dựa trên sai số RMSE trên tập huấn luyện và tập kiểm định.

Chương 6: Kết luận

• Tổng kết các kết quả nghiên cứu đã đạt được về mặt lý thuyết và thực nghiệm mô hình.
• Phân tích các nhược điểm, hạn chế còn tồn tại của hệ thống.
• Đề xuất các hướng phát triển nghiên cứu tiếp theo nhằm cải thiện chất lượng gợi ý.

---

Kết quả và đóng góp

1. Kết quả thực nghiệm chính

Khóa luận đã thực hiện thành công việc cài đặt, kiểm thử và so sánh toàn diện các mô hình gợi ý trên tập dữ liệu MovieLens:

• Đã phân tích thống kê và trực quan hóa toàn bộ phân phối dữ liệu người dùng, phim và xếp hạng từ MovieLens.
• Xây dựng thành công các hệ thống gợi ý truyền thống làm mốc so sánh (baseline): Content-Based, Memory-Based Collaborative Filtering (User-User, Item-Item) và Matrix Factorization SVD.
• Xây dựng và tối ưu hóa thành công mô hình AutoEncoder và Deep AutoEncoder (với cấu trúc tầng ẩn [256, 512, 256]), chứng minh tính khả thi của việc sử dụng mạng tự mã hóa để dự đoán điểm đánh giá của người dùng.
• Khảo sát thực nghiệm chi tiết tác động của phương pháp xử lý giá trị khuyết và hàm kích hoạt đối với chỉ số RMSE:
  • Việc lựa chọn giá trị xếp hạng mặc định (gán 0 so với gán giá trị trung bình) có ảnh hưởng rõ rệt đến quá trình hội tụ và sai số RMSE của mô hình AutoEncoder.
  • Các hàm kích hoạt tự chuẩn hóa và phi tuyến (như SELU, ELU) hỗ trợ quá trình huấn luyện mạng Deep AutoEncoder đạt độ ổn định và giảm thiểu hiện tượng triệt tiêu gradient.

Bảng tổng hợp đặc điểm các phương pháp gợi ý chính được tác giả hệ thống hóa trong văn bản:

Phương pháp gợi ý	Dữ liệu cơ sở	Dữ liệu đầu ra	Tiến trình xử lý
Collaborative Recommendation Systems	Các điểm số đánh giá của những người sử dụng trong $U$ đối với các đối tượng trong $I$	Các điểm số đánh giá của người dùng $u$ cho các đối tượng trong $I$	Nhận diện người sử dụng trong $U$ tương tự với $u$ (về sở thích) và sau đó ngoại suy điểm số đánh giá của $u$ cho đối tượng $i$.
Content-Based Recommendation Systems	Các đặc điểm thuộc tính của các đối tượng trong $I$	Các điểm số đánh giá của người dùng $u$ cho các đối tượng trong $I$	Tạo ra một mô hình mô tả sở thích của người sử dụng $u$, sau đó sử dụng để đánh giá mức độ ưa thích của $u$ đối với đối tượng $i$.
Knowledge-Based Recommenders Systems	Các đặc điểm của các đối tượng trong $I$; Tri thức về sự phù hợp giữa đối tượng với nhu cầu	Sự mô tả nhu cầu và sở thích của người sử dụng $u$	Suy luận sự phù hợp giữa tập đối tượng $I$ và nhu cầu của người sử dụng dựa trên cơ sở tri thức rõ ràng.

2. Đóng góp của đề tài

• Về mặt lý luận: Khóa luận cung cấp tài liệu tổng quan có hệ thống từ nền tảng giải tích mạng nơ-ron (ma trận trọng số, lan truyền ngược, các hàm kích hoạt chuyên sâu) đến các kiến trúc học sâu hiện đại áp dụng trong hệ thống gợi ý (AutoEncoder, Wide & Deep, MLP, CNN, RNN, RBM, DRL).
• Về mặt thực tiễn: Xây dựng quy trình tiền xử lý, chuyển đổi dữ liệu ma trận và triển khai thực nghiệm mô hình AutoEncoder/Deep AutoEncoder hoàn chỉnh trên nền tảng Google Colab và TensorFlow/Keras, đưa ra các phân tích thực nghiệm rõ ràng về cách cấu hình siêu tham số và xử lý ma trận thưa.

---

Hạn chế và hướng nghiên cứu tiếp

1. Hạn chế

• Mô hình thực nghiệm chủ yếu tập trung kiểm thử trên bộ dữ liệu chuẩn MovieLens trong phạm vi bài toán gợi ý phim, chưa được thử nghiệm mở rộng trên các tập dữ liệu đa ngành quy mô công nghiệp lớn hơn.
• Vấn đề thưa thớt ma trận tương tác (Data Sparsity) và bài toán khởi đầu lạnh (Cold Start Problem) đối với người dùng mới hoặc phim mới vẫn là thách thức khi gán giá trị mặc định cho các ô trống trong ma trận User - Item.
• Chi phí tính toán và thời gian huấn luyện của các mạng học sâu đa tầng lớn hơn đáng kể so với các giải thuật phân rã ma trận truyền thống.

2. Hướng nghiên cứu tiếp

• Nghiên cứu mở rộng các kiến trúc mạng nơ-ron tự mã hóa biến phân (Variational AutoEncoder - VAE) hoặc mạng đối nghịch (GAN) cho bài toán gợi ý.
• Tích hợp thêm các dữ liệu phụ trợ đa phương thức (Multi-modal metadata) như văn bản tóm tắt nội dung phim, hình ảnh poster, thông tin đạo diễn, diễn viên và ngữ cảnh thời gian (Context-aware) vào mô hình học sâu.
• Phát triển mô hình gợi ý lai ghép (Deep Hybrid Models) kết hợp đồng thời ưu điểm của lọc cộng tác và học sâu để giải quyết triệt để bài toán Cold Start.

---

Giá trị tham khảo

Khóa luận là tài liệu tham khảo chuyên khảo hữu ích cho các nhóm đối tượng sau:

• Sinh viên và học viên ngành Kỹ thuật Dữ liệu, Khoa học Dữ liệu, Công nghệ Thông tin: Có thể tham khảo toàn bộ cấu trúc lý thuyết toán học về mạng nơ-ron nhân tạo (Chương 2) và phân loại hệ thống gợi ý (Chương 3) để phục vụ cho các môn học chuyên ngành hoặc đồ án tốt nghiệp liên quan.
• Kỹ sư AI và Machine Learning: Có thể tái sử dụng quy trình tiền xử lý ma trận dữ liệu User - Item, cách thiết kế kiến trúc mạng AutoEncoder / Deep AutoEncoder trên Keras/TensorFlow và phương pháp tinh chỉnh siêu tham số thực nghiệm (Chương 5).
• Các nhà nghiên cứu về Recommender Systems: Có thể tham khảo phần tổng quan các mô hình học sâu (Wide & Deep, Neural Building Blocks, Hybrid Models ở Chương 4) để làm tiền đề mở rộng các nghiên cứu nâng cao.

---

Câu hỏi thường gặp

1. Khóa luận sử dụng tập dữ liệu nào để thực nghiệm và gồm những bảng thông tin gì?

Tác giả sử dụng tập dữ liệu chuẩn MovieLens. Tập dữ liệu này bao gồm 3 tệp dữ liệu chính:

• ratings: Chứa thông tin lịch sử chấm điểm của người dùng cho các bộ phim.
• movies: Chứa thông tin chi tiết về các bộ phim (tiêu đề, thể loại phim).
• users: Chứa thông tin nhân khẩu học của người dùng (nhóm tuổi, giới tính, nghề nghiệp).

2. Hiện tượng "Dying ReLU" là gì và giải pháp được tác giả phân tích trong khóa luận như thế nào?

Theo phân tích tại Chương 2, hiện tượng "Dying ReLU" xảy ra khi các nút mạng có giá trị đầu vào nhỏ hơn 0 đi qua hàm kích hoạt ReLU ($f(x) = \max(0, x)$) sẽ nhận giá trị đầu ra bằng 0. Trong quá trình lan truyền ngược (Backpropagation), gradient tại các nút này bằng 0 khiến trọng số và độ lệch không được cập nhật, tạo ra các tế bào thần kinh "chết" không bao giờ được kích hoạt lại. Để khắc phục, tác giả trình bày giải pháp sử dụng hàm Leaky ReLU ($f(x) = \max(\alpha x, x)$ với $\alpha$ là hệ số dương nhỏ như 0.01) nhằm duy trì một độ dốc dương nhỏ ở vùng âm, giúp gradient luôn khác 0 và cho phép mạng tiếp tục cập nhật trọng số.

3. Phương pháp thu thập hồ sơ người dùng tường minh và ẩn khác nhau như thế nào?

Trong Chương 3, tác giả phân biệt:

• Phản hồi tường minh (Explicit feedback): Yêu cầu người dùng trực tiếp xếp hạng cụ thể cho từng sản phẩm. Phương pháp này cung cấp dữ liệu trực tiếp, đáng tin cậy nhất nhưng làm tăng thao tác của người dùng và khó thu thập do tâm lý ngại chia sẻ thông tin riêng tư.
• Phản hồi ẩn (Implicit feedback): Hệ thống tự động ghi nhận các dấu vết hành vi (lịch sử mua hàng, lịch sử truy cập, thời gian xem, số lần nhấp chuột) để suy luận sở thích. Phương pháp này nâng cao trải nghiệm người dùng nhưng độ chính xác trong việc mô tả sở thích thấp hơn do phải qua các bước biến đổi trung gian.

4. Kiến trúc Deep AutoEncoder thực nghiệm trong đề tài có cấu hình như thế nào?

Trong Chương 5, tác giả xây dựng mô hình Deep AutoEncoder với cấu trúc mạng nơ-ron đa tầng ẩn đối xứng, tiêu biểu là cấu hình các tầng nơ-ron [256, 512, 256]. Mô hình được thử nghiệm với các chiến lược gán giá trị xếp hạng mặc định (gán giá trị 0 và gán giá trị trung bình) kết hợp cùng các hàm kích hoạt tự chuẩn hóa như SELU và ELU để đo lường sai số RMSE trên tập Train và Validation.

5. Chỉ số nào được đề tài sử dụng để đánh giá hiệu năng của các thuật toán gợi ý?

Đề tài sử dụng chỉ số sai số toàn phương trung bình RMSE (Root Mean Squared Error) làm độ đo chính để đánh giá và so sánh mức độ chênh lệch giữa điểm đánh giá dự đoán của mô hình và điểm đánh giá thực tế của người dùng trên các tập dữ liệu huấn luyện và kiểm định.

---

Kết luận

Khóa luận tốt nghiệp kỹ sư Kỹ thuật Dữ liệu "Ứng dụng học sâu cho bài toán gợi ý" của sinh viên Võ Hà Nhật Tân và Phạm Đình Nhiên đã hoàn thành đầy đủ các mục tiêu nghiên cứu đề ra. Đề tài đã hệ thống hóa toàn diện cơ sở lý thuyết về mạng nơ-ron nhân tạo, các hệ thống gợi ý truyền thống và các mô hình học sâu hiện đại. Thông qua việc cài đặt và thực nghiệm thành công các mô hình từ Content-Based, Collaborative Filtering (SVD) đến mạng tự mã hóa sâu Deep AutoEncoder trên tập dữ liệu MovieLens, công trình đã chứng minh hiệu quả và tiềm năng của việc ứng dụng học sâu trong bài toán cá nhân hóa dữ liệu và dự đoán điểm đánh giá phim.

Trích đoạn nội dung tài liệu

Mở đầu Chương 2: Tổng quan về Deep Learning Chương 3: Tổng quan về hệ thống gợi ý Chương 4: Hệ thống gợi ý dựa trên học sâu Chương 5: Cài đặt và thử nghiệm hệ thống gợi ý Chương 6: Kết luận 4 CHƯƠNG 2. TỔNG QUAN VỀ DEEP LEARNING 2. KHÁI NIỆM Trước khi đi sâu vào học máy hãy tìm hiểu sơ về Machine Learning và AI Trí tuệ nhân tạo hay trí thông minh nhân tạo (Artificial intelligence – viết tắt là AI) là một ngành thuộc lĩnh vực khoa học máy tính (Computer science). Là trí tuệ do con người lập trình nên với mục đích giúp máy tính có thể tự động hóa các hành vi thông minh như con người.

Trí tuệ nhân tạo khác với việc lập trình logic trong các ngôn ngữ lập trình là ở việc ứng dụng các hệ thống học máy (machine learning) để mô phỏng trí tuệ của con người trong các xử lý mà con người làm tốt hơn máy tính. Cụ thể, trí tuệ nhân tạo giúp máy tính có được những trí tuệ của con người như: biết suy nghĩ và lập luận để giải quyết vấn đề, biết giao tiếp do hiểu ngôn ngữ, tiếng nói, biết học và tự thích nghi,… Học máy (ML) là một công nghệ phát triển từ lĩnh vực trí tuệ nhân tạo. Các thuật toán ML là các chương trình máy tính có khả năng học hỏi về cách hoàn thành các nhiệm vụ và cách cải thiện hiệu suất theo thời gian. ML vẫn đòi hỏi sự đánh giá của con người trong việc tìm hiểu dữ liệu cơ sở và lựa chọn các kĩ thuật phù hợp để phân tích dữ liệu.

Đồng thời, trước khi sử dụng, dữ liệu phải sạch, không có sai lệch và không có dữ liệu giả. Các mô hình ML yêu cầu lượng dữ liệu đủ lớn để "huấn luyện" và đánh giá mô hình. Trước đây, các thuật toán ML thiếu quyền truy cập vào một lượng lớn dữ liệu cần thiết để mô hình hóa các mối quan hệ giữa các dữ liệu. Sự tăng trưởng trong dữ liệu lớn (big data) đã cung cấp các thuật toán ML với đủ dữ liệu để cải thiện độ chính xác của mô hình và dự đoán.1: Mối quan hệ giữa AI, ML, Deep learning [8].

Học sâu là một loại học máy và trí tuệ nhân tạo (AI). Trí tuệ nhân tạo là một thuật ngữ chung dùng để chỉ các kỹ thuật cho phép máy tính bắt chước hành vi của con người, ở đó các máy tính sẽ học và cải thiện chính nó thông qua các thuật toán. Học máy đại diện cho một tập hợp các thuật toán được đào tạo dựa trên dữ liệu để làm cho tất cả những điều này trở nên khả thi. Học sâu chỉ là một loại học máy, lấy cảm hứng từ cấu trúc của bộ não con người.

Các thuật toán học sâu cố gắng đưa ra các kết luận tương tự như con người bằng cách liên tục phân tích dữ liệu với một cấu trúc logic nhất định. Để đạt được điều này, học sâu sử dụng cấu trúc nhiều lớp của các thuật toán được gọi là mạng nơ-ron. Mạng nơ-ron nhân tạo chính là động lực chính để phát triển Deep Learning. Các mạng nơ-ron sâu (DNN) bao gồm nhiều lớp nơ-ron khác nhau, có khả năng thực hiện các tính toán có độ phức tạp rất cao.

Deep Learning hiện đang phát triển rất nhanh và được xem là một trong những bước đột phá lớn nhất trong Machine Learning. Khái niệm: Thiết kế của mạng nơ-ron dựa trên cấu trúc của bộ não con người. Cũng giống như chúng ta sử dụng bộ não của mình để xác định các mẫu và phân loại các loại thông tin khác 6 nhau. Hãy xem cách bộ não của chúng ta hoạt động từ góc độ đơn giản và sau đó so sánh nó với mạng thần kinh (neural network).

Bộ não thực chất là một nhóm các tế bào thần kinh kết nối với nhau trong một mạng lưới liên kết khổng lồ. Các tế bào thần kinh này truyền một lượng điện tích nhỏ cho nhau như một cách để truyền thông tin. Một đặc điểm quan trọng khác của các kết nối thần kinh này là sự kết nối giữa hai tế bào thần kinh có thể khác nhau có thể mạnh và có thể yếu. Một tế bào thần kinh kết nối mạnh cho phép nhiều điện tích truyền qua hơn giữa chúng và một kết nối yếu cho phép ít điện tích truyền qua hơn.

Bây giờ khi bộ não tiếp nhận thông tin đầu vào từ bất kỳ nguồn bên ngoài nào, chẳng hạn như chúng ta chạm vào ấm nước nóng. Các dây thần kinh từ bàn tay của chúng ta truyền thông tin đến các tế bào thần kinh nhất định trong não của chúng ta. Bây giờ có một con đường từ các tế bào thần kinh (hay còn được gọi là neuron pathway) đến các tế bào thần kinh điều khiển bàn tay của chúng ta. Và trong những trường hợp này, bộ não của chúng ta đã học được rằng lựa chọn tốt nhất là di chuyển tay khỏi ấm nước càng sớm càng tốt.

Do đó, con đường nhất định này giữa các tế bào thần kinh nhận đầu vào từ bàn tay và các tế bào thần kinh điều khiển bàn tay sẽ mạnh mẽ. Các con đường thần kinh trở nên mạnh mẽ hơn khi sử dụng thường xuyên và não của chúng ta về cơ bản cố gắng sử dụng các con đường đã được chứng minh là mang lại cho chúng ta kết quả tốt hơn theo thời gian. Vì vậy, về cơ bản, khi con người chúng ta sống cuộc sống của mình và quyết định xem hành động của chúng ta là tốt hay xấu, chúng ta đang huấn luyện bộ não của mình để đảm bảo rằng chúng ta không lặp lại những sai lầm trước đây của mình hoặc tiếp tục làm những điều mà chúng ta nghĩ sẽ mang lại kết quả tốt. Bây giờ chúng ta hãy hiểu cách biểu diễn Mạng thần kinh.

Một mạng lưới thần kinh bao gồm nhiều Nút (Neurons) ở nhiều layer. Mỗi layer có thể có bất kỳ số lượng nút nào và mạng nơ-ron có thể có bất kỳ số layer nào. Chúng ta hãy xem xét kỹ hơn một vài layer. 2: Minh họa mạng lưới thần kinh bao gồm nhiều Nút Có thể thấy có nhiều liên kết giữa hai layer.

Các kết nối này cũng được gọi là trọng số giữa 2 lớp. Minh họa các hoạt động của trọng số đối với một nút [13]. Ví dụ về cách hoạt động của trọng số. Trong đó: 8 • Y là giá trị cuối cùng của nút • W đại diện cho trọng số giữa các nút ở lớp trước và lớp đầu ra • X đại diện cho các giá trị của các nút ở lớp trước đó • B là bias độ lệch (là một giá trị bổ sung cho mỗi neural) • H là giá trị nút trung gian không phải giá trị cuối cùng của nút • F() là hàm kích hoạt, ta có thể chọn hàm kích hoạt bất kì chúng tôi sẽ giải thích rõ hơn về hàm kích hoạt ở phần sau Vậy theo hình trên (2.4) giá trị output của nút này sẽ là f(0,57) Tiếp theo, xem xét các phép tính giữa hai layer hoàn chỉnh.

Minh họa các hoạt động của trọng số đối với nhiều nút [13] Các trọng số trong hình được trực quan bằng các màu sắc để dễ hiểu hơn. Chúng ta có thể biểu diễn toàn bộ các phép tính dưới dạng ma trận. Nếu chúng ta biểu diễn các trọng số tương ứng với mỗi nút đầu vào dưới dạng vector và sắp xếp chúng theo chiều ngang tạo 9 thành một ma trận. Sau đó, ta có thể nhân ma trận trọng số với vector đầu vào sau đó cộng thêm bias vector để nhận các giá trị nút trung gian.

Minh họa trực quan cấu trúc mạng neural [13]. Vậy ta có vector đầu ra là Y=f(W*X+B). Trong đó: • Y là vector đầu ra • X là vector đầu vào • W đại diện cho ma trận trọng số giữa hai lớp • B là Bias Vector Ta có thể xác định kích thước của ma trận trọng số bằng cách xem xét số lượng nút đầu vào và đầu ra. Một ma trận trọng số MxN có nghĩa là nó nằm giữa hai lớp với lớp thứ nhất là N nút và lớp thứ hai có M nút.

Bây giờ hãy xem xét mộ mạng neural hoàn chỉnh. Minh họa trực quan mạng neural 4 lớp [13]. Đây là một mạng neural gồm 4 lớp. Lớp đầu vào là nơi cung cấp những dữ liệu mà mạng neural phải học từ đó.

Lớp đầu ra là nơi lấy giá trị đích. Tất cả các lớp ở giữa được gọi là các lớp ẩn. Khi chúng ta đưa các input vào trong lớp đầu tiên, các giá trị của các nút ở mỗi lớp sẽ được tính toán bằng cách sử dụng phép nhân ma trận và các hàm kích hoạt cho đến khi chúng ta nhận được giá trị cuối cùng ở lớp đầu ra. Đó là cách lấy giá trị đầu ra từ mạng neural.

Về cơ bản, một mạng neural, nói một cách đơn giản, là một chuỗi các phép nhân ma trận và các hàm kích hoạt. Khi chúng ta input một vectơ chứa dữ liệu đầu vào, dữ liệu sẽ được nhân với chuỗi ma trận trọng số và chịu các hàm kích hoạt cho đến khi nó đến lớp đầu ra, lớp này chứa các dự đoán của mạng neural tương ứng với đầu vào cụ thể đó. Hàm kích hoạt: Mặc dù mạng neural có cấu hình trọng số hết sức phức tạp, nhưng nó sẽ không thể giải quyết vấn đề nếu không có hàm kích hoạt (hay còn gọi là Activation Function). Hàm kích hoạt là một thành phần rất quan trọng trong mạng neural.

Nó quyết định khi nào thì một neural được kích hoạt hoặc không. Liệu thông tin mà neural nhận được có liên quan đến thông tin được đưa ra hay nên bỏ qua. Để tìm hiểu sâu hơn về hàm kích hoạt, trước tiên hãy tìm hiểu về khái niệm phi tuyến tính. 𝑌 = 𝑊1 ∗ 𝑋1 + 𝑊2 ∗ 𝑋2 Phương trình trên biểu diễn mối quan hệ tuyến tính giữa Y và X1, X2.

Sự thay đổi giá trị của X1, X2 dẫn đến sự thay đổi tuyến tính trong Y. Nếu xét về dữ liệu thực tế thì dữ liệu thường có mối quan hệ phi tuyến tính giữa các biến đầu vào và đầu ra. Mô tả biểu đồ mô tả mối quan hệ tuyến tính và phi tuyến tính của dữ liệu [13]. Đồ thị trên đại diện cho một tập dữ liệu cho thấy mối quan hệ phi tuyến tính giữa X và Y.

Nếu cố gắng điều chỉnh mối quan hệ phi tuyến tính trên dữ liệu, chúng ta sẽ nhận được đường thẳng màu đỏ như đồ thị trên nó không phải là một biểu diễn chính xác cho dữ 12 liệu.