Đồ Án Tốt Nghiệp: Mô Hình Gợi Ý Tin Tức BERT-NewsRec

Mô hình gợi ý tin tức BERT-NewsRec đã nổi lên như một giải pháp hiệu quả trong ngành khoa học máy tính. 97 trang · Trường Đại Học Bách Khoa Hà Nội · 2022.

• Tác giả: Nguyễn Văn Nga
• Người hướng dẫn: ThS. Ngô Văn Linh
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Mô Hình Gợi Ý Tin Tức BERT-NewsRec: Giải Pháp Hiệu Quả Cho Ngành Khoa Học Máy Tính
• Loại tài liệu: Đồ Án Tốt Nghiệp
• Năm xuất bản: 2022
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM KẾT
• LỜI CẢM ƠN
• TÓM TẮT NỘI DUNG ĐỒ ÁN
• 1. CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI
• 1.1. Bài toán gợi ý tin tức
• 1.2. Các giải pháp hiện tại và hạn chế
• 2. NỀN TẢNG LÝ THUYẾT
• 2.1. Hệ gợi ý tin tức
• 2.1.1. Tổng quan lược đồ gợi ý tin tức
• 2.1.2. Mô hình CNN (Convolutional Neural Network)
• 2.1.3. Mô hình GRU (Gated Recurrent Units)
• 2.1.4. Mô hình chú ý cộng (Additive Attention)
• 2.1.5. Mô hình Transformer
• 2.1.6. Mô hình Fastformer
• 2.1.7. Xây dựng mô hình gợi ý
• 2.2. Học tương phản (contrastive learning)
• 2.2.1. Tổng quan về học tương phản
• 2.2.2. Tăng cường dữ liệu (data augmentation)
• 2.2.3. Sơ lược về tối ưu đa mục tiêu
• 2.3. Phát biểu bài toán tối ưu đa mục tiêu
• 2.4. Tính trội, mặt Pareto trong tối ưu đa mục tiêu
• 2.5. Một số cách tiếp cận trong giải bài toán tối ưu đa mục tiêu
• 2.6. Nash-MTL (Nash Multi-task learning) trong học đa tác vụ với mạng học sâu
• 2.6.1. Học đa tác vụ trong mạng học sâu
• 2.6.2. Phương pháp Nash-MTL cho việc kết hợp hàm mất mát của các tác vụ
• 3. PHƯƠNG PHÁP ĐỀ XUẤT
• 3.1. Mô hình gợi ý BERT-NewsRec (BERT News Recommendation)
• 3.1.1. Khối mã hóa tin bài (News encoder)
• 3.1.2. Khối mã hóa thông tin phụ trợ (Side feature encoder)
• 3.1.3. Khối mã hóa người dùng (User encoder)
• 3.1.4. Khối tính điểm tương tác (Scoring)
• 3.1.5. Hàm mất mát cho bài toán gợi ý
• 3.2. Mô hình gợi ý BERT-NewsRec_v2 (BERT News Recommendation Version 2 with Contrastive Learning)
• 3.2.1. Các phép tăng cường dữ liệu (data augmentation)
• 3.2.2. Xác định bộ trọng số kết hợp 2 hàm mất mát
• 3.3. Giải quyết vấn đề đa dạng (diversity) trong hệ gợi ý
• 3.3.1. Vấn đề thiếu tính đa dạng trong hệ gợi ý tin tức
• 3.3.2. Giải pháp tăng tính đa dạng cho hệ gợi ý tin tức
• 4. ĐÁNH GIÁ THỰC NGHIỆM
• 4.1. Kết quả đánh giá hiệu năng của mô hình gợi ý
• 4.1.1. Bộ dữ liệu, cấu hình
• 4.1.2. Hiệu quả của mô hình đề xuất BERT-NewsRec
• 4.1.3. Hiệu năng của BERT-NewsRec với số lượng tầng Transformer khác nhau
• 4.1.4. Hiệu năng của BERT-NewsRec với các nhóm người dùng khác nhau
• 4.1.5. Hiệu quả của học tương phản trong BERT-NewsRec_v2
• 4.1.6. Hiệu quả của Nash-MTL trong cân bằng giữa hàm mất mát gợi ý (recommend loss) và hàm mất mát học tương phản (contrastive loss)
• 4.2. Xây dựng trang web demo minh họa hoạt động của mô hình gợi ý
• 4.2.1. Kiến trúc của hệ thống web demo
• 4.2.2. Một số kết quả gợi ý của hệ thống
• 4.2.3. Hiệu quả của tối ưu đa mục tiêu trong giải quyết vấn đề đa dạng của hệ gợi ý tin tức
• 4.3. Hướng phát triển trong tương lai
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu về mô hình gợi ý tin tức BERT NewsRec

Mô hình gợi ý tin tức BERT-NewsRec đã nổi lên như một giải pháp hiệu quả trong ngành khoa học máy tính. Với sự phát triển nhanh chóng của công nghệ thông tin, việc cung cấp nội dung tin tức phù hợp với sở thích của người dùng trở nên cấp thiết. Mô hình này không chỉ giúp cải thiện trải nghiệm người dùng mà còn nâng cao độ chính xác trong việc gợi ý nội dung.

1.1. Tầm quan trọng của hệ gợi ý tin tức

Hệ gợi ý tin tức đóng vai trò quan trọng trong việc cung cấp thông tin phù hợp cho người dùng. Theo nghiên cứu, khoảng 75% lượt xem tin tức trên các nền tảng trực tuyến đến từ các hệ thống gợi ý.

1.2. BERT trong gợi ý tin tức

Mô hình BERT đã được áp dụng để cải thiện khả năng hiểu ngữ nghĩa của văn bản, từ đó nâng cao chất lượng gợi ý tin tức. Việc sử dụng BERT giúp mô hình học được các mối quan hệ phức tạp giữa các tin bài.

II. Vấn đề và thách thức trong gợi ý tin tức hiện tại

Mặc dù có nhiều tiến bộ trong lĩnh vực gợi ý tin tức, nhưng vẫn tồn tại nhiều thách thức. Một trong những vấn đề lớn nhất là sự thiếu đa dạng trong kết quả gợi ý, đặc biệt là đối với người dùng mới. Điều này có thể dẫn đến sự nhàm chán và giảm mức độ tương tác của người dùng.

2.1. Thiếu tính đa dạng trong gợi ý

Nhiều mô hình hiện tại chỉ cung cấp các tin bài tương tự nhau, dẫn đến việc người dùng không tìm thấy nội dung mới mẻ. Điều này ảnh hưởng tiêu cực đến trải nghiệm người dùng.

2.2. Khó khăn trong việc xử lý dữ liệu lớn

Sự gia tăng nhanh chóng của dữ liệu tin tức khiến cho việc xử lý và phân tích trở nên khó khăn. Các mô hình cần phải có khả năng xử lý dữ liệu lớn một cách hiệu quả để đưa ra gợi ý chính xác.

III. Phương pháp chính của mô hình BERT NewsRec

Mô hình BERT-NewsRec sử dụng kiến trúc BERT để học ra các tương tác giữa các tin bài trong lịch sử của người dùng. Điều này giúp tạo ra các biểu diễn ngữ cảnh chính xác hơn cho từng tin bài và người dùng.

3.1. Khối mã hóa tin bài

Khối mã hóa tin bài sử dụng BERT để tạo ra các vector biểu diễn cho từng tin bài, giúp mô hình hiểu rõ hơn về nội dung và ngữ nghĩa của tin tức.

3.2. Khối mã hóa người dùng

Khối mã hóa người dùng kết hợp các vector biểu diễn của các tin bài mà người dùng đã tương tác, từ đó tạo ra một vector duy nhất phản ánh sở thích của họ.

IV. Ứng dụng thực tiễn và kết quả nghiên cứu của BERT NewsRec

Kết quả thực nghiệm cho thấy mô hình BERT-NewsRec vượt trội hơn so với các mô hình gợi ý truyền thống. Việc áp dụng BERT giúp cải thiện đáng kể độ chính xác trong việc gợi ý tin tức cho người dùng.

4.1. Hiệu quả của mô hình trên dữ liệu thực

Các thử nghiệm trên bộ dữ liệu thực tế cho thấy BERT-NewsRec có khả năng gợi ý các tin bài phù hợp với sở thích của người dùng, từ đó nâng cao trải nghiệm người dùng.

4.2. Tính khả thi trong ứng dụng

Mô hình BERT-NewsRec có thể được áp dụng rộng rãi trong các nền tảng tin tức trực tuyến, giúp cải thiện khả năng gợi ý và tăng cường sự tương tác của người dùng.

V. Kết luận và tương lai của mô hình gợi ý tin tức

Mô hình BERT-NewsRec không chỉ giải quyết được nhiều vấn đề trong gợi ý tin tức mà còn mở ra hướng đi mới cho các nghiên cứu tiếp theo. Tương lai của mô hình này hứa hẹn sẽ mang lại nhiều cải tiến hơn nữa trong lĩnh vực gợi ý nội dung.

5.1. Hướng phát triển tiếp theo

Các nghiên cứu trong tương lai có thể tập trung vào việc cải thiện tính đa dạng và độ chính xác của các gợi ý, từ đó nâng cao trải nghiệm người dùng.

5.2. Tích hợp công nghệ mới

Việc tích hợp các công nghệ mới như học sâu và học máy có thể giúp mô hình BERT-NewsRec phát triển mạnh mẽ hơn, đáp ứng tốt hơn nhu cầu của người dùng.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong kỷ nguyên số, khối lượng nội dung và tin tức được tạo ra trên Internet gia tăng với tốc độ vượt bậc, dẫn đến tình trạng quá tải thông tin đối với người dùng. Việc phát triển các hệ gợi ý (recommender system) đóng vai trò then chốt trong việc phân phối nội dung cá nhân hóa, giúp người dùng tiếp cận chính xác các thông tin phù hợp với nhu cầu và sở thích. Trong lĩnh vực gợi ý tin tức (news recommendation), vòng đời của các bài viết thường rất ngắn (chỉ kéo dài vài giờ hoặc vài ngày) và dữ liệu tương tác người dùng có độ thưa lớn. Do đó, các giải pháp lọc cộng tác (collaborative filtering) truyền thống thường không đạt hiệu quả cao, buộc các hệ thống hiện đại phải chuyển hướng sang tiếp cận dựa trên khai thác nội dung (content-based).

Mặc dù các mô hình xử lý ngôn ngữ tự nhiên và học sâu như NAML (Neural News Recommendation with Attentive Multi-view Learning) hay NRMS (Neural News Recommendation with Multi-head Self-Attention) đã đạt được những kết quả đáng ghi nhận, đồ án chỉ ra ba hạn chế trọng tâm của các nghiên cứu hiện hành:

1. Chưa khai thác hiệu quả các kênh thông tin phụ trợ (side features) của người dùng (như sở thích thể loại, đặc trưng nhân khẩu học) để làm giàu vector biểu diễn người dùng bên cạnh lịch sử đọc tin.
2. Bộ mã hóa người dùng (user encoder) chưa có khả năng phân tách rõ ràng sự tương đồng và tương phản trong không gian vector giữa những người dùng có hành vi tương tự hoặc đối lập nhau.
3. Xuất hiện hiện tượng cá nhân hóa quá mức (over-personalization), khiến danh sách bài viết đề xuất bị thu hẹp vào các chủ đề quen thuộc, thiếu tính mới và tính đa dạng (diversity), đặc biệt nghiêm trọng đối với nhóm người dùng mới có ít lịch sử tương tác.

Từ các vấn đề trên, đồ án xác định 4 nhiệm vụ nghiên cứu chính:

1. Nghiên cứu và xây dựng mô hình gợi ý tin tức BERT-NewsRec tích hợp bộ mã hóa thông tin phụ trợ và cơ chế tự chú ý hai chiều của BERT trong bộ mã hóa người dùng.
2. Phát triển biến thể mở rộng BERT-NewsRec_v2 kết hợp framework học tương phản (contrastive learning) và phương pháp Nash-MTL (Nash Multi-task Learning) nhằm tối ưu hóa việc học biểu diễn phân tách và triệt tiêu xung đột gradient giữa các hàm mất mát.
3. Đề xuất giải pháp tăng cường tính đa dạng cho hệ gợi ý dựa trên framework tối ưu đa mục tiêu (Multi-Objective Optimization - MOO) trong khâu hậu xử lý danh sách tin đề xuất.
4. Đánh giá thực nghiệm hiệu năng của mô hình trên bộ dữ liệu chuẩn Microsoft News Dataset (MIND) và xây dựng hệ thống web demo minh họa hoạt động gợi ý thực tế.

Đối tượng nghiên cứu của công trình là các kiến trúc học sâu biểu diễn văn bản, mô hình hóa người dùng trong hệ gợi ý tin tức, kỹ thuật học tương phản tự giám sát và phương pháp giải bài toán tối ưu đa mục tiêu. Phạm vi thực nghiệm tập trung vào bộ dữ liệu chuẩn học máy về tin tức số (MIND) và môi trường phân phối tin tức dạng văn bản.

---

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết và mô hình nền tảng

Đồ án xây dựng trên nền tảng kiến trúc ba khối chuẩn của hệ gợi ý tin tức dựa trên nội dung:

• Bộ mã hóa tin bài (News Encoder): Sử dụng các kiến trúc mạng nơ-ron tích chập (CNN) để trích xuất đặc trưng cục bộ mức từ vựng, hoặc các cơ chế tự chú ý (Self-Attention) và chú ý cộng (Additive Attention) để tổng hợp ngữ cảnh toàn cục của tiêu đề, tóm tắt và thể loại tin bài.
• Bộ mã hóa người dùng (User Encoder): Mô hình hóa chuỗi lịch sử tương tác của người dùng thông qua các mạng hồi quy có cổng (GRU), cơ chế chú ý cộng hoặc các khối kiến trúc Transformer/BERT/Fastformer nhằm tạo ra một vector biểu diễn duy nhất phản ánh sở thích của người dùng.
• Khối tính điểm tương tác (Scoring): Thực hiện phép nhân tích vô hướng hoặc mạng truyền tiến (feed-forward network) giữa vector người dùng và vector tin bài ứng viên để dự đoán xác suất tương tác (click).

Bên cạnh đó, công trình tích hợp các lý thuyết học máy chuyên sâu:

• Học tương phản (Contrastive Learning): Kỹ thuật học tự giám sát nhằm tối đa hóa độ tương đồng giữa các biểu diễn từ các góc nhìn khác nhau của cùng một chuỗi dữ liệu (cặp dương) và đẩy xa các biểu diễn khác biệt (cặp âm) thông qua hàm mất mát dạng InfoNCE.
• Tối ưu đa mục tiêu (Multi-Objective Optimization - MOO): Cơ sở toán học về tính trội, tập tối ưu Pareto và mặt Pareto, cùng hai kỹ thuật giải cơ bản: phương pháp tổng có trọng số (weighted sum) và phương pháp ràng buộc hóa ($\epsilon$-Constraint).
• Lý thuyết trò chơi mặc cả Nash (Nash Bargaining Solution): Ứng dụng giải thuật Nash-MTL để mô hình hóa quá trình cập nhật gradient giữa hàm mất mát gợi ý (recommend loss) và hàm mất mát tương phản (contrastive loss) dưới dạng bài toán đàm phán, tìm nghiệm thỏa mãn phương trình $G^T G \alpha = 1/\alpha$ để loại bỏ xung đột gradient (gradient conflict).

Phương pháp nghiên cứu và dữ liệu thực nghiệm

Đồ án áp dụng phương pháp thực nghiệm định lượng kết hợp thiết kế hệ thống phần mềm:

• Thiết kế mô hình toán học và mạng nơ-ron: Xây dựng cấu trúc mạng kết hợp biểu diễn đa kênh, định nghĩa các toán tử tăng cường dữ liệu tuần tự và thiết lập thuật toán tối ưu đa mục tiêu.
• Bộ dữ liệu thực nghiệm: Sử dụng bộ dữ liệu chuẩn Microsoft News Dataset (MIND) chứa nhật ký tương tác thực tế của người dùng, thông tin văn bản bài viết (tiêu đề, tóm tắt, thể loại, thể loại con).
• Hệ thống chỉ số đánh giá: Đánh giá hiệu năng xếp hạng và phân loại thông qua các độ đo chuẩn: diện tích dưới đường cong ROC (AUC), thứ hạng nghịch đảo trung bình (MRR), và độ tăng tích lũy giảm giá chuẩn hóa ở các ngưỡng cắt $K$ (nDCG@5, nDCG@10).

---

Thiết kế và triển khai mô hình

Công trình thiết kế hệ thống gợi ý hoàn chỉnh bao gồm các thành phần mô hình lõi và hệ thống giao diện web thử nghiệm:

1. Kiến trúc mô hình BERT-NewsRec

Mô hình BERT-NewsRec được thiết kế gồm bốn khối chức năng chính:

• News Encoder: Trích xuất vector đặc trưng $r_i$ cho từng bài viết từ tiêu đề và các thuộc tính liên quan bằng mạng nơ-ron kết hợp cơ chế chú ý mức từ vựng và mức góc nhìn.
• Side Feature Encoder: Mã hóa các thông tin phụ trợ của người dùng (thể loại quan tâm, thuộc tính bổ trợ) thành các vector embedding không gian ẩn.
• User Encoder (BERT-based): Đưa chuỗi các vector tin bài lịch sử cùng vector đặc trưng phụ trợ qua các tầng biến đổi hai chiều của BERT (Bidirectional Encoder Representations from Transformers), cho phép nắm bắt sự tương tác phụ thuộc ngữ cảnh toàn cục giữa các bài viết trong lịch sử.
• Scoring & Loss Function: Tính điểm tương quan $s(u, n) = u^T v$ giữa vector người dùng $u$ và vector tin bài ứng viên $v$, tối ưu hóa bằng hàm mất mát Cross-Entropy hoặc Bayesian Personalized Ranking (BPR).

[Chuỗi tin bài lịch sử] ---> [News Encoder] ---------\
                                                      ---> [Khối BERT User Encoder] ---> [Vector Người dùng u]
[Thông tin phụ trợ (Side)] -> [Side Feature Encoder] -/                                      |
                                                                                             v
[Tin bài ứng viên] ---------> [News Encoder] -----------> [Vector Tin ứng viên v] ------> [Khối Tính điểm: u^T v]

2. Biến thể BERT-NewsRec_v2 kết hợp Contrastive Learning và Nash-MTL

BERT-NewsRec_v2 bổ sung nhánh học tự giám sát để tối ưu không gian biểu diễn người dùng:

• Toán tử tăng cường dữ liệu chuỗi (Data Augmentation): Đề xuất 5 toán tử biến đổi chuỗi tương tác lịch sử:
  • Cắt mục tin bài (item crop): Loại bỏ ngẫu nhiên một đoạn con liên tiếp trong chuỗi.
  • Che mục tin bài (item mask): Ẩn một tỷ lệ tin bài nhất định trong lịch sử.
  • Đảo thứ tự (item reorder): Hoán vị ngẫu nhiên vị trí các bài viết tương tác.
  • Thay thế mục (item substitute): Thay thế tin bài bằng tin bài tương đồng ngữ nghĩa.
  • Chèn mục (item insert): Chèn thêm các tin bài có liên quan vào chuỗi lịch sử.
• Cân bằng đa tác vụ với Nash-MTL: Huấn luyện đồng thời hàm mất mát gợi ý $\mathcal{L}{rec}$ và hàm mất mát tương phản $\mathcal{L}{cl}$. Thuật toán Nash-MTL tự động tính toán bộ trọng số $\alpha = (\alpha_{rec}, \alpha_{cl})$ tại mỗi bước cập nhật thông qua việc giải bài toán tối ưu lồi thay thế, đảm bảo hướng gradient cập nhật $\sum \alpha_i g_i$ không làm suy giảm hiệu năng của bất kỳ tác vụ nào.

3. Cơ chế tối ưu đa mục tiêu xử lý vấn đề đa dạng (Diversity)

Để khắc phục tình trạng phân phối tin tức đơn điệu, đồ án xây dựng bộ lọc hậu xử lý dựa trên bài toán tối ưu hai mục tiêu:

• Mục tiêu 1: Tối đa hóa xác suất tương tác dự đoán ($f_1 = \text{Score}(u, n)$).
• Mục tiêu 2: Tối thiểu hóa độ tương đồng nội dung giữa tin bài đề xuất với các tin bài trong lịch sử ($f_2 = \text{Similarity}(n, H_u)$).

4. Hệ thống Web Demo

Triển khai hệ thống ứng dụng minh họa luồng hoạt động thực tế: tiếp nhận hành vi đọc tin của người dùng, cập nhật trạng thái tương tác theo thời gian thực, gọi khối suy luận của mô hình BERT-NewsRec và áp dụng bộ lọc đa mục tiêu để trả về danh sách gợi ý phong phú trên giao diện người dùng.

---

Nội dung chính theo từng chương

Chương 1. Giới thiệu đề tài

Chương mở đầu phân tích tổng quan bối cảnh bùng nổ thông tin số và tầm quan trọng của hệ gợi ý tin tức đối với các nền tảng phân phối nội dung trực tuyến. Tác giả chỉ ra các rào cản đặc thù của miền tin tức (vòng đời tin ngắn, dữ liệu thưa) dẫn đến sự thất bại của phương pháp lọc cộng tác và sự thống trị của cách tiếp cận lọc theo nội dung. Chương 1 làm rõ các hạn chế cốt lõi của các mô hình hiện tại (NAML, NRMS) trong việc bỏ qua thông tin phụ trợ, thiếu khả năng phân tách biểu diễn người dùng và hiện tượng cá nhân hóa quá mức. Trên cơ sở đó, chương xác lập mục tiêu, các đóng góp chính của đồ án và phác thảo cấu trúc tài liệu gồm 5 chương cùng 2 phụ lục.

Chương 2. Nền tảng lý thuyết

Chương 2 cung cấp hệ thống cơ sở lý thuyết toàn diện phục vụ cho toàn bộ công trình:

• Phân tích chi tiết lược đồ hệ gợi ý tin tức 3 thành phần (News encoder, User encoder, Scoring) và nguyên lý hoạt động của các kiến trúc mạng nơ-ron: CNN (phép tích chập, padding, stride), GRU (cơ chế reset gate, update gate), Chú ý cộng Bahdanau (alignment score, attention weight), Transformer (Multi-Head Self-Attention, Position-wise Feed Forward, Positional Encoding) và Fastformer.
• Khảo sát hai mô hình gợi ý đại diện: NAML (khai thác đa góc nhìn với word-level và view-level attention) và NRMS (tự chú ý đa đỉnh trên tiêu đề và lịch sử đọc tin).
• Trình bày nguyên lý học tương phản (Contrastive Learning), cấu trúc hệ thống tự giám sát, các phương pháp tăng cường dữ liệu và hàm mất mát InfoNCE.
• Trình bày lý thuyết tối ưu đa mục tiêu (MOO), khái niệm tập trội, mặt Pareto dạng lồi/không lồi, hai kỹ thuật giải (tổng có trọng số, $\epsilon$-Constraint).
• Phân tích hiện tượng xung đột gradient trong học đa tác vụ (Multi-task Learning) và chi tiết giải thuật Nash-MTL dựa trên bài toán trò chơi mặc cả Nash cùng phương pháp tìm nghiệm thông qua bài toán tối ưu lồi thay thế.

Chương 3. Phương pháp đề xuất

Chương 3 trình bày chi tiết các giải pháp kỹ thuật do tác giả đề xuất:

• Mô hình BERT-NewsRec: Đặc tả cấu trúc toán học của News encoder, Side feature encoder, khối tích hợp BERT hai chiều cho User encoder và hàm mất mát của bài toán gợi ý.
• Biến thể BERT-NewsRec_v2: Chi tiết hóa quy trình kết hợp học tương phản tự giám sát, xây dựng 5 toán tử tăng cường dữ liệu chuỗi lịch sử (item crop, item mask, item reorder, item substitute, item insert) và cơ chế học trọng số tối ưu kết hợp hàm mất mát gợi ý và mất mát tương phản bằng Nash-MTL.
• Giải pháp tăng cường tính đa dạng: Mô hình hóa bài toán đa dạng hóa kết quả gợi ý dưới dạng bài toán tối ưu đa mục tiêu, thiết lập tiêu chí đánh đổi giữa độ chính xác dự đoán click và mức độ phân tán chủ đề bài viết.

Chương 4. Đánh giá thực nghiệm

Chương 4 mô tả toàn bộ quá trình thử nghiệm, phân tích kết quả và kiểm chứng hệ thống:

• Trình bày môi trường thực nghiệm, cấu hình tham số và thiết lập trên bộ dữ liệu chuẩn Microsoft News Dataset (MIND).
• Báo cáo và so sánh định lượng hiệu năng của BERT-NewsRec với các cấu hình bộ mã hóa tin bài và bộ mã hóa người dùng khác nhau (CNN, GRU, Additive Attention, Multi-Head Attention, Fastformer).
• Khảo sát độ nhạy của mô hình BERT-NewsRec theo số lượng tầng Transformer (từ 1 đến nhiều tầng) và theo các nhóm người dùng có độ dài lịch sử tương tác khác nhau.
• Đánh giá thực nghiệm đóng góp của nhánh học tương phản trong BERT-NewsRec_v2, sự cải thiện độ lệch chuẩn trên các chiều biểu diễn ẩn của người dùng, cũng như hiệu quả của 2 phép tăng cường dữ liệu mới (substitute và insert).
• Kiểm chứng vai trò của Nash-MTL trong việc giải quyết xung đột gradient so với phương pháp gán trọng số cố định hoặc tổng thông thường.
• Trình bày kiến trúc phần mềm, luồng xử lý và kết quả hoạt động của trang web demo, chứng minh sự đa dạng hóa rõ rệt của danh sách bài viết sau bước hậu xử lý đa mục tiêu.

Chương 5. Kết luận và hướng phát triển trong tương lai

Chương tổng kết các kết quả đạt được: khẳng định tính đúng đắn của việc tích hợp BERT và thông tin phụ trợ trong mô hình hóa người dùng, hiệu quả vượt trội của học tương phản kết hợp Nash-MTL, và tính thực tiễn của cơ chế tối ưu đa mục tiêu trong việc nâng cao trải nghiệm người đọc. Đồng thời, chương vạch ra các định hướng mở rộng nghiên cứu tiếp theo.

---

Kết quả và đóng góp

1. Kết quả thực nghiệm định lượng

Các kết quả đánh giá thực nghiệm trên bộ dữ liệu chuẩn MIND được tổng hợp trong các bảng phân tích hiệu năng của đồ án:

Mô hình / Cấu hình thực nghiệm	Thành phần News Encoder	Thành phần User Encoder	Cơ chế huấn luyện & Cân bằng Loss	Mục tiêu đánh giá chính
Baseline NAML	CNN + Additive Attention	Additive Attention	Huấn luyện đơn tác vụ chuẩn	Khai thác đa thuộc tính tin bài
Baseline NRMS	Multi-Head Self-Attention	Multi-Head Self-Attention	Huấn luyện đơn tác vụ chuẩn	Nắm bắt quan hệ ngữ cảnh từ và bài
Fastformer NewsRec	Fastformer Encoder	Fastformer Encoder	Huấn luyện đơn tác vụ chuẩn	Tối ưu hóa chi phí tính toán
BERT-NewsRec (Đề xuất)	Multi-View News Encoder	BERT + Side Features	Huấn luyện đơn tác vụ	Khai thác kênh phụ trợ & tương tác 2 chiều
BERT-NewsRec_v2 (Đề xuất)	Multi-View News Encoder	BERT + Side Features	Contrastive Learning + Nash-MTL	Biểu diễn phân tách & khử xung đột gradient

Các phát hiện thực nghiệm quan trọng được ghi nhận trong văn bản:

• Mô hình BERT-NewsRec cho hiệu năng tổng thể vượt trội hoặc tương đương khi so sánh với các bộ mã hóa người dùng truyền thống (như GRU, Attention đơn thuần).
• Biến thể BERT-NewsRec_v2 khi bổ sung nhánh học tương phản (Contrastive Learning) ghi nhận sự gia tăng rõ rệt về chất lượng biểu diễn không gian ẩn (thể hiện qua độ lệch chuẩn trên các chiều biểu diễn ẩn của người dùng), giúp tăng đáng kể độ chính xác của các chỉ số xếp hạng gợi ý.
• Việc áp dụng giải thuật Nash-MTL chứng minh tính ưu việt rõ rệt trong việc cân bằng động giữa hàm mất mát gợi ý và hàm mất mát tương phản, khắc phục triệt để hiện tượng suy giảm hiệu năng do xung đột gradient so với các kỹ thuật gán trọng số cố định.
• Cơ chế hậu xử lý đa mục tiêu duy trì điểm dự đoán tương tác ở mức tối ưu đồng thời phân tán hiệu quả các danh mục bài viết đề xuất, giải quyết tình trạng lặp nội dung đối với người dùng mới.

2. Đóng góp khoa học và kỹ thuật của đồ án

• Đóng góp kiến trúc: Đề xuất cấu trúc BERT-NewsRec kết hợp linh hoạt giữa biểu diễn chuỗi tương tác lịch sử và vector thông tin phụ trợ (side features) thông qua kiến trúc BERT hai chiều.
• Đóng góp phương pháp huấn luyện: Ứng dụng thành công framework học tương phản tự giám sát cho bài toán gợi ý tin tức tuần tự (sequential recommendation), xây dựng bộ 5 toán tử tăng cường dữ liệu chuỗi lịch sử và tích hợp giải thuật Nash-MTL giải quyết xung đột gradient trong học đa tác vụ.
• Đóng góp giải pháp trải nghiệm: Đưa framework tối ưu đa mục tiêu (MOO) vào khâu phân phối kết quả, giải quyết bài toán suy thoái tính đa dạng (over-personalization) trong các hệ gợi ý dựa trên nội dung.
• Đóng góp ứng dụng: Triển khai hoàn chỉnh ứng dụng web demo kiểm chứng mô hình trong môi trường tương tác trực quan.

---

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của công trình

• Độ phức tạp tính toán: Việc sử dụng khối mã hóa BERT và giải thuật tối ưu lồi Nash-MTL trong từng bước huấn luyện làm gia tăng đáng kể thời gian huấn luyện và đòi hỏi tài nguyên tính toán lớn hơn so với các mô hình mạng nơ-ron nông.
• Phụ thuộc vào độ dài lịch sử tương tác: Khả năng nắm bắt ngữ cảnh của mô hình vẫn chịu ảnh hưởng lớn bởi độ dài chuỗi tương tác; đối với các trường hợp người dùng hoàn toàn chưa có lịch sử tương tác (cold-start tuyệt đối), mô hình chủ yếu dựa vào kênh thông tin phụ trợ.

Hướng phát triển trong tương lai

• Nghiên cứu tối ưu hóa kiến trúc mạng và kỹ thuật chưng cất tri thức (knowledge distillation) để giảm kích thước mô hình, tăng tốc độ suy luận phục vụ triển khai thời gian thực trên các hệ thống phân phối tin tức quy mô lớn.
• Khảo sát tích hợp thêm các tín hiệu ngữ cảnh động (dynamic context) như thời gian đọc tin, vị trí địa lý và xu hướng tin bài nóng (trending topics) vào khối mã hóa người dùng.
• Mở rộng thử nghiệm các kỹ thuật tăng cường dữ liệu ngữ nghĩa nâng cao cho chuỗi tương tác dài.

---

Giá trị tham khảo

Đồ án là tài liệu tham khảo có giá trị học thuật và kỹ thuật chuyên sâu đối với:

• Sinh viên và học viên cao học ngành Khoa học máy tính, Trí tuệ nhân tạo, Hệ thống thông tin: Cung cấp tài liệu tham khảo hoàn chỉnh từ tổng quan lý thuyết hệ gợi ý, xử lý ngôn ngữ tự nhiên (CNN, Additive Attention, Transformer, Fastformer) đến các kỹ thuật học máy hiện đại (Contrastive Learning, Multi-Task Learning, Multi-Objective Optimization).
• Kỹ sư phát triển hệ thống gợi ý và xử lý dữ liệu lớn: Cung cấp giải pháp thiết kế kiến trúc thực tế giải quyết đồng thời bài toán khai thác thuộc tính phụ trợ, khử xung đột gradient bằng Nash-MTL và kỹ thuật đa dạng hóa danh sách đề xuất chống over-personalization.
• Các phần đáng tham khảo đặc biệt:
  • Mục 2.4 và Phụ lục A: Cơ sở toán học và chứng minh tính đúng đắn của giải thuật Nash-MTL trong học đa tác vụ.
  • Mục 3.2: Thiết kế các toán tử tăng cường dữ liệu cho dữ liệu chuỗi tương tác trong học tương phản.
  • Mục 3.3: Phương pháp ứng dụng tối ưu đa mục tiêu trong hậu xử lý hệ gợi ý.

---

Câu hỏi thường gặp

1. Tại sao phương pháp lọc cộng tác (collaborative filtering) lại khó áp dụng hiệu quả trong bài toán gợi ý tin tức?

Theo phân tích của tác giả trong đồ án, các bài viết tin tức có đặc thù là thời gian vòng đời rất ngắn (chỉ kéo dài vài giờ hoặc vài ngày) và nhanh chóng trở nên lỗi thời. Khi một bài viết thu thập đủ số lượng tương tác người dùng để thuật toán lọc cộng tác có thể học và đưa ra dự đoán chính xác, thì giá trị thông tin của bài viết đó đối với người đọc đã suy giảm đáng kể. Do đó, hệ gợi ý tin tức buộc phải dựa chủ yếu vào việc khai thác đặc trưng nội dung văn bản (content-based).

2. Mô hình BERT-NewsRec giải quyết các điểm hạn chế nào của mô hình NAML và NRMS?

Mô hình NRMS chỉ tập trung khai thác tiêu đề bằng cơ chế tự chú ý, trong khi NAML khai thác đa góc nhìn (tiêu đề, tóm tắt, thể loại) nhưng khối mã hóa người dùng của cả hai mô hình chưa tích hợp thông tin phụ trợ (side features) và chưa tận dụng khả năng tương tác hai chiều sâu sắc giữa các tin bài lịch sử. BERT-NewsRec bổ sung kênh mã hóa thông tin phụ trợ và sử dụng trực tiếp các tầng chú ý của BERT trong khối User encoder để học biểu diễn ngữ cảnh toàn diện hơn.

3. Biến thể BERT-NewsRec_v2 sử dụng các toán tử tăng cường dữ liệu nào cho chuỗi lịch sử tương tác?

BERT-NewsRec_v2 áp dụng 5 toán tử biến đổi dữ liệu tuần tự nhằm tạo ra các góc nhìn khác nhau phục vụ học tương phản:

1. Cắt mục tin bài (item crop).
2. Che mục tin bài (item mask).
3. Đảo thứ tự mục tin bài (item reorder).
4. Thay thế mục tin bài (item substitute).
5. Chèn mục tin bài (item insert).

4. Vai trò của giải thuật Nash-MTL trong quá trình huấn luyện BERT-NewsRec_v2 là gì?

Khi huấn luyện đồng thời tác vụ gợi ý (recommendation) và tác vụ học tương phản (contrastive learning), các gradient của hai hàm mất mát này có thể có chiều ngược nhau, gây ra hiện tượng xung đột gradient (gradient conflict) làm suy giảm hiệu năng mô hình. Nash-MTL mô hình hóa quá trình này như một trò chơi mặc cả Nash (Bargaining Game), tự động giải bài toán tối ưu lồi để tìm ra vector trọng số $\alpha$ kết hợp hai hàm mất mát sao cho hướng cập nhật tham số đem lại lợi ích đồng thuận cho cả hai tác vụ.

5. Cơ chế tối ưu đa mục tiêu giải quyết vấn đề cá nhân hóa quá mức (over-personalization) như thế nào?

Hiện tượng over-personalization xảy ra khi mô hình chỉ tập trung đề xuất các bài viết có điểm tương quan cao nhất với lịch sử đọc, dẫn đến việc các tin tức bị trùng lặp chủ đề và gây nhàm chán cho người dùng. Đồ án áp dụng framework tối ưu đa mục tiêu trong bước hậu xử lý: đồng thời cực đại hóa điểm dự đoán tương tác và cực tiểu hóa độ tương đồng nội dung giữa tin bài đề xuất với các tin bài trong lịch sử tương tác, từ đó đảm bảo danh sách gợi ý vừa đúng sở thích vừa có độ phong phú, đa dạng cao.

---

Kết luận

Đồ án tốt nghiệp "BERT-NewsRec: mô hình gợi ý tin tức hiệu quả" của tác giả Nguyễn Văn Nga đã giải quyết một cách có hệ thống các thách thức cốt lõi trong hệ gợi ý tin tức dựa trên nội dung. Bằng việc kết hợp kiến trúc BERT, thông tin phụ trợ, framework học tương phản tự giám sát cùng giải thuật cân bằng đa tác vụ Nash-MTL và cơ chế tối ưu đa mục tiêu tăng cường tính đa dạng, công trình đã nâng cao đáng kể chất lượng biểu diễn người dùng và độ phong phú của danh sách bài viết đề xuất. Các kết quả thực nghiệm trên bộ dữ liệu chuẩn MIND cùng ứng dụng web demo đã chứng minh tính đúng đắn, hiệu quả kỹ thuật và giá trị ứng dụng thực tiễn cao của toàn bộ phương pháp đề xuất.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. GIỚI THIỆU ĐỀ TÀI biến thể khác của BERT-NewsRec là BERT-NewsRec_v2 sử dụng học tương phản (contrastive learning) cũng sẽ được đề xuất; cụ thể hơn, em sẽ trình bày về cách mà chúng ta sử dụng các phép biến đổi tăng cường dữ liệu trên chuỗi tương tác lịch sử của người dùng để tạo ra các góc nhìn khác nhau phục vụ cho quá trình học tương đồng - tương phản, cũng như cách mà chúng ta có thể tận dụng được phương pháp Nash-MTL cho quá trình quyết định bộ trọng số kết hợp tối ưu cho hàm mất mát gợi ý và hàm mất mát học tương phản trong một giá trị hàm mất mát chung (total loss). Phần cuối của chương này sẽ trình bày về phương pháp tăng cường tính đa dạng cho hệ gợi ý tin tức lấy cảm hứng từ bài toán click shaping [6]; phương pháp đề xuất sử dụng framework tối ưu đa mục tiêu để vừa đảm bảo tính liên quan của các mục gợi ý đối với lịch sử tương tác của người dùng, vừa đảm bảo duy trì độ đa dạng nhất định trong kết quả đề xuất, tránh gây trải nghiệm nhàm chán, tẻ nhạt. Chương 4 sẽ trình bày về các kết quả thực nghiệm để làm sáng tỏ hiệu quả của mô hình mã hóa BERT-NewsRec so với các mô hình mã hóa người dùng khác.

Bên cạnh đó, để làm sáng tỏ hơn nữa hiệu quả của việc vận dụng học tương phản trong mô hình gợi ý tin tức; các thí nghiệm so sánh giữa biến thể BERT-NewsRec_v2 và mô hình gốc BERT-NewsRec cũng sẽ được tiến hành. Cuối cùng, em sẽ trình bày về kết quả mô phỏng hoạt động của hệ gợi ý trong một trang web đọc tin demo; qua đó chúng ta có thể thấy rõ hơn khả năng của mô hình trong việc đưa ra các mục đề xuất có nội dung liên quan, cũng như hiệu quả của việc áp dụng tối ưu đa mục tiêu trong việc nâng cao tính đa dạng của hệ gợi ý tin tức. Trong chương cuối cùng của đồ án - chương 5, em sẽ tóm tắt lại một số kết luận chính của đồ án này, cũng như các định hướng phát triển trong tương lai. NỀN TẢNG LÝ THUYẾT Trong phần này, em sẽ trình bày sơ qua về kiến trúc phổ biến của một mô hình gợi ý tin tức cũng như các kiến trúc mạng nơ-ron đặc trưng được sử dụng trong từng khối chức năng (phần 2.

Tiếp theo, tại phần 2.2, em xin giới thiệu qua về framework học tương phản và các thành phần chính trong một hệ thống học tương phản.3 sẽ trình bày định nghĩa về một bài toán tối ưu đa mục tiêu, kèm theo đó là 2 cách tiếp cận chính trong tối ưu đa mục tiêu: phương pháp tổng có trọng số và phương pháp ràng buộc hóa. Phần cuối cùng (phần 2.4) em sẽ trình bày về lý thuyết phương pháp Nash-MTL trong học bộ trọng số kết hợp hàm mất mát để giảm thiểu vấn đề xung đột gradient trong học đa tác vụ.1 Hệ gợi ý tin tức 2.1 Tổng quan lược đồ gợi ý tin tức Lĩnh vực gợi ý tin tức có một đặc điểm quan trọng khác biệt khi so sánh với các lĩnh vợi gợi ý khác như phim ảnh, âm nhạc., đó chính là các tin bài đăng tải có thời gian vòng đời rất ngắn - vài giờ hoặc vài ngày, và nhanh chóng trở nên lỗi thời. Với đặc điểm này, các phương pháp gợi ý dựa trên lọc cộng tác (collaborative filtering) là khó có thể áp dụng vào lĩnh vực tin tức: khi số lượng tương tác của bài viết là đủ lớn để mô hình lọc cộng tác có thể hoạt động tốt, thì tin bài đã trở nên không còn quá nhiều giá trị nội dung với người dùng. Chính vì lẽ đó, phần lớn các mô hình gợi ý tin tức hiện tại tập trung vào cách tiếp cận dựa trên việc khai thác nội dung (content-based): từ nội dung của các tin bài lịch sử mà người dùng đã tương tác, mô hình tiến hành học ra sở thích của người dùng, qua đó đối sánh với tập các ứng cử viên để tìm ra tin bài phù hợp.

Lược đồ của các mô hình gợi ý tin tức nhìn chung được tổ chức theo cách thức như hình 2. Theo đó, các thành phần chính của một mô hình gợi ý tin tức bao gồm 3 khối cơ bản như sau: • Khối mã hóa tin bài (news encoder): thực hiện mã hóa các thuộc tính của tin bài, xây dựng vector đặc trưng cho tin bài. Các kỹ thuật phổ biến được dùng trong khối này là các mô hình như CNN, LSTM, Transformer. phục vụ việc nắm bắt nội dung dạng văn bản, tạo vector biểu diễn đặc trưng cho tin bài đó.

• Khối mã hóa người dùng (user encoder): thực hiện mã hóa thông tin vector biểu diễn của các tin bài mà người dùng đã tương tác trong quá khứ (được tính qua khối news encoder), kết hợp chúng lại tạo thành một vector biểu diễn đặc trưng cho sở thích của người dùng. Thông thường, khối này sử dụng các kiến trúc như GRU, chú ý cộng (Additive Attention) để chuyển từ ma trận các vector biểu diễn tin bài tương tác trong lịch sử thành một vector duy nhất ứng 7 CHƯƠNG 2. NỀN TẢNG LÝ THUYẾT Hình 2.1: Lược đồ kiến trúc tổng quan của một mô hình gợi ý tin tức với mỗi người dùng. • Khối tính điểm (scoring): nhận đầu vào là vector biểu diễn cho người dùng và tin bài ứng cử viên, thực hiện các phép biến đổi để tính toán điểm dự đoán tương tác.

Thông thường khối tính điểm này là một toán tử tích vô hướng, hoặc một mạng nơ-ron kết nối đầy đủ có kích thước đầu ra bằng 1. Nhìn chung từng khối đều có các lớp nơ-ron (layer) đặc thù riêng phù hợp với chức năng của khối đó. Trong các phần tiếp theo, em sẽ trình bày một số kiến trúc được sử dụng phổ biến và tỏ ra hiệu quả trong việc nắm bắt được các biểu diễn chính xác cho tin bài cũng như người dùng.2 Mô hình CNN (Convolutional Neural Network) Mô hình CNN [12] là một mô hình được sử dụng rộng rãi trong lĩnh vực thị giác máy tính cũng như xử lý ngôn ngữ tự nhiên. Mô hình này dùng các phép nhân tích chập để nắm bắt các đặc trưng cục bộ trong dữ liệu đầu vào; người ta sử dụng các ma trận bộ lọc (filter) trượt trên ma trận đầu vào, tại mỗi vị trí, tiến hành tính toán giá trị tích chập cục bộ để tạo ra một bản đồ thuộc tính (feature map) mới (hình 2.

Giả sử với ma trận đầu vào là I , bộ lọc filter là K , giá trị tích chập của K trên 8 CHƯƠNG 2. NỀN TẢNG LÝ THUYẾT Hình 2.2: Hoạt động của phép nhân tích chập. Với ma trận đầu vào I (màu trắng), thực hiện trượt bộ lọc K (màu xanh lam) lên trên ma trận I; tại mỗi vị trí (màu đỏ), thực hiện phép nhân tích chập để thu được giá trị thông tin cục bộ (màu xanh lục) I tại vị trí (m, n) được tính bằng công thức sau: +∞ X X +∞ O[m, n] = I[m, n] ∗ K[m, n] = I[i, j].1) j=−∞ i=−∞ Tại các vị trí biên của ma trận đầu vào, thông thường người ta sẽ tiến hành padding mở rộng ma trận để có thể tính toán được tích chập tại các vị trí này (hình 2. Việc trượt các bộc lọc (filter) trên ma trận đầu vào được quyết định bởi tham số bước nhảy (stride), nó cho biết tại mỗi bước chúng ta tiến hành dịch chuyển bao nhiêu pixel so với vị trí hiện tại.

Với kích thước ma trận đầu vào là i, kích thước bộ lọc (filter) là k , số pixel padding là p và bước nhảy (stride) là s; thì kích thước bản đồ thuộc tính (feature map) đầu ra o của mạng nơ-ron tích chập được tính bằng công thức sau: i − k + 2p o=⌊ ⌋+1 (2.2) s Bằng việc trượt các bộ lọc - filter tại các vị trí trên đầu vào I , mạng CNN có khả năng học được các tín hiệu đặc trưng cục bộ: các mẫu hình ảnh, mẫu vật thể; các ngữ nghĩa của từ trong câu. Thông thường, người ta sẽ sử dụng nhiều bộ lọc (filter) trên cùng một tầng nơ-ron để tạo ra nhiều bản đồ thuộc tính (feature map), với kỳ vọng mỗi bộ lọc (filter) có khả năng học một mẫu đặc trưng khác nhau.3 Mô hình GRU (Gated Recurrent Units) GRU là một thiết kế mô hình nằm trong nhóm các mô hình mạng hồi quy (recurrent neural network) sử dụng cơ chế cổng xử lý thông tin (gating mechanism) [13]. Mạng nơ-ron hồi quy được dùng phổ biến trong các lĩnh vực mà dữ liệu đầu 9 CHƯƠNG 2. NỀN TẢNG LÝ THUYẾT Hình 2.3: Phép padding trong nhân tích chập.

Tại các phần biên (màu đỏ) của ma trận đầu vào, người ta thực hiện pad thêm các giá trị 0 (màu xám) để có thể thực hiện được phép nhân tích chập. vào có dạng chuỗi: dữ liệu âm thanh, dữ liệu văn bản, dữ liệu chuỗi thời gian. Nó có ứng dụng trong nhiều bài toán như dự đoán doanh thu, dự đoán từ tiếp theo, chuyển hóa giọng nói sang văn bản (speech to text). Trong các mạng nơ-ron truyền thống, tín hiệu đầu vào được xử lý một cách hoàn toàn độc lập, không có sự xâu chuỗi hay xem xét thứ tự trước-sau của chúng; điều này là không phù hợp với bản chất tự nhiên của nhiều lĩnh vực: các giá trị trước, giá trị lịch sử có tác động tới giá trị tương lai.

Với mạng hồi quy, đầu ra tại một bước thời gian phụ thuộc vào các bước tính toán trước đó, hệ quả là mô hình có thể ghi nhớ được các thông tin lịch sử, lan truyền theo thời gian, và đem lại hiệu quả dự đoán tốt hơn (hình 2. Phiên bản ban đầu của mô hình hồi quy là RNN tiêu chuẩn (Recurrent Neural Network) cho thấy một vấn đề khi nó không thể ghi nhớ được các phụ thuộc xa, nguyên nhân là do gradient của hàm mất mát giảm theo hàm mũ trên chiều thời gian [14]. Để khắc phục vấn đề này, một kiến trúc mới được đề xuất là LSTM (Long-Short Term Memory) [15] với việc sử dụng thêm các khối kiến trúc đặc biệt; cụ thể, trong LSTM, có một bộ nhớ tế bào (memory cell) được dùng để duy trì thông tin trong suốt chuỗi thời gian dài, các cổng được dùng để kiểm soát việc khi nào thông tin được tiếp nhận vào bộ nhớ - memory, khi nào nó bị quên, cũng như cách thông tin được output ra bên ngoài.