Tổng quan nghiên cứu

Trong bối cảnh phát triển mạnh mẽ của thương mại điện tử và các nền tảng số, hệ thống khuyến nghị đóng vai trò quan trọng trong việc cá nhân hóa trải nghiệm người dùng. Theo ước tính, tập dữ liệu MovieLens 1M với hơn 3,5 triệu đánh giá từ 6.040 người dùng cho 3.706 bộ phim đã được sử dụng rộng rãi trong nghiên cứu về hệ thống gợi ý. Tuy nhiên, các hệ thống khuyến nghị truyền thống thường dựa trên thông tin nhân khẩu học và lịch sử tương tác dài hạn, chưa khai thác hiệu quả tính tuần tự trong hành vi người dùng. Điều này dẫn đến việc gợi ý không phản ánh đúng nhu cầu ngắn hạn và thay đổi theo thời gian của người dùng.

Mục tiêu của luận văn là xây dựng một hệ thống khuyến nghị tuần tự dựa trên kiến trúc Transformer, tận dụng khả năng xử lý chuỗi tuần tự và kết hợp các thuộc tính bổ sung của người dùng và sản phẩm để nâng cao độ chính xác của gợi ý. Phạm vi nghiên cứu tập trung vào dữ liệu MovieLens 1M, thực hiện trong khoảng thời gian từ tháng 2 đến tháng 6 năm 2022 tại Trường Đại học Bách Khoa, ĐHQG TP.HCM. Nghiên cứu có ý nghĩa thực tiễn lớn trong việc cải thiện trải nghiệm người dùng, tăng doanh thu cho doanh nghiệp và nâng cao hiệu quả các chiến dịch marketing cá nhân hóa.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình sau:

  • Bài toán gợi ý tuần tự (Sequential Recommendation): Tập trung vào việc dự đoán hành vi tiếp theo của người dùng dựa trên chuỗi tương tác theo thời gian, phân loại thành các nhánh như dựa trên kinh nghiệm, giao dịch và tương tác.

  • Cơ chế Self-Attention: Là thành phần cốt lõi trong kiến trúc Transformer, cho phép mô hình tập trung vào các phần quan trọng trong chuỗi dữ liệu đầu vào bằng cách tính trọng số attention giữa các phần tử.

  • Kiến trúc Transformer: Sử dụng cơ chế Multi-Head Self-Attention để học các mối quan hệ phức tạp trong chuỗi tuần tự, cho phép xử lý song song và học được các đặc trưng dài hạn và ngắn hạn.

  • Mô hình SASREC, BERT4REC và BST: Các mô hình học sâu ứng dụng cơ chế Self-Attention và Transformer trong bài toán gợi ý tuần tự, trong đó BST còn kết hợp các thuộc tính bổ sung của người dùng và sản phẩm để nâng cao hiệu quả.

Các khái niệm chính bao gồm: chuỗi tuần tự tương tác, embedding layer, multi-head self-attention, fully-connected layer, và các hàm loss phù hợp với bài toán hồi quy (RMSE, MAE) và phân loại (Accuracy, AUC).

Phương pháp nghiên cứu

  • Nguồn dữ liệu: Sử dụng tập dữ liệu MovieLens 1M với 3.582.313 đánh giá từ 6.040 người dùng cho 3.706 bộ phim, dữ liệu bao gồm thông tin nhân khẩu học người dùng và đặc điểm phim.

  • Phương pháp tiền xử lý: Chuyển đổi dữ liệu đánh giá thành chuỗi tuần tự dựa trên timestamp, xác định độ dài chuỗi (sequence_length = 4) và bước nhảy (step_size = 1), kết hợp các thuộc tính bổ sung của người dùng và phim.

  • Phương pháp phân tích: Xây dựng kiến trúc mô hình dựa trên Transformer với các tầng embedding, multi-head self-attention, và fully-connected layers. Thực hiện huấn luyện mô hình với các siêu tham số như số đầu attention (2), số tầng ẩn (3), kích thước tầng ẩn ([1024, 512, 256]), dropout rate (0.2), learning rate (0.01), batch size (128), và số epoch (40).

  • Timeline nghiên cứu: Nghiên cứu và xây dựng mô hình từ tháng 2 đến tháng 6 năm 2022, chia dữ liệu thành tập huấn luyện (80%) và kiểm thử (20%), trong đó tập huấn luyện được chia tiếp thành tập huấn luyện chính và tập thẩm định (80/20).

  • Phương pháp đánh giá: Sử dụng RMSE và MAE cho bài toán xếp hạng (rating), Accuracy và AUC cho bài toán phân loại khả năng nhấp chuột (click-through-rate).

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

  1. Hiệu quả mô hình đề xuất trên bài toán rating: Mô hình Transformer đề xuất kết hợp các thuộc tính bổ sung của người dùng và phim đạt RMSE thấp hơn khoảng 6% so với mô hình cơ sở SASREC, cho thấy khả năng dự đoán chính xác hơn về điểm đánh giá của người dùng.

  2. Hiệu quả trên bài toán click-through-rate: Mô hình đề xuất đạt Accuracy và AUC cao hơn từ 5-7% so với mô hình BST, chứng tỏ khả năng phân loại chính xác hơn về việc người dùng có nhấp chuột vào sản phẩm hay không.

  3. Tốc độ huấn luyện: Nhờ kiến trúc Transformer và cơ chế Multi-Head Self-Attention, mô hình đề xuất có tốc độ huấn luyện nhanh hơn 15 lần so với các mô hình RNN truyền thống như GRU4REC, giúp tiết kiệm thời gian và tài nguyên tính toán.

  4. Khả năng kết hợp thuộc tính: Việc bổ sung các thuộc tính nhân khẩu học và đặc điểm phim vào chuỗi tuần tự giúp mô hình học được cả đặc điểm dài hạn và ngắn hạn của người dùng, nâng cao chất lượng gợi ý.

Thảo luận kết quả

Nguyên nhân của các kết quả tích cực trên là do kiến trúc Transformer cho phép mô hình học được các mối quan hệ phức tạp trong chuỗi tuần tự, đồng thời cơ chế Multi-Head Self-Attention giúp chú ý đến nhiều khía cạnh khác nhau của dữ liệu. So với các nghiên cứu trước đây như SASREC và BST, mô hình đề xuất đã cải tiến bằng cách tích hợp sâu hơn các thuộc tính bổ sung của sản phẩm vào chuỗi tuần tự, thay vì chỉ xem như dữ liệu ngoài mô hình.

Kết quả này phù hợp với xu hướng ứng dụng học sâu trong bài toán gợi ý tuần tự trên thế giới từ năm 2016 đến nay, khi các mô hình Transformer và BERT4REC đã đạt được nhiều thành tựu. Việc cải thiện độ chính xác và tốc độ huấn luyện có ý nghĩa lớn trong thực tế, giúp các doanh nghiệp thương mại điện tử nâng cao trải nghiệm người dùng và tăng doanh thu.

Dữ liệu có thể được trình bày qua các biểu đồ so sánh RMSE, MAE, Accuracy và AUC giữa mô hình đề xuất và các mô hình cơ sở, cũng như bảng thống kê thời gian huấn luyện để minh họa hiệu quả về mặt hiệu suất.

Đề xuất và khuyến nghị

  1. Triển khai hệ thống khuyến nghị tuần tự dựa trên Transformer trong các nền tảng thương mại điện tử: Tập trung vào việc tích hợp dữ liệu tương tác ngắn hạn và thuộc tính người dùng để nâng cao độ chính xác gợi ý, hướng tới tăng tỷ lệ chuyển đổi mua hàng trong vòng 6-12 tháng.

  2. Phát triển công cụ tiền xử lý dữ liệu tự động: Tự động hóa quá trình chuyển đổi dữ liệu tương tác thành chuỗi tuần tự và kết hợp các thuộc tính bổ sung, giúp giảm thời gian chuẩn bị dữ liệu và tăng tính chính xác, thực hiện trong 3-6 tháng bởi bộ phận kỹ thuật dữ liệu.

  3. Tối ưu hóa mô hình và siêu tham số: Thường xuyên tinh chỉnh các siêu tham số như số đầu attention, số tầng ẩn, dropout rate để phù hợp với từng loại dữ liệu và mục tiêu kinh doanh, thực hiện định kỳ hàng quý.

  4. Mở rộng nghiên cứu kết hợp đa nguồn dữ liệu: Kết hợp thêm dữ liệu từ mạng xã hội, lịch sử tìm kiếm, và các kênh tương tác khác để nâng cao khả năng dự đoán hành vi người dùng, triển khai thử nghiệm trong 12-18 tháng tiếp theo.

Đối tượng nên tham khảo luận văn

  1. Nhà nghiên cứu và sinh viên ngành Khoa học Máy tính: Có thể áp dụng kiến thức về Transformer và Self-Attention trong các bài toán xử lý chuỗi tuần tự và học sâu.

  2. Chuyên gia phát triển hệ thống khuyến nghị: Tham khảo mô hình và phương pháp tiền xử lý dữ liệu để cải tiến hệ thống gợi ý cá nhân hóa, đặc biệt trong lĩnh vực thương mại điện tử.

  3. Doanh nghiệp thương mại điện tử và marketing: Áp dụng giải pháp để nâng cao hiệu quả các chiến dịch quảng cáo cá nhân hóa và tăng doanh thu thông qua gợi ý sản phẩm chính xác hơn.

  4. Chuyên viên phân tích dữ liệu và kỹ sư dữ liệu: Học hỏi quy trình tiền xử lý và xây dựng bộ dữ liệu tuần tự từ dữ liệu tương tác thực tế, phục vụ cho các dự án phân tích và mô hình hóa hành vi người dùng.

Câu hỏi thường gặp

  1. Hệ thống khuyến nghị tuần tự khác gì so với hệ thống truyền thống?
    Hệ thống tuần tự khai thác tính thứ tự và mối liên hệ giữa các hành vi gần nhau trong chuỗi tương tác, trong khi hệ thống truyền thống thường dựa trên sở thích tĩnh và thông tin nhân khẩu học, không xét đến thứ tự thời gian.

  2. Tại sao chọn kiến trúc Transformer cho bài toán này?
    Transformer với cơ chế Multi-Head Self-Attention cho phép xử lý song song, học được các mối quan hệ dài hạn và ngắn hạn trong chuỗi dữ liệu, vượt trội hơn các mô hình RNN truyền thống về hiệu quả và tốc độ.

  3. Dữ liệu MovieLens 1M có đặc điểm gì nổi bật?
    Tập dữ liệu này có hơn 3,5 triệu đánh giá từ hơn 6.000 người dùng cho gần 4.000 phim, thuộc loại dữ liệu thưa (khoảng 16% đánh giá so với kỳ vọng), bao gồm cả thông tin nhân khẩu học và đặc điểm phim, phù hợp cho nghiên cứu gợi ý tuần tự.

  4. Các phương pháp đánh giá nào được sử dụng?
    Bài toán xếp hạng sử dụng RMSE và MAE để đo sai số dự đoán, bài toán phân loại khả năng nhấp chuột sử dụng Accuracy và AUC để đánh giá độ chính xác và hiệu quả phân loại.

  5. Làm thế nào để tránh hiện tượng quá khớp trong mô hình?
    Sử dụng kỹ thuật dropout với tỷ lệ 0.2, chia dữ liệu thành tập huấn luyện và thẩm định để dừng huấn luyện kịp thời, đồng thời tinh chỉnh siêu tham số để cân bằng giữa độ phức tạp và khả năng tổng quát hóa.

Kết luận

  • Luận văn đã xây dựng thành công hệ thống khuyến nghị tuần tự dựa trên kiến trúc Transformer, kết hợp hiệu quả các thuộc tính bổ sung của người dùng và sản phẩm.
  • Mô hình đề xuất vượt trội hơn các mô hình cơ sở về độ chính xác dự đoán và tốc độ huấn luyện trên tập dữ liệu MovieLens 1M.
  • Phương pháp tiền xử lý dữ liệu tuần tự và thiết kế kiến trúc mô hình phù hợp giúp khai thác tốt đặc tính tuần tự trong hành vi người dùng.
  • Hướng phát triển tiếp theo bao gồm mở rộng dữ liệu đa nguồn và tối ưu hóa mô hình để ứng dụng thực tế hiệu quả hơn.
  • Khuyến nghị các doanh nghiệp và nhà nghiên cứu áp dụng mô hình để nâng cao trải nghiệm người dùng và hiệu quả kinh doanh.

Next steps: Triển khai thử nghiệm mô hình trong môi trường thực tế, thu thập phản hồi và điều chỉnh mô hình phù hợp với đặc thù từng ngành hàng. Đẩy mạnh nghiên cứu mở rộng tích hợp dữ liệu đa chiều và phát triển các thuật toán học sâu mới.

Các nhà phát triển hệ thống khuyến nghị và doanh nghiệp thương mại điện tử nên cân nhắc áp dụng kiến trúc Transformer trong các giải pháp gợi ý để nâng cao hiệu quả và tính cá nhân hóa cho người dùng.