Nghiên Cứu Phát Triển Kỹ Thuật Gợi Ý Mua Hàng Theo Phiên Dựa Trên Mô Hình Học Sâu

Nghiên cứu phát triển kỹ thuật gợi ý mua hàng theo phiên dựa trên mô hình học sâu, nâng cao trải nghiệm người dùng và tối ưu hóa doanh thu.

• Tác giả: Nguyễn Tuấn Khang
• Người hướng dẫn: TS. Nguyễn Phú Bình
• Trường học: Học viện Khoa học và Công nghệ
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nghiên Cứu Kỹ Thuật Gợi Ý Mua Hàng Dựa Trên Mô Hình Học Sâu
• Loại tài liệu: luận án tiến sĩ
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. MỞ ĐẦU
• 1.1. Tính cấp thiết của đề tài
• 1.2. Mục tiêu của luận án
• 1.3. Phạm vi nghiên cứu
• 1.4. Phương pháp nghiên cứu
• 2. TỔNG QUAN VỀ HỆ GỢI Ý VÀ MỘT SỐ MÔ HÌNH MẠNG NƠ-RON HỌC SÂU
• 2.1. Bài toán hệ gợi ý
• 2.1.1. Tổng quan về hệ gợi ý
• 2.1.2. Phân loại bài toán hệ gợi ý
• 2.1.3. Hai bài toán cơ sở
• 2.1.3.1. Định nghĩa phiên làm việc
• 2.1.3.2. Bài toán 1 - Dự báo hành vi mua hàng
• 2.1.3.3. Bài toán 2 - Hệ gợi ý top − k
• 2.2. Lý thuyết mạng nơ-ron học sâu
• 2.2.1. Mô hình mạng nơ-ron học sâu truyền thẳng
• 2.2.2. Mô hình mạng nơ-ron rộng và sâu
• 2.2.3. Mô hình mạng nơ-ron biến đổi
• 2.2.4. Lý thuyết mạng nơ-ron đồ thị
• 2.2.4.1. Định nghĩa về đồ thị
• 2.2.4.2. Biểu diễn đồ thị
• 2.2.4.3. Mô hình mạng nơ-ron đồ thị
• 2.3. Phép biến đổi nhúng
• 2.3.1. Khái niệm phép biến đổi nhúng
• 2.3.2. Phép biến đổi nhúng với dữ liệu rời rạc
• 2.3.3. Phép biến đổi nhúng với dữ liệu theo chuỗi tuần tự
• 2.3.4. Phép biến đổi nhúng với dữ liệu đồ thị
• 2.4. Các nghiên cứu liên quan
• 3. ĐỀ XUẤT MÔ HÌNH MẠNG NƠ-RON HỌC SÂU CHO BÀI TOÁN MUA HÀNG
• 3.1. Phát biểu bài toán
• 3.2. Các mô hình đề xuất
• 3.2.1. Mạng nơ-ron học rộng và sâu
• 3.2.2. Mạng nơ-ron biến đổi
• 3.3. Kỹ thuật thực nghiệm
• 3.3.1. Bộ dữ liệu thực nghiệm
• 3.3.2. Xử lý và trích chọn đặc trưng
• 3.3.3. Cách thức chia dữ liệu
• 3.3.4. Độ đo đánh giá mô hình
• 3.4. Kết quả thực nghiệm
• 3.4.1. Kết quả thực nghiệm
• 3.4.2. So sánh với các nghiên cứu liên quan
• 3.5. Kết luận chương
• 4. ĐỀ XUẤT MÔ HÌNH MẠNG NƠ-RON ĐỒ THỊ CHO BÀI TOÁN TOP-K
• 4.1. Phát biểu bài toán
• 4.2. Đề xuất thiết kế đồ thị
• 4.2.1. Biểu diễn phiên làm việc bằng đồ thị
• 4.2.2. Đề xuất thiết kế đồ thị
• 4.2.3. Minh họa biểu diễn các đồ thị đề xuất
• 4.2.4. Thảo luận về các các đồ thị đề xuất
• 4.3. Các mô hình đề xuất
• 4.3.1. Mạng nơ-ron truyền thẳng (FNN)
• 4.3.2. Mạng nơ-ron đồ thị (GNN)
• 4.4. Kỹ thuật thực nghiệm
• 4.4.1. Tiền xử lý dữ liệu
• 4.4.2. Chuẩn hóa dữ liệu huấn luyện
• 4.4.3. Độ đo đánh giá mô hình
• 4.4.4. Tối ưu hóa hàm mất mát
• 4.5. Kết quả và nhận xét
• 4.5.1. Kết quả thực nghiệm
• 4.5.2. So sánh với các nghiên cứu liên quan
• 4.6. Kết luận chương
• 5. ĐỀ XUẤT CẢI TIẾN MÔ HÌNH GNN VỚI PHÉP NHÚNG
• 5.1. Thách thức của bài toán phân loại đa nhãn
• 5.2. Phương pháp nhúng đồ thị
• 5.2.1. Phép biến đổi nhúng đỉnh
• 5.2.2. Phép biến đổi nhúng đồ thị
• 5.3. Đề xuất cải tiến mô hình GNN
• 5.3.1. Chuyển đổi bài toán đa nhãn thành nhị phân
• 5.3.2. Đề xuất mạng nơ-ron truyền thẳng nhị phân
• 5.3.3. Đề xuất mô hình nhúng đồ thị K nhị phân
• 5.4. Kỹ thuật thực nghiệm
• 5.4.1. Chuẩn hóa dữ liệu huấn luyện
• 5.4.2. Thuật toán huấn luyện mô hình
• 5.4.3. Tối ưu mô hình GNN
• 5.5. Kết quả và nhận xét
• 5.5.1. Kết quả thực nghiệm
• 5.5.2. So sánh với các nghiên cứu liên quan
• 5.6. Kết luận chương
• KẾT LUẬN
• Kết luận chung. Kết luận chung
• Kết quả đạt được. Kết quả đạt được
• Các đóng góp chính của luận án. Các đóng góp chính của luận án
• Hướng phát triển trong tương lai. Hướng phát triển trong tương lai
• CÁC CÔNG TRÌNH CỦA TÁC GIẢ
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC
• A. Bộ dữ liệu Yoochoose
• A.1. Mô tả bộ dữ liệu
• A.2. Một số phân tích về bộ dữ liệu
• A.2.1. Phân tích số lượng nhấp theo phiên
• A.2.2. Phân tích số lượng nhấp và mua hàng theo giờ

Tóm tắt

I. Tổng Quan Về Nghiên Cứu Kỹ Thuật Gợi Ý Mua Hàng Học Sâu

Thương mại điện tử phát triển mạnh mẽ, mang đến sự đa dạng sản phẩm và dịch vụ cho người dùng. Sự chuyển dịch từ mua sắm truyền thống sang trực tuyến tạo ra lượng lớn dữ liệu về hành vi người dùng. Việc phân tích dữ liệu này giúp các nhà cung cấp dịch vụ nâng cao trải nghiệm khách hàng và tăng doanh thu. Các hệ thống gợi ý ngày càng được phát triển để cung cấp trải nghiệm cá nhân hóa tốt nhất. Bằng cách sử dụng các mô hình gợi ý tiên tiến, người dùng có thể khám phá nội dung, sản phẩm và dịch vụ phù hợp, từ đó nâng cao sự hài lòng. Do đó, phát triển một hệ thống gợi ý hiệu quả là rất quan trọng. Theo [1], ngành công nghiệp thương mại điện tử đã trải qua sự tăng trưởng đột phá. Từ đó, tối ưu hóa gợi ý là vô cùng cần thiết.

1.1. Sự Phát Triển Của Thương Mại Điện Tử Và Nhu Cầu Gợi Ý

Thương mại điện tử đang bùng nổ, với sự gia tăng về số lượng người dùng và tương tác trên các nền tảng trực tuyến lớn. Sự phát triển này mang lại nhiều lựa chọn cho người dùng, nhưng cũng gây khó khăn trong việc tìm kiếm sản phẩm phù hợp. Các hệ thống gợi ý đóng vai trò quan trọng trong việc giúp người dùng khám phá sản phẩm họ có thể quan tâm, tăng trải nghiệm người dùng và thúc đẩy doanh số. Các thuật toán gợi ý được cải tiến liên tục để đáp ứng nhu cầu ngày càng cao của thị trường. Việc áp dụng học sâu vào Recommender system hứa hẹn nhiều tiềm năng.

1.2. Vai Trò Quan Trọng Của Hệ Thống Gợi Ý Trong Bán Lẻ

Hệ thống gợi ý trở thành công cụ không thể thiếu trong việc nâng cao trải nghiệm khách hàng và thúc đẩy kinh doanh. Các hệ thống này giúp người dùng khám phá sản phẩm, nội dung và dịch vụ phù hợp với sở thích của họ, từ đó tăng sự hài lòng và gắn bó. Bằng cách phân tích hành vi người dùng, hệ thống gợi ý cung cấp các đề xuất cá nhân hóa, giúp khách hàng dễ dàng tìm thấy những gì họ cần. Tối ưu hóa gợi ý là một phần quan trọng trong chiến lược kinh doanh của các doanh nghiệp bán lẻ hiện đại.

II. Thách Thức Trong Kỹ Thuật Gợi Ý Mua Hàng Cá Nhân Hóa

Các mô hình gợi ý truyền thống tập trung vào sở thích dài hạn của khách hàng, bỏ qua các tương tác ngắn hạn. Các phương pháp như đề xuất dựa trên nội dung và lọc dựa trên cộng tác có hạn chế trong việc nắm bắt bản chất động của hành vi người dùng, đặc biệt là khi sở thích thay đổi theo từng phiên làm việc. Điều này tạo ra nhu cầu về các phương pháp gợi ý linh hoạt hơn, có khả năng thích ứng với ngữ cảnh hiện tại của người dùng. Sự xuất hiện của các mô hình học sâu và mạng nơ-ron mở ra hướng đi mới cho việc giải quyết các thách thức này. Chính vì vậy, gợi ý mua hàng dựa trên phiên làm việc đang trở thành xu hướng.

2.1. Hạn Chế Của Các Mô Hình Gợi Ý Mua Hàng Truyền Thống

Các mô hình truyền thống thường không thể xử lý thông tin cho người dùng ẩn danh hoặc nắm bắt được sự thay đổi nhanh chóng trong sở thích của khách hàng. Phương pháp đề xuất dựa trên nội dung yêu cầu thông tin chi tiết về sản phẩm và người dùng. Lọc dựa trên cộng tác gặp khó khăn khi có ít dữ liệu tương tác. Cả hai phương pháp này đều không hiệu quả trong việc dự đoán hành vi người dùng trong một phiên làm việc cụ thể. Do đó, cần các phương pháp mới để giải quyết các hạn chế này, đặc biệt với Recommender system trong thương mại điện tử.

2.2. Sự Thay Đổi Nhanh Chóng Của Hành Vi Người Dùng Trong Phiên

Hành vi người dùng không phải là tĩnh mà thay đổi liên tục trong một phiên làm việc. Sở thích có thể thay đổi dựa trên các sản phẩm đã xem, thông tin tìm kiếm và các yếu tố ngữ cảnh khác. Các mô hình gợi ý cần có khả năng thích ứng với những thay đổi này để cung cấp các đề xuất phù hợp. Điều này đòi hỏi các thuật toán có khả năng xử lý dữ liệu theo thời gian thực và nắm bắt các mẫu tương tác phức tạp. Các mô hình Học sâu có khả năng học các biểu diễn dữ liệu phức tạp, giúp giải quyết vấn đề này hiệu quả hơn.

III. Phương Pháp Gợi Ý Mua Hàng Dựa Trên Mô Hình Học Sâu

Phương pháp gợi ý mua hàng dựa trên phiên (Session-based recommendation) là một hướng tiếp cận đầy hứa hẹn để cung cấp các gợi ý chính xác và kịp thời dựa trên tương tác cấp phiên của người dùng. Nhiệm vụ là dự đoán hành vi tiếp theo của người dùng dựa trên hành vi của phiên làm việc hiện tại. Các mô hình học sâu có khả năng học các biểu diễn phức tạp của dữ liệu phiên, giúp cải thiện độ chính xác của gợi ý. Việc nghiên cứu và phát triển các mô hình này là rất quan trọng để nâng cao trải nghiệm khách hàng và tăng doanh thu. Các mô hình mạng nơ-ron như RNN, CNN và Transformer đang được ứng dụng rộng rãi trong lĩnh vực này.

3.1. Giới Thiệu Về Hệ Thống Gợi Ý Dựa Trên Phiên Làm Việc

Hệ thống gợi ý dựa trên phiên (Session-based recommendation) tập trung vào việc dự đoán hành vi của người dùng trong một phiên làm việc cụ thể. Các mô hình này sử dụng thông tin về các sản phẩm đã xem, tìm kiếm và tương tác khác trong phiên để đưa ra các đề xuất. Ưu điểm của phương pháp này là không yêu cầu thông tin về lịch sử mua sắm dài hạn của người dùng, giúp giải quyết vấn đề "khởi đầu lạnh". Khai phá dữ liệu từ phiên làm việc là yếu tố then chốt.

3.2. Ứng Dụng Học Sâu Để Phân Tích Dữ Liệu Phiên Giao Dịch

Học sâu cung cấp các công cụ mạnh mẽ để phân tích dữ liệu phiên giao dịch. Các mô hình mạng nơ-ron có thể học các biểu diễn phức tạp của dữ liệu, giúp nắm bắt các mối quan hệ giữa các sản phẩm và hành vi của người dùng. Ví dụ: mạng nơ-ron hồi quy (RNN) có thể xử lý chuỗi các sự kiện trong phiên, trong khi mạng nơ-ron tích chập (CNN) có thể trích xuất các đặc trưng quan trọng từ dữ liệu. Phân tích dữ liệu hiệu quả giúp tối ưu hóa gợi ý.

3.3. Các Kiến Trúc Mạng Nơ ron Phổ Biến Trong Gợi Ý Dựa Trên Phiên

Một số kiến trúc mạng nơ-ron phổ biến trong gợi ý mua hàng dựa trên phiên bao gồm: RNN (đặc biệt là LSTM và GRU) để xử lý chuỗi tương tác, CNN để trích xuất các đặc trưng từ dữ liệu phiên, và Transformer để nắm bắt các mối quan hệ dài hạn giữa các sản phẩm. Các mô hình này thường được kết hợp với các kỹ thuật embedding để biểu diễn sản phẩm và người dùng dưới dạng các vector số. Mô hình hóa dữ liệu là yếu tố quan trọng.

IV. Ứng Dụng Mạng Nơ ron Đồ Thị Trong Gợi Ý Mua Hàng Top K

Để xây dựng hệ gợi ý top − k, việc biểu diễn dữ liệu phiên làm việc và thể hiện rõ mối quan hệ giữa các phiên dữ liệu là rất quan trọng. Đồ thị là hướng tiếp cận phù hợp để biểu diễn dữ liệu phiên làm việc của hàng triệu khách hàng. Mô hình mạng nơ-ron đồ thị có thể tận dụng cấu trúc đồ thị để học các biểu diễn tốt hơn về sản phẩm và người dùng. Luận án đề xuất biểu diễn đồ thị theo nhiều cách tiếp cận khác nhau, từ đồ thị đơn đến đồ thị đa quan hệ. Mục tiêu là cải thiện khả năng đưa ra các gợi ý sản phẩm cá nhân, phù hợp và kịp thời cho khách hàng. Dựa theo [14], biểu diễn đồ thị phù hợp với hệ thống Recommender system.

4.1. Biểu Diễn Dữ Liệu Phiên Làm Việc Bằng Đồ Thị

Đồ thị cho phép biểu diễn các mối quan hệ giữa các sản phẩm trong một phiên làm việc, cũng như giữa các phiên làm việc khác nhau. Các nút trong đồ thị có thể đại diện cho sản phẩm, người dùng hoặc phiên, trong khi các cạnh đại diện cho các tương tác hoặc mối quan hệ giữa chúng. Việc lựa chọn cách biểu diễn đồ thị phù hợp có ảnh hưởng lớn đến hiệu quả của mô hình gợi ý. Cần cân nhắc kỹ các yếu tố như độ phức tạp của đồ thị, khả năng nắm bắt các mối quan hệ quan trọng và khả năng mở rộng.

4.2. Ưu Điểm Của Mạng Nơ ron Đồ Thị Trong Xử Lý Dữ Liệu Đồ Thị

Mạng nơ-ron đồ thị (GNN) được thiết kế đặc biệt để xử lý dữ liệu đồ thị. Các mô hình GNN có thể học các biểu diễn của các nút và cạnh trong đồ thị, đồng thời tận dụng cấu trúc đồ thị để cải thiện độ chính xác của dự đoán. GNN có khả năng lan truyền thông tin giữa các nút lân cận, giúp nắm bắt các mối quan hệ phức tạp trong đồ thị. Ứng dụng GNN vào Data mining giúp cải thiện độ chính xác và tính hiệu quả.

4.3. Các Phương Pháp Biểu Diễn Đồ Thị Khác Nhau Cho Bài Toán Gợi Ý

Có nhiều cách khác nhau để biểu diễn đồ thị cho bài toán gợi ý. Một số phương pháp phổ biến bao gồm: đồ thị phiên (mỗi phiên là một đồ thị riêng biệt), đồ thị sản phẩm (các sản phẩm là các nút, cạnh thể hiện sự đồng xuất hiện trong các phiên), và đồ thị người dùng-sản phẩm (các nút đại diện cho người dùng và sản phẩm, cạnh thể hiện các tương tác). Việc lựa chọn phương pháp biểu diễn phù hợp phụ thuộc vào đặc điểm của dữ liệu và mục tiêu của bài toán. Sử dụng Data modeling phù hợp mang lại kết quả tốt nhất.

V. Cải Tiến Mô Hình GNN Với Phép Nhúng Đồ Thị Để Gợi Ý Mua Hàng

Luận án đề xuất phương pháp nhúng đồ thị để tối ưu hóa kết quả của mô hình gợi ý. Phép nhúng đồ thị cho phép phát hiện thêm sự tương đồng trong quá trình khách hàng lựa chọn sản phẩm, từ đó đưa ra gợi ý top − k sản phẩm phù hợp. Phương pháp này giúp mô hình học được các biểu diễn tốt hơn về đồ thị phiên làm việc. Các kỹ thuật embedding đỉnh và đồ thị con có thể được sử dụng để cải thiện hiệu quả của mô hình. Sự kết hợp giữa GNN và embedding giúp tối ưu hóa gợi ý.

5.1. Tầm Quan Trọng Của Phép Nhúng Đồ Thị Trong Bài Toán Phân Loại Đa Nhãn

Trong bài toán phân loại đa nhãn, mỗi phiên có thể liên quan đến nhiều sản phẩm khác nhau. Phép nhúng đồ thị giúp biểu diễn mỗi phiên dưới dạng một vector số, từ đó cho phép mô hình học các mối quan hệ giữa các phiên và các sản phẩm. Điều này đặc biệt quan trọng khi số lượng sản phẩm lớn và các phiên có độ dài khác nhau. Kỹ thuật word embedding hoặc product embedding có thể được áp dụng.

5.2. Các Kỹ Thuật Nhúng Đồ Thị Phổ Biến Node Embedding Graph Embedding

Có hai loại kỹ thuật embedding chính: embedding đỉnh (biểu diễn mỗi nút trong đồ thị dưới dạng một vector) và embedding đồ thị (biểu diễn toàn bộ đồ thị dưới dạng một vector). Embedding đỉnh có thể được sử dụng để biểu diễn sản phẩm hoặc người dùng, trong khi embedding đồ thị có thể được sử dụng để biểu diễn phiên. Các kỹ thuật embedding phổ biến bao gồm Node2Vec, DeepWalk và Graph Convolutional Networks. Lựa chọn kỹ thuật embedding phù hợp là rất quan trọng.

5.3. Kết Hợp GNN Và Embedding Để Cải Thiện Gợi Ý Mua Hàng Top K

Bằng cách kết hợp GNN và embedding, chúng ta có thể tận dụng lợi thế của cả hai phương pháp. GNN có thể học các biểu diễn tốt hơn về cấu trúc đồ thị, trong khi embedding có thể biểu diễn các nút và cạnh dưới dạng các vector số. Sự kết hợp này cho phép mô hình nắm bắt các mối quan hệ phức tạp trong dữ liệu và đưa ra các đề xuất cá nhân hóa chính xác hơn. Mô hình Hybrid models này mang lại hiệu quả vượt trội.

VI. Đánh Giá Hiệu Quả Và Hướng Phát Triển Kỹ Thuật Gợi Ý Mua Hàng

Việc đánh giá hiệu quả của các mô hình gợi ý là rất quan trọng để đảm bảo rằng chúng mang lại kết quả tốt nhất. Các độ đo phổ biến bao gồm độ chính xác, độ tin cậy và độ bao phủ. Các kết quả thực nghiệm cần được so sánh với các mô hình cơ sở và các nghiên cứu liên quan để đánh giá tính hiệu quả của mô hình đề xuất. Các hướng phát triển trong tương lai bao gồm việc tích hợp thêm thông tin ngữ cảnh và cá nhân hóa, cũng như việc sử dụng các mô hình học sâu tiên tiến hơn. Đánh giá hiệu quả là bước không thể thiếu. Dựa theo [3], Performance evaluation là quan trọng nhất.

6.1. Các Độ Đo Đánh Giá Hiệu Quả Của Mô Hình Gợi Ý Mua Hàng

Các độ đo phổ biến để đánh giá hiệu quả của mô hình gợi ý bao gồm: độ chính xác (tỷ lệ các sản phẩm được gợi ý mà người dùng thực sự mua), độ tin cậy (mức độ mà mô hình có thể gợi ý các sản phẩm phù hợp với sở thích của người dùng), và độ bao phủ (tỷ lệ sản phẩm trong danh mục mà mô hình có thể gợi ý). Các độ đo này cần được xem xét cùng nhau để đánh giá toàn diện hiệu quả của mô hình. Accuracy và Reliability là hai yếu tố then chốt.

6.2. So Sánh Với Các Nghiên Cứu Liên Quan Về Gợi Ý Mua Hàng

Để đánh giá tính hiệu quả của mô hình đề xuất, cần so sánh kết quả với các nghiên cứu liên quan trong lĩnh vực gợi ý mua hàng. So sánh này giúp xác định những cải tiến mà mô hình mang lại so với các phương pháp hiện có. Các yếu tố cần so sánh bao gồm độ chính xác, độ tin cậy, độ phức tạp tính toán và khả năng mở rộng của mô hình. Đối chiếu với các Recommendation algorithms khác.

6.3. Hướng Phát Triển Trong Tương Lai Của Kỹ Thuật Gợi Ý Mua Hàng

Các hướng phát triển trong tương lai của kỹ thuật gợi ý mua hàng bao gồm: tích hợp thêm thông tin ngữ cảnh (ví dụ: thời gian, địa điểm, thiết bị) để cải thiện độ chính xác của gợi ý, cá nhân hóa sâu hơn bằng cách sử dụng thông tin về sở thích, lịch sử mua sắm và hành vi người dùng, và sử dụng các mô hình học sâu tiên tiến hơn (ví dụ: Transformer, Knowledge graph recommendation) để nắm bắt các mối quan hệ phức tạp trong dữ liệu. Personalization là xu hướng tất yếu.

Nội dung chính

Tổng quan về luận án

Sự bùng nổ của thương mại điện tử và các nền tảng trực tuyến toàn cầu đã tạo ra lượng dữ liệu tương tác khổng lồ, đồng thời đặt ra thách thức nghiêm trọng về hiện tượng quá tải thông tin đối với người tiêu dùng. Trong bối cảnh phần lớn người dùng duyệt web ở trạng thái ẩn danh hoặc không đăng nhập, các hệ thống gợi ý truyền thống dựa trên lọc theo nội dung (Content-Based Filtering) và lọc cộng tác (Collaborative Filtering) bộc lộ sự bất cập sâu sắc do phụ thuộc chặt chẽ vào hồ sơ định danh và lịch sử tương tác dài hạn mang tính tĩnh. Nhằm giải quyết khoảng trống học thuật này, luận án tiến sĩ ngành Khoa học máy tính (Mã số: 9 48 01 01) của nghiên cứu sinh Nguyễn Tuấn Khang với đề tài "Nghiên cứu phát triển một số kỹ thuật gợi ý mua hàng theo phiên dựa trên mô hình học sâu" đã tiên phong xây dựng khung phương pháp luận hiện đại, tiếp cận bài toán hệ gợi ý dựa trên phiên làm việc (Session-Based Recommendation - SR). Nghiên cứu định vị trọng tâm vào việc khai thác chuỗi hành vi nhấp chuột (clickstream) tức thời của người dùng trong phiên hiện tại mà không cần truy xuất dữ liệu định danh quá khứ.

Khoảng trống nghiên cứu (research gap) cốt lõi được xác định từ các công trình nền tảng như Schafer và cộng sự (2001), Sarwar và cộng sự (2000), Hidasi và cộng sự (2015) nằm ở hai điểm nghẽn kỹ thuật: thứ nhất, các mô hình học máy dạng bảng thông thường không nắm bắt được các tương tác chéo phi tuyến tính giữa các trường thuộc tính rời rạc; thứ hai, các mô hình tuần tự tuyến tính như RNN hay Transformer đơn thuần chỉ xem xét ngữ cảnh cục bộ trong từng phiên riêng lẻ (intra-session) mà bỏ qua mối quan hệ cấu trúc phức tạp giữa hàng triệu phiên làm việc đan xen trên toàn bộ hệ thống (inter-session). Luận án xác lập hai câu hỏi nghiên cứu và giả thuyết khoa học cụ thể:

• RQ1 (Bài toán 1 - Dự báo nhị phân hành vi mua hàng): "Với danh sách sản phẩm đang lựa chọn trong phiên tương tác hiện tại thì khả năng khách hàng có mua hàng không, và nếu mua thì khả năng họ chọn mặt hàng nào?"
  • Giả thuyết H1: Việc tích hợp đồng thời cơ chế ghi nhớ của mô hình tuyến tính với các thuộc tính tích chéo và năng lực tổng quát hóa của mạng nơ-ron truyền thẳng sâu thông qua lớp nhúng sẽ tối ưu hóa độ chính xác dự báo mua hàng so với các mạng FNN đơn lẻ.
  • Giả thuyết H2: Việc bổ sung lớp nhúng thuộc tính (Feature Embedding) vào kiến trúc Transformer sẽ cho phép mô hình tự chú ý xử lý hiệu quả dữ liệu dạng bảng đa trường của phiên làm việc.
• RQ2 (Bài toán 2 - Hệ gợi ý Top-$k$ sản phẩm tiếp theo): "Với danh sách sản phẩm đang lựa chọn trong phiên tương tác hiện tại thì khả năng khách hàng sẽ chọn những sản phẩm nào tiếp theo?"
  • Giả thuyết H3: Mô hình hóa phiên làm việc dưới dạng đồ thị đa quan hệ (Multi-relational Graph) kết hợp với mạng nơ-ron đồ thị (GNN) và kỹ thuật nhúng đồ thị chuyên biệt sẽ nắm bắt toàn diện sự phụ thuộc đa khoảng cách giữa các tương tác, tạo ra độ chính xác gợi ý Top-$k$ vượt trội so với các mô hình đồ thị đơn hoặc mô hình tuần tự.

Khung lý thuyết của nghiên cứu được xây dựng trên nền tảng tích hợp của Lý thuyết mạng nơ-ron học sâu (Deep Neural Networks), Lý thuyết mạng nơ-ron đồ thị (Graph Neural Networks - GNN), và Lý thuyết học biểu diễn nhúng (Representation/Embedding Learning). Về quy mô thực nghiệm, luận án triển khai đánh giá trên bộ dữ liệu chuẩn quốc tế Yoochoose (thu thập từ cuộc thi RecSys Challenge) với quy mô đồ sộ gồm 9.249.729 phiên làm việc và hơn 50.000 sản phẩm khác nhau. Nghiên cứu mang lại đóng góp đột phá khi phát triển thành công kiến trúc mạng FE-Transformer, thiết kế đồ thị đa quan hệ $K$, và đề xuất tầng nhúng phiên (Session Embedding Layer) kết hợp chuyển đổi bài toán đa nhãn thành phân loại nhị phân, nâng cao đáng kể các chỉ số Recall@k và MRR@k.

Literature Review và Positioning

Lịch sử phát triển của hệ thống gợi ý ghi nhận sự chuyển dịch mô hình sâu sắc qua ba thập kỷ. Giai đoạn đầu những năm 2000, Schafer và cộng sự (2001) cùng Sarwar và cộng sự (2000) đã đặt nền móng cho các thuật toán phân tích ma trận SVD (Singular Value Decomposition) và kỹ thuật láng giềng k-NN dựa trên lọc cộng tác. Bước ngoặt lớn xuất hiện tại cuộc thi Netflix Prize khi Koren, Bell và Volinsky (2009) chứng minh tính ưu việt tuyệt đối của mô hình phân tích ma trận nhân tử (Matrix Factorization - MF) trong việc ánh xạ người dùng và sản phẩm vào không gian nhân tử ẩn chung (joint-latent-factor space). Tuy nhiên, trường phái này vấp phải giới hạn cấu trúc: hoàn toàn bất lực trước vấn đề "khởi đầu lạnh" (cold-start) khi đối mặt với người dùng ẩn danh không có lịch sử mua sắm.

Nhằm vượt qua rào cản trên, trường phái hệ gợi ý dựa trên phiên (SR) ra đời. Hidasi và cộng sự (2015) khởi xướng việc ứng dụng mạng nơ-ron hồi quy phân cấp (Hierarchical RNN/GRU) để mô hình hóa sự phụ thuộc tuần tự ngắn hạn của chuỗi nhấp chuột. Kế thừa hướng đi này, Tan và cộng sự (2016) đề xuất các kỹ thuật tiền xử lý dữ liệu nâng cao nhằm cải thiện hiệu năng RNN. Song song đó, Cheng và cộng sự (2016) giới thiệu kiến trúc Wide & Deep Neural Network (W&DNN) tại Google, kết hợp khả năng ghi nhớ tương tác thuộc tính rời rạc với khả năng tổng quát hóa của học sâu. Vaswani và cộng sự (2017) tạo ra cuộc cách mạng kiến trúc với Transformer, đặt nền tảng cho các mô hình tự chú ý đa biến trong xử lý chuỗi.

Trong dòng chảy học thuật, hai cuộc tranh luận lý thuyết lớn đã nổ ra:

1. Tranh luận về bản chất chuỗi tuần tự vs. Cấu trúc đồ thị phi tuyến tính: Hidasi và cộng sự (2015) cùng Li và cộng sự (2017) lập luận rằng chuỗi nhấp chuột mang tính thứ tự thời gian nghiêm ngặt, do đó các mô hình chuỗi (RNN, NARM) là tối ưu. Ngược lại, Wu và cộng sự (2019) cùng Tajuddeen và cộng sự (2022) phản biện rằng hành vi người dùng trong một phiên vừa mang tính tuần tự vừa chứa đựng yếu tố ngẫu nhiên, chuyển đổi linh hoạt giữa các nhóm sản phẩm, do đó cấu trúc đồ thị phi Euclid mới là phương thức biểu diễn bản chất thực sự của phiên.
2. Tranh luận về Đồ thị đơn cục bộ (Intra-session) vs. Đồ thị đa quan hệ toàn cục (Inter-session): Mô hình SR-GNN của Wu và cộng sự (2019) chỉ biểu diễn các sản phẩm liền kề trong cùng một phiên thành đồ thị có hướng đơn giản. Các nghiên cứu gần đây như GCSAN (Liu và cộng sự, 2020), CoSAN (Luo và cộng sự, 2020) và IGT (Wang và cộng sự, 2023) chỉ ra rằng đồ thị đơn bỏ qua tương tác giữa các bước nhảy xa (multi-hop transitions) và không liên kết được tri thức tập thể giữa hàng triệu phiên làm việc khác nhau.

Luận án của Nguyễn Tuấn Khang định vị chính xác tại điểm nghẽn này. Bằng việc xây dựng đồ thị đa quan hệ $K$ phản ánh đa dạng khoảng cách tương tác và thiết kế cơ chế nhúng phiên kết hợp (Session Embedding Layer), nghiên cứu đã vượt qua các giới hạn của mô hình SR-GNN quốc tế (Wu et al., 2019) và IGT (Wang et al., 2023), thiết lập một chuẩn mực mới trong việc khai thác đồng thời tri thức cấu trúc vi mô (nội phiên) và vĩ mô (liên phiên).

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án đóng góp quan trọng vào việc mở rộng và tinh chỉnh các lý thuyết nền tảng trong khoa học máy tính và hệ thống gợi ý:

• Mở rộng Lý thuyết Mạng nơ-ron Rộng và Sâu (Wide & Deep Theory): Luận án mở rộng mô hình W&DNN của Cheng và cộng sự (2016) sang miền dữ liệu clickstream thương mại điện tử dạng bảng. Nghiên cứu xác lập nguyên lý tích hợp 4 phép biến đổi tích chéo đặc thù, chứng minh bằng thực nghiệm rằng việc kết hợp tường minh tương tác thuộc tính bậc thấp với biểu diễn ẩn bậc cao giúp giải quyết triệt để tính phi tuyến tính của hành vi người dùng.
• Tiên phong Kiến trúc FE-Transformer cho Dữ liệu Dạng bảng: Luận án mở rộng lý thuyết Transformer (Vaswani et al., 2017) vốn dành cho xử lý ngôn ngữ tự nhiên sang cấu trúc dữ liệu bảng đa thuộc tính thông qua lớp nhúng đặc trưng $E_j = f_j(x_j) + b_j$, chứng minh rằng cơ chế tự chú ý đa đầu (Multi-Head Self-Attention) có thể khai thác tối đa trọng số tương quan giữa các đặc trưng số và đặc trưng danh mục rời rạc.
• Phát triển Lý thuyết Học sâu Hình học (Geometric Deep Learning) trên Đồ thị Đa quan hệ: Mở rộng khung lý thuyết GNN của Scarselli và cộng sự (2009) và Li và cộng sự (2015), luận án chứng minh rằng đồ thị đa quan hệ có khả năng bảo toàn thông tin về khoảng cách tương tác thời gian tốt hơn đồ thị thuần nhất, tạo ra bước chuyển dịch mô hình (paradigm shift) từ mô hình hóa chuỗi 1 chiều sang cấu trúc tô-pô không gian đa chiều.

Khung phân tích độc đáo

Khung phân tích của luận án tích hợp chặt chẽ ba trụ cột lý thuyết: (1) Lý thuyết biểu diễn nhúng không gian thấp (Representation Learning); (2) Cơ chế tự chú ý theo ngữ cảnh (Self-Attention Mechanism); và (3) Lý thuyết lan truyền thông điệp trên đồ thị (Graph Neural Message Passing).

Cốt lõi của khung phân tích là việc thiết kế ba mô hình biểu diễn đồ thị từ chuỗi phiên $s = {x_{s,1}, x_{s,2}, \dots, x_{s,c}}$:

• Đồ thị đơn $G = (V, E)$: Biểu diễn quan hệ chuyển dịch trực tiếp giữa hai sản phẩm liên tiếp $e = (x_{s,i}, x_{s,i+1})$.
• Đồ thị khoảng cách $H$: Bổ sung trọng số thể hiện khoảng cách tương đối giữa các sản phẩm được duyệt trong cùng phiên.
• Đồ thị đa quan hệ $K = (V, E, \mathcal{R})$: Đồ thị có hướng đa tầng, trong đó mỗi cạnh được gắn nhãn loại quan hệ $r \in \mathcal{R}$ tương ứng với độ dài bước nhảy thời gian giữa các lần nhấp chuột:

$$\mathcal{R} = {r_{\Delta t} \mid \Delta t = |idx(u) - idx(v)|}$$

Điều kiện biên (boundary conditions) của khung phân tích được xác định rõ: áp dụng tối ưu cho các phiên tương tác ngắn hạn (độ dài phiên $c \ge 2$), không yêu cầu thông tin định danh cá nhân, và vận hành hiệu quả trong môi trường dữ liệu thương mại điện tử có mật độ sản phẩm lớn và tính biến động cao.

Phương pháp nghiên cứu tiên tiến

Thiết kế nghiên cứu

Luận án tuân thủ triết lý nghiên cứu thực chứng chuẩn xác (Positivism & Empirical Computational Science), kết hợp chặt chẽ giữa mô hình hóa toán học trừu tượng và thực nghiệm quy mô lớn trên hệ thống điện toán hiệu năng cao. Thiết kế nghiên cứu được tổ chức theo cấu trúc đa tầng (Multi-level experimental design):

• Cấp độ 1 (Dự báo nhị phân - Binary Purchase Intent): Phân tích dữ liệu dạng bảng cấp độ phiên thông qua mô hình W&DNN tinh chỉnh và FE-Transformer.
• Cấp độ 2 (Gợi ý đa nhãn Top-$k$ - Multi-class/Top-$k$ Recommendation): Xây dựng đồ thị quy mô lớn và triển khai mạng GNN trên ba biến thể cấu trúc đồ thị $G, H, K$.
• Cấp độ 3 (Tối ưu hóa Phép nhúng & Chuyển đổi nhị phân): Phát triển mô hình GNN.K kết hợp lớp nhúng phiên hỗn hợp (Node Embedding, Graph Embedding, Label Embedding) và chuyển đổi bài toán phân loại đa nhãn cực lớn sang phân loại nhị phân nhằm tối ưu hóa bộ nhớ và độ phức tạp tính toán.

Quy trình nghiên cứu rigorous

Quy trình nghiên cứu thực nghiệm được thiết kế nghiêm ngặt nhằm triệt tiêu hiện tượng rò rỉ dữ liệu (data leakage) và đảm bảo tính tái lập (reproducibility):

1. Thu thập và Tiền xử lý Dữ liệu: Sử dụng tập dữ liệu chuẩn Yoochoose. Áp dụng quy tắc lọc nghiêm ngặt theo thông lệ quốc tế: loại bỏ các phiên làm việc có độ dài $c = 1$ (không cung cấp đủ ngữ cảnh tương tác) và loại bỏ các sản phẩm có tần suất xuất hiện dưới 5 lần trên toàn bộ tập dữ liệu.
2. Thuật toán chuẩn hóa dữ liệu:
   • Thuật toán NORM.FNN: Chuẩn hóa và mã hóa one-hot/embedding cho các thuộc tính danh mục và chuẩn hóa min-max cho các thuộc tính số của mạng truyền thẳng.
   • Thuật toán NORM.GNN: Ánh xạ chuỗi nhấp chuột thành danh sách kề và ma trận kề thưa của đồ thị $G, H, K$.
   • Thuật toán NORM.Bin: Chuyển đổi ma trận tương tác sản phẩm - phiên thành các cặp mẫu nhị phân tích cực/tiêu cực phục vụ huấn luyện tối ưu hóa.
3. Kiểm soát tính hợp lệ và độ tin cậy: Sử dụng kỹ thuật phân chia tập dữ liệu huấn luyện (Training Set) và tập kiểm thử (Test Set) dựa trên mốc thời gian tuần tự thực tế, đảm bảo các phiên trong tập Test xảy ra sau tập Training.

Data và phân tích

Đặc tính dữ liệu và môi trường tính toán được cấu hình chi tiết:

• Tập dữ liệu Yoochoose: Bao gồm dữ liệu nhấp chuột (clicks) và dữ liệu mua hàng (buys) với 9.249.729 phiên, phân bố qua các mốc thời gian khác nhau trong ngày và các ngày trong tuần.
• Kỹ thuật trích chọn đặc trưng: Trích xuất 26 thuộc tính cơ sở bao gồm thời lượng phiên, số lượt nhấp chuột, thời gian dừng trên từng sản phẩm, mã danh mục, giá sản phẩm, v.v., kết hợp với 4 cặp thuộc tính tích chéo:
  1. $\text{ID sản phẩm hiện tại} \times \text{ID sản phẩm đầu tiên trong phiên}$
  2. $\text{ID sản phẩm hiện tại} \times \text{ID sản phẩm liền kề phía trước}$
  3. $\text{ID sản phẩm hiện tại} \times \text{ID danh mục sản phẩm}$
  4. $\text{ID sản phẩm xem lâu nhất} \times \text{Thời gian xem sản phẩm}$
• Cấu hình phần mềm và thuật toán tối ưu: Toàn bộ hệ thống được triển khai trên nền tảng Python, sử dụng PyTorch và Deep Graph Library (DGL). Thuật toán tối ưu hóa Adam với tốc độ học (learning rate) khởi tạo $10^{-3}$, kỹ thuật suy giảm trọng số (weight decay) $10^{-5}$, lớp Dropout với tỷ lệ 0.2 đến 0.5 để ngăn chặn hiện tượng học quá (overfitting). Hàm mất mát được sử dụng là Binary Cross-Entropy Loss cho bài toán nhị phân và Cross-Entropy / BPR Loss cho bài toán gợi ý Top-$k$.

Phát hiện đột phá và implications

Những phát hiện then chốt

1. Hiệu ứng Hình dạng Mạng Nơ-ron (Neuron Geometry Effect): Trong thực nghiệm tối ưu hóa cấu trúc mạng sâu của mô hình W&DNN, tác giả chứng minh rằng cấu trúc mạng dạng giảm (Descending Architecture: 500-400-300 nơ-ron) đạt hiệu năng hội tụ và độ chính xác phân loại cao nhất so với các mạng cân bằng (400-400-400), mạng tăng (300-400-500) và mạng hình thoi (350-500-350) khi cố định tổng số lượng nơ-ron là 1200.

Cấu trúc mạng ẩn	Phân bổ nơ-ron qua 3 lớp	Đánh giá hiệu năng học tập
Mạng giảm (Đề xuất)	500 - 400 - 300	Tối ưu nhất, hội tụ nhanh, chống overfitting
Mạng cân bằng	400 - 400 - 400	Trung bình, khả năng trừu tượng hóa giảm ở lớp cuối
Mạng tăng	300 - 400 - 500	Kém hiệu quả, nguy cơ cao bị nghẽn thông tin đầu vào
Mạng hình thoi	350 - 500 - 350	Phức tạp tính toán không cần thiết

2. Sức mạnh Đột phá của Thuộc tính Biến đổi Tích chéo: Việc tích hợp 4 cặp thuộc tính tích chéo vào phần Rộng của mạng W&DNN giúp mô hình nắm bắt được các tương tác tiềm ẩn phi tuyến, cải thiện đáng kể năng lực phân loại xác suất mua hàng $y \approx \hat{y} = \sigma(y_R + y_S)$.
3. Tính Vượt trội Tuyệt đối của Đồ thị Đa quan hệ $K$: Thực nghiệm so sánh giữa ba biến thể đồ thị chỉ ra rằng mô hình GNN hoạt động trên đồ thị $K$ đạt độ chính xác vượt trội hơn hẳn đồ thị $G$ và $H$. Đồ thị $K$ không chỉ lưu giữ quan hệ thứ tự tức thời mà còn mô hình hóa thành công độ trễ tương tác giữa các sản phẩm không nằm liền kề.
4. Cơ chế Nhúng Phiên (Session Embedding) Giải quyết Điểm nghẽn Đa nhãn: Mô hình $GNN.K$ kết hợp tầng nhúng phiên đề xuất ở Chương 4 đã tạo ra bước nhảy vọt về các chỉ số đánh giá quốc tế: chỉ số Recall@20 và MRR@20 vượt trội rõ rệt so với các mô hình baseline kinh điển như FNN, RNN (Hidasi et al., 2015), và SR-GNN (Wu et al., 2019).
5. Hiện tượng Tương quan Hành vi - Thời gian: Dữ liệu trích xuất từ phụ lục chỉ ra sự phân kỳ rõ rệt giữa tỷ lệ nhấp chuột và quyết định mua hàng thực tế theo khung giờ trong ngày, xác nhận rằng hành vi xem lướt (browsing) và hành vi chốt đơn (purchasing) bị chi phối mạnh mẽ bởi ngữ cảnh thời gian.

Implications đa chiều

• Về mặt Lý thuyết: Luận án định hình một khung tham chiếu mới cho việc kết hợp giữa học máy biểu diễn bảng và học sâu hình học. Nghiên cứu chứng minh rằng dữ liệu tương tác rời rạc hoàn toàn có thể được mô hình hóa tối ưu dưới dạng không gian liên tục thông qua kỹ thuật nhúng đồ thị có giám sát.
• Về mặt Phương pháp luận: Đề xuất quy trình chuẩn hóa và chuyển đổi bài toán gợi ý đa nhãn (với hàng chục nghìn phân lớp sản phẩm) thành bài toán nhị phân, mở ra phương pháp tiếp cận mới có thể áp dụng rộng rãi cho các bài toán phân loại cực lớn (Extreme Multi-label Classification) trong các lĩnh vực khác như xử lý ngôn ngữ tự nhiên hay tin sinh học.
• Về mặt Thực tiễn Doanh nghiệp: Cung cấp giải pháp công nghệ trực tiếp cho các doanh nghiệp thương mại điện tử (Shopee, Lazada, Tiki, Amazon...) để cá nhân hóa gợi ý cho người dùng ẩn danh ngay từ cú nhấp chuột thứ 2 hoặc thứ 3 của phiên làm việc, trực tiếp gia tăng tỷ lệ chuyển đổi (conversion rate), tăng doanh thu bán chéo (cross-selling) và bán kèm (up-selling).
• Về mặt Chính sách và Quản trị: Tạo tiền đề kỹ thuật cho việc xây dựng các hệ thống gợi ý tuân thủ nghiêm ngặt các quy định bảo vệ quyền riêng tư người dùng (như GDPR hay Nghị định 13/2023/NĐ-CP tại Việt Nam), do hệ thống chỉ khai thác dữ liệu hành vi ẩn danh trong phiên hiện tại mà không cần thu thập hay lưu trữ thông tin nhận dạng cá nhân (PII).

Limitations và Future Research

Nhìn nhận một cách khách quan và khoa học, luận án tồn tại một số giới hạn nghiên cứu (boundary conditions & limitations) cần được giải quyết trong tương lai:

1. Độ phức tạp tính toán và Không gian lưu trữ: Việc biểu diễn hàng triệu phiên làm việc dưới dạng đồ thị đa quan hệ $K$ đòi hỏi dung lượng bộ nhớ RAM/VRAM rất lớn để lưu trữ danh sách kề và ma trận tương tác. Khi quy mô danh mục sản phẩm mở rộng lên hàng triệu đỉnh, chi phí tính toán cho quá trình lan truyền tin trên đồ thị sẽ gia tăng mạnh.
2. Thiếu vắng Thông tin Đa phương thức (Multimodal Information): Mô hình hiện tại chủ yếu dựa trên mã định danh sản phẩm (item ID), danh mục và giá thành, chưa khai thác trực tiếp dữ liệu phi cấu trúc như hình ảnh sản phẩm (visual features) hay văn bản mô tả chi tiết sản phẩm (textual descriptions).
3. Hiện tượng Thưa thớt Dữ liệu ở Phiên Cực Ngắn: Đối với các phiên làm việc chỉ có 2 lượt nhấp chuột, cấu trúc đồ thị sinh ra còn quá thưa thớt (sparse), làm hạn chế khả năng trích xuất đặc trưng của mạng GNN.

Chương trình nghiên cứu tương lai (Future Research Agenda):

• Mở rộng Lý thuyết: Nghiên cứu ứng dụng Mạng nơ-ron siêu đồ thị (Hypergraph Neural Networks - HGNN) để mô hình hóa các mối quan hệ bậc cao phức tạp vượt ra ngoài các cặp đỉnh nhị phân truyền thống.
• Cải tiến Kỹ thuật: Tích hợp các mô hình nền tảng đa phương thức (Multimodal Foundation Models như CLIP) để nhúng trực tiếp hình ảnh và văn bản của sản phẩm vào không gian biểu diễn của đồ thị.
• Tối ưu hóa Hệ thống: Phát triển các thuật toán lấy mẫu đồ thị động (Dynamic Graph Sampling) và học đồ thị trực tuyến theo thời gian thực (Online Continual Graph Learning) nhằm phục vụ các hệ thống thương mại điện tử quy mô siêu lớn với độ trễ phản hồi dưới 50ms.

Tác động và ảnh hưởng

• Tác động Học thuật: Các công trình công bố từ luận án trên các tạp chí chuyên ngành uy tín đã đóng góp những bằng chứng thực nghiệm vững chắc cho cộng đồng nghiên cứu Hệ thống Gợi ý (RecSys) và Trí tuệ Nhân tạo tại Việt Nam và quốc tế, mở ra tiềm năng trích dẫn cao trong các nghiên cứu về Session-based Recommendation và Geometric Deep Learning.
• Chuyển đổi Công nghiệp (Industry Transformation): Mô hình đề xuất có khả năng chuyển giao công nghệ trực tiếp cho các sàn thương mại điện tử, nền tảng dịch vụ số (du lịch trực tuyến, phát nhạc trực tuyến, xem video theo yêu cầu), giúp nâng cao năng lực cạnh tranh số của doanh nghiệp thông qua việc tối ưu hóa trải nghiệm khách hàng thời gian thực.
• Lợi ích Xã hội và Quốc tế: Nâng cao hiệu quả kinh tế số, tiết kiệm thời gian tìm kiếm sản phẩm cho người tiêu dùng, đồng thời thúc đẩy xu hướng công nghệ "bảo vệ quyền riêng tư theo thiết kế" (Privacy by Design) trên phạm vi toàn cầu.

Đối tượng hưởng lợi

• Nghiên cứu sinh Tiến sĩ và Học viên Cao học: Tiếp cận khung phương pháp luận chuẩn mực về mô hình hóa đồ thị nâng cao (GNN, multi-relational graphs) và cách xử lý dữ liệu clickstream quy mô lớn.
• Các Nhà khoa học Dữ liệu (Data Scientists) và Kỹ sư AI: Thụ hưởng các kiến trúc mạng đã được kiểm chứng thực nghiệm (W&DNN cấu trúc giảm, FE-Transformer, GNN.K kết hợp Session Embedding) để triển khai trực tiếp vào các hệ thống khuyến nghị thực tế.
• Doanh nghiệp Thương mại Điện tử và Bán lẻ: Ứng dụng giải pháp nhằm gia tăng tức thì tỷ lệ giữ chân khách hàng (retention rate), tối đa hóa giá trị đơn hàng trung bình (AOV) mà không vi phạm các rào cản pháp lý về quyền riêng tư dữ liệu.
• Cơ quan Hoạch định Chính sách Kinh tế số: Có thêm căn cứ khoa học để khuyến khích các tiêu chuẩn công nghệ khai thác dữ liệu ẩn danh, thúc đẩy thương mại điện tử bền vững và minh bạch.

Câu hỏi chuyên sâu

1. Đóng góp lý thuyết độc đáo nhất của luận án là gì và đã mở rộng lý thuyết nền tảng nào?
Trả lời: Đóng góp độc đáo nhất là việc xây dựng mô hình đồ thị đa quan hệ $K$ và tầng nhúng phiên (Session Embedding Layer), mở rộng trực tiếp Lý thuyết Học sâu Hình học (Scarselli et al., 2009; Li et al., 2015) và mô hình SR-GNN (Wu et al., 2019). Luận án đã chứng minh rằng việc gán nhãn quan hệ đa bước nhảy $r_{\Delta t}$ cho các cạnh đồ thị cho phép mạng GNN bảo toàn nguyên vẹn cấu trúc thời gian và khoảng cách tương tác của clickstream, vượt qua giới hạn của đồ thị đơn thuần nhất.

2. Đột phá phương pháp luận của luận án thể hiện thế nào khi so sánh với các nghiên cứu quốc tế tiền nhiệm?
Trả lời: So với mô hình GRU4Rec của Hidasi và cộng sự (2015) vốn bị giới hạn bởi tính tuần tự cứng nhắc, và mô hình SR-GNN của Wu và cộng sự (2019) vốn chỉ xem xét quan hệ liền kề cục bộ, phương pháp luận của luận án đột phá ở hai khía cạnh: (1) Mô hình hóa đồng thời tri thức nội phiên (intra-session) và liên phiên (inter-session) thông qua đồ thị đa quan hệ; (2) Đề xuất giải thuật chuyển đổi bài toán đa nhãn cực lớn sang nhị phân hóa thông qua thuật toán NORM.Bin, giải quyết triệt để vấn đề bùng nổ tài nguyên tính toán.

3. Phát hiện thực nghiệm nào gây bất ngờ nhất và bằng chứng dữ liệu cụ thể là gì?
Trả lời: Phát hiện bất ngờ nhất là cấu trúc mạng nơ-ron học sâu dạng giảm (500-400-300 nơ-ron) đem lại hiệu năng vượt trội so với mạng cân bằng (400-400-400) dù có cùng tổng số lượng 1200 nơ-ron ẩn. Bằng chứng thực nghiệm tại Chương 2 chỉ ra rằng việc thu hẹp dần số nơ-ron qua các lớp đóng vai trò như một bộ trích lọc thông tin tự nhiên, giúp nén không gian biểu diễn đặc trưng hiệu quả trước khi đưa ra quyết định phân loại, ngăn chặn triệt để hiện tượng quá khớp (overfitting).

4. Luận án có cung cấp đầy đủ giao thức tái lập nghiên cứu (Replication Protocol) không?
Trả lời: Có. Luận án trình bày chi tiết toàn bộ quy trình tái lập bao gồm: bộ dữ liệu chuẩn quốc tế Yoochoose (kèm thống kê chi tiết tại Phụ lục A); các thuật toán chuẩn hóa dữ liệu được mô tả mã giả rõ ràng (Thuật toán 3.1 NORM.FNN, Thuật toán 3.2 NORM.GNN, Thuật toán 4.1 NORM.Bin, Thuật toán 4.2 MODEL.TRAIN); các siêu tham số huấn luyện (learning rate $10^{-3}$, hàm kích hoạt ReLU/Sigmoid/Softmax, kích thước véc-tơ nhúng $d$, số lớp ẩn) cùng cấu hình phần mềm PyTorch và DGL.

5. Chương trình nghiên cứu 10 năm tiếp theo được định hình như thế nào?
Trả lời: Lộ trình nghiên cứu dài hạn tập trung vào ba mũi nhọn: (1) Xây dựng hệ thống gợi ý dựa trên Siêu đồ thị động (Dynamic Hypergraph Neural Networks); (2) Tích hợp Trí tuệ Nhân tạo Đa phương thức (Multimodal AI) kết hợp biểu diễn hình ảnh, ngôn ngữ và đồ thị; (3) Phát triển các kiến trúc học liên tục (Continual Learning) phục vụ gợi ý thời gian thực với độ trễ phản hồi mức mili-giây trên các luồng dữ liệu clickstream vô hạn.

Kết luận

Luận án tiến sĩ của tác giả Nguyễn Tuấn Khang đã giải quyết trọn vẹn và xuất sắc các mục tiêu nghiên cứu đề ra thông qua các đóng góp cụ thể:

1. Hệ thống hóa toàn diện cơ sở lý thuyết về hệ gợi ý dựa trên phiên (SR) và phân định rõ ràng hai bài toán cơ sở: dự báo nhị phân hành vi mua hàng và gợi ý danh sách Top-$k$ sản phẩm tiếp theo.
2. Đề xuất thành công mô hình mạng Wide & Deep Neural Network cải tiến với 4 cặp thuộc tính biến đổi tích chéo đặc thù và mô hình FE-Transformer tích hợp lớp nhúng thuộc tính cho dữ liệu dạng bảng.
3. Tiên phong thiết kế 3 phương án biểu diễn đồ thị ($G, H, K$), trong đó đồ thị đa quan hệ $K$ thể hiện tính ưu việt vượt trội trong việc mô hình hóa các tương tác đa khoảng cách giữa hàng triệu phiên làm việc.
4. Phát triển mô hình GNN.K tích hợp tầng nhúng phiên (Session Embedding Layer) và cơ chế chuyển đổi bài toán đa nhãn thành phân loại nhị phân, thiết lập bước tiến đột phá về độ chính xác gợi ý (Recall@k, MRR@k).
5. Thực nghiệm quy mô lớn và kiểm chứng nghiêm ngặt trên bộ dữ liệu chuẩn quốc tế Yoochoose với hơn 9,2 triệu phiên làm việc, chứng minh tính đúng đắn và ưu thế vượt trội của các giải pháp đề xuất so với các mô hình cơ sở quốc tế.
6. Mở ra ba hướng nghiên cứu mới đầy tiềm năng: Mạng nơ-ron siêu đồ thị, Hệ gợi ý đa phương thức (Multimodal RecSys), và Học đồ thị liên tục theo thời gian thực (Real-time Continual Graph Learning).

Công trình không chỉ tạo nên bước tiến lý thuyết vững chắc trong lĩnh vực Khoa học máy tính và Hệ thống gợi ý mà còn mang giá trị ứng dụng thực tiễn to lớn, đóng góp thiết thực vào sự phát triển của nền kinh tế số và thương mại điện tử hiện đại.

Trích đoạn nội dung tài liệu

Chương 1. Tổng quan về hệ gợi ý và một số mô hình mạng nơ-ron học sâu phẩm mã danh mục, giá thành. Ngoài ra, do các nhấp chuột có tính thứ tự nên hệ thống có thể ghi nhận thêm cả thời điểm nhấp chuột.2 Bài toán 1 - Dự báo hành vi mua hàng Bài toán 1. Cho một chuỗi nhấp chuột có tính thứ tự theo thời gian được sinh ra từ một phiên làm việc của khách hàng khi lựa chọn sản phẩm, cần xây dựng mô hình dự báo xem liệu khách hàng có mua hàng trong phiên làm việc hiện tại không? Bài toán 1 giả thiết mỗi phiên làm việc là một khách hàng độc lập và đặc trưng về hành vi mua của họ được thể hiện ẩn thông qua các thuộc tính của mỗi phiên làm việc như số lần, tần suất, thời gian nhấp chuột, v.

Như vậy, mục tiêu bài toán 1 là từ chuỗi dữ liệu nhấp chuột của khách hàng trong từng phiên làm việc cụ thể, cần xây dựng một mô hình dự báo khả năng mua hàng của khách hàng. Với mục tiêu này, bài toán đề ra được đưa về bài toán phân loại nhị phân, trong đó mô hình phân loại trả về kết quả là xác suất xảy ra của sự kiện ”mua hàng”.3 Bài toán 2 - Hệ gợi ý top − k Bài toán 2. Cho một chuỗi nhấp chuột có tính thứ tự theo thời gian được sinh ra từ một phiên làm việc của khách hàng khi lựa chọn sản phẩm, cần xây dựng mô hình gợi ý xem liệu khách hàng lựa chọn mặt hàng nào tiếp theo trong phiên làm việc hiện tại? Rõ ràng Bài toán 2 có tính tổng quát hơn Bài toán 1. Mục tiêu của Bài toán 2 nhằm xây dựng một mô hình gợi ý đưa ra một hoặc một số sản phẩm nào đó mà khách hàng có khả năng lựa chọn tiếp theo.

Lưu ý rằng hệ gợi ý này thuần túy chỉ dựa vào chuỗi sự kiện tuần tự trong phiên làm việc hiện tại của người dùng đó, thay vì phải dựa vào thông tin quá khứ của họ. Bài toán 2 chính là dạng xây dựng hệ gợi ý dựa vào phiên làm việc (bài toán SR). Bài toán SR được mô tả toán học như sau, giả sử X = {x1 , x2 , ., xn } là một danh mục các đối tượng duy nhất (ví dụ như danh mục mã sản phẩm) và n là số lượng sản phẩm. Tập sản phẩm này sẽ được các khách hàng lựa chọn trong các phiên làm việc của họ.

Như vậy ta có đối tượng phiên làm việc s được biểu diễn như sau s = {xs,1 , xs,2 , ., xs,c } trong đó xs,i ∈ X, ∀i : 1 ≤ i ≤ c có tính thứ tự theo chuỗi thời gian nhằm thể hiện một hành động nhấp chuột nào đó của người dùng trong phiên làm việc s. Với vấn đề như vậy, bài toán SR là mô hình dự báo xem liệu người dùng sẽ lựa chọn đối tượng (sản phẩm) xs,m+1 tiếp theo nào trong phiên làm việc s đó. Với 11 Chương 1. Tổng quan về hệ gợi ý và một số mô hình mạng nơ-ron học sâu mô hình gợi ý này cho một phiên làm việc s cụ thể, hệ gợi ý sẽ trả về hàm ŷ là một véc-tơ chứa danh mục k sản phẩm gợi ý với xác xuất được lựa chọn từ cao tới thấp.

Danh mục sản phẩm gợi ý này được gọi là top − k sản phẩm gợi ý cho người dùng [19].3 minh họa mô hình SR đưa ra dự báo top − 2 sản phẩm cùng xác xuất mà khách hàng sẽ lựa chọn để nhấp tiếp.3: Bài toán gợi ý top-k sản phẩm 1.3 Lý thuyết mạng nơ-ron học sâu Phần này trình bày lý thuyết cơ bản để giải quyết Bài toán 1 sử dụng các mô hình mạng nơ-ron học sâu. Mạng nơ-ron truyền thẳng (feedforward neural network, FNN ) [29], [30] là một loại mạng nơ-ron học sâu cơ bản mà thông tin chỉ chuyển theo một hướng, từ lớp đầu vào tới lớp đầu ra, mà không có bất kỳ vòng lặp phản hồi nào. Điều này giúp cho mô hình mạng FNN mặc dù là loại mạng nơ-ron tương đối đơn giản nhưng được sử dụng rộng rãi trong nhiều ứng dụng [31]. Một số mô hình phổ biến nhất của mạng nơ-ron truyền thẳng như sau, trong đó có một số mô hình sẽ được nghiên cứu và thực nghiệm ở phần tiếp theo của luận án.

• Các mạng nơ-ron sử dụng nhiều lớp nơ-ron theo kiến trúc cơ sở của Multi-layer perceptron [32] nhằm xử lý các dữ liệu dạng bảng. Bao gồm mạng nơ-ron học sâu truyền thẳng, mạng nơ-ron sâu và rộng hay mạng nơ-ron phân tích ma trận nhân tử. • Mạng nơ-ron tích chập (CNN ) [33]–[35]: Đây là một loại mạng nơ-ron cải tiến được chuyên biệt hóa, thường được sử dụng cho xử lý hình ảnh và video. Nó được thiết kế để tự động xác định các đặc trưng trong hình ảnh, chẳng hạn như cạnh, góc và các cấu trúc khác bằng cách áp dụng bộ lọc tích chập vào dữ liệu đầu vào.

• Mạng nơ-ron hồi quy (RNN ) [36]–[38]: Mạng nơ-ron tiến hóa được thiết kế để xử lý các đầu vào có dạng dữ liệu tuần tự, chẳng hạn như giọng nói, văn 12 Chương 1. Tổng quan về hệ gợi ý và một số mô hình mạng nơ-ron học sâu bản và dữ liệu chuỗi thời gian. RNN có khả năng bắt các phụ thuộc thời gian trong dữ liệu đầu vào, làm cho nó phù hợp cho nhiều ứng dụng, chẳng hạn như dịch ngôn ngữ, nhận dạng giọng nói và tạo âm nhạc. • Mạng nơ-ron biến đổi (Transformer ) [39]–[41]: Kiến trúc mạng Transformer được giới thiệu như một phương án thay thế kiến trúc mạng RNN trong việc xử lý dữ liệu tuần tự, chẳng hạn như ngôn ngữ.

Hạn chế của mô hình RNN là không xử lý song song được chuỗi dữ liệu đầu vào và không thể nắm bắt được sự phụ thuộc dài hạn. Thay vì kết nối tuần tự của RNN, Transformer sử dụng lớp tự chú ý cho phép mô hình nắm bắt sự phụ thuộc giữa các thành phần khác nhau trong chuỗi đầu vào. Điều này khiến cho Transformer có thể được thực hiện song song và cho phép nó xử lý các chuỗi đầu vào dài hơn.1 Mô hình mạng nơ-ron học sâu truyền thẳng Với sự phát triển trong nhiều năm qua, mạng nơ-ron học sâu đã kết quả khả quan trong việc ứng dụng thành công cụ thể trong nhiều lĩnh vực khác nhau. Một số mô hình mạng nơ-ron học sâu đã được nghiên cứu phát triển nhằm giải quyết các bài toán có dữ liệu dạng bảng gồm cả thuộc tính số và danh mục.

Phần này nghiên cứu một số mô hình cải tiến cụ thể của mạng nơ-ron truyền thẳng FNN nhằm cung cấp cái nhìn tổng quan hơn về kỹ thuật học sâu trong việc giải quyết Bài toán 1. Ba mô hình có tính chất tương tự như FNN nhưng khác nhau ở phương pháp tiền xử lý lớp nhúng trước khi vào lớp học sâu truyền thẳng. Các biến thể của mô hình FNN được minh họa ở Hình 1.4: Một số mô hình nơ-ron sử dụng trong dự báo chuỗi nhấp chuột Mạng nơ-ron phân tích ma trận nhân tử (FMNN) Mạng FMNN (Factorization-machine supported neural networks) là mạng nơ-ron truyền thẳng có khả năng học được các véc-tơ nhúng của các thuộc tính danh mục thông quá lớp tiền huấn luyện FM (Factorization Machine) [42], [43], đây là hướng tiếp cận xây dựng mô hình gợi ý sử dụng lọc cộng tác. Quá trình tiền huấn luyện 13 Chương 1.

Tổng quan về hệ gợi ý và một số mô hình mạng nơ-ron học sâu mô hình FM trước khi áp dụng mạng nơ-ron truyền thẳng dẫn đến hai vấn đề của phương pháp này: (1) các tham số của lớp nhúng chịu ảnh hưởng lớn từ lớp MF; và (2) hiệu suất của mạng bị giảm do sai số sinh ra từ quá trình tiền xử lý bằng FM trước khi đưa vào mạng học sâu truyền thẳng. Bên cạnh đó, FMNN chỉ học được các tương tác bậc cao của các trường thuộc tính. Mạng nơ-ron tích chập (PNN) Mạng PNN (Product-based neural network ) cũng là mạng nơ-ron truyền thẳng trong đó thêm vào một lớp tích véc-tơ trước lớp ẩn đầu tiên nhằm giúp mạng nắm được các tương tác bậc cao giữa các trường thuộc tính [44]. Dựa trên phép tích véc-tơ, phương pháp này chia làm 3 phiên bản khác nhau: I-PNN (Inner PNN ), O- PNN (Outer PNN ) và PNN, trong đó I-PNN dựa trên phép nhân véc-tơ vô hướng, O-PNN sử dụng tích có hướng của véc-tơ, và PNN sử dụng cả tích vô hướng và có hướng của véc-tơ.

Giống như FMNN, tất cả các phiên bản của PNN đều bỏ qua tương tác bậc thấp của thuộc tính. Mạng nơ-ron rộng và sâu (W&DNN) Mạng W&DNN là mạng nơ-ron hỗn hợp cấu thành bởi hai nhánh rộng và sâu. Theo Cheng và các cộng sự [45], mạng này có khả năng học được tương tác bậc thấp lẫn bậc cao của các trường thuộc tính, đồng thời tận dụng được khả năng ghi nhớ của mô hình tuyến tính và khả năng tổng quát hóa của mạng nơ-ron học sâu vào trong cùng một mô hình. Đặc biệt, khả năng của mạng càng được phát huy trong trường hợp bộ dữ liệu đầu vào lớn với số lượng các trường thuộc tính cao.1: Bảng so sánh các mô hình nơ-ron truyền thẳng Tiền huấn luyện Tương tác bậc cao Tương tác bậc thấp FMNN v v PNN v W&DNN v v 1.2 Mô hình mạng nơ-ron rộng và sâu Với hướng nghiên cứu cứu ứng dụng mạng nơ-ron học sâu cho Bài toán 1, yêu cầu đề ra của mô hình dự báo là phải học được mối tương tác bậc thấp cũng như bậc cao của các trường thuộc tính.

Do vậy, tác giả sử dụng mạng nơ-ron học rộng và sâu để phục vụ mục tiêu đề ra. Mô hình này được đề xuất năm 2016 bởi một nhóm làm việc trong Google [45]. Tổng quan về hệ gợi ý và một số mô hình mạng nơ-ron học sâu Hình 1.5: Sơ đồ cấu trúc mạng nơ-ron rộng và sâu Mô hình rộng và sâu là một mạng nơ-ron hỗn hợp với cấu trúc bao gồm hai nhánh được mô tả như sau: Phần Rộng Phần rộng là mô hình tuyến tính có dạng: y = WTx + b (1.1) trong đó y là giá trị dự báo, x = {x1 , x2 , ., xm } là véc-tơ có m thuộc tính, W = {w1 , w2 , ., wm } là hệ số tương ứng của mô hình (W T là ma trận chuyển vị của W ) và b là độ lệch. Trường thuộc tính đầu vào bao gồm các thuộc tính thô và một số thuộc tính đặc biệt được tạo ra bằng phép biến đổi tích chéo (cross product transformation) như công thức 1.2: d Y φk (x) = xci ki , cki ∈ {0, 1} (1.