Nghiên Cứu Phát Triển Kỹ Thuật Gợi Ý Mua Hàng Theo Phiên Dựa Trên Mô Hình Học Sâu

Nghiên cứu phát triển kỹ thuật gợi ý mua hàng theo phiên dựa trên mô hình học sâu, nâng cao trải nghiệm người dùng và tối ưu hóa doanh thu.

• Tác giả: Nguyễn Tuấn Khang
• Người hướng dẫn: TS. Nguyễn Phú Bình
• Trường học: Học viện Khoa học và Công nghệ
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nghiên Cứu Kỹ Thuật Gợi Ý Mua Hàng Dựa Trên Mô Hình Học Sâu
• Loại tài liệu: luận án tiến sĩ
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. MỞ ĐẦU
• 1.1. Tính cấp thiết của đề tài
• 1.2. Mục tiêu của luận án
• 1.3. Phạm vi nghiên cứu
• 1.4. Phương pháp nghiên cứu
• 2. TỔNG QUAN VỀ HỆ GỢI Ý VÀ MỘT SỐ MÔ HÌNH MẠNG NƠ-RON HỌC SÂU
• 2.1. Bài toán hệ gợi ý
• 2.1.1. Tổng quan về hệ gợi ý
• 2.1.2. Phân loại bài toán hệ gợi ý
• 2.1.3. Hai bài toán cơ sở
• 2.1.3.1. Định nghĩa phiên làm việc
• 2.1.3.2. Bài toán 1 - Dự báo hành vi mua hàng
• 2.1.3.3. Bài toán 2 - Hệ gợi ý top − k
• 2.2. Lý thuyết mạng nơ-ron học sâu
• 2.2.1. Mô hình mạng nơ-ron học sâu truyền thẳng
• 2.2.2. Mô hình mạng nơ-ron rộng và sâu
• 2.2.3. Mô hình mạng nơ-ron biến đổi
• 2.2.4. Lý thuyết mạng nơ-ron đồ thị
• 2.2.4.1. Định nghĩa về đồ thị
• 2.2.4.2. Biểu diễn đồ thị
• 2.2.4.3. Mô hình mạng nơ-ron đồ thị
• 2.3. Phép biến đổi nhúng
• 2.3.1. Khái niệm phép biến đổi nhúng
• 2.3.2. Phép biến đổi nhúng với dữ liệu rời rạc
• 2.3.3. Phép biến đổi nhúng với dữ liệu theo chuỗi tuần tự
• 2.3.4. Phép biến đổi nhúng với dữ liệu đồ thị
• 2.4. Các nghiên cứu liên quan
• 3. ĐỀ XUẤT MÔ HÌNH MẠNG NƠ-RON HỌC SÂU CHO BÀI TOÁN MUA HÀNG
• 3.1. Phát biểu bài toán
• 3.2. Các mô hình đề xuất
• 3.2.1. Mạng nơ-ron học rộng và sâu
• 3.2.2. Mạng nơ-ron biến đổi
• 3.3. Kỹ thuật thực nghiệm
• 3.3.1. Bộ dữ liệu thực nghiệm
• 3.3.2. Xử lý và trích chọn đặc trưng
• 3.3.3. Cách thức chia dữ liệu
• 3.3.4. Độ đo đánh giá mô hình
• 3.4. Kết quả thực nghiệm
• 3.4.1. Kết quả thực nghiệm
• 3.4.2. So sánh với các nghiên cứu liên quan
• 3.5. Kết luận chương
• 4. ĐỀ XUẤT MÔ HÌNH MẠNG NƠ-RON ĐỒ THỊ CHO BÀI TOÁN TOP-K
• 4.1. Phát biểu bài toán
• 4.2. Đề xuất thiết kế đồ thị
• 4.2.1. Biểu diễn phiên làm việc bằng đồ thị
• 4.2.2. Đề xuất thiết kế đồ thị
• 4.2.3. Minh họa biểu diễn các đồ thị đề xuất
• 4.2.4. Thảo luận về các các đồ thị đề xuất
• 4.3. Các mô hình đề xuất
• 4.3.1. Mạng nơ-ron truyền thẳng (FNN)
• 4.3.2. Mạng nơ-ron đồ thị (GNN)
• 4.4. Kỹ thuật thực nghiệm
• 4.4.1. Tiền xử lý dữ liệu
• 4.4.2. Chuẩn hóa dữ liệu huấn luyện
• 4.4.3. Độ đo đánh giá mô hình
• 4.4.4. Tối ưu hóa hàm mất mát
• 4.5. Kết quả và nhận xét
• 4.5.1. Kết quả thực nghiệm
• 4.5.2. So sánh với các nghiên cứu liên quan
• 4.6. Kết luận chương
• 5. ĐỀ XUẤT CẢI TIẾN MÔ HÌNH GNN VỚI PHÉP NHÚNG
• 5.1. Thách thức của bài toán phân loại đa nhãn
• 5.2. Phương pháp nhúng đồ thị
• 5.2.1. Phép biến đổi nhúng đỉnh
• 5.2.2. Phép biến đổi nhúng đồ thị
• 5.3. Đề xuất cải tiến mô hình GNN
• 5.3.1. Chuyển đổi bài toán đa nhãn thành nhị phân
• 5.3.2. Đề xuất mạng nơ-ron truyền thẳng nhị phân
• 5.3.3. Đề xuất mô hình nhúng đồ thị K nhị phân
• 5.4. Kỹ thuật thực nghiệm
• 5.4.1. Chuẩn hóa dữ liệu huấn luyện
• 5.4.2. Thuật toán huấn luyện mô hình
• 5.4.3. Tối ưu mô hình GNN
• 5.5. Kết quả và nhận xét
• 5.5.1. Kết quả thực nghiệm
• 5.5.2. So sánh với các nghiên cứu liên quan
• 5.6. Kết luận chương
• KẾT LUẬN
• Kết luận chung. Kết luận chung
• Kết quả đạt được. Kết quả đạt được
• Các đóng góp chính của luận án. Các đóng góp chính của luận án
• Hướng phát triển trong tương lai. Hướng phát triển trong tương lai
• CÁC CÔNG TRÌNH CỦA TÁC GIẢ
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC
• A. Bộ dữ liệu Yoochoose
• A.1. Mô tả bộ dữ liệu
• A.2. Một số phân tích về bộ dữ liệu
• A.2.1. Phân tích số lượng nhấp theo phiên
• A.2.2. Phân tích số lượng nhấp và mua hàng theo giờ

Tóm tắt

I. Tổng Quan Về Nghiên Cứu Kỹ Thuật Gợi Ý Mua Hàng Học Sâu

Thương mại điện tử phát triển mạnh mẽ, mang đến sự đa dạng sản phẩm và dịch vụ cho người dùng. Sự chuyển dịch từ mua sắm truyền thống sang trực tuyến tạo ra lượng lớn dữ liệu về hành vi người dùng. Việc phân tích dữ liệu này giúp các nhà cung cấp dịch vụ nâng cao trải nghiệm khách hàng và tăng doanh thu. Các hệ thống gợi ý ngày càng được phát triển để cung cấp trải nghiệm cá nhân hóa tốt nhất. Bằng cách sử dụng các mô hình gợi ý tiên tiến, người dùng có thể khám phá nội dung, sản phẩm và dịch vụ phù hợp, từ đó nâng cao sự hài lòng. Do đó, phát triển một hệ thống gợi ý hiệu quả là rất quan trọng. Theo [1], ngành công nghiệp thương mại điện tử đã trải qua sự tăng trưởng đột phá. Từ đó, tối ưu hóa gợi ý là vô cùng cần thiết.

1.1. Sự Phát Triển Của Thương Mại Điện Tử Và Nhu Cầu Gợi Ý

Thương mại điện tử đang bùng nổ, với sự gia tăng về số lượng người dùng và tương tác trên các nền tảng trực tuyến lớn. Sự phát triển này mang lại nhiều lựa chọn cho người dùng, nhưng cũng gây khó khăn trong việc tìm kiếm sản phẩm phù hợp. Các hệ thống gợi ý đóng vai trò quan trọng trong việc giúp người dùng khám phá sản phẩm họ có thể quan tâm, tăng trải nghiệm người dùng và thúc đẩy doanh số. Các thuật toán gợi ý được cải tiến liên tục để đáp ứng nhu cầu ngày càng cao của thị trường. Việc áp dụng học sâu vào Recommender system hứa hẹn nhiều tiềm năng.

1.2. Vai Trò Quan Trọng Của Hệ Thống Gợi Ý Trong Bán Lẻ

Hệ thống gợi ý trở thành công cụ không thể thiếu trong việc nâng cao trải nghiệm khách hàng và thúc đẩy kinh doanh. Các hệ thống này giúp người dùng khám phá sản phẩm, nội dung và dịch vụ phù hợp với sở thích của họ, từ đó tăng sự hài lòng và gắn bó. Bằng cách phân tích hành vi người dùng, hệ thống gợi ý cung cấp các đề xuất cá nhân hóa, giúp khách hàng dễ dàng tìm thấy những gì họ cần. Tối ưu hóa gợi ý là một phần quan trọng trong chiến lược kinh doanh của các doanh nghiệp bán lẻ hiện đại.

II. Thách Thức Trong Kỹ Thuật Gợi Ý Mua Hàng Cá Nhân Hóa

Các mô hình gợi ý truyền thống tập trung vào sở thích dài hạn của khách hàng, bỏ qua các tương tác ngắn hạn. Các phương pháp như đề xuất dựa trên nội dung và lọc dựa trên cộng tác có hạn chế trong việc nắm bắt bản chất động của hành vi người dùng, đặc biệt là khi sở thích thay đổi theo từng phiên làm việc. Điều này tạo ra nhu cầu về các phương pháp gợi ý linh hoạt hơn, có khả năng thích ứng với ngữ cảnh hiện tại của người dùng. Sự xuất hiện của các mô hình học sâu và mạng nơ-ron mở ra hướng đi mới cho việc giải quyết các thách thức này. Chính vì vậy, gợi ý mua hàng dựa trên phiên làm việc đang trở thành xu hướng.

2.1. Hạn Chế Của Các Mô Hình Gợi Ý Mua Hàng Truyền Thống

Các mô hình truyền thống thường không thể xử lý thông tin cho người dùng ẩn danh hoặc nắm bắt được sự thay đổi nhanh chóng trong sở thích của khách hàng. Phương pháp đề xuất dựa trên nội dung yêu cầu thông tin chi tiết về sản phẩm và người dùng. Lọc dựa trên cộng tác gặp khó khăn khi có ít dữ liệu tương tác. Cả hai phương pháp này đều không hiệu quả trong việc dự đoán hành vi người dùng trong một phiên làm việc cụ thể. Do đó, cần các phương pháp mới để giải quyết các hạn chế này, đặc biệt với Recommender system trong thương mại điện tử.

2.2. Sự Thay Đổi Nhanh Chóng Của Hành Vi Người Dùng Trong Phiên

Hành vi người dùng không phải là tĩnh mà thay đổi liên tục trong một phiên làm việc. Sở thích có thể thay đổi dựa trên các sản phẩm đã xem, thông tin tìm kiếm và các yếu tố ngữ cảnh khác. Các mô hình gợi ý cần có khả năng thích ứng với những thay đổi này để cung cấp các đề xuất phù hợp. Điều này đòi hỏi các thuật toán có khả năng xử lý dữ liệu theo thời gian thực và nắm bắt các mẫu tương tác phức tạp. Các mô hình Học sâu có khả năng học các biểu diễn dữ liệu phức tạp, giúp giải quyết vấn đề này hiệu quả hơn.

III. Phương Pháp Gợi Ý Mua Hàng Dựa Trên Mô Hình Học Sâu

Phương pháp gợi ý mua hàng dựa trên phiên (Session-based recommendation) là một hướng tiếp cận đầy hứa hẹn để cung cấp các gợi ý chính xác và kịp thời dựa trên tương tác cấp phiên của người dùng. Nhiệm vụ là dự đoán hành vi tiếp theo của người dùng dựa trên hành vi của phiên làm việc hiện tại. Các mô hình học sâu có khả năng học các biểu diễn phức tạp của dữ liệu phiên, giúp cải thiện độ chính xác của gợi ý. Việc nghiên cứu và phát triển các mô hình này là rất quan trọng để nâng cao trải nghiệm khách hàng và tăng doanh thu. Các mô hình mạng nơ-ron như RNN, CNN và Transformer đang được ứng dụng rộng rãi trong lĩnh vực này.

3.1. Giới Thiệu Về Hệ Thống Gợi Ý Dựa Trên Phiên Làm Việc

Hệ thống gợi ý dựa trên phiên (Session-based recommendation) tập trung vào việc dự đoán hành vi của người dùng trong một phiên làm việc cụ thể. Các mô hình này sử dụng thông tin về các sản phẩm đã xem, tìm kiếm và tương tác khác trong phiên để đưa ra các đề xuất. Ưu điểm của phương pháp này là không yêu cầu thông tin về lịch sử mua sắm dài hạn của người dùng, giúp giải quyết vấn đề "khởi đầu lạnh". Khai phá dữ liệu từ phiên làm việc là yếu tố then chốt.

3.2. Ứng Dụng Học Sâu Để Phân Tích Dữ Liệu Phiên Giao Dịch

Học sâu cung cấp các công cụ mạnh mẽ để phân tích dữ liệu phiên giao dịch. Các mô hình mạng nơ-ron có thể học các biểu diễn phức tạp của dữ liệu, giúp nắm bắt các mối quan hệ giữa các sản phẩm và hành vi của người dùng. Ví dụ: mạng nơ-ron hồi quy (RNN) có thể xử lý chuỗi các sự kiện trong phiên, trong khi mạng nơ-ron tích chập (CNN) có thể trích xuất các đặc trưng quan trọng từ dữ liệu. Phân tích dữ liệu hiệu quả giúp tối ưu hóa gợi ý.

3.3. Các Kiến Trúc Mạng Nơ ron Phổ Biến Trong Gợi Ý Dựa Trên Phiên

Một số kiến trúc mạng nơ-ron phổ biến trong gợi ý mua hàng dựa trên phiên bao gồm: RNN (đặc biệt là LSTM và GRU) để xử lý chuỗi tương tác, CNN để trích xuất các đặc trưng từ dữ liệu phiên, và Transformer để nắm bắt các mối quan hệ dài hạn giữa các sản phẩm. Các mô hình này thường được kết hợp với các kỹ thuật embedding để biểu diễn sản phẩm và người dùng dưới dạng các vector số. Mô hình hóa dữ liệu là yếu tố quan trọng.

IV. Ứng Dụng Mạng Nơ ron Đồ Thị Trong Gợi Ý Mua Hàng Top K

Để xây dựng hệ gợi ý top − k, việc biểu diễn dữ liệu phiên làm việc và thể hiện rõ mối quan hệ giữa các phiên dữ liệu là rất quan trọng. Đồ thị là hướng tiếp cận phù hợp để biểu diễn dữ liệu phiên làm việc của hàng triệu khách hàng. Mô hình mạng nơ-ron đồ thị có thể tận dụng cấu trúc đồ thị để học các biểu diễn tốt hơn về sản phẩm và người dùng. Luận án đề xuất biểu diễn đồ thị theo nhiều cách tiếp cận khác nhau, từ đồ thị đơn đến đồ thị đa quan hệ. Mục tiêu là cải thiện khả năng đưa ra các gợi ý sản phẩm cá nhân, phù hợp và kịp thời cho khách hàng. Dựa theo [14], biểu diễn đồ thị phù hợp với hệ thống Recommender system.

4.1. Biểu Diễn Dữ Liệu Phiên Làm Việc Bằng Đồ Thị

Đồ thị cho phép biểu diễn các mối quan hệ giữa các sản phẩm trong một phiên làm việc, cũng như giữa các phiên làm việc khác nhau. Các nút trong đồ thị có thể đại diện cho sản phẩm, người dùng hoặc phiên, trong khi các cạnh đại diện cho các tương tác hoặc mối quan hệ giữa chúng. Việc lựa chọn cách biểu diễn đồ thị phù hợp có ảnh hưởng lớn đến hiệu quả của mô hình gợi ý. Cần cân nhắc kỹ các yếu tố như độ phức tạp của đồ thị, khả năng nắm bắt các mối quan hệ quan trọng và khả năng mở rộng.

4.2. Ưu Điểm Của Mạng Nơ ron Đồ Thị Trong Xử Lý Dữ Liệu Đồ Thị

Mạng nơ-ron đồ thị (GNN) được thiết kế đặc biệt để xử lý dữ liệu đồ thị. Các mô hình GNN có thể học các biểu diễn của các nút và cạnh trong đồ thị, đồng thời tận dụng cấu trúc đồ thị để cải thiện độ chính xác của dự đoán. GNN có khả năng lan truyền thông tin giữa các nút lân cận, giúp nắm bắt các mối quan hệ phức tạp trong đồ thị. Ứng dụng GNN vào Data mining giúp cải thiện độ chính xác và tính hiệu quả.

4.3. Các Phương Pháp Biểu Diễn Đồ Thị Khác Nhau Cho Bài Toán Gợi Ý

Có nhiều cách khác nhau để biểu diễn đồ thị cho bài toán gợi ý. Một số phương pháp phổ biến bao gồm: đồ thị phiên (mỗi phiên là một đồ thị riêng biệt), đồ thị sản phẩm (các sản phẩm là các nút, cạnh thể hiện sự đồng xuất hiện trong các phiên), và đồ thị người dùng-sản phẩm (các nút đại diện cho người dùng và sản phẩm, cạnh thể hiện các tương tác). Việc lựa chọn phương pháp biểu diễn phù hợp phụ thuộc vào đặc điểm của dữ liệu và mục tiêu của bài toán. Sử dụng Data modeling phù hợp mang lại kết quả tốt nhất.

V. Cải Tiến Mô Hình GNN Với Phép Nhúng Đồ Thị Để Gợi Ý Mua Hàng

Luận án đề xuất phương pháp nhúng đồ thị để tối ưu hóa kết quả của mô hình gợi ý. Phép nhúng đồ thị cho phép phát hiện thêm sự tương đồng trong quá trình khách hàng lựa chọn sản phẩm, từ đó đưa ra gợi ý top − k sản phẩm phù hợp. Phương pháp này giúp mô hình học được các biểu diễn tốt hơn về đồ thị phiên làm việc. Các kỹ thuật embedding đỉnh và đồ thị con có thể được sử dụng để cải thiện hiệu quả của mô hình. Sự kết hợp giữa GNN và embedding giúp tối ưu hóa gợi ý.

5.1. Tầm Quan Trọng Của Phép Nhúng Đồ Thị Trong Bài Toán Phân Loại Đa Nhãn

Trong bài toán phân loại đa nhãn, mỗi phiên có thể liên quan đến nhiều sản phẩm khác nhau. Phép nhúng đồ thị giúp biểu diễn mỗi phiên dưới dạng một vector số, từ đó cho phép mô hình học các mối quan hệ giữa các phiên và các sản phẩm. Điều này đặc biệt quan trọng khi số lượng sản phẩm lớn và các phiên có độ dài khác nhau. Kỹ thuật word embedding hoặc product embedding có thể được áp dụng.

5.2. Các Kỹ Thuật Nhúng Đồ Thị Phổ Biến Node Embedding Graph Embedding

Có hai loại kỹ thuật embedding chính: embedding đỉnh (biểu diễn mỗi nút trong đồ thị dưới dạng một vector) và embedding đồ thị (biểu diễn toàn bộ đồ thị dưới dạng một vector). Embedding đỉnh có thể được sử dụng để biểu diễn sản phẩm hoặc người dùng, trong khi embedding đồ thị có thể được sử dụng để biểu diễn phiên. Các kỹ thuật embedding phổ biến bao gồm Node2Vec, DeepWalk và Graph Convolutional Networks. Lựa chọn kỹ thuật embedding phù hợp là rất quan trọng.

5.3. Kết Hợp GNN Và Embedding Để Cải Thiện Gợi Ý Mua Hàng Top K

Bằng cách kết hợp GNN và embedding, chúng ta có thể tận dụng lợi thế của cả hai phương pháp. GNN có thể học các biểu diễn tốt hơn về cấu trúc đồ thị, trong khi embedding có thể biểu diễn các nút và cạnh dưới dạng các vector số. Sự kết hợp này cho phép mô hình nắm bắt các mối quan hệ phức tạp trong dữ liệu và đưa ra các đề xuất cá nhân hóa chính xác hơn. Mô hình Hybrid models này mang lại hiệu quả vượt trội.

VI. Đánh Giá Hiệu Quả Và Hướng Phát Triển Kỹ Thuật Gợi Ý Mua Hàng

Việc đánh giá hiệu quả của các mô hình gợi ý là rất quan trọng để đảm bảo rằng chúng mang lại kết quả tốt nhất. Các độ đo phổ biến bao gồm độ chính xác, độ tin cậy và độ bao phủ. Các kết quả thực nghiệm cần được so sánh với các mô hình cơ sở và các nghiên cứu liên quan để đánh giá tính hiệu quả của mô hình đề xuất. Các hướng phát triển trong tương lai bao gồm việc tích hợp thêm thông tin ngữ cảnh và cá nhân hóa, cũng như việc sử dụng các mô hình học sâu tiên tiến hơn. Đánh giá hiệu quả là bước không thể thiếu. Dựa theo [3], Performance evaluation là quan trọng nhất.

6.1. Các Độ Đo Đánh Giá Hiệu Quả Của Mô Hình Gợi Ý Mua Hàng

Các độ đo phổ biến để đánh giá hiệu quả của mô hình gợi ý bao gồm: độ chính xác (tỷ lệ các sản phẩm được gợi ý mà người dùng thực sự mua), độ tin cậy (mức độ mà mô hình có thể gợi ý các sản phẩm phù hợp với sở thích của người dùng), và độ bao phủ (tỷ lệ sản phẩm trong danh mục mà mô hình có thể gợi ý). Các độ đo này cần được xem xét cùng nhau để đánh giá toàn diện hiệu quả của mô hình. Accuracy và Reliability là hai yếu tố then chốt.

6.2. So Sánh Với Các Nghiên Cứu Liên Quan Về Gợi Ý Mua Hàng

Để đánh giá tính hiệu quả của mô hình đề xuất, cần so sánh kết quả với các nghiên cứu liên quan trong lĩnh vực gợi ý mua hàng. So sánh này giúp xác định những cải tiến mà mô hình mang lại so với các phương pháp hiện có. Các yếu tố cần so sánh bao gồm độ chính xác, độ tin cậy, độ phức tạp tính toán và khả năng mở rộng của mô hình. Đối chiếu với các Recommendation algorithms khác.

6.3. Hướng Phát Triển Trong Tương Lai Của Kỹ Thuật Gợi Ý Mua Hàng

Các hướng phát triển trong tương lai của kỹ thuật gợi ý mua hàng bao gồm: tích hợp thêm thông tin ngữ cảnh (ví dụ: thời gian, địa điểm, thiết bị) để cải thiện độ chính xác của gợi ý, cá nhân hóa sâu hơn bằng cách sử dụng thông tin về sở thích, lịch sử mua sắm và hành vi người dùng, và sử dụng các mô hình học sâu tiên tiến hơn (ví dụ: Transformer, Knowledge graph recommendation) để nắm bắt các mối quan hệ phức tạp trong dữ liệu. Personalization là xu hướng tất yếu.

Nội dung chính

Tổng quan luận án

Sự tăng trưởng của ngành thương mại điện tử và các nền tảng trực tuyến đã tạo ra khối lượng tương tác lớn giữa người dùng và hệ sinh thái sản phẩm. Tuy nhiên, sự đa dạng của hàng hóa cũng gây khó khăn cho khách hàng trong việc tìm kiếm các sản phẩm phù hợp với nhu cầu cá nhân. Các hệ thống gợi ý truyền thống chủ yếu dựa trên phương pháp lọc theo nội dung (Content-Based Filtering) hoặc lọc cộng tác (Collaborative Filtering). Các hướng tiếp cận này tập trung khai thác sở thích dài hạn mang tính tĩnh, đòi hỏi hệ thống phải lưu trữ hồ sơ và lịch sử tương tác trước đó của người dùng. Do đó, các mô hình truyền thống bộc lộ hạn chế khi xử lý người dùng mới hoặc người dùng ẩn danh (không có lịch sử giao dịch), đồng thời không nắm bắt được bản chất thay đổi liên tục của hành vi khách hàng trong từng phiên làm việc (session).

Hệ gợi ý dựa trên phiên làm việc (Session-Based Recommendation - SR) giải quyết khoảng trống này bằng cách dự đoán hành vi tiếp theo thuần túy dựa trên các tương tác diễn ra trong chính phiên hiện tại. Luận án tiến sĩ ngành Khoa học máy tính (mã số 9 48 01 01) của nghiên cứu sinh Nguyễn Tuấn Khang, thực hiện tại Học viện Khoa học và Công nghệ thuộc Viện Hàn lâm Khoa học và Công nghệ Việt Nam dưới sự hướng dẫn của TS. Nguyễn Phú Bình và PGS. Nguyễn Việt Anh, tập trung nghiên cứu và phát triển các kỹ thuật gợi ý mua hàng theo phiên ứng dụng các mô hình học sâu.

Luận án xác định 3 mục tiêu nghiên cứu cụ thể:

1. Nghiên cứu và đề xuất cách thức biểu diễn dữ liệu phiên làm việc.
2. Nghiên cứu và đề xuất một số mô hình mạng nơ-ron học sâu và mạng nơ-ron đồ thị nhằm xây dựng mô hình dự báo hành vi mua hàng của khách hàng dựa vào phiên làm việc hiện tại của họ.
3. Thực nghiệm một số phương án khác nhau và so sánh với một số mô hình cơ sở nhằm đánh giá tính hiệu quả của mô hình đề xuất.

Đối tượng nghiên cứu của luận án là chuỗi hành vi nhấp chuột (clickstream) trong quá trình lựa chọn sản phẩm của khách hàng, được ghi nhận trong một phiên mua hàng trên hệ thống thương mại điện tử hoặc mạng xã hội.

Phạm vi nghiên cứu tiếp cận hai bài toán cơ sở:

• Bài toán 1 (Dự báo hành vi mua hàng): Với danh sách sản phẩm đang lựa chọn trong phiên tương tác hiện tại, dự báo khả năng khách hàng có mua hàng hay không. Đây là bài toán phân loại nhị phân nhằm xác định xác suất xảy ra của sự kiện mua hàng.
• Bài toán 2 (Hệ gợi ý top-k): Với danh sách sản phẩm đang lựa chọn trong phiên tương tác hiện tại, dự báo khách hàng sẽ lựa chọn những sản phẩm nào tiếp theo. Đây là bài toán đa nhãn mang tính tổng quát, đưa ra danh sách gợi ý $k$ sản phẩm có xác suất cao nhất.
• Giới hạn phạm vi: Toàn bộ mô hình dự báo chỉ khai thác thông tin ghi nhận trong phiên giao dịch hiện tại, không sử dụng hồ sơ hay lịch sử mua sắm trong quá khứ của khách hàng.

Tổng quan tài liệu và vị trí của luận án

Luận án đã hệ thống hóa lịch sử phát triển của các hệ thống gợi ý từ các phương pháp truyền thống đến các mô hình học máy và học sâu hiện đại:

• J. B. Schafer và đồng nghiệp (2000, 2001): Đặt nền móng cho việc ứng dụng hệ gợi ý trong thương mại điện tử nhằm tăng doanh số bán chéo và bán kèm, phân tích hành vi dựa trên tri thức và sự tương quan giữa các sản phẩm hoặc người dùng.
• B. Sarwar và đồng nghiệp (2000, 2002): Đề xuất thuật toán phân tích suy biến ma trận (SVD) để giảm số chiều thông tin xử lý khối lượng dữ liệu lớn, đưa ra khái niệm danh mục gợi ý "top-k", và áp dụng thuật toán láng giềng (k-NN) trong lọc cộng tác.
• Z. Huang và đồng nghiệp (2004): Đưa cấu trúc đồ thị đa quan hệ có hướng hai lớp (sản phẩm và khách hàng) vào bài toán gợi ý, kết hợp các kỹ thuật lọc cộng tác và dựa trên nội dung.
• Y. Koren, R. Bell và C. Volinsky (2009): Đạt giải trong cuộc thi Netflix Prize với mô hình phân tích ma trận nhân tử (Matrix Factorization), phân rã vector người dùng và vector sản phẩm vào không gian nhân tử ẩn để tối thiểu hóa sai số RMSE.
• B. Hidasi và đồng nghiệp (2015): Ứng dụng mạng nơ-ron hồi quy RNN và mô hình hồi quy phân cấp HRNN cho hệ gợi ý dựa trên phiên làm việc ngắn hạn.
• Y. K. Tan và đồng nghiệp (2016): Cải tiến kỹ thuật tiền xử lý dữ liệu phiên làm việc nhằm nâng cao hiệu năng huấn luyện cho mạng RNN.
• H. T. Cheng và đồng nghiệp tại Google (2016): Đề xuất mô hình mạng nơ-ron học rộng và sâu (Wide & Deep Neural Network - W&DNN), kết hợp khả năng ghi nhớ của mô hình tuyến tính với khả năng tổng quát hóa của mạng học sâu.
• J. Li và đồng nghiệp (2017): Đề xuất mô hình NARM kết hợp cơ chế chú ý nơ-ron (neural attention) với mạng RNN để nắm bắt sở thích tuần tự và mục đích chính của người dùng trong phiên.
• S. Wu và đồng nghiệp (2019): Phát triển mô hình SR-GNN, chuyển đổi phiên làm việc thành đồ thị và sử dụng mạng nơ-ron đồ thị (GNN) để học biểu diễn các sản phẩm kề nhau.
• Q. Liu và đồng nghiệp (2020) & A. Luo và đồng nghiệp (2020): Phát triển các mô hình GCSAN (Graph Contextualized Self-Attention Network) và CoSAN (Collaborative Self-Attention Network) kết hợp cơ chế tự chú ý với thông tin đồ thị và thông tin cộng tác giữa các phiên lân cận.
• M. Tajuddeen và đồng nghiệp (2022) & H. Wang và đồng nghiệp (2023): Đề xuất mô hình GRASER và mô hình IGT (Interval-enhanced Graph Transformer) kết hợp GNN với Transformer và yếu tố khoảng thời gian tương tác.

Khoảng trống nghiên cứu được luận án xác định và lựa chọn giải quyết bao gồm:

1. Đối với bài toán dự báo nhị phân mua hàng (Bài toán 1), các mô hình học sâu truyền thẳng thường gặp khó khăn trong việc nắm bắt đồng thời các tương tác bậc thấp, bậc cao và các quan hệ chéo giữa các đặc trưng dạng bảng (tabular data) gồm cả biến liên tục và biến danh mục rời rạc.
2. Đối với bài toán gợi ý top-k (Bài toán 2), các mô hình trước đây chỉ phân tích dữ liệu trong từng phiên riêng lẻ (intra-session) hoặc sử dụng các đồ thị đơn giản chỉ liên kết các sản phẩm kế tiếp trực tiếp. Điều này bỏ qua mối quan hệ gián tiếp, khoảng cách tương tác giữa các sản phẩm và mối tương quan liên phiên (inter-session) giữa hàng triệu phiên làm việc trên toàn bộ hệ thống. Luận án lựa chọn giải quyết vấn đề này thông qua việc thiết kế đồ thị đa quan hệ và cơ chế nhúng phiên toàn diện trên mô hình GNN.

Cơ sở lý thuyết và phương pháp nghiên cứu

Luận án xây dựng trên các nền tảng lý thuyết và khung phân tích sau:

• Định nghĩa phiên làm việc: Phiên làm việc của khách hàng là một chuỗi các sự kiện nhấp chuột theo thứ tự thời gian, ký hiệu $s = {id_1, id_2, \dots, id_c}$ hoặc $s = {x_{s,1}, x_{s,2}, \dots, x_{s,c}}$ với $x_{s,i} \in X$, trong đó $X$ là tập danh mục gồm $n$ sản phẩm duy nhất và $c$ là độ dài phiên.
• Mạng nơ-ron học sâu truyền thẳng và các biến thể: Luận án phân tích các mô hình FMNN, PNN (gồm I-PNN, O-PNN) và W&DNN. Kiến trúc W&DNN gồm:
  • Nhánh Rộng (Wide): Mô hình hồi quy tuyến tính $y = W^T x + b$, tích hợp biến đổi tích chéo (cross-product transformation) $\phi_k(x) = \prod_{i=1}^d x_i^{c_{ki}}$ với $c_{ki} \in {0, 1}$ để nắm bắt tương tác phi tuyến bậc thấp.
  • Nhánh Sâu (Deep): Mạng nơ-ron truyền thẳng (FNN) nhận đầu vào là các vector nhúng của thuộc tính danh mục kết hợp với thuộc tính số, truyền qua các lớp ẩn theo công thức $a^{(l+1)} = \sigma(W^{(l)} a^{(l)} + b^{(l)})$ sử dụng hàm kích hoạt ReLU.
  • Hàm dự báo đầu ra kết hợp: $\hat{y} = \frac{1}{1 + e^{-(y_R + y_S)}}$.
• Mô hình mạng nơ-ron biến đổi (Transformer): Khối mã hóa và giải mã sử dụng cơ chế tự chú ý (self-attention) dựa trên ba ma trận Truy vấn ($Q$), Chìa khóa ($K$) và Giá trị ($V$): $$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$ Kết hợp với mạng nơ-ron truyền thẳng 2 lớp tuyến tính: $\text{FFN}(X) = \max(0, XW_1 + b_1)W_2 + b_2$.
• Lý thuyết mạng nơ-ron đồ thị (GNN): Biểu diễn dữ liệu bằng đồ thị đơn $G = (V, E)$ và đồ thị đa quan hệ (multi-relational graph) $G = (V, E, f)$ với hàm $f: E \to {{u, v} \mid u, v \in V}$ xác định loại liên kết. Luận án phân tích các khái niệm đỉnh kề, bậc vào ($\text{deg}^-$), bậc ra ($\text{deg}^+$), độ dài đường đi $P(v_1, v_k) = k - 1$, cùng các cấu trúc biểu diễn đồ thị (danh sách kề, ma trận kề). Bốn nhóm bài toán GNN được xem xét gồm: phân loại nút, dự đoán kết nối, phát hiện cụm và phân loại đồ thị.
• Phép biến đổi nhúng (Embedding):
  • Biến đổi nhúng dữ liệu danh mục rời rạc từ vector one-hot $X_v$ sang vector số thực liên tục $X_d \in \mathbb{R}^d$ qua ma trận trọng số $W \in \mathbb{R}^{d \times |V|}$: $X_d = X_v \times W^{d \times |V|}$.
  • Kỹ thuật xử lý chuỗi: Vec2Seq, Seq2Vec, Seq2Seq và kỹ thuật phân tích thành phần chính (PCA) cho dữ liệu chuỗi thời gian đa biến.
  • Nhúng đồ thị: Kỹ thuật nhúng đỉnh, nhúng đồ thị con và nhúng phiên làm việc.

Phương pháp nghiên cứu thực nghiệm định lượng được triển khai qua các bước:

1. Dữ liệu thực nghiệm: Sử dụng bộ dữ liệu chuẩn quốc tế Yoochoose (từ cuộc thi RecSys Challenge 2015), chứa chuỗi nhấp chuột thực tế với quy mô hơn 50.000 sản phẩm và gần 10 triệu phiên giao dịch.
2. Đối với Bài toán 1: Trích chọn 26 trường thuộc tính dạng bảng (thuộc tính số và danh mục), tạo 4 cặp biến đổi tích chéo; thiết kế và thử nghiệm siêu tham số trên mô hình W&DNN (số lớp ẩn, hình dạng mạng, số nơ-ron); đề xuất mô hình FE-Transformer tích hợp lớp Feature Embedding cho dữ liệu bảng.
3. Đối với Bài toán 2: Xây dựng 3 dạng đồ thị biểu diễn phiên (đồ thị đơn $G$, đồ thị đơn $H$, đồ thị đa quan hệ $K$); chuẩn hóa dữ liệu bằng các thuật toán chuyên biệt (NORM.FNN, NORM.GNN); xây dựng mô hình GNN và tối ưu hóa hàm mất mát.
4. Đối với cải tiến GNN: Chuyển đổi bài toán phân loại đa nhãn thành bài toán phân loại nhị phân trên đồ thị $K$; đề xuất lớp nhúng phiên kết hợp; thiết kế thuật toán chuẩn hóa NORM.Bin và thuật toán huấn luyện MODEL; đánh giá mô hình GNN.K theo các độ đo chuẩn: Recall@k, MRR@k (Mean Reciprocal Rank), và ACCs@k.

Tiêu chí	Mô hình FMNN	Mô hình PNN	Mô hình W&DNN
Tiền huấn luyện	Có (lớp Factorization Machine)	Không	Không
Tương tác bậc cao	Có	Có	Có (nhánh Deep)
Tương tác bậc thấp	Không	Không	Có (nhánh Wide qua tích chéo)

Nội dung chính theo từng chương

Mở đầu

Phần Mở đầu thiết lập cơ sở khoa học của đề tài. Tác giả trình bày sự bùng nổ của thương mại điện tử dẫn đến hiện tượng quá tải thông tin, khiến người dùng gặp khó khăn trong việc tìm kiếm sản phẩm. Luận án chỉ ra điểm nghẽn của các hệ thống gợi ý hiện hành: phụ thuộc vào hồ sơ người dùng tĩnh trong dài hạn, không hỗ trợ người dùng ẩn danh và bỏ qua tính biến động của hành vi tương tác trong phiên làm việc. Từ đó, tác giả xác định tính cấp thiết của hệ gợi ý dựa trên phiên (SR). Phần này công bố mục tiêu nghiên cứu (3 mục tiêu), đối tượng nghiên cứu (chuỗi nhấp chuột clickstream), phạm vi nghiên cứu (Bài toán 1 nhị phân và Bài toán 2 top-k không dùng lịch sử cá nhân), phương pháp nghiên cứu tổng thể và bố cục 4 chương nội dung của luận án.

Chương 1: Tổng quan về hệ gợi ý và một số mô hình mạng nơ-ron học sâu

Chương 1 cung cấp bức tranh toàn cảnh về mặt lý thuyết và thực tiễn liên quan đến đề tài:

• Phân loại 7 nhóm hệ gợi ý chính: dựa trên nội dung, lọc cộng tác (User-based và Item-based), hệ gợi ý kết hợp, dựa trên tri thức, dựa trên bối cảnh, dựa trên học tăng cường và dựa trên phiên làm việc.
• Định nghĩa toán học chặt chẽ của phiên làm việc $s = {id_1, \dots, id_c}$, phát biểu Bài toán 1 (ước lượng xác suất mua hàng $y \in {0, 1}$) và Bài toán 2 (sinh vector dự báo $\hat{y}$ chứa danh sách top-k sản phẩm tiếp theo từ tập danh mục $X = {x_1, \dots, x_n}$).
• Phân tích cơ chế hoạt động của mạng FNN và các mô hình mở rộng (FMNN, PNN, W&DNN), làm rõ ưu thế của W&DNN trong việc ghi nhớ tương tác bậc thấp qua biến đổi tích chéo $\phi_k(x)$ và tổng quát hóa tương tác bậc cao qua các lớp ẩn sâu.
• Trình bày kiến trúc Transformer, cơ chế tự chú ý đa đầu và các phép tính ma trận $Q, K, V$.
• Khảo sát lý thuyết đồ thị: phân biệt đồ thị đơn vô hướng, có hướng và đồ thị đa quan hệ; so sánh hai phương pháp biểu diễn đồ thị (danh sách kề và ma trận kề), nhấn mạnh nhược điểm tiêu tốn $N^2$ ô nhớ và độ phức tạp duyệt $O(n)$ của ma trận kề. Trình bày tổng quan mạng GNN và 4 bài toán đồ thị điển hình.
• Phân tích kỹ thuật nhúng: công thức ánh xạ one-hot sang không gian vector $X_d = X_v \times W$, các kỹ thuật xử lý chuỗi (Vec2Seq, Seq2Vec, Seq2Seq, PCA), và kỹ thuật nhúng đồ thị (random walk, deep walk, matrix factorization, mạng nơ-ron).
• Tổng hợp 13 công trình nghiên cứu tiêu biểu từ năm 2000 đến năm 2023, chỉ ra xu hướng dịch chuyển từ lọc cộng tác ma trận sang RNN, Transformer và mạng nơ-ron đồ thị GNN.

Chương 2: Đề xuất mô hình mạng nơ-ron học sâu cho bài toán mua hàng

Chương 2 tập trung giải quyết Bài toán 1: dự báo khả năng mua hàng trong phiên hiện tại từ dữ liệu dạng bảng.

• Mô hình hóa bài toán: Tập dữ liệu gồm $n$ mẫu $(X, y)$, với $X$ chứa $m$ trường thuộc tính số và danh mục, $y \in {0, 1}$.
• Đề xuất mô hình W&DNN:
  • Nhánh Rộng: gồm 2 lớp truyền thẳng, số nơ-ron đầu vào $N = N_{cat} + N_{num}$ (trong đó $N_{cat}$ là số thuộc tính danh mục và $N_{num}$ là số cặp tương tác chéo).
  • Nhánh Sâu: gồm 6 lớp truyền thẳng (1 lớp đầu vào, 1 lớp nhúng thuộc tính, 3 lớp ẩn và 1 lớp đầu ra với hàm sigmoid).
  • Thực nghiệm lựa chọn cấu trúc nhánh sâu thông qua phương pháp thử sai trên 3 tiêu chí:
    1. Số lớp ẩn: Thử nghiệm từ 1 đến nhiều lớp cho thấy mô hình đạt hiệu năng tốt nhất ở 3 lớp ẩn; tăng vượt quá 3 lớp dẫn đến hiện tượng quá khớp (học quá).
    2. Hình dạng mạng (với tổng 1200 nơ-ron trên 3 lớp ẩn): So sánh giữa 4 dạng kiến trúc: mạng cân bằng (400-400-400), mạng tăng (300-400-500), mạng giảm (500-400-300) và mạng hình thoi (350-500-350). Kết quả chỉ ra cấu trúc mạng giảm (500-400-300) cho hiệu năng vượt trội nhất.
    3. Số nơ-ron trung bình mỗi lớp ẩn: Khảo sát từ 200 đến 700 nơ-ron; hiệu năng tăng khi số nơ-ron tăng từ 200 đến 400, nhưng suy giảm khi tiếp tục nâng lên 700 do mạng bị học quá. Mức tối ưu được xác định là 400 nơ-ron trung bình.
  • Đề xuất bổ sung 4 cặp thuộc tính biến đổi tích chéo vào nhánh Rộng qua phương pháp thử dần:
    1. ID sản phẩm hiện tại $\times$ ID sản phẩm đầu tiên trong phiên.
    2. ID sản phẩm hiện tại $\times$ ID sản phẩm liền kề phía trước.
    3. ID sản phẩm hiện tại $\times$ ID danh mục sản phẩm.
    4. ID sản phẩm được xem lâu nhất trong phiên $\times$ Thời gian xem sản phẩm.
• Đề xuất mô hình FE-Transformer: Khắc phục hạn chế của kiến trúc Transformer nguyên bản trên dữ liệu dạng bảng bằng cách bổ sung lớp nhúng thuộc tính (Feature Embedding - FE). Lớp FE thực hiện ánh xạ đặc trưng đầu vào $x$ sang không gian nhúng $E \in \mathbb{R}^{k \times d}$ thông qua công thức $E_j = f_j(x_j) + b_j$, trong đó $f_j^{(num)}$ là phép nhân vector $W_j^{(num)} \in \mathbb{R}^d$ cho biến số, và $f_j^{(cat)}$ là bảng tra cứu $W_j^{(cat)} \in \mathbb{R}^{S_j \times d}$ cho biến danh mục. Chuỗi vector nhúng sau đó được xử lý song song qua các khối Transformer.
• Kết quả thực nghiệm trên bộ dữ liệu Yoochoose chứng minh việc kết hợp kỹ thuật nhúng với W&DNN và FE-Transformer cải thiện độ chính xác dự báo hành vi mua hàng so với các mô hình nơ-ron cơ sở.

Chương 3: Đề xuất mô hình mạng nơ-ron đồ thị cho bài toán top-k

Chương 3 chuyển trọng tâm sang Bài toán 2: hệ gợi ý top-k sản phẩm tiếp theo.

• Luận án đề xuất mô hình hóa chuỗi nhấp chuột thành cấu trúc đồ thị nhằm biểu diễn đồng thời tương tác nội phiên (intra-session) và tương tác liên phiên (inter-session):
  • Đồ thị đơn $G$: Biểu diễn mối quan hệ tuần tự trực tiếp giữa các lần nhấp chuột liền kề trong phiên.
  • Đồ thị đơn $H$: Mở rộng đồ thị $G$ bằng cách bổ sung các cạnh phản ánh khoảng cách giữa các sản phẩm được tương tác trong cùng một phiên.
  • Đồ thị đa quan hệ $K$: Cấu trúc đồ thị nâng cao phân loại các loại cạnh khác nhau tương ứng với các mức khoảng cách và mối quan hệ tương tác đa dạng giữa các sản phẩm.
• Đề xuất kiến trúc mô hình GNN xử lý các đồ thị $G, H, K$ và so sánh với mô hình mạng FNN cơ sở.
• Quy trình kỹ thuật thực nghiệm:
  • Tiền xử lý dữ liệu và thiết kế thuật toán chuẩn hóa dữ liệu huấn luyện: Thuật toán 3.1 (NORM.FNN) cho mô hình FNN và Thuật toán 3.2 (NORM.GNN) cho các mô hình GNN.
  • Xây dựng đồ thị quy mô lớn từ bộ dữ liệu Yoochoose với hơn 50.000 đỉnh sản phẩm và mô hình hóa gần 10 triệu phiên giao dịch.
  • Đánh giá hiệu năng và phân tích các hàm mất mát (loss và accuracy) dựa trên các độ đo Recall@k, MRR@k, và ACCs@k.
• Kết quả thực nghiệm xác nhận mô hình GNN hoạt động trên cấu trúc đồ thị đa quan hệ $K$ mang lại hiệu quả dự báo vượt trội so với các đồ thị đơn $G, H$ và mô hình FNN truyền thống.

Cấu trúc đồ thị	Loại đồ thị	Đặc trưng liên kết giữa các sản phẩm	Phạm vi thông tin mô hình hóa
Đồ thị $G$	Đồ thị đơn	Nối các sản phẩm có quan hệ nhấp chuột liền kề trực tiếp	Tương tác cục bộ bước 1 (bậc 1)
Đồ thị $H$	Đồ thị đơn	Bổ sung liên kết có trọng số khoảng cách trong phiên	Quan hệ khoảng cách trong cùng phiên
Đồ thị $K$	Đồ thị đa quan hệ	Phân tách nhiều loại cạnh theo các mức khoảng cách khác nhau	Toàn diện tương tác đa bậc và liên phiên

Chương 4: Đề xuất cải tiến mô hình GNN với phép nhúng

Chương 4 hoàn thiện giải pháp cho bài toán top-k bằng cách giải quyết thách thức tính toán khi số lượng lớp đầu ra quá lớn (hơn 50.000 sản phẩm trong bộ dữ liệu Yoochoose).

• Phân tích thách thức của bài toán phân loại đa nhãn: Việc tính toán xác suất trên không gian hàng chục nghìn nhãn sản phẩm dẫn đến chi phí bộ nhớ và thời gian huấn luyện rất lớn, làm giảm độ chính xác của mô hình GNN thông thường.
• Đề xuất phương pháp chuyển đổi bài toán: Chuyển đổi bài toán phân loại đa nhãn thành bài toán phân loại nhị phân trên đồ thị, từ đó phát triển mô hình FNN nhị phân (FNN.Bin) và mô hình GNN kết hợp nhúng đồ thị $K$ nhị phân (GNN.K).
• Đề xuất lớp nhúng phiên đặc biệt: Kết hợp đồng thời ba cơ chế nhúng:
  1. Phép biến đổi nhúng đỉnh (node embedding): Học biểu diễn vector cho từng sản phẩm riêng lẻ.
  2. Phép biến đổi nhúng đồ thị con (subgraph embedding): Biểu diễn cấu trúc ngữ cảnh của toàn bộ phiên tương tác.
  3. Phép biến đổi nhúng nhãn: Kết hợp thông tin nhãn vào không gian nhúng nhằm tối ưu hóa quá trình phân loại nhị phân.
• Xây dựng thuật toán thực thi: Thuật toán 4.1 (NORM.Bin) chuẩn hóa dữ liệu huấn luyện cho mô hình GNN nhị phân và Thuật toán 4.2 (MODEL) thực hiện huấn luyện mô hình GNN.K.
• Kết quả thực nghiệm và nhận xét:
  • Phân tích chi tiết hiệu năng mô hình GNN.K theo độ dài phiên tương tác và theo các giá trị $k$ khác nhau đối với các độ đo Recall@k, ACCs@k, và MRR@k.
  • So sánh thực nghiệm với các nghiên cứu liên quan cho thấy mô hình GNN.K kết hợp lớp nhúng phiên giải quyết hiệu quả sự bùng nổ không gian nhãn, đạt độ chính xác cao và tối ưu hóa thời gian tính toán trên đồ thị quy mô lớn.

Kết luận

Phần Kết luận tổng hợp toàn bộ các kết quả đạt được qua 4 chương nội dung:

• Xác nhận tính đúng đắn của lộ trình nghiên cứu: đi từ giải pháp học sâu cho dữ liệu bảng dạng phiên (Chương 2) đến mô hình hóa đồ thị đa quan hệ (Chương 3) và hoàn thiện bằng cơ chế nhúng phiên nhị phân hóa (Chương 4).
• Khẳng định các đóng góp về mặt lý thuyết và thực tiễn trong việc xây dựng hệ gợi ý không cần định danh người dùng.
• Nêu rõ các định hướng mở rộng nghiên cứu trong tương lai.

Kết quả và những đóng góp mới

Luận án đã công bố các kết quả nghiên cứu và đóng góp mới sau:

Đóng góp về mặt lý luận và khoa học

1. Đề xuất phương pháp biểu diễn dữ liệu phiên làm việc đa tầng: Thiết lập quy trình biểu diễn phiên làm việc từ dạng vector đặc trưng bảng sang các cấu trúc đồ thị đơn ($G, H$) và đặc biệt là đồ thị đa quan hệ ($K$). Cấu trúc đồ thị $K$ cho phép phản ánh chi tiết các khoảng cách tương tác khác nhau giữa các sản phẩm, giải quyết trọn vẹn cả mối quan hệ nội phiên (intra-session) lẫn quan hệ liên phiên (inter-session) trên tập dữ liệu hàng triệu người dùng.
2. Cải tiến kiến trúc Transformer cho dữ liệu bảng (FE-Transformer): Thiết kế lớp Feature Embedding tích hợp vào mô hình Transformer, biến đổi đồng thời cả thuộc tính số thực và danh mục rời rạc thành các vector nhúng liên tục, khắc phục điểm nghẽn của Transformer nguyên bản khi xử lý dữ liệu phi văn bản.
3. Phát triển mô hình GNN.K với lớp nhúng phiên toàn diện: Đề xuất cơ chế chuyển đổi bài toán gợi ý top-k đa nhãn phức tạp thành bài toán phân loại nhị phân trên đồ thị, kết hợp lớp nhúng phiên tích hợp ba thành phần (nhúng đỉnh, nhúng đồ thị con, nhúng nhãn). Giải pháp này loại bỏ nút thắt tính toán khi không gian sản phẩm mở rộng lên tới hàng chục nghìn phân lớp.

Đóng góp về mặt thực tiễn

1. Xây dựng quy trình thuật toán hoàn chỉnh: Đóng góp hệ thống 4 thuật toán xử lý và tối ưu hóa dữ liệu gồm: Thuật toán 3.1 (NORM.FNN), Thuật toán 3.2 (NORM.GNN), Thuật toán 4.1 (NORM.Bin) và Thuật toán 4.2 (huấn luyện MODEL), có khả năng triển khai thực tế trên các hệ thống gợi ý quy mô lớn.
2. Giải pháp gợi ý thời gian thực cho người dùng ẩn danh: Cung cấp mô hình kỹ thuật cho các doanh nghiệp thương mại điện tử để đưa ra gợi ý sản phẩm chính xác và kịp thời ngay trong phiên làm việc hiện tại mà không phụ thuộc vào việc người dùng có đăng nhập hay có lịch sử giao dịch trước đó hay không.
3. Công bố khoa học: Các kết quả nghiên cứu của luận án đã được công bố trong 7 công trình khoa học chuyên ngành (từ [A-1] đến [A-7]) tại các tạp chí và hội thảo chuyên ngành công nghệ thông tin.

Hạn chế và hướng nghiên cứu tiếp

Căn cứ vào nội dung và phạm vi nghiên cứu, luận án chỉ ra các hạn chế và hướng phát triển sau:

• Về hạn chế:
  • Các mô hình học sâu cho dữ liệu bảng ở Chương 2 (W&DNN, FE-Transformer) chỉ phân tích hành vi theo từng phiên làm việc cụ thể (intra-session), chưa mô hình hóa được sự liên kết toàn cục giữa các phiên tương tác trong bộ dữ liệu lớn.
  • Việc biểu diễn đồ thị ma trận kề tiêu tốn bộ nhớ với độ phức tạp $O(N^2)$, gây áp lực lưu trữ tính toán khi số lượng sản phẩm $N$ tiếp tục gia tăng lên hàng trăm nghìn hoặc hàng triệu đơn vị.
  • Luận án chỉ tập trung thực nghiệm trên tập dữ liệu chuỗi hành vi nhấp chuột và mua hàng (clickstream của bộ dữ liệu Yoochoose), chưa tích hợp dữ liệu đa phương thức như hình ảnh hay văn bản mô tả chi tiết của sản phẩm.
• Về hướng nghiên cứu tiếp:
  • Nghiên cứu tối ưu hóa cấu trúc lưu trữ đồ thị thưa nhằm giảm tải bộ nhớ và tăng tốc độ xử lý khi mở rộng quy mô danh mục sản phẩm.
  • Tích hợp thêm các yếu tố thời gian thực chi tiết (thời gian dừng giữa các lần nhấp chuột, thời điểm tương tác trong ngày) kết hợp với cơ chế tự chú ý không gian-thời gian trên đồ thị.
  • Mở rộng mô hình GNN để tích hợp dữ liệu đa phương thức (hình ảnh, văn bản thuộc tính sản phẩm) vào các lớp biểu diễn nhúng đỉnh.

Giá trị tham khảo

Luận án là tài liệu tham khảo có giá trị chuyên môn cao cho các đối tượng:

• Nghiên cứu sinh, học viên cao học và giảng viên ngành Khoa học máy tính, Hệ thống thông tin: Tham khảo khung lý thuyết toàn diện về hệ thống gợi ý, phương pháp chuyển đổi dữ liệu dạng bảng/chuỗi sang cấu trúc đồ thị, và kỹ thuật thiết kế các lớp mạng nơ-ron học sâu (W&DNN, Transformer, GNN).
• Kỹ sư dữ liệu và chuyên gia phát triển hệ thống tại các doanh nghiệp thương mại điện tử:
  • Tham khảo cách tiếp cận thực tế để xây dựng hệ thống gợi ý dựa trên phiên cho khách hàng ẩn danh.
  • Tham khảo Chương 2 về kỹ thuật lựa chọn siêu tham số (số lớp ẩn, hình dạng mạng nơ-ron giảm 500-400-300, 4 cặp biến đổi tích chéo) cho mô hình Wide & Deep.
  • Tham khảo Chương 3 và Chương 4 về thiết kế đồ thị đa quan hệ $K$ và kỹ thuật nhị phân hóa bài toán đa nhãn với các thuật toán chuẩn hóa dữ liệu NORM.Bin và huấn luyện MODEL.

Câu hỏi thường gặp

1. Luận án giải quyết hai bài toán cơ sở nào và điểm khác biệt cốt lõi giữa chúng là gì?
Luận án giải quyết Bài toán 1 và Bài toán 2. Bài toán 1 là bài toán phân loại nhị phân nhằm dự báo xem trong phiên hiện tại khách hàng có thực hiện hành vi mua hàng hay không ($y \in {0, 1}$). Bài toán 2 mang tính tổng quát hơn, là bài toán gợi ý đa nhãn (top-k) nhằm dự báo danh sách $k$ sản phẩm có xác suất cao nhất mà khách hàng sẽ nhấp chọn tiếp theo ($x_{s, m+1}$) thuần túy dựa trên các tương tác của phiên hiện tại.

2. Cấu trúc mạng học sâu trong nhánh Sâu của mô hình W&DNN được tác giả xác định tối ưu như thế nào?
Qua các thử nghiệm thử sai giữ nguyên tổng số 1200 nơ-ron trên 3 lớp ẩn, tác giả so sánh 4 hình dạng mạng (cân bằng 400-400-400, tăng 300-400-500, giảm 500-400-300, và hình thoi 350-500-350). Kết quả cho thấy cấu trúc mạng giảm (500-400-300) mang lại hiệu quả tốt nhất. Số lớp ẩn tối ưu là 3 (tăng nhiều hơn gây học quá), và số nơ-ron trung bình tối ưu là 400 nơ-ron mỗi lớp.

3. Bốn cặp thuộc tính biến đổi tích chéo nào được chọn đưa vào nhánh Rộng của mô hình W&DNN?
Bốn cặp thuộc tính được lựa chọn qua phương pháp thử dần gồm:

1. ID sản phẩm hiện tại $\times$ ID sản phẩm đầu tiên trong phiên.
2. ID sản phẩm hiện tại $\times$ ID sản phẩm liền kề phía trước.
3. ID sản phẩm hiện tại $\times$ ID danh mục sản phẩm.
4. ID sản phẩm được xem lâu nhất trong phiên $\times$ Thời gian xem sản phẩm đó.

4. Ba cấu trúc đồ thị $G, H$ và $K$ trong Chương 3 khác nhau như thế nào về mặt thiết kế?
Đồ thị $G$ là đồ thị đơn chỉ biểu diễn các liên kết liền kề trực tiếp giữa các lần nhấp chuột liên tiếp trong phiên. Đồ thị $H$ mở rộng bằng cách thêm các liên kết có trọng số khoảng cách giữa các sản phẩm trong cùng một phiên. Đồ thị $K$ là đồ thị đa quan hệ phức tạp nhất, phân loại các loại cạnh tương ứng với từng mức khoảng cách tương tác khác nhau, cho phép mô hình hóa đa dạng các tương tác giữa các sản phẩm.

5. Giải pháp then chốt trong Chương 4 giúp mô hình GNN xử lý được không gian hơn 50.000 sản phẩm là gì?
Tác giả đề xuất chuyển đổi bài toán phân loại đa nhãn có không gian nhãn khổng lồ thành bài toán phân loại nhị phân trên cấu trúc đồ thị $K$, đồng thời phát triển mô hình GNN.K tích hợp lớp nhúng phiên kết hợp ba thành phần: nhúng đỉnh, nhúng đồ thị con và nhúng nhãn, đi kèm thuật toán chuẩn hóa NORM.Bin và thuật toán huấn luyện MODEL.

Kết luận

Luận án tiến sĩ của tác giả Nguyễn Tuấn Khang đã nghiên cứu và phát triển thành công các kỹ thuật gợi ý mua hàng theo phiên làm việc ứng dụng các mô hình học sâu và mạng nơ-ron đồ thị. Bằng việc tiếp cận hai bài toán cụ thể từ dự báo nhị phân hành vi mua hàng đến hệ gợi ý top-k sản phẩm tiếp theo, công trình đã đề xuất các mô hình cải tiến có giá trị học thuật gồm W&DNN với tích chéo tối ưu, FE-Transformer cho dữ liệu bảng, và mô hình GNN.K trên đồ thị đa quan hệ kết hợp lớp nhúng phiên nhị phân. Các kết quả thực nghiệm trên bộ dữ liệu quy mô lớn Yoochoose đã chứng minh tính hiệu quả và khả năng ứng dụng thực tiễn của các phương pháp đề xuất trong việc nâng cao trải nghiệm khách hàng và tối ưu hóa hệ thống thương mại điện tử.

Trích đoạn nội dung tài liệu

Chương 1. Tổng quan về hệ gợi ý và một số mô hình mạng nơ-ron học sâu phẩm mã danh mục, giá thành. Ngoài ra, do các nhấp chuột có tính thứ tự nên hệ thống có thể ghi nhận thêm cả thời điểm nhấp chuột.2 Bài toán 1 - Dự báo hành vi mua hàng Bài toán 1. Cho một chuỗi nhấp chuột có tính thứ tự theo thời gian được sinh ra từ một phiên làm việc của khách hàng khi lựa chọn sản phẩm, cần xây dựng mô hình dự báo xem liệu khách hàng có mua hàng trong phiên làm việc hiện tại không? Bài toán 1 giả thiết mỗi phiên làm việc là một khách hàng độc lập và đặc trưng về hành vi mua của họ được thể hiện ẩn thông qua các thuộc tính của mỗi phiên làm việc như số lần, tần suất, thời gian nhấp chuột, v.

Như vậy, mục tiêu bài toán 1 là từ chuỗi dữ liệu nhấp chuột của khách hàng trong từng phiên làm việc cụ thể, cần xây dựng một mô hình dự báo khả năng mua hàng của khách hàng. Với mục tiêu này, bài toán đề ra được đưa về bài toán phân loại nhị phân, trong đó mô hình phân loại trả về kết quả là xác suất xảy ra của sự kiện ”mua hàng”.3 Bài toán 2 - Hệ gợi ý top − k Bài toán 2. Cho một chuỗi nhấp chuột có tính thứ tự theo thời gian được sinh ra từ một phiên làm việc của khách hàng khi lựa chọn sản phẩm, cần xây dựng mô hình gợi ý xem liệu khách hàng lựa chọn mặt hàng nào tiếp theo trong phiên làm việc hiện tại? Rõ ràng Bài toán 2 có tính tổng quát hơn Bài toán 1. Mục tiêu của Bài toán 2 nhằm xây dựng một mô hình gợi ý đưa ra một hoặc một số sản phẩm nào đó mà khách hàng có khả năng lựa chọn tiếp theo.

Lưu ý rằng hệ gợi ý này thuần túy chỉ dựa vào chuỗi sự kiện tuần tự trong phiên làm việc hiện tại của người dùng đó, thay vì phải dựa vào thông tin quá khứ của họ. Bài toán 2 chính là dạng xây dựng hệ gợi ý dựa vào phiên làm việc (bài toán SR). Bài toán SR được mô tả toán học như sau, giả sử X = {x1 , x2 , ., xn } là một danh mục các đối tượng duy nhất (ví dụ như danh mục mã sản phẩm) và n là số lượng sản phẩm. Tập sản phẩm này sẽ được các khách hàng lựa chọn trong các phiên làm việc của họ.

Như vậy ta có đối tượng phiên làm việc s được biểu diễn như sau s = {xs,1 , xs,2 , ., xs,c } trong đó xs,i ∈ X, ∀i : 1 ≤ i ≤ c có tính thứ tự theo chuỗi thời gian nhằm thể hiện một hành động nhấp chuột nào đó của người dùng trong phiên làm việc s. Với vấn đề như vậy, bài toán SR là mô hình dự báo xem liệu người dùng sẽ lựa chọn đối tượng (sản phẩm) xs,m+1 tiếp theo nào trong phiên làm việc s đó. Với 11 Chương 1. Tổng quan về hệ gợi ý và một số mô hình mạng nơ-ron học sâu mô hình gợi ý này cho một phiên làm việc s cụ thể, hệ gợi ý sẽ trả về hàm ŷ là một véc-tơ chứa danh mục k sản phẩm gợi ý với xác xuất được lựa chọn từ cao tới thấp.

Danh mục sản phẩm gợi ý này được gọi là top − k sản phẩm gợi ý cho người dùng [19].3 minh họa mô hình SR đưa ra dự báo top − 2 sản phẩm cùng xác xuất mà khách hàng sẽ lựa chọn để nhấp tiếp.3: Bài toán gợi ý top-k sản phẩm 1.3 Lý thuyết mạng nơ-ron học sâu Phần này trình bày lý thuyết cơ bản để giải quyết Bài toán 1 sử dụng các mô hình mạng nơ-ron học sâu. Mạng nơ-ron truyền thẳng (feedforward neural network, FNN ) [29], [30] là một loại mạng nơ-ron học sâu cơ bản mà thông tin chỉ chuyển theo một hướng, từ lớp đầu vào tới lớp đầu ra, mà không có bất kỳ vòng lặp phản hồi nào. Điều này giúp cho mô hình mạng FNN mặc dù là loại mạng nơ-ron tương đối đơn giản nhưng được sử dụng rộng rãi trong nhiều ứng dụng [31]. Một số mô hình phổ biến nhất của mạng nơ-ron truyền thẳng như sau, trong đó có một số mô hình sẽ được nghiên cứu và thực nghiệm ở phần tiếp theo của luận án.

• Các mạng nơ-ron sử dụng nhiều lớp nơ-ron theo kiến trúc cơ sở của Multi-layer perceptron [32] nhằm xử lý các dữ liệu dạng bảng. Bao gồm mạng nơ-ron học sâu truyền thẳng, mạng nơ-ron sâu và rộng hay mạng nơ-ron phân tích ma trận nhân tử. • Mạng nơ-ron tích chập (CNN ) [33]–[35]: Đây là một loại mạng nơ-ron cải tiến được chuyên biệt hóa, thường được sử dụng cho xử lý hình ảnh và video. Nó được thiết kế để tự động xác định các đặc trưng trong hình ảnh, chẳng hạn như cạnh, góc và các cấu trúc khác bằng cách áp dụng bộ lọc tích chập vào dữ liệu đầu vào.

• Mạng nơ-ron hồi quy (RNN ) [36]–[38]: Mạng nơ-ron tiến hóa được thiết kế để xử lý các đầu vào có dạng dữ liệu tuần tự, chẳng hạn như giọng nói, văn 12 Chương 1. Tổng quan về hệ gợi ý và một số mô hình mạng nơ-ron học sâu bản và dữ liệu chuỗi thời gian. RNN có khả năng bắt các phụ thuộc thời gian trong dữ liệu đầu vào, làm cho nó phù hợp cho nhiều ứng dụng, chẳng hạn như dịch ngôn ngữ, nhận dạng giọng nói và tạo âm nhạc. • Mạng nơ-ron biến đổi (Transformer ) [39]–[41]: Kiến trúc mạng Transformer được giới thiệu như một phương án thay thế kiến trúc mạng RNN trong việc xử lý dữ liệu tuần tự, chẳng hạn như ngôn ngữ.

Hạn chế của mô hình RNN là không xử lý song song được chuỗi dữ liệu đầu vào và không thể nắm bắt được sự phụ thuộc dài hạn. Thay vì kết nối tuần tự của RNN, Transformer sử dụng lớp tự chú ý cho phép mô hình nắm bắt sự phụ thuộc giữa các thành phần khác nhau trong chuỗi đầu vào. Điều này khiến cho Transformer có thể được thực hiện song song và cho phép nó xử lý các chuỗi đầu vào dài hơn.1 Mô hình mạng nơ-ron học sâu truyền thẳng Với sự phát triển trong nhiều năm qua, mạng nơ-ron học sâu đã kết quả khả quan trong việc ứng dụng thành công cụ thể trong nhiều lĩnh vực khác nhau. Một số mô hình mạng nơ-ron học sâu đã được nghiên cứu phát triển nhằm giải quyết các bài toán có dữ liệu dạng bảng gồm cả thuộc tính số và danh mục.

Phần này nghiên cứu một số mô hình cải tiến cụ thể của mạng nơ-ron truyền thẳng FNN nhằm cung cấp cái nhìn tổng quan hơn về kỹ thuật học sâu trong việc giải quyết Bài toán 1. Ba mô hình có tính chất tương tự như FNN nhưng khác nhau ở phương pháp tiền xử lý lớp nhúng trước khi vào lớp học sâu truyền thẳng. Các biến thể của mô hình FNN được minh họa ở Hình 1.4: Một số mô hình nơ-ron sử dụng trong dự báo chuỗi nhấp chuột Mạng nơ-ron phân tích ma trận nhân tử (FMNN) Mạng FMNN (Factorization-machine supported neural networks) là mạng nơ-ron truyền thẳng có khả năng học được các véc-tơ nhúng của các thuộc tính danh mục thông quá lớp tiền huấn luyện FM (Factorization Machine) [42], [43], đây là hướng tiếp cận xây dựng mô hình gợi ý sử dụng lọc cộng tác. Quá trình tiền huấn luyện 13 Chương 1.

Tổng quan về hệ gợi ý và một số mô hình mạng nơ-ron học sâu mô hình FM trước khi áp dụng mạng nơ-ron truyền thẳng dẫn đến hai vấn đề của phương pháp này: (1) các tham số của lớp nhúng chịu ảnh hưởng lớn từ lớp MF; và (2) hiệu suất của mạng bị giảm do sai số sinh ra từ quá trình tiền xử lý bằng FM trước khi đưa vào mạng học sâu truyền thẳng. Bên cạnh đó, FMNN chỉ học được các tương tác bậc cao của các trường thuộc tính. Mạng nơ-ron tích chập (PNN) Mạng PNN (Product-based neural network ) cũng là mạng nơ-ron truyền thẳng trong đó thêm vào một lớp tích véc-tơ trước lớp ẩn đầu tiên nhằm giúp mạng nắm được các tương tác bậc cao giữa các trường thuộc tính [44]. Dựa trên phép tích véc-tơ, phương pháp này chia làm 3 phiên bản khác nhau: I-PNN (Inner PNN ), O- PNN (Outer PNN ) và PNN, trong đó I-PNN dựa trên phép nhân véc-tơ vô hướng, O-PNN sử dụng tích có hướng của véc-tơ, và PNN sử dụng cả tích vô hướng và có hướng của véc-tơ.

Giống như FMNN, tất cả các phiên bản của PNN đều bỏ qua tương tác bậc thấp của thuộc tính. Mạng nơ-ron rộng và sâu (W&DNN) Mạng W&DNN là mạng nơ-ron hỗn hợp cấu thành bởi hai nhánh rộng và sâu. Theo Cheng và các cộng sự [45], mạng này có khả năng học được tương tác bậc thấp lẫn bậc cao của các trường thuộc tính, đồng thời tận dụng được khả năng ghi nhớ của mô hình tuyến tính và khả năng tổng quát hóa của mạng nơ-ron học sâu vào trong cùng một mô hình. Đặc biệt, khả năng của mạng càng được phát huy trong trường hợp bộ dữ liệu đầu vào lớn với số lượng các trường thuộc tính cao.1: Bảng so sánh các mô hình nơ-ron truyền thẳng Tiền huấn luyện Tương tác bậc cao Tương tác bậc thấp FMNN v v PNN v W&DNN v v 1.2 Mô hình mạng nơ-ron rộng và sâu Với hướng nghiên cứu cứu ứng dụng mạng nơ-ron học sâu cho Bài toán 1, yêu cầu đề ra của mô hình dự báo là phải học được mối tương tác bậc thấp cũng như bậc cao của các trường thuộc tính.

Do vậy, tác giả sử dụng mạng nơ-ron học rộng và sâu để phục vụ mục tiêu đề ra. Mô hình này được đề xuất năm 2016 bởi một nhóm làm việc trong Google [45]. Tổng quan về hệ gợi ý và một số mô hình mạng nơ-ron học sâu Hình 1.5: Sơ đồ cấu trúc mạng nơ-ron rộng và sâu Mô hình rộng và sâu là một mạng nơ-ron hỗn hợp với cấu trúc bao gồm hai nhánh được mô tả như sau: Phần Rộng Phần rộng là mô hình tuyến tính có dạng: y = WTx + b (1.1) trong đó y là giá trị dự báo, x = {x1 , x2 , ., xm } là véc-tơ có m thuộc tính, W = {w1 , w2 , ., wm } là hệ số tương ứng của mô hình (W T là ma trận chuyển vị của W ) và b là độ lệch. Trường thuộc tính đầu vào bao gồm các thuộc tính thô và một số thuộc tính đặc biệt được tạo ra bằng phép biến đổi tích chéo (cross product transformation) như công thức 1.2: d Y φk (x) = xci ki , cki ∈ {0, 1} (1.