Chương 1. Tổng quan về hệ gợi ý và một số mô hình mạng nơ-ron học sâu phẩm mã danh mục, giá thành. Ngoài ra, do các nhấp chuột có tính thứ tự nên hệ thống có thể ghi nhận thêm cả thời điểm nhấp chuột.2 Bài toán 1 - Dự báo hành vi mua hàng Bài toán 1. Cho một chuỗi nhấp chuột có tính thứ tự theo thời gian được sinh ra từ một phiên làm việc của khách hàng khi lựa chọn sản phẩm, cần xây dựng mô hình dự báo xem liệu khách hàng có mua hàng trong phiên làm việc hiện tại không? Bài toán 1 giả thiết mỗi phiên làm việc là một khách hàng độc lập và đặc trưng về hành vi mua của họ được thể hiện ẩn thông qua các thuộc tính của mỗi phiên làm việc như số lần, tần suất, thời gian nhấp chuột, v.
Như vậy, mục tiêu bài toán 1 là từ chuỗi dữ liệu nhấp chuột của khách hàng trong từng phiên làm việc cụ thể, cần xây dựng một mô hình dự báo khả năng mua hàng của khách hàng. Với mục tiêu này, bài toán đề ra được đưa về bài toán phân loại nhị phân, trong đó mô hình phân loại trả về kết quả là xác suất xảy ra của sự kiện ”mua hàng”.3 Bài toán 2 - Hệ gợi ý top − k Bài toán 2. Cho một chuỗi nhấp chuột có tính thứ tự theo thời gian được sinh ra từ một phiên làm việc của khách hàng khi lựa chọn sản phẩm, cần xây dựng mô hình gợi ý xem liệu khách hàng lựa chọn mặt hàng nào tiếp theo trong phiên làm việc hiện tại? Rõ ràng Bài toán 2 có tính tổng quát hơn Bài toán 1. Mục tiêu của Bài toán 2 nhằm xây dựng một mô hình gợi ý đưa ra một hoặc một số sản phẩm nào đó mà khách hàng có khả năng lựa chọn tiếp theo.
Lưu ý rằng hệ gợi ý này thuần túy chỉ dựa vào chuỗi sự kiện tuần tự trong phiên làm việc hiện tại của người dùng đó, thay vì phải dựa vào thông tin quá khứ của họ. Bài toán 2 chính là dạng xây dựng hệ gợi ý dựa vào phiên làm việc (bài toán SR). Bài toán SR được mô tả toán học như sau, giả sử X = {x1 , x2 , ., xn } là một danh mục các đối tượng duy nhất (ví dụ như danh mục mã sản phẩm) và n là số lượng sản phẩm. Tập sản phẩm này sẽ được các khách hàng lựa chọn trong các phiên làm việc của họ.
Như vậy ta có đối tượng phiên làm việc s được biểu diễn như sau s = {xs,1 , xs,2 , ., xs,c } trong đó xs,i ∈ X, ∀i : 1 ≤ i ≤ c có tính thứ tự theo chuỗi thời gian nhằm thể hiện một hành động nhấp chuột nào đó của người dùng trong phiên làm việc s. Với vấn đề như vậy, bài toán SR là mô hình dự báo xem liệu người dùng sẽ lựa chọn đối tượng (sản phẩm) xs,m+1 tiếp theo nào trong phiên làm việc s đó. Với 11 Chương 1. Tổng quan về hệ gợi ý và một số mô hình mạng nơ-ron học sâu mô hình gợi ý này cho một phiên làm việc s cụ thể, hệ gợi ý sẽ trả về hàm ŷ là một véc-tơ chứa danh mục k sản phẩm gợi ý với xác xuất được lựa chọn từ cao tới thấp.
Danh mục sản phẩm gợi ý này được gọi là top − k sản phẩm gợi ý cho người dùng [19].3 minh họa mô hình SR đưa ra dự báo top − 2 sản phẩm cùng xác xuất mà khách hàng sẽ lựa chọn để nhấp tiếp.3: Bài toán gợi ý top-k sản phẩm 1.3 Lý thuyết mạng nơ-ron học sâu Phần này trình bày lý thuyết cơ bản để giải quyết Bài toán 1 sử dụng các mô hình mạng nơ-ron học sâu. Mạng nơ-ron truyền thẳng (feedforward neural network, FNN ) [29], [30] là một loại mạng nơ-ron học sâu cơ bản mà thông tin chỉ chuyển theo một hướng, từ lớp đầu vào tới lớp đầu ra, mà không có bất kỳ vòng lặp phản hồi nào. Điều này giúp cho mô hình mạng FNN mặc dù là loại mạng nơ-ron tương đối đơn giản nhưng được sử dụng rộng rãi trong nhiều ứng dụng [31]. Một số mô hình phổ biến nhất của mạng nơ-ron truyền thẳng như sau, trong đó có một số mô hình sẽ được nghiên cứu và thực nghiệm ở phần tiếp theo của luận án.
• Các mạng nơ-ron sử dụng nhiều lớp nơ-ron theo kiến trúc cơ sở của Multi-layer perceptron [32] nhằm xử lý các dữ liệu dạng bảng. Bao gồm mạng nơ-ron học sâu truyền thẳng, mạng nơ-ron sâu và rộng hay mạng nơ-ron phân tích ma trận nhân tử. • Mạng nơ-ron tích chập (CNN ) [33]–[35]: Đây là một loại mạng nơ-ron cải tiến được chuyên biệt hóa, thường được sử dụng cho xử lý hình ảnh và video. Nó được thiết kế để tự động xác định các đặc trưng trong hình ảnh, chẳng hạn như cạnh, góc và các cấu trúc khác bằng cách áp dụng bộ lọc tích chập vào dữ liệu đầu vào.
• Mạng nơ-ron hồi quy (RNN ) [36]–[38]: Mạng nơ-ron tiến hóa được thiết kế để xử lý các đầu vào có dạng dữ liệu tuần tự, chẳng hạn như giọng nói, văn 12 Chương 1. Tổng quan về hệ gợi ý và một số mô hình mạng nơ-ron học sâu bản và dữ liệu chuỗi thời gian. RNN có khả năng bắt các phụ thuộc thời gian trong dữ liệu đầu vào, làm cho nó phù hợp cho nhiều ứng dụng, chẳng hạn như dịch ngôn ngữ, nhận dạng giọng nói và tạo âm nhạc. • Mạng nơ-ron biến đổi (Transformer ) [39]–[41]: Kiến trúc mạng Transformer được giới thiệu như một phương án thay thế kiến trúc mạng RNN trong việc xử lý dữ liệu tuần tự, chẳng hạn như ngôn ngữ.
Hạn chế của mô hình RNN là không xử lý song song được chuỗi dữ liệu đầu vào và không thể nắm bắt được sự phụ thuộc dài hạn. Thay vì kết nối tuần tự của RNN, Transformer sử dụng lớp tự chú ý cho phép mô hình nắm bắt sự phụ thuộc giữa các thành phần khác nhau trong chuỗi đầu vào. Điều này khiến cho Transformer có thể được thực hiện song song và cho phép nó xử lý các chuỗi đầu vào dài hơn.1 Mô hình mạng nơ-ron học sâu truyền thẳng Với sự phát triển trong nhiều năm qua, mạng nơ-ron học sâu đã kết quả khả quan trong việc ứng dụng thành công cụ thể trong nhiều lĩnh vực khác nhau. Một số mô hình mạng nơ-ron học sâu đã được nghiên cứu phát triển nhằm giải quyết các bài toán có dữ liệu dạng bảng gồm cả thuộc tính số và danh mục.
Phần này nghiên cứu một số mô hình cải tiến cụ thể của mạng nơ-ron truyền thẳng FNN nhằm cung cấp cái nhìn tổng quan hơn về kỹ thuật học sâu trong việc giải quyết Bài toán 1. Ba mô hình có tính chất tương tự như FNN nhưng khác nhau ở phương pháp tiền xử lý lớp nhúng trước khi vào lớp học sâu truyền thẳng. Các biến thể của mô hình FNN được minh họa ở Hình 1.4: Một số mô hình nơ-ron sử dụng trong dự báo chuỗi nhấp chuột Mạng nơ-ron phân tích ma trận nhân tử (FMNN) Mạng FMNN (Factorization-machine supported neural networks) là mạng nơ-ron truyền thẳng có khả năng học được các véc-tơ nhúng của các thuộc tính danh mục thông quá lớp tiền huấn luyện FM (Factorization Machine) [42], [43], đây là hướng tiếp cận xây dựng mô hình gợi ý sử dụng lọc cộng tác. Quá trình tiền huấn luyện 13 Chương 1.
Tổng quan về hệ gợi ý và một số mô hình mạng nơ-ron học sâu mô hình FM trước khi áp dụng mạng nơ-ron truyền thẳng dẫn đến hai vấn đề của phương pháp này: (1) các tham số của lớp nhúng chịu ảnh hưởng lớn từ lớp MF; và (2) hiệu suất của mạng bị giảm do sai số sinh ra từ quá trình tiền xử lý bằng FM trước khi đưa vào mạng học sâu truyền thẳng. Bên cạnh đó, FMNN chỉ học được các tương tác bậc cao của các trường thuộc tính. Mạng nơ-ron tích chập (PNN) Mạng PNN (Product-based neural network ) cũng là mạng nơ-ron truyền thẳng trong đó thêm vào một lớp tích véc-tơ trước lớp ẩn đầu tiên nhằm giúp mạng nắm được các tương tác bậc cao giữa các trường thuộc tính [44]. Dựa trên phép tích véc-tơ, phương pháp này chia làm 3 phiên bản khác nhau: I-PNN (Inner PNN ), O- PNN (Outer PNN ) và PNN, trong đó I-PNN dựa trên phép nhân véc-tơ vô hướng, O-PNN sử dụng tích có hướng của véc-tơ, và PNN sử dụng cả tích vô hướng và có hướng của véc-tơ.
Giống như FMNN, tất cả các phiên bản của PNN đều bỏ qua tương tác bậc thấp của thuộc tính. Mạng nơ-ron rộng và sâu (W&DNN) Mạng W&DNN là mạng nơ-ron hỗn hợp cấu thành bởi hai nhánh rộng và sâu. Theo Cheng và các cộng sự [45], mạng này có khả năng học được tương tác bậc thấp lẫn bậc cao của các trường thuộc tính, đồng thời tận dụng được khả năng ghi nhớ của mô hình tuyến tính và khả năng tổng quát hóa của mạng nơ-ron học sâu vào trong cùng một mô hình. Đặc biệt, khả năng của mạng càng được phát huy trong trường hợp bộ dữ liệu đầu vào lớn với số lượng các trường thuộc tính cao.1: Bảng so sánh các mô hình nơ-ron truyền thẳng Tiền huấn luyện Tương tác bậc cao Tương tác bậc thấp FMNN v v PNN v W&DNN v v 1.2 Mô hình mạng nơ-ron rộng và sâu Với hướng nghiên cứu cứu ứng dụng mạng nơ-ron học sâu cho Bài toán 1, yêu cầu đề ra của mô hình dự báo là phải học được mối tương tác bậc thấp cũng như bậc cao của các trường thuộc tính.
Do vậy, tác giả sử dụng mạng nơ-ron học rộng và sâu để phục vụ mục tiêu đề ra. Mô hình này được đề xuất năm 2016 bởi một nhóm làm việc trong Google [45]. Tổng quan về hệ gợi ý và một số mô hình mạng nơ-ron học sâu Hình 1.5: Sơ đồ cấu trúc mạng nơ-ron rộng và sâu Mô hình rộng và sâu là một mạng nơ-ron hỗn hợp với cấu trúc bao gồm hai nhánh được mô tả như sau: Phần Rộng Phần rộng là mô hình tuyến tính có dạng: y = WTx + b (1.1) trong đó y là giá trị dự báo, x = {x1 , x2 , ., xm } là véc-tơ có m thuộc tính, W = {w1 , w2 , ., wm } là hệ số tương ứng của mô hình (W T là ma trận chuyển vị của W ) và b là độ lệch. Trường thuộc tính đầu vào bao gồm các thuộc tính thô và một số thuộc tính đặc biệt được tạo ra bằng phép biến đổi tích chéo (cross product transformation) như công thức 1.2: d Y φk (x) = xci ki , cki ∈ {0, 1} (1.