Ứng Dụng Mạng Nơ-ron Đồ Thị (GNN) Trong Hệ Gợi Ý - Đề Án Thạc Sĩ

Tài liệu nghiên cứu Ứng dụng mạng nơ ron đồ thị trong hệ gợi ý, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên sâu về .

• Tác giả: Nguyễn Thị Ngọc Anh
• Người hướng dẫn: Ts. Lê Quang Hùng
• Trường học: Trường Đại Học Quy Nhơn
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Ứng Dụng Mạng Nơ-ron Đồ Thị Trong Hệ Gợi Ý
• Loại tài liệu: Đề Án Thạc Sĩ
• Năm xuất bản: 2023
• Địa điểm: Bình Định

Mục lục chi tiết

• Lời cam đoan
• Lời cảm ơn
• Tóm tắt
• Danh mục các chữ viết tắt
• Danh sách hình vẽ
• Mở đầu
• 1. Tổng quan
• 1.1. Sơ lược về hệ gợi ý
• 1.2. Các nhiệm vụ trong hệ gợi ý
• 1.3. Bài toán hệ gợi ý
• 1.4. Một số kỹ thuật gợi ý
• 1.4.1. Lọc dựa trên nội dung
• 1.4.2. Lọc cộng tác
• 1.4.3. Lọc kết hợp
• 1.5. Mạng nơ-ron đồ thị
• 1.5.1. Học biểu diễn đồ thị
• 1.5.2. Nhúng đồ thị
• 1.5.3. Kiến trúc mạng nơ-ron đồ thị
• 1.6. Tổng kết chương 1
• 2. Mạng nơ-ron đồ thị trong hệ gợi ý
• 2.1. Định nghĩa về đồ thị
• 2.2. Kỹ thuật mạng nơ-ron đồ thị
• 2.3. Mạng nơ-ron đồ thị trong gợi ý lọc cộng tác
• 2.3.1. Xây dựng đồ thị
• 2.3.2. Tổng hợp lân cận
• 2.3.3. Cập nhật thông tin
• 2.3.4. Biểu diễn nút cuối cùng
• 2.4. Mô hình NGCF
• 2.4.1. Tầng nhúng
• 2.4.2. Tầng lan truyền
• 2.4.3. Mô hình dự đoán
• 2.5. Mô hình LightGCN
• 2.5.1. Phép tích chập đồ thị
• 2.5.2. Kết hợp lớp và dự đoán mô hình
• 2.5.3. Dạng ma trận
• 2.6. Tổng kết chương 2
• 3. Cài đặt thực nghiệm
• Kết luận
• Tài liệu tham khảo

Tóm tắt

I. Hệ Gợi Ý và Mạng Nơ ron Đồ Thị Tổng Quan Chi Tiết

Hệ gợi ý (Recommender Systems - RS) là một công cụ mạnh mẽ được sử dụng để dự đoán sở thích của người dùng, đưa ra các gợi ý sản phẩm, nội dung, hoặc dịch vụ phù hợp với nhu cầu cá nhân. Các hệ thống này đóng vai trò quan trọng trong nhiều lĩnh vực, từ thương mại điện tử (gợi ý sản phẩm, tăng doanh số) đến giải trí (gợi ý phim, nhạc, video) và giáo dục (gợi ý tài liệu học tập). Sự phát triển của học sâu (Deep Learning), đặc biệt là mạng nơ-ron đồ thị (Graph Neural Networks - GNNs), đã mang đến một hướng tiếp cận mới đầy tiềm năng cho việc xây dựng các hệ gợi ý hiệu quả hơn. Hầu hết thông tin trong các hệ gợi ý đều có cấu trúc đồ thị, và GNN có ưu thế trong việc học biểu diễn đồ thị. Mạng nơ-ron đồ thị có khả năng xử lý dữ liệu có cấu trúc phức tạp, tận dụng các mối quan hệ giữa các đối tượng để đưa ra các dự đoán chính xác hơn. Các kỹ thuật này đang được nghiên cứu và ứng dụng mạnh mẽ, mang lại lợi ích cho cả nhà cung cấp dịch vụ và người dùng. Các thuật toán gợi ý hiện đại được xây dựng trên các nền tảng TensorFlow, PyTorch và DGL. Theo nghiên cứu của Nguyễn Thị Ngọc Anh tại Đại học Quy Nhơn năm 2023, GNN có thể giải quyết nhiều vấn đề như phân loại đối tượng đồ thị, dự đoán, gợi ý sản phẩm, phân tích mạng xã hội, xử lý ngôn ngữ tự nhiên và dự đoán cấu trúc và quan hệ.

1.1. Bài Toán Hệ Gợi Ý Yếu Tố Đầu Vào và Mục Tiêu

Bài toán hệ gợi ý tập trung vào việc tìm ra danh sách các sản phẩm phù hợp nhất với từng người dùng. Đầu vào của bài toán bao gồm: tập người dùng (C), tập sản phẩm (S), và ma trận xếp hạng (R) thể hiện mức độ yêu thích của người dùng đối với từng sản phẩm. Mục tiêu là xây dựng một hàm u(ci, sj) để đo độ phù hợp của sản phẩm sj đối với người dùng ci. Các yếu tố ảnh hưởng đến hàm u bao gồm: đặc điểm của người dùng (lọc theo nội dung người dùng), đặc điểm của sản phẩm (lọc theo nội dung sản phẩm), lịch sử giao dịch của người dùng, và thông tin từ những người dùng khác có sở thích tương tự. Các phương pháp gợi ý chủ yếu phụ thuộc vào các yếu tố này. Cần khai thác triệt để thông tin từ các đồ thị quan hệ giữa người dùng và item.

1.2. Các Kỹ Thuật Gợi Ý Phổ Biến So Sánh Ưu Nhược Điểm

Có ba kỹ thuật chính trong hệ gợi ý: lọc dựa trên nội dung, lọc cộng tác, và lọc kết hợp. Lọc dựa trên nội dung gợi ý các sản phẩm tương tự với những sản phẩm người dùng đã quan tâm trong quá khứ. Ưu điểm là gợi ý cá nhân hóa, nhưng nhược điểm là khó khăn khi áp dụng cho người dùng mới hoặc khi thiếu thông tin về sản phẩm. Lọc cộng tác dựa vào đánh giá của những người dùng khác để đưa ra gợi ý, dựa trên giả định những người dùng có cùng sở thích trong quá khứ sẽ có những sở thích tương tự trong tương lai. Phương pháp này phù hợp với các hệ thống lớn có nhiều đánh giá từ người dùng. Lọc kết hợp là sự kết hợp giữa hai phương pháp trên, tận dụng ưu điểm và hạn chế nhược điểm của cả hai. Việc kết hợp các thuật toán gợi ý cho phép xây dựng hệ thống mạnh mẽ và linh hoạt hơn.

1.3. Các độ đo đánh giá độ chính xác và hiệu suất hệ gợi ý

Để đánh giá hiệu quả của hệ gợi ý, cần sử dụng các độ đo phù hợp. Hai độ đo phổ biến là Precision@K (độ chính xác) và Recall@K (độ bao phủ). Precision@K đo tỷ lệ các mục tương tác được đề xuất trên tổng số mục được đề xuất. Recall@K đo tỷ lệ các mục tương tác được đề xuất trên tổng số mục đã tương tác. Việc sử dụng cả hai độ đo này cho phép đánh giá toàn diện khả năng của hệ thống trong việc đưa ra các gợi ý chính xác và bao quát. Cần kết hợp cả độ chính xác gợi ý và hiệu suất gợi ý để đánh giá khách quan. Phân tích độ chính xác và độ bao phủ sẽ giúp nhà phát triển có hướng điều chỉnh và cải tiến sản phẩm.

II. Giải Mã Mạng Nơ ron Đồ Thị Nền Tảng Cho Hệ Gợi Ý Thông Minh

Mạng nơ-ron đồ thị (Graph Neural Networks - GNNs) là một loại mô hình học sâu được thiết kế để làm việc với dữ liệu có cấu trúc đồ thị. GNNs có khả năng học biểu diễn (embeddings) cho các nút và cạnh trong đồ thị, từ đó có thể sử dụng cho nhiều nhiệm vụ khác nhau, bao gồm cả hệ gợi ý. Ưu điểm chính của GNNs là khả năng tận dụng các mối quan hệ giữa các đối tượng, điều mà các mô hình học sâu truyền thống khó có thể làm được. GNNs hoạt động bằng cách lặp đi lặp lại việc tổng hợp thông tin từ các nút lân cận và cập nhật biểu diễn của nút trung tâm. Quá trình này cho phép GNNs nắm bắt được các đặc trưng phức tạp của đồ thị và tạo ra các biểu diễn hiệu quả cho việc dự đoán và gợi ý. Graph Embedding là một trong những kỹ thuật then chốt giúp chuyển đổi dữ liệu đồ thị thành dạng vector, tạo điều kiện cho việc xử lý bằng các mô hình học máy. Các kiến trúc GNN phổ biến bao gồm GCN, GraphSAGE và GAT, mỗi kiến trúc có những ưu điểm và nhược điểm riêng.

2.1. Học Biểu Diễn Đồ Thị Biến Đổi Dữ Liệu Đồ Thị Thành Thông Tin Hữu Ích

Học biểu diễn đồ thị (Graph Representation Learning) là quá trình chuyển đổi dữ liệu đồ thị thành các biểu diễn số học có thể sử dụng được bởi các mô hình học máy. Mục tiêu là tạo ra các biểu diễn sao cho các nút và cạnh có mối quan hệ gần gũi trong đồ thị cũng có biểu diễn gần gũi trong không gian vector. Các phương pháp học biểu diễn đồ thị bao gồm graph embedding, node classification, link prediction và graph convolution. Việc lựa chọn phương pháp phù hợp phụ thuộc vào đặc điểm của đồ thị và nhiệm vụ cần giải quyết. Kỹ thuật này cho phép tận dụng tối đa thông tin từ cấu trúc đồ thị để cải thiện hiệu suất của các mô hình học máy.

2.2. Kiến Trúc Mạng Nơ ron Đồ Thị Các Lớp Mạng và Cơ Chế Hoạt Động

Kiến trúc mạng nơ-ron đồ thị bao gồm nhiều lớp mạng, mỗi lớp thực hiện các phép biến đổi trên các nút và cạnh của đồ thị. Các lớp mạng phổ biến bao gồm: Graph Convolutional Network (GCN), GraphSAGE, và Graph Attention Network (GAT). GCN sử dụng phép tích chập đồ thị để tổng hợp thông tin từ các nút lân cận. GraphSAGE lấy mẫu các nút lân cận và sử dụng một hàm tổng hợp để tạo ra biểu diễn cho nút trung tâm. GAT sử dụng cơ chế attention để gán trọng số khác nhau cho các nút lân cận. Việc lựa chọn kiến trúc phù hợp phụ thuộc vào đặc điểm của đồ thị và nhiệm vụ cần giải quyết.

III. Ứng Dụng Mạng Nơ ron Đồ Thị Trong Hệ Gợi Ý Lọc Cộng Tác

Mạng nơ-ron đồ thị (GNN) có thể được ứng dụng hiệu quả trong hệ gợi ý lọc cộng tác (Collaborative Filtering - CF). Ý tưởng cơ bản là sử dụng các tương tác giữa người dùng và sản phẩm để nâng cao biểu diễn của cả người dùng và sản phẩm. GNNs có thể tận dụng cấu trúc đồ thị của dữ liệu tương tác để học các biểu diễn tốt hơn so với các phương pháp truyền thống. Các bước chính trong việc ứng dụng GNNs trong CF bao gồm: xây dựng đồ thị tương tác, tổng hợp thông tin từ các nút lân cận, cập nhật biểu diễn của các nút, và dự đoán mức độ yêu thích của người dùng đối với sản phẩm. Vấn đề cold start problem (khó khăn khi gợi ý cho người dùng mới hoặc sản phẩm mới) có thể được giảm thiểu bằng cách sử dụng thông tin từ các knowledge graph hoặc bằng cách kết hợp với các phương pháp content-based filtering. Các mô hình phổ biến bao gồm NGCF, LightGCN, KGAT. GNN cho gợi ý giúp khai thác tối đa tiềm năng của dữ liệu đồ thị, mang lại trải nghiệm cá nhân hóa tốt hơn cho người dùng.

3.1. Xây Dựng Đồ Thị Tương Tác Liên Kết Người Dùng và Sản Phẩm

Để áp dụng GNN trong hệ gợi ý, bước đầu tiên là xây dựng đồ thị tương tác giữa người dùng và sản phẩm. Đồ thị này bao gồm các nút đại diện cho người dùng và sản phẩm, và các cạnh đại diện cho các tương tác giữa chúng (ví dụ: người dùng mua sản phẩm, người dùng đánh giá sản phẩm). Cấu trúc đồ thị này rất quan trọng, nó sẽ quyết định phạm vi và loại thông tin để lan truyền. Có hai cách tiếp cận chính: sử dụng đồ thị hai phía (bipartite graph) hoặc xây dựng đồ thị đồng nhất (homogeneous graph). Việc lựa chọn cách tiếp cận phù hợp phụ thuộc vào đặc điểm của dữ liệu và mục tiêu của hệ gợi ý.

3.2. Tổng Hợp Lân Cận và Cập Nhật Thông Tin Cơ Chế Lan Truyền

Sau khi xây dựng đồ thị tương tác, GNN sẽ thực hiện quá trình tổng hợp thông tin từ các nút lân cận và cập nhật biểu diễn của các nút. Quá trình này lặp đi lặp lại, cho phép thông tin lan truyền qua toàn bộ đồ thị. Các hàm tổng hợp phổ biến bao gồm: trung bình, tổng, cực đại, và attention. Việc lựa chọn hàm tổng hợp phù hợp có ảnh hưởng lớn đến hiệu suất của GNN. Việc cập nhật biểu diễn của các nút thường được thực hiện bằng cách kết hợp thông tin từ các nút lân cận với thông tin ban đầu của nút đó.

3.3. Các mô hình GNN phổ biến cho hệ gợi ý

Có rất nhiều mô hình GNN được áp dụng cho hệ gợi ý. Các mô hình này có các kiến trúc khác nhau và sử dụng các hàm tổng hợp khác nhau. Một số mô hình phổ biến bao gồm: NGCF, LightGCN, KGAT. NGCF sử dụng phép tích chập đồ thị để tổng hợp thông tin từ các nút lân cận. LightGCN đơn giản hóa phép tích chập đồ thị và loại bỏ các thành phần không cần thiết. KGAT kết hợp thông tin từ knowledge graph để cải thiện hiệu suất gợi ý. Việc lựa chọn mô hình phù hợp phụ thuộc vào đặc điểm của dữ liệu và mục tiêu của hệ gợi ý. Các mô hình này thường được triển khai bằng PyTorch Geometric.

IV. Thực Nghiệm và Đánh Giá So Sánh NGCF và LightGCN

Để đánh giá hiệu quả của việc ứng dụng mạng nơ-ron đồ thị trong hệ gợi ý, cần thực hiện các thực nghiệm trên các bộ dữ liệu thực tế. Trong đề tài này, bộ dữ liệu MovieLens 100K được sử dụng. MovieLens 100K chứa 100.000 xếp hạng của 943 người dùng đối với 1682 bộ phim. Các thực nghiệm được thực hiện để so sánh hiệu suất của hai mô hình GNN: NGCF và LightGCN. Các độ đo đánh giá bao gồm Precision@K và Recall@K. Kết quả thực nghiệm cho thấy rằng cả hai mô hình đều có hiệu suất tốt, nhưng LightGCN có phần vượt trội hơn NGCF. Điều này cho thấy rằng việc đơn giản hóa kiến trúc GNN có thể mang lại hiệu quả tốt hơn trong một số trường hợp. Cần có thêm các thực nghiệm trên các bộ dữ liệu khác để có kết luận chắc chắn hơn.

4.1. Bộ Dữ Liệu MovieLens 100K Thống Kê và Đặc Điểm

MovieLens 100K là một bộ dữ liệu phổ biến được sử dụng để đánh giá hiệu suất của các hệ gợi ý. Bộ dữ liệu này chứa 100.000 xếp hạng của 943 người dùng đối với 1682 bộ phim. Mỗi người dùng đã xếp hạng ít nhất 20 bộ phim. Các xếp hạng có giá trị từ 1 đến 5. Bộ dữ liệu này có cấu trúc đồ thị tự nhiên, với các nút đại diện cho người dùng và phim, và các cạnh đại diện cho các xếp hạng. Cần tiền xử lý dữ liệu trước khi sử dụng cho các mô hình học máy.

4.2. So Sánh Hiệu Suất NGCF và LightGCN Phân Tích Kết Quả

Kết quả thực nghiệm cho thấy rằng cả hai mô hình NGCF và LightGCN đều có hiệu suất tốt trên bộ dữ liệu MovieLens 100K. Tuy nhiên, LightGCN có phần vượt trội hơn NGCF về cả Precision@K và Recall@K. Điều này có thể là do LightGCN đã loại bỏ các thành phần không cần thiết trong kiến trúc GNN, giúp mô hình tập trung vào các thông tin quan trọng hơn. Cần lưu ý rằng kết quả này chỉ mang tính tương đối và có thể thay đổi trên các bộ dữ liệu khác.

V. Hướng Phát Triển và Nghiên Cứu Mở Rộng Ứng Dụng GNN

Hướng phát triển trong tương lai, có thể nghiên cứu thêm về hệ gợi ý theo một số hướng: thử nghiệm trên các bộ dữ liệu khác, sử dụng các mô hình học sâu khác, thiết kế mô hình GNN để đáp ứng với các đồ thị động trong thực tế. Việc kết hợp mạng nơ-ron đồ thị với các kỹ thuật khác như multi-modal recommendation (sử dụng thông tin từ nhiều nguồn khác nhau) và cross-domain recommendation (chuyển kiến thức từ lĩnh vực này sang lĩnh vực khác) cũng là một hướng đi đầy tiềm năng. Ngoài ra, cần chú trọng đến việc giải quyết các vấn đề thực tế như context-aware recommendation (gợi ý dựa trên ngữ cảnh) và sequential recommendation (gợi ý dựa trên lịch sử tương tác của người dùng).

5.1. Thử Nghiệm trên Các Bộ Dữ Liệu Lớn Hơn và Phức Tạp Hơn

Để đánh giá khả năng mở rộng của các mô hình GNN, cần thực hiện các thử nghiệm trên các bộ dữ liệu lớn hơn và phức tạp hơn. Các bộ dữ liệu này có thể chứa hàng triệu người dùng và sản phẩm, và có cấu trúc đồ thị phức tạp hơn. Việc thử nghiệm trên các bộ dữ liệu này sẽ giúp chúng ta hiểu rõ hơn về điểm mạnh và điểm yếu của các mô hình GNN, và từ đó có thể cải thiện hiệu suất của chúng.

5.2. Nghiên Cứu Các Phương Pháp GNN Mới và Các Kỹ Thuật Kết Hợp

Lĩnh vực mạng nơ-ron đồ thị đang phát triển rất nhanh chóng, với nhiều phương pháp mới được đề xuất liên tục. Cần theo dõi các nghiên cứu mới nhất và thử nghiệm các phương pháp GNN mới trên các bài toán hệ gợi ý. Ngoài ra, việc kết hợp GNN với các kỹ thuật khác như multi-modal recommendation và cross-domain recommendation cũng là một hướng đi đầy tiềm năng.

VI. Kết Luận Tiềm Năng và Thách Thức của Mạng Nơ ron Đồ Thị

Mạng nơ-ron đồ thị (GNN) là một công cụ mạnh mẽ có thể được ứng dụng hiệu quả trong hệ gợi ý. GNNs có khả năng tận dụng cấu trúc đồ thị của dữ liệu tương tác để học các biểu diễn tốt hơn so với các phương pháp truyền thống. Tuy nhiên, việc ứng dụng GNNs cũng đặt ra một số thách thức, bao gồm: lựa chọn kiến trúc phù hợp, xử lý dữ liệu quy mô lớn, và giải quyết các vấn đề thực tế như cold start problem. Bằng cách tiếp tục nghiên cứu và phát triển các phương pháp GNN, chúng ta có thể khai thác tối đa tiềm năng của chúng và xây dựng các hệ gợi ý thông minh và cá nhân hóa hơn.

6.1. Tóm Tắt Ưu Điểm và Hạn Chế của Ứng Dụng GNN

Ưu điểm: Khả năng tận dụng cấu trúc đồ thị, học biểu diễn hiệu quả, cải thiện hiệu suất gợi ý. Hạn chế: Khó khăn trong việc lựa chọn kiến trúc, xử lý dữ liệu quy mô lớn, giải quyết các vấn đề thực tế (cold start). Việc cân nhắc kỹ lưỡng các ưu điểm và hạn chế sẽ giúp chúng ta đưa ra quyết định sáng suốt khi ứng dụng GNN trong hệ gợi ý.

6.2. Tầm Quan Trọng của Nghiên Cứu và Phát Triển GNN cho Gợi Ý

Nghiên cứu và phát triển mạng nơ-ron đồ thị (GNN) cho hệ gợi ý là rất quan trọng vì nó có thể mang lại những lợi ích to lớn cho cả người dùng và nhà cung cấp dịch vụ. GNNs có thể giúp chúng ta xây dựng các hệ gợi ý thông minh hơn, cá nhân hóa hơn, và hiệu quả hơn, từ đó cải thiện trải nghiệm của người dùng và tăng doanh thu cho nhà cung cấp dịch vụ. Cần tiếp tục đầu tư vào nghiên cứu và phát triển trong lĩnh vực này để khai thác tối đa tiềm năng của GNN.

Trích đoạn nội dung tài liệu

chương 1 Trong chương này, chúng tôi đã trình bày sơ lược về hệ gợi ý, các nhiệm vụ trong hệ gợi ý, bài toán hệ gợi ý, một số kỹ thuật gợi ý, đánh giá hệ gợi ý và mạng nơ ron đồ thị. Hệ gợi ý là một giải pháp được ứng dụng rộng rãi trong nhiều lĩnh vực nhằm giúp người dùng có thể lựa chọn những sản phẩm cần thiết, tốt nhất phù hợp với nhu cầu, sở thích nhằm tiết kiệm thời gian, chi phí. Trong lĩnh vực mạng nơ ron nhân tạo, đã áp dụng nhiều phương pháp cho hệ gợi ý như: lọc cộng tác bằng mạng nơ-ron (NCF), mạng nơron đệ quy (RNN). Tuy nhiên, các phương pháp này không mang lại hiệu quả bằng phương pháp mạng nơ-ron đồ thị (GNN) khi dự đoán cho một tương tác phức tạp giữa người dùng và sản phẩm hay với những dữ liệu vào phức tạp.

Để khắc phục điều này, trong chương 2 tôi sẽ trình bày về ứng dụng mạng nơ-ron đồ thị (GNN) trong hệ gợi ý. 19 Chương 2 Mạng nơ-ron đồ thị trong hệ gợi ý Trong chương này, chúng tôi định nghĩa về đồ thị, trình bày kỹ thuật mạng nơ-ron đồ thị. Tiếp theo chúng tôi giới thiệu mạng nơ-ron đồ thị trong gợi ý lọc cộng tác và hai mô hình: NGCF và LightGCN.1 Định nghĩa về đồ thị Đồ thị G được biểu diễn dưới dạng G = (V, E): Trong đó ˆ V là tập các nút, E là tập các cạnh ˆ vi ∈ V là một đỉnh, eij = (vi , vj ) ∈ E là cạnh hướng từ vj tới vi ˆ Vùng lân cận của nút v được kí hiệu là N (v) = {u ∈ V | (v, u) ∈ E} Đồ thị có thể được phân loại thành: ˆ Đồ thị có hướng/vô hướng. Đồ thị có hướng là đồ thị có tất cả các cạnh hướng từ một nút này sang nút khác.

Đồ thị vô hướng được coi là trường hợp đặc biệt của đồ thị có hướng là một cặp cạnh có hướng ngược nhau nếu hai nút được kết nối với nhau. ˆ Đồ thị đồng nhất/không đồng nhất. Đồ thị đồng nhất bao gồm một loại nút và các cạnh, và đồ thị không đồng nhất có nhiều loại nút hoặc cạnh. Siêu đồ thị là sự tổng quát hóa của đồ thị trong đó một cạnh có thể nối bất kỳ với số đỉnh.2 Kỹ thuật mạng nơ-ron đồ thị Với dữ liệu đồ thị, ý tưởng chính của GNN là tổng hợp lặp đi lặp lại thông tin đặc trưng từ các lân cận và tích hợp thông tin tổng hợp với biểu diễn nút trung tâm hiện tại trong quá trình lan truyền [12],[14],[15].

GNN xếp chồng nhiều lớp lan truyền, bao gồm các hoạt động tổng hợp và cập nhật. Các công thức lan truyền là Aggregation : n(l) l v = Aggregatorl ({hu , ∀u ∈ Nv }), (1) (l+1) (l) (l) U pdate : hv = Updaterl (hv , nv ) , Ở đây hlu là biểu diễn của nút u tại lớp thứ l, Aggregatorl và Updaterl là hàm thao tác tổng hợp và cập nhật lại lớp thứ l tương ứng. Ở đây, các hoạt động tổng hợp và cập nhật của năm mô hình GNN điển hình áp dụng rộng rãi trong lĩnh vực gợi ý được tóm tắt như sau: ˆ GCN [27] xấp xỉ phân tích riêng bậc nhất của đồ thị Laplacian để tổng hợp thông tin lặp đi lặp lại từ các lân cận. Cụ thể, nó cập nhật nhúng bởi −1 −1 X Aggregation : n(l) v = dvv2 ãvj djj 2 hlj , U pdate : h(l+1) v = δ(W (l) n(l) v ) (2) j∈Nv Trong đó, δ(·) là hàm kích hoạt phi tuyến tính như ReLU , W (l) là ma trận chuyển P đổi có thể học được cho lớp l, ãvj là trọng số kề (ãvv = 1) và djj = k ãjk ˆ GraphSAGE [18] lấy mẫu kích thước vùng lân cận cố định cho mỗi nút, tính toán bộ tổng hợp trung bình/tổng/cực đại và áp dụng thao tác nối để cập nhật, Aggregation : n(l) l v = Aggregatorl ({hu , ∀u ∈ Nv }), (3) (l+1) (l) (l) U pdate : hv = δ(W l · [hv ⊕ nv ]) Trong đó Aggregatorl là hàm tổng hợp tại lớp l, δ(·) là hàm kích hoạt phi tuyến tính và W (l) là ma trận chuyển đổi có thể học được 21 ˆ GAT [29] Giả sử rằng ảnh hưởng của các nút lân cận không giống hệt nhau cũng như không được xác định trước bởi cấu trúc đồ thị, do đó, nó phân biệt sự đóng góp của các nút lân cận bằng cách tận dụng cơ chế chú ý và cập nhật vectơ của mỗi nút bằng cách tham gia vào các nút lân cận của nó,   (l) (l) X exp Att(hv , hj ) (l) Aggregation : n(l) v = avj hj , avj = P   (4) (l) (l) j∈Nv k∈Nv exp Att(hv , hk ) (l+1) (l) U pdate : hv = δ(W (l) nv ) (l) Trong đó Att(·) là hàm chú ý và Att(·) điển hình là LeakyReLU(aT [W (l) hv ⊕ (l) W (l) hj ]), W (l) là chịu trách nhiệm chuyển đổi các biểu diễn nút tại lớp l lan truyền và a là tham số có thể học được.

ˆ GGNN [30] sử dụng đơn vị định kỳ có kiểm soát (GRU) [30] trong bước cập nhật, 1 X (l) Aggregation : nlv = h , U pdate : h(l+1) v = GRU (h(l) (l) v , nv ) (5) |Nv | j∈N j v GGNN thực hiện chức năng lặp lại nhiều lần trên tất cả các nút [12], có thể phải đối mặt với vấn đề về khả năng mở rộng khi nó được áp dụng trong các đồ thị lớn. ˆ HGNN [28] là một mạng nơ-ron siêu đồ thị điển hình, mã hóa mối tương quan dữ liệu bậc cao trong cấu trúc siêu đồ thị. Lớp tích chập siêu cạnh có công thức sau: −1 −1 −1 Aggregation : N (l) = Dv 2 EW (0) Dv 2 E T Dv 2 H (l) , (6) (l+1) Update : hv = δ(W (l) N (l) ) Trong đó, δ(·) là hàm kích hoạt phi tuyến tính như ReLU và W (l) là ma trận biến đổi có thể học được cho lớp l, E là ma trận liền kề siêu đồ thị và De và Dv lần lượt là các ma trận đường chéo của độ cạnh và độ đỉnh.1: Các cấu trúc đồ thị biểu diễn trong các hệ gợi ý 2.3 Mạng nơ-ron đồ thị trong gợi ý lọc cộng tác Ý tưởng cơ bản về lọc cộng tác giữa người dùng-sản phẩm về cơ bản là sử dụng các sản phẩm được người dùng tương tác để nâng cao các biểu diễn của người dùng và sử dụng những người dùng đã từng tương tác với các sản phẩm để làm phong phú thêm các biểu diễn của sản phẩm.2: Khung tổng quát của GNN trong gợi ý lọc cộng tác Để tận dụng tối đa các phương pháp GNN trong việc thu thập tín hiệu cộng tác từ tương tác người dùng-sản phẩm, có bốn vấn đề chính cần giải quyết [15] 2.1 Xây dựng đồ thị Cấu trúc đồ thị là điều cần thiết cho phạm vi và loại thông tin để lan truyền. Đồ thị hai phía ban đầu bao gồm một tập hợp các nút người dùng/sản phẩm và các tương tác giữa chúng.

Áp dụng GNN trên đồ thị hai phía không đồng nhất hay xây dựng đồ thị đồng nhất dựa trên các lân cận hai bước nhảy? Hầu hết các công trình [31], [32], [33] đều áp dụng trực tiếp GNN trên đồ thị hai phía của người dùng ban đầu. Có hai 23 vấn đề trong việc áp dụng trực tiếp GNN trên đồ thị ban đầu: một là tính hiệu quả khi cấu trúc đồ thị ban đầu có thể không đủ để học các biểu diễn người dùng/sản phẩm; một vấn đề khác là tính hiệu quả khi tổng hợp thông tin của các vùng lân cận đầy đủ của các nút đòi hỏi chi phí tính toán cao, đặc biệt đối với đồ thị tỷ lệ lớn [34]. Một chiến lược để giải quyết vấn đề đầu tiên là làm phong phú cấu trúc đồ thị ban đầu bằng cách thêm các cạnh, chẳng hạn như các liên kết giữa các hàng xóm hai bước nhảy. Theo cách này, thông tin về khoảng cách giữa người dùng và sản phẩm có thể được kết hợp rõ ràng vào các tương tác giữa người dùng và sản phẩm.

Về vấn đề thứ hai, các chiến lược lấy mẫu được trình bày để làm cho GNN hiệu quả và có thể mở rộng thành các tác vụ gợi ý dựa trên biểu đồ quy mô lớn. PinSage [34] thiết kế phương pháp lấy mẫu dựa trên bước đi ngẫu nhiên để thu được quy mô cố định của các vùng lân cận có số lượt truy cập cao nhất. Theo cách này, những nút không liền kề trực tiếp với nút trung tâm cũng có thể trở thành lân cận của nó.2 Tổng hợp lân cận Bước tổng hợp có tầm quan trọng sống còn của việc lan truyền thông tin đối với cấu trúc đồ thị, nó quyết định lượng thông tin của các lân cận sẽ được truyền đi. Nhóm trung bình là một trong những hoạt động tổng hợp đơn giản nhất [31], [35], đối xử bình đẳng với các lân cận.

1 (l) nul = W (l) hi (7) |Nu | Do chiến lược lấy mẫu bước đi ngẫu nhiên, PinSage [34] chấp nhận lượt truy cập chuẩn hóa được tính là tầm quan trọng của các lân cận khi tổng hợp các biểu diễn vectơ của các lân cận. Tuy nhiên, các hàm tổng hợp này xác định tầm quan trọng của các nút lân cận theo cấu trúc đồ thị mà bỏ qua các mối quan hệ giữa các nút được kết nối. Được thúc đẩy bởi ý thức chung rằng việc nhúng các sản phẩm phù hợp với sở thích của người dùng nên được chuyển nhiều hơn cho người dùng (tương tự đối với các sản phẩm). NGCF [7] sử dụng sản phẩm thông minh theo yếu tố để tăng cường các tính năng của mặt hàng mà người dùng quan tâm hoặc sở thích của người dùng đối với các tính năng mà mặt hàng đó có.

Lấy nút người dùng làm ví dụ, biểu diễn hàng 24 xóm tổng hợp được tính như sau: X 1  (l) (l) (l) (l)  n(l) u = p W1 hi + W2 (hi ⊙ h(l) u ) (8) i∈Nu |Nu ||Ni | 2.3 Cập nhật thông tin Với thông tin được tổng hợp từ các nút lân cận, cách cập nhật biểu diễn của nút là điều cần thiết để lan truyền thông tin lặp đi lặp lại.