Nghiên cứu kỹ thuật máy học và học sâu trong hệ thống gợi ý - Luận văn

Luận văn nghiên cứu chuyên sâu về máy học và học sâu nhằm tối ưu hệ thống gợi ý, đề xuất thuật toán mới giúp nâng cao độ chính xác và mở rộng.

• Tác giả: Đỗ Trường Giang
• Người hướng dẫn: TS. Trần Mạnh Hoàng
• Trường học: Đại học Bách khoa Hà Nội
• Chuyên ngành: Kỹ thuật điện tử
• Đề tài: Nghiên cứu kỹ thuật Máy học và Học sâu trong Hệ thống gợi ý
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Tóm tắt

I. Giới thiệu về Hệ thống Gợi ý và Tầm quan trọng của Máy học

Hệ thống gợi ý đã trở thành một phần không thể thiếu trong các nền tảng thương mại điện tử, dịch vụ giải trí số và mạng xã hội hiện đại. Chúng giúp người dùng khám phá những sản phẩm, dịch vụ phù hợp từ lượng lớn dữ liệu trên mạng. Máy học và học sâu đóng vai trò then chốt trong việc cải thiện độ chính xác và hiệu suất của các hệ thống này. Thông qua việc phân tích lịch sử tương tác người dùng và thông tin đặc trưng sản phẩm, các thuật toán học máy có khả năng dự đoán sở thích của người dùng một cách chính xác. Bài viết này sẽ khám phá những kỹ thuật tiên tiến giúp tối ưu hóa hệ thống gợi ý, từ đó nâng cao trải nghiệm người dùng và tăng giá trị kinh doanh.

1.1. Khái niệm và vai trò của Hệ thống Gợi ý

Hệ thống gợi ý là một công nghệ thông minh giúp cá nhân hóa trải nghiệm người dùng. Chúng sử dụng dữ liệu người dùng để đưa ra những gợi ý liên quan. Các hệ thống này có thể hoạt động dựa trên nội dung, lọc cộng tác, hoặc kết hợp cả hai phương pháp. Tầm quan trọng nằm ở khả năng tăng tỷ lệ chuyển đổi, cải thiện sự hài lòng khách hàng và phát triển doanh số bán hàng.

1.2. Những thách thức trong Tối ưu hóa Hệ thống

Các hệ thống gợi ý hiện đại đối mặt với nhiều thách thức: ma trận thưa, khởi tạo người dùng mới, và khả năng mở rộng quy mô. Khi xử lý dữ liệu lớn, việc tính toán độ tương đồng sản phẩm trở nên phức tạp. Để giải quyết những vấn đề này, cần áp dụng các kỹ thuật học máy nâng cao và kiến trúc học sâu hiệu quả.

II. Phương pháp Lọc Cộng tác Dựa trên Ghi nhớ và Mô hình

Lọc cộng tác là một trong những phương pháp phổ biến nhất trong hệ thống gợi ý hiện đại. Phương pháp này dựa trên giả định rằng những người dùng có sở thích tương tự trong quá khứ sẽ có xu hướng thích những sản phẩm giống nhau trong tương lai. Lọc cộng tác dựa trên ghi nhớ sử dụng trực tiếp ma trận lịch sử tương tác để tính toán độ tương đồng giữa người dùng hoặc sản phẩm. Trong khi đó, lọc cộng tác dựa trên mô hình áp dụng các thuật toán máy học như phân rã ma trận để học các đặc trưng ẩn từ dữ liệu. Kết hợp cả hai phương pháp này có thể tạo ra một hệ thống gợi ý mạnh mẽ hơn, đặc biệt khi có dữ liệu nội dung sản phẩm bổ sung.

2.1. Lọc Cộng tác Dựa trên Ghi nhớ

Phương pháp dựa trên ghi nhớ tính toán độ tương đồng trực tiếp từ ma trận lịch sử. Ưu điểm là dễ triển khai và có khả năng giải thích cao. Tuy nhiên, nó gặp vấn đề với dữ liệu thưa và không hiệu quả với quy mô lớn. Kết hợp thông tin nội dung sản phẩm có thể cải thiện đáng kể độ chính xác dự đoán.

2.2. Lọc Cộng tác Dựa trên Mô hình

Phương pháp dựa trên mô hình sử dụng thuật toán máy học để khám phá đặc trưng ẩn từ dữ liệu. Phân rã ma trận, mạng lưới nơ-ron là những kỹ thuật phổ biến. Phương pháp này xử lý tốt dữ liệu thưa và có khả năng mở rộng tốt hơn. Khi kết hợp với đặc trưng sản phẩm, hiệu suất dự đoán cải thiện đáng kể.

III. Ứng dụng Học sâu trong Trích xuất Đặc trưng và Nén dữ liệu

Học sâu (Deep Learning) đã cách mạng hóa cách thức xử lý dữ liệu trong hệ thống gợi ý. Các kiến trúc học sâu hiện đại như mạng nơ-ron tích chập (CNN), mạng nơ-ron hồi quy (RNN) và Transformer có khả năng trích xuất đặc trưng ẩn phức tạp từ dữ liệu đa phương tiện như hình ảnh, văn bản và video. Các autoencoder được sử dụng để nén dữ liệu và học các biểu diễn latent hiệu quả. Những kỹ thuật này không chỉ cải thiện độ chính xác dự đoán mà còn giảm đáng kể thời gian huấn luyện mô hình. Việc ứng dụng học sâu cho phép xây dựng những hệ thống gợi ý thông minh hơn, có khả năng hiểu sâu hơn về sở thích người dùng.

3.1. Kiến trúc Mạng Nơ ron Sâu cho Gợi ý

Mạng nơ-ron sâu có khả năng học các biểu diễn phức tạp từ dữ liệu đặc trưng sản phẩm. Embedding layers được sử dụng để chuyển đổi dữ liệu danh mục thành vector số thực. Các lớp ẩn giúp mô hình học được các mối quan hệ phi tuyến giữa người dùng và sản phẩm. Kết quả là độ chính xác dự đoán cải thiện đáng kể so với các phương pháp truyền thống.

3.2. Nén dữ liệu và Trích xuất Đặc trưng Ẩn

Autoencoder và Variational Autoencoder (VAE) được sử dụng để nén đặc trưng sản phẩm thành vector biểu diễn nhỏ gọn nhưng đầy đủ thông tin. Quá trình này giảm chiều dữ liệu và loại bỏ noise, giúp mô hình học tập nhanh hơn. Đặc trưng ẩn học được từ autoencoder có khả năng giải thích tốt hơn sở thích người dùng.

IV. Kết hợp Đặc trưng và Tối ưu hóa Hiệu suất Hệ thống

Để đạt được hiệu suất tối ưu, hệ thống gợi ý hiện đại cần kết hợp thông minh dữ liệu đánh giá, đặc trưng sản phẩm và lịch sử tương tác người dùng. Ma trận độ tương đồng được tính toán bằng cách kết hợp cả thông tin đánh giá và thông tin nội dung, tăng cường độ chính xác trong việc xác định các sản phẩm liên quan. Xây dựng mô tả người dùng từ đặc trưng sản phẩm có thể giải quyết bài toán khởi tạo người dùng mới. Việc điều chỉnh siêu tham số và sử dụng kỹ thuật cross-validation đảm bảo mô hình không bị overfitting. Kết quả là một hệ thống gợi ý vừa chính xác, vừa khả thi triển khai trên thực tế, có khả năng mở rộng để phục vụ hàng triệu người dùng.

4.1. Kết hợp Ma trận Độ tương đồng từ Nhiều Nguồn Dữ liệu

Kết hợp dữ liệu đánh giá và nội dung giúp tính toán ma trận tương đồng chính xác hơn. Phương pháp weighted combination được áp dụng để cân bằng giữa hai loại thông tin. Điều này đặc biệt hiệu quả khi giải quyết vấn đề cold-start cho sản phẩm mới. Độ chính xác dự đoán tăng đáng kể khi sử dụng phương pháp kết hợp này.

4.2. Quản lý Khởi tạo và Tối ưu hóa Mô hình

Xây dựng mô tả người dùng từ lịch sử tương tác và đặc trưng sản phẩm giúp giải quyết vấn đề cold-start người dùng. Điều chỉnh siêu tham số dựa trên validation set đảm bảo mô hình có hiệu suất tốt nhất. Kỹ thuật ensemble kết hợp nhiều mô hình để cải thiện độ tin cậy dự đoán và giảm sai số dự đoán.

Trích đoạn nội dung tài liệu

MỞ ĐẦU 1. Giới thiệu chung về hệ thống gợi ý 1. Khái niệm hệ thống gợi ý Trong những thập kỷ trở lại đây, mạng xã hội, các dịch vụ giải trí số, và cả các nền tảng thương mại điện tử đã trở thành những phần quan trọng trong cuộc sống hàng ngày của mỗi chúng ta. Tuy nhiên, hệ quả của sự bùng nổ về lượng thông tin trên mạng trực tuyến là người tiêu dùng rất khó để đưa ra một quyết định hợp lý giữa vô vàn chọn lựa.

Với các nhà cung cấp dịch vụ, việc phân tích và dự đoán hành vi của khách hàng để kịp thời đưa ra những gợi ý cá nhân hoá phù hợp với từng người dùng là yếu tố tiên quyết góp phần gia tăng lợi nhuận cũng như nâng cao năng lực cạnh tranh so với các đối thủ (Hình 0. Vì vậy, hệ thống gợi ý (Recommendation System - RS) ngày càng đóng vai trò đặc biệt quan trọng trong sự vận hành của các nền tảng truyền thông đa phương tiện với mục tiêu đề xuất cho từng khách hàng những sản phẩm mà họ có khả năng sẽ sử dụng [1, 2].1 Minh hoạ hệ thống gợi ý. Về định nghĩa, RS là một dạng của hệ thống hỗ trợ ra quyết định, cung cấp giải pháp mang tính cá nhân hoá mà không phải trải qua quá trình tìm kiếm phức tạp. Có thể coi RS là một hệ thống lọc thông tin, thông qua việc dự đoán về sở thích của người dùng đề xuất với người dùng các sản phẩm phù hợp [3].

Nhờ những kết 1 quả tích cực trong thực tiễn [4], RS đã trở thành một nhánh nghiên cứu quan trọng trong lĩnh vực trí thông minh nhân tạo và học máy (Machine Learning - ML), thu hút đông đảo sự quan tâm của cộng đồng khoa học và mang tính quyết định tới khả năng phát triển của một doanh nghiệp trong thời đại số. Hệ thống gợi ý có thể được chia thành ba mô-đun[5]: mô hình hoá người dùng, mô hình hoá đối tượng gợi ý và thuật toán gợi ý. Mô-đun cốt lõi của hệ thống gợi ý là thuật toán gợi ý. Mô hình hệ thống gợi ý được mô tả trong Hình 0.2 Mô hình miêu tả hệ thống gợi ý.

Mô-đun 1: Mô-đun mô hình hoá người dùng: thiết lập mô hình người dùng theo thông tin người dùng. Phân tích thông tin thuộc tính của người dùng và thông tin hành vi của người dùng (chẳng hạn như hành vi duyệt web lịch sử và hành vi nhấp chuột), đồng thời liên tục theo dõi và cập nhật kịp thời mô hình người dùng. Mô-đun 2: Mô-đun mô hình hoá đối tượng gợi ý: phương pháp mô tả đối tượng gợi ý sẽ ảnh hưởng đến kết quả gợi ý. Các đối tượng gợi ý khác nhau có cách thể hiện tính năng khác nhau nên phương pháp mô tả và kết quả gợi ý cũng khác nhau.

Mô-đun 3: Thuật toán gợi ý: là cốt lõi của hệ thống gợi ý. Chất lượng của thuật 2 toán gợi ý xác định trực tiếp chất lượng của hệ thống gợi ý. Luận văn này tập trung nghiên cứu các kỹ thuật ML và học sâu (Deep Learning - DL) nhằm tích hợp vào quá trình xử lý dữ liệu và gợi ý của các thuật toán gợi ý. Các nghiên cứu này giúp xử lý và phân tích các dữ liệu đã được thu thập được, tăng cường chất lượng thông tin, tăng tính chính xác và tính nhất quán của thông tin đầu ra, phục vụ cho việc triển khai RS trong thực tế.

Kết quả cuối cùng của quá trình này sẽ là việc cung cấp cho người dùng những gợi ý cá nhân hoá và phù hợp hơn. Tình hình nghiên cứu hệ thống gợi ý trên thế giới và ở Việt Nam Dựa theo loại dữ liệu được áp dụng làm đầu vào, RS thường được chia làm ba hướng tiếp cận chính [3]: Lọc dựa trên nội dung (Content-based Filtering), Lọc cộng tác (Collaborative Filtering - CF), và phương pháp kết hợp (Hybrid methods) (minh hoạ trong Hình 0.3 Phân loại hệ thống gợi ý. Hệ thống lọc dựa trên nội dung [6, 7] đề xuất sản phẩm dựa trên thông tin về 3 đặc trưng của sản phẩm (thể loại, nội dung chủ đạo, lứa tuổi phù hợp, .) và người dùng (công việc, độ tuổi, sở thích, vị trí địa lý,. Cách tiếp cận này yêu cầu đầy đủ thông tin về sản phẩm và người dùng để các mô hình dự đoán có thể được huấn luyện và học từ dữ liệu một cách hiệu quả.

Hạn chế của các hệ thống này là với những sản phẩm không có đặc trưng cụ thể, thông tin chưa xác định hoặc không đáng tin cậy, việc đề xuất sản phẩm đó trở nên bất khả thi. Trái lại, các hệ thống CF không yêu cầu thông tin sản phẩm cụ thể mà dựa vào lịch sử tương tác giữa người dùng hệ thống (đánh giá sản phẩm, lịch sử mua hàng, .) để đưa ra gợi ý cá nhân hoá [4, 8, 9, 10]. Như minh hoạ trong Hình 0.3, có hai nhánh tiếp cận chính trong CF: gợi ý dựa trên ghi nhớ (Memory-based CF) và gợi ý dựa vào mô hình (Model-based CF). Nhánh tiếp cận dựa trên ghi nhớ tính toán độ tương quan giữa các sản phẩm hoặc giữa các người dùng qua lịch sử tương tác (thường được biểu diễn bằng một ma trận) rồi từ đó tìm ra những sản phẩm tương đồng nhất với sản phẩm mà một người thích.

Tuy nhiên, hiệu quả của mô hình CF dựa trên ghi nhớ giảm đáng kể khi ma trận tương tác rất thưa do người dùng không đưa ra đánh giá cho các sản phẩm mà họ thích. Trong khi đó, nhánh tiếp cận dựa vào mô hình đã chứng tỏ được tính hữu hiệu của nó đối với ma trận tương tác rất thưa. Ý tưởng chính là từ ma trận tương tác, ta có thể ánh xạ từng người dùng và sản phẩm đến một không gian có số chiều thấp hơn [11, 12, 13]. Nhờ giảm sự thưa ở không gian mới, hệ thống có thể phân tích tương tác người dùng - sản phẩm qua phép nhân vô hướng.

Nhiều nghiên cứu trên phương pháp phân rã ma trận (Matrix Factorization - MF) cho thấy với phương pháp khởi tạo thích hợp như trong [14, 15, 16], ta có thể cải thiện tốc độ hội tụ và độ chính xác của hệ thống một cách đáng kể. Tuy nhiên, đối với người dùng hoặc sản phẩm mới, hệ thống thường không có đủ dữ liệu tương tác để đưa ra gợi ý chính xác, dẫn đến vấn đề khởi động nguội (Cold-start problem) trong RS (Hình 0. Để khắc phục vấn đề này, các hệ thống sử dụng phương pháp kết hợp được đề xuất [18, 19, 20, 21, 22, 23, 24]. Phương pháp này áp dụng cả lịch sử tương tác của người dùng và các thông tin phụ 4 Hình 0.4 Vấn đề khởi động nguội trong hệ thống gợi ý.

như đặc trưng, thuộc tính của sản phẩm, người dùng để tận dụng ưu điểm của cả hai phương pháp lọc nội dung và CF. Đối với phương pháp kết hợp, có hai hướng tiếp cận chính: kết hợp gián tiếp và kết hợp trực tiếp. Mô hình kết hợp gián tiếp thực hiện kết hợp kết quả đã được dự đoán từ một hệ thống lọc nội dung hoặc CF đơn lẻ để tạo ra kết quả gợi ý cuối sử dụng phép kết hợp tuyến tính [25] hoặc qua các bước phối hợp đánh giá khác nhau [26]. Ngược lại, mô hình kết hợp trực tiếp phức tạp hơn khi thực hiện tích hợp sự tương tác giữa người dùng - sản phẩm và thông tin phụ trợ vào một mô hình thống nhất.

Trong [19], thông tin mô tả người dùng, đặc trưng sản phẩm, và lịch sử giao dịch được tích hợp vào mô hình tuyến tính dự đoán phản hồi theo từng cặp người dùng - sản phẩm. Mô hình kết hợp được đề xuất bởi [20] áp dụng thuật toán phân tích giá trị suy biến (Singular Value Decomposition - SVD) nhằm đề xuất chương trình truyền hình. Sau khi đề xuất mô hình SVD++ [12], tác giả thiết lập một mô hình tích hợp SVD++ với CF dựa trên ghi nhớ bằng cách biểu diễn mỗi người dùng qua các sản phẩm đã được người dùng đó đánh giá thay vì sử dụng phản hồi gián tiếp để tăng độ chính xác của các gợi ý. Một mô hình khác tên là Máy nhân tử hoá (Factorization Machines - FM) kết hợp giữa mô hình MF và máy vector hỗ trợ (Support Vector Machine) cũng sử dụng cả đánh giá và các thông tin bổ trợ để đưa ra gợi ý [27].

5 Hướng tiếp cận kết hợp nội dung bổ trợ cho bài toán khởi tạo các mô hình MF cũng nhận được chú ý trong thời gian gần đây. Để điều chỉnh vector khởi tạo sao cho phù hợp, độ tương đồng giữa các sản phẩm và giữa các người dùng được tích hợp vào khởi tạo cho vector đặc trưng nhằm tận dụng dữ liệu có sẵn [28]. Cùng với đó, thông tin thuộc tính của sản phẩm cũng được sử dụng để khởi tạo trực tiếp cho ma trận đặc trưng sản phẩm trong mô hình SVD++. Tuy nhiên, phương pháp này chỉ xét đến ma trận sản phẩm, và độ cải thiện nói chung còn khiêm tốn.

Trong các phương pháp này, các đặc trưng như thể loại phim được coi như một dạng biểu diễn chính xác cho sản phẩm. Tuy nhiên trong thực tế, dữ liệu thô cần được tiền xử lý và phân tích một cách cẩn thận trước khi đưa vào RS, nhất là khi nội dung của sản phẩm có dạng văn bản, hình ảnh hay ảnh động và yêu cầu mô hình phức tạp để có thể phân tách được dạng biểu diễn có ý nghĩa cho sản phẩm đó. Dù thu được nhiều kết quả đáng chú ý, hiệu năng của các mô hình truyền thống vẫn bị giới hạn bởi các thuật toán tuyến tính. Đối với dữ liệu có cấu trúc phức tạp trong thực tế, kiến trúc mạng nơ-ron nhân tạo (Artificial Neural Network - ANN) nói chung và các mạng DL nói riêng mang đến một hướng tiếp cận mới giúp nâng cao độ chính xác của các hệ thống gợi ý.

Trong [29], mô hình máy Boltzmann giới hạn (Restricted Boltzmann Machine - RBM) gồm 2 tầng được áp dụng cho dữ liệu đánh giá dạng bảng thay cho mô hình MF truyền thống. Dựa trên kiến trúc bộ tự mã hoá (Autoencoder - AE), [31] đề xuất mô hình Autorec hướng sản phẩm (Item-based Autorec - I-Autorec) cho bài toán dự đoán đánh giá bằng cách áp dụng một bộ tự mã hoá cho mỗi sản phẩm. Tuy nhiên, Autorec chỉ xét đến tương tác người dùng - sản phẩm và hoàn toàn bỏ qua thông tin thứ cấp như đặc trưng sản phẩm, khiến cho việc giải thích kết quả gợi ý trở nên khó khăn.