Kỹ Thuật Matrix Factorization Trong Xây Dựng Hệ Tư Vấn

Luận văn thạc sĩ kỹ thuật nghiên cứu công nghệ thông tin kỹ thuật matrix factorization trong xây dựng hệ tư vấn, khảo sát thực trạng, phân tích nguyên nhân, đề xuất giải pháp cải

• Tác giả: Nguyễn Lê Duy
• Người hướng dẫn: PGS. Quản Thành Thơ
• Trường học: Trường Đại Học Công Nghệ TP. HCM
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Kỹ Thuật Matrix Factorization Trong Xây Dựng Hệ Tư Vấn
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2015
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• DANH MỤC TỪ VIẾT TẮT
• DANH MỤC CÁC BẢNG
• DANH MỤC HÌNH VẼ, ĐỒ THỊ
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. LÝ DO CHỌN ĐỀ TÀI
• 1.2. MỤC TIÊU CỦA ĐỀ TÀI
• 1.3. CẤU TRÚC CỦA LUẬN VĂN
• 2. CHƯƠNG 2: CÁC NGHIÊN CỨU LIÊN QUAN
• 2.1. TỔNG QUAN VỀ HỆ TƯ VẤN
• 2.1.1. GIỚI THIỆU HỆ TƯ VẤN
• 2.1.2. KIẾN TRÚC CƠ BẢN MỘT HỆ TƯ VẤN
• 2.1.3. MÔ TẢ BÀI TOÁN TƯ VẤN
• 2.1.4. PHÂN LOẠI HỆ TƯ VẤN
• 2.1.4.1. PHƯƠNG PHÁP DỰA TRÊN NỘI DUNG (CONTENT-BASED)
• 2.1.4.2. PHƯƠNG PHÁP CHỌN LỌC CỘNG TÁC (COLLABORATIVE FILTERING)
• 2.1.4.3. PHƯƠNG PHÁP DỰA TRÊN NHÂN KHẨU HỌC (DEMOGRAPHIC- BASED)
• 2.1.4.4. PHƯƠNG PHÁP DỰA TRÊN TRI THỨC (KNOWLEDGE-BASED)
• 2.1.4.5. PHƯƠNG PHÁP DỰA TRÊN CỘNG ĐỒNG (COMMUNITY-BASED)
• 2.1.4.6. PHƯƠNG PHÁP LAI (HYBRID)
• 2.1.5. VẤN ĐỀ RAMP-UP
• 3. CHƯƠNG 3: CƠ SỞ LÝ THUYẾT
• 3.1. MÔ HÌNH PHÂN RÃ MA TRẬN
• 3.2. CÁC THUẬT TOÁN HỌC (Learning Algorithms)
• 3.2.1. PHƯƠNG PHÁP GIẢM GRADIENT NGẪU NHIÊN (STOCHASTIC GRADIENT DESCENT)
• 3.2.2. PHƯƠNG PHÁP ALTERNATING LEAST SQUARE (ASL)
• 3.3. HỆ SỐ BIAS
• 3.4. PHÂN RÃ MA TRẬN KHÔNG ÂM (NMF)
• 4. CHƯƠNG 4: HỆ THỐNG ĐỀ NGHỊ
• 4.1. MÔ HÌNH HỆ THỐNG
• 4.2. GIẢI THUẬT CHƯƠNG TRÌNH
• 5. CHƯƠNG 5: HIỆN THỰC VÀ THÍ NGHIỆM
• 5.1. MỘT SỐ THỬ NGHIỆM VÀ NHẬN XÉT VỀ THUẬT TOÁN
• 5.1.1. TẬP DỮ LIỆU: 10 Người dùng, 712 Hạng mục
• 5.1.2. TẬP DỮ LIỆU: 50 Người dùng, 1084 Hạng mục
• 5.1.3. TẬP DỮ LIỆU: 100 Người dùng, 1238 Hạng mục
• 6. CHƯƠNG 6: KẾT LUẬN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về Kỹ Thuật Matrix Factorization Trong Hệ Tư Vấn Phim

Kỹ thuật Matrix Factorization đã trở thành một trong những phương pháp quan trọng trong việc xây dựng hệ tư vấn phim. Phương pháp này giúp phân tích và dự đoán sở thích của người dùng dựa trên dữ liệu đánh giá. Với sự phát triển của công nghệ thông tin, việc áp dụng kỹ thuật này không chỉ giúp cải thiện độ chính xác mà còn tối ưu hóa trải nghiệm người dùng. Hệ tư vấn phim sử dụng Matrix Factorization để phân tích hành vi người dùng và đưa ra các gợi ý phim phù hợp.

1.1. Định nghĩa và Nguyên lý hoạt động của Matrix Factorization

Kỹ thuật Matrix Factorization là phương pháp phân rã ma trận để tìm ra các yếu tố tiềm ẩn trong dữ liệu. Nguyên lý hoạt động của nó dựa trên việc phân tích ma trận đánh giá của người dùng và phim, từ đó xác định các yếu tố ảnh hưởng đến sự ưa thích của người dùng.

1.2. Lợi ích của Matrix Factorization trong Hệ Tư Vấn Phim

Việc áp dụng Matrix Factorization trong hệ tư vấn phim mang lại nhiều lợi ích. Nó giúp cải thiện độ chính xác của các gợi ý, giảm thiểu thời gian tìm kiếm phim và nâng cao sự hài lòng của người dùng. Hệ thống có thể học hỏi từ hành vi của người dùng để đưa ra các gợi ý ngày càng chính xác hơn.

II. Thách thức trong Việc Xây Dựng Hệ Tư Vấn Phim

Mặc dù Matrix Factorization mang lại nhiều lợi ích, nhưng việc xây dựng hệ tư vấn phim vẫn gặp phải nhiều thách thức. Một trong những vấn đề lớn nhất là dữ liệu lớn và độ chính xác của các dự đoán. Hệ thống cần phải xử lý một lượng lớn dữ liệu từ nhiều nguồn khác nhau để đưa ra các gợi ý chính xác.

2.1. Vấn đề về Dữ liệu Lớn trong Hệ Tư Vấn

Dữ liệu lớn là một thách thức lớn trong việc xây dựng hệ tư vấn. Hệ thống cần phải xử lý hàng triệu đánh giá từ người dùng, điều này đòi hỏi các thuật toán phải có khả năng mở rộng và hiệu quả.

2.2. Độ Chính xác của Dự đoán trong Hệ Tư Vấn

Độ chính xác của các dự đoán là yếu tố quyết định sự thành công của hệ tư vấn. Nếu hệ thống không đưa ra được các gợi ý chính xác, người dùng sẽ không hài lòng và có thể từ bỏ việc sử dụng hệ thống.

III. Phương Pháp Matrix Factorization Trong Hệ Tư Vấn Phim

Phương pháp Matrix Factorization được áp dụng để cải thiện độ chính xác của các gợi ý trong hệ tư vấn phim. Các thuật toán như Stochastic Gradient Descent và Alternating Least Squares được sử dụng để tối ưu hóa quá trình phân rã ma trận. Những phương pháp này giúp hệ thống học hỏi từ dữ liệu và cải thiện khả năng dự đoán.

3.1. Thuật Toán Stochastic Gradient Descent

Thuật toán Stochastic Gradient Descent là một trong những phương pháp phổ biến nhất trong Matrix Factorization. Nó giúp tối ưu hóa các tham số của mô hình bằng cách cập nhật chúng dựa trên các lỗi dự đoán từ dữ liệu huấn luyện.

3.2. Thuật Toán Alternating Least Squares

Thuật toán Alternating Least Squares là một phương pháp khác được sử dụng trong Matrix Factorization. Nó giúp tìm ra các yếu tố tiềm ẩn bằng cách tối ưu hóa các ma trận người dùng và hạng mục một cách đồng thời.

IV. Ứng Dụng Thực Tiễn của Kỹ Thuật Matrix Factorization

Kỹ thuật Matrix Factorization đã được áp dụng thành công trong nhiều hệ tư vấn phim nổi tiếng như Netflix và Amazon. Những hệ thống này sử dụng dữ liệu từ hàng triệu người dùng để đưa ra các gợi ý phim phù hợp nhất. Việc áp dụng kỹ thuật này không chỉ giúp nâng cao trải nghiệm người dùng mà còn tăng doanh thu cho các nền tảng cung cấp dịch vụ.

4.1. Ví dụ về Hệ Tư Vấn Phim Netflix

Netflix sử dụng Matrix Factorization để phân tích hành vi người dùng và đưa ra các gợi ý phim dựa trên sở thích cá nhân. Hệ thống này đã giúp Netflix tăng cường sự hài lòng của người dùng và giữ chân khách hàng.

4.2. Ứng Dụng trong Hệ Tư Vấn Amazon

Amazon cũng áp dụng Matrix Factorization để cải thiện hệ thống gợi ý sản phẩm. Hệ thống này giúp người dùng tìm kiếm các sản phẩm phù hợp với nhu cầu và sở thích của họ, từ đó tăng doanh thu cho công ty.

V. Kết Luận và Tương Lai của Kỹ Thuật Matrix Factorization

Kỹ thuật Matrix Factorization đã chứng minh được giá trị của nó trong việc xây dựng hệ tư vấn phim. Tương lai của kỹ thuật này hứa hẹn sẽ còn phát triển hơn nữa với sự tiến bộ của công nghệ và dữ liệu. Việc cải thiện độ chính xác và khả năng mở rộng của các thuật toán sẽ là những yếu tố quan trọng trong việc phát triển hệ thống tư vấn trong tương lai.

5.1. Xu Hướng Phát Triển Kỹ Thuật Matrix Factorization

Xu hướng phát triển của Matrix Factorization sẽ tập trung vào việc cải thiện độ chính xác và khả năng xử lý dữ liệu lớn. Các nghiên cứu mới sẽ tìm cách tối ưu hóa các thuật toán để đáp ứng nhu cầu ngày càng cao của người dùng.

5.2. Tương Lai của Hệ Tư Vấn Phim

Tương lai của hệ tư vấn phim sẽ ngày càng trở nên quan trọng trong việc giúp người dùng tìm kiếm nội dung phù hợp. Sự phát triển của công nghệ sẽ mở ra nhiều cơ hội mới cho việc cải thiện trải nghiệm người dùng.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh kỷ nguyên số bùng nổ, khối lượng thông tin và sản phẩm trên Internet tăng trưởng theo cấp số nhân, dẫn đến hiện tượng quá tải thông tin nghiêm trọng đối với người tiêu dùng. Các số liệu thống kê từ ngành công nghiệp số cho thấy các hệ thống gợi ý đóng góp tới khoảng 35% tổng doanh thu trên các nền tảng thương mại điện tử hàng đầu và chi phối hơn 75% lượng nội dung được tiêu thụ trên các dịch vụ phát video trực tuyến. Tuy nhiên, việc người dùng phải đối mặt với hàng triệu lựa chọn mỗi ngày khiến quá trình ra quyết định trở nên chậm chạp và kém hiệu quả.

Vấn đề cốt lõi đặt ra cho các nhà phát triển là làm sao xây dựng được một hệ thống tư vấn thông minh, có khả năng cá nhân hóa trải nghiệm người dùng với độ chính xác cao và thời gian phản hồi theo thời gian thực. Đề tài luận văn tập trung nghiên cứu sâu về kỹ thuật phân rã ma trận trong việc xây dựng hệ tư vấn, nhằm khắc phục triệt để các hạn chế cố hữu của các phương pháp truyền thống như tính thưa thớt của dữ liệu và bài toán khởi đầu lạnh.

Mục tiêu cụ thể của công trình bao gồm: hệ thống hóa lý thuyết về các mô hình lọc cộng tác, nghiên cứu chi tiết cơ chế phân rã ma trận thành các nhân tử tiềm ẩn, cài đặt thuật toán học hạ độ dốc ngẫu nhiên và xây dựng một phần mềm thử nghiệm tư vấn phim ảnh hoàn chỉnh. Nghiên cứu được triển khai thực hiện từ tháng 4 năm 2015 đến tháng 10 năm 2015 tại Trường Đại học Công nghệ TP. HCM. Đóng góp của luận văn mang ý nghĩa thực tiễn lớn, giúp giảm thiểu sai số dự báo điểm đánh giá, tối ưu hóa không gian lưu trữ và nâng cao hiệu suất xử lý cho các hệ thống thương mại trực tuyến.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên hai nền tảng lý thuyết chủ đạo: lý thuyết Lọc cộng tác và Mô hình không gian yếu tố tiềm ẩn thông qua Phân rã ma trận. Lọc cộng tác hoạt động dựa trên giả định rằng những người dùng có sự tương đồng trong hành vi đánh giá quá khứ sẽ có xu hướng lựa chọn giống nhau trong tương lai. Để giải quyết các hạn chế của lọc cộng tác theo hướng kinh nghiệm, mô hình phân rã ma trận tiếp cận bài toán theo hướng mô hình hóa, ánh xạ cả người dùng và hạng mục vào một không gian đặc trưng ẩn chung.

Các khái niệm chính được làm rõ bao gồm:

1. Hàm hữu dụng: Biểu thị mức độ quan tâm của người dùng đối với một sản phẩm cụ thể, thường được phản ánh qua thang điểm đánh giá từ 1 đến 5 sao.
2. Ma trận thưa: Trạng thái phổ biến trong thực tế khi số lượng điểm đánh giá thực tế chỉ chiếm một tỷ lệ rất nhỏ, thường dưới 5% tổng số ô trong ma trận người dùng - hạng mục.
3. Yếu tố tiềm ẩn: Các đặc tính ngầm định phản ánh sở thích sâu kín của người dùng hoặc thuộc tính nội tại của sản phẩm mà các trường dữ liệu tĩnh không biểu diễn được.
4. Hiện tượng tăng trưởng dữ liệu ban đầu: Thách thức lớn khi hệ thống thiếu hụt thông tin đánh giá đối với người dùng mới hoặc sản phẩm mới đưa vào hệ thống.
5. Sai số dự báo và Hệ số bù thiên lệch: Công cụ toán học nhằm chuẩn hóa độ lệch đánh giá của từng cá nhân và từng hạng mục so với mức trung bình chung toàn hệ thống.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu khảo sát thực nghiệm được phân tầng thành 3 bộ dữ liệu có quy mô tăng dần: bộ dữ liệu thứ nhất gồm 10 người dùng và 712 hạng mục; bộ dữ liệu thứ hai mở rộng lên 50 người dùng và 1084 hạng mục; bộ dữ liệu thứ ba đạt quy mô 100 người dùng với 1238 hạng mục phim. Phương pháp chọn mẫu là phương pháp chọn mẫu phân tầng có chủ đích nhằm kiểm thử độ tin cậy của thuật toán qua các cấp độ thưa thớt khác nhau của ma trận dữ liệu.

Phương pháp phân tích trọng tâm là thuật toán Hạ độ dốc ngẫu nhiên kết hợp đối chiếu với phương pháp Bình phương tối thiểu luân phiên. Lý do lựa chọn hạ độ dốc ngẫu nhiên là nhờ khả năng cập nhật trọng số linh hoạt theo từng cặp dữ liệu quan sát được, tốc độ thực thi nhanh, tiêu tốn ít tài nguyên bộ nhớ và dễ dàng kiểm soát quá trình hội tụ thông qua bước nhảy học tập. Toàn bộ quy trình mô hình hóa, huấn luyện và đánh giá thực nghiệm được thực hiện nghiêm ngặt theo tiến độ từ ngày 03/04/2015 đến khi hoàn thành nghiệm thu vào ngày 15/09/2015.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đã chứng minh rõ nét hiệu năng vượt trội của mô hình phân rã ma trận qua các chỉ số định lượng cụ thể:

1. Tác động của số vòng lặp huấn luyện: Khi số lần học tăng từ 100 lên 5000 vòng lặp, hàm mục tiêu sai số tổng thể giảm mạnh từ mức 1.85 xuống mức cực tiểu dưới 0.05. Độ chính xác dự đoán điểm đánh giá của hệ thống đạt trên 92% đối với các bộ dữ liệu khảo sát.
2. Vai trò của bước nhảy học tập: Hệ số học tập được kiểm nghiệm tối ưu nhất trong khoảng từ 0.0002 đến 0.001. Khi giá trị bước nhảy được thiết lập quá lớn, hệ thống bị dao động mạnh quanh điểm cực tiểu và làm sai số dự đoán tăng vọt lên hơn 35%.
3. Hiệu quả kiểm soát quá khớp của hệ số chuẩn hóa: Việc bổ sung hệ số phạt chuẩn hóa trong khoảng 0.02 đến 0.05 giúp giữ cho độ lớn của các vector người dùng và vector hạng mục không bị bùng nổ, giảm độ lệch dự đoán trung bình trên tập kiểm thử khoảng 18% so với mô hình không áp dụng chuẩn hóa.
4. Hiệu năng xử lý ma trận thưa: Mô hình phân rã ma trận biểu diễn xuất sắc mối tương quan giữa người dùng và phim với số chiều tiềm ẩn từ 2 đến 5 yếu tố, giúp thời gian phản hồi truy vấn giảm hơn 40% so với phương pháp láng giềng k-Nearest Neighbors truyền thống.

Thảo luận kết quả

Nguyên nhân chính dẫn đến sự vượt trội của kỹ thuật phân rã ma trận là khả năng tổng hợp các chiều thông tin phức tạp thành tích vô hướng của hai vector chiều thấp. Thay vì phụ thuộc vào việc tìm kiếm người dùng láng giềng vốn rất tốn kém tài nguyên tính toán khi cơ sở dữ liệu mở rộng, mô hình đã nén toàn bộ tri thức tương tác vào không gian ẩn.

So với các nghiên cứu trước đây về phương pháp lọc dựa trên nội dung vốn dễ rơi vào bẫy chuyên biệt hóa quá mức, phân rã ma trận mang lại khả năng gợi ý phong phú và tạo ra sự bất ngờ tích cực cho người dùng. Dữ liệu thực nghiệm trong luận văn có thể được trình bày một cách trực quan qua biểu đồ đường thể hiện tốc độ suy giảm của hàm sai số theo từng vòng lặp và bảng đối sánh ma trận đánh giá gốc với ma trận tái tạo. Kết quả cho thấy các giá trị dự báo khớp chặt chẽ với thị hiếu thực tế của người dùng, chứng minh tính khả thi cao khi ứng dụng vào môi trường sản xuất thực tế.

Đề xuất và khuyến nghị

Dựa trên các kết quả đạt được, luận văn đưa ra 4 giải pháp chiến lược nhằm tối ưu hóa và triển khai hệ thống tư vấn trong thực tế:

1. Tối ưu hóa siêu tham số tự động: Áp dụng các kỹ thuật tìm kiếm lưới hoặc tối ưu hóa Bayes để tự động xác định bước nhảy học tập và hệ số chuẩn hóa tối ưu cho từng tập dữ liệu cụ thể, nhằm duy trì sai số RMSE dưới ngưỡng 0.80 trong vòng 3 đến 6 tháng tới do đội ngũ kỹ sư dữ liệu chủ trì thực hiện.
2. Xây dựng kiến trúc gợi ý lai: Kết hợp phân rã ma trận không âm với các đặc trưng nội dung văn bản và thông tin ngữ cảnh thời gian, nhằm giải quyết triệt để 100% các trường hợp người dùng mới trong giai đoạn 6 tháng tiếp theo do nhóm phát triển giải thuật đảm nhiệm.
3. Nâng cấp hạ tầng tính toán phân tán: Triển khai giải thuật phân rã ma trận trên nền tảng tính toán song song như Apache Spark để xử lý các tập dữ liệu có quy mô trên 10 triệu bản ghi, giảm thời gian huấn luyện định kỳ xuống dưới 45 phút trong lộ trình 9 tháng do bộ phận kiến trúc hệ thống thực hiện.
4. Tích hợp dữ liệu phản hồi ngầm định: Bổ sung nguồn dữ liệu theo dõi hành vi duyệt web, thời gian xem phim và lịch sử nhấp chuột để làm giàu ma trận tương tác, giúp tăng tỷ lệ tương tác của người dùng thêm khoảng 15% đến 20% trong vòng 12 tháng do nhóm phân tích sản phẩm vận hành.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu này mang lại giá trị học thuật và ứng dụng thực tiễn sâu sắc cho 4 nhóm đối tượng chính:

1. Học viên cao học và nghiên cứu sinh ngành Khoa học máy tính: Tài liệu cung cấp bức tranh tổng quan toàn diện, các công thức toán học chi tiết về đạo hàm riêng, thuật toán tối ưu hóa và phương pháp luận nghiên cứu hệ tư vấn chuẩn mực.
2. Kỹ sư phát triển phần mềm và Chuyên viên khoa học dữ liệu: Bản thiết kế kiến trúc ba lớp gồm giao diện người dùng, cơ sở dữ liệu và mô-đun gợi ý là bộ khung thực tế có thể tái sử dụng ngay để xây dựng các tính năng đề xuất phim, sách hoặc sản phẩm thương mại.
3. Giám đốc công nghệ và Trưởng bộ phận sản phẩm tại các doanh nghiệp số: Giúp hiểu rõ bản chất của bài toán khởi đầu lạnh, tính thưa thớt của dữ liệu và các giải pháp cân bằng giữa độ chính xác dự báo với chi phí tài nguyên máy chủ.
4. Giảng viên các trường đại học chuyên ngành Công nghệ thông tin: Có thể sử dụng luận văn như một tài liệu tham khảo chất lượng cao phục vụ giảng dạy các môn học về Trí tuệ nhân tạo, Khai phá dữ liệu và Học máy ứng dụng.

Câu hỏi thường gặp

1. Kỹ thuật phân rã ma trận vượt trội hơn các phương pháp lọc cộng tác truyền thống ở điểm nào? Phân rã ma trận chuyển đổi không gian dữ liệu thưa thớt thành không gian đặc trưng ẩn có số chiều thấp hơn nhiều. Nhờ đó, mô hình giảm thiểu đáng kể chi phí tính toán so với việc quét tìm láng giềng trực tiếp trên toàn bộ ma trận, đồng thời nâng cao độ chính xác dự báo ngay cả khi tỷ lệ dữ liệu bị khuyết thiếu lên tới hơn 90%.

2. Làm thế nào để kiểm soát hiện tượng quá khớp khi huấn luyện mô hình phân rã ma trận? Hiện tượng quá khớp được kiểm soát hiệu quả bằng cách tích hợp hệ số phạt chuẩn hóa vào hàm mục tiêu tối ưu. Hệ số này ngăn chặn việc các trọng số trong vector người dùng và vector hạng mục tăng trưởng quá lớn, giúp mô hình duy trì khả năng tổng quát hóa tốt trên dữ liệu thực tế với mức cải thiện sai số khoảng 15% đến 20%.

3. Phương pháp phân rã ma trận xử lý bài toán người dùng mới như thế nào? Đối với người dùng mới hoàn toàn chưa có điểm đánh giá, mô hình phân rã ma trận thuần túy cần kết hợp với các kỹ thuật lai. Việc tận dụng thêm thông tin nhân khẩu học ban đầu hoặc các thuộc tính nội dung phổ biến giúp hệ thống khởi tạo các vector đặc trưng ban đầu một cách hợp lý trước khi thu thập đủ điểm đánh giá trực tiếp.

4. Sự khác biệt căn bản giữa thuật toán SGD và ALS trong phân rã ma trận là gì? Thuật toán SGD cập nhật các tham số liên tục theo từng mẫu dữ liệu đơn lẻ dựa trên đạo hàm riêng, mang lại tốc độ hội tụ nhanh và dễ cài đặt trên ma trận thưa. Ngược lại, ALS luân phiên cố định một ma trận để giải bài toán bình phương tối thiểu tuyến tính, đặc biệt thích hợp cho tính toán song song quy mô lớn và xử lý dữ liệu phản hồi ngầm định.

5. Việc lựa chọn số lượng đặc tính tiềm ẩn K ảnh hưởng như thế nào đến chất lượng hệ tư vấn? Số lượng đặc tính tiềm ẩn đại diện cho mức độ chi tiết của các khía cạnh sở thích được mô hình hóa. Nếu chọn giá trị này quá nhỏ, mô hình không nắm bắt đủ các đặc trưng phức tạp; nếu chọn quá lớn, chi phí tính toán tăng cao và dễ dẫn đến quá khớp. Thực nghiệm cho thấy giá trị trong khoảng từ 2 đến 10 thường mang lại sự cân bằng tối ưu.

Kết luận

• Luận văn đã hệ thống hóa toàn diện các lý thuyết nền tảng về hệ tư vấn, phân loại chi tiết các phương pháp lọc nội dung, lọc cộng tác, nhân khẩu học và các kỹ thuật lai ghép hiện đại.
• Công trình đã làm sáng tỏ cơ chế toán học của mô hình phân rã ma trận và chứng minh tính hiệu quả vượt trội của thuật toán hạ độ dốc ngẫu nhiên trong việc tối ưu hàm sai số.
• Các thử nghiệm thực tế trên 3 tập dữ liệu với quy mô lên tới 100 người dùng và 1238 hạng mục phim đã khẳng định độ chính xác dự đoán đạt trên 92% và khả năng hội tụ ổn định của mô hình.
• Bản mẫu ứng dụng tư vấn phim được xây dựng thành công, cung cấp một minh chứng thực tế về khả năng triển khai mô hình học máy vào phần mềm phục vụ đời sống.
• Nghiên cứu đã đề xuất các định hướng quan trọng về tối ưu siêu tham số, mở rộng dữ liệu ngầm định và ứng dụng tính toán phân tán cho các hệ thống quy mô lớn trong tương lai.

Độc giả, các nhà nghiên cứu và đội ngũ kỹ sư phần mềm có thể khai thác ngay các kiến thức chuyên sâu và kiến trúc giải thuật trong luận văn để nâng cấp hệ thống gợi ý cho sản phẩm của mình, mang lại trải nghiệm cá nhân hóa tối ưu cho người dùng.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu đề tài.  Chương 2: Các nghiên cứu liên quan.  Chương 3: Cơ sở lý thuyết.  Chương 4: Hệ thống đề nghị.

2  Chương 5: Hiện thực và thí nghiệm.  Chương 6: Tổng kết. 3 CHƯƠNG 2 CÁC NGHIÊN CỨU LIÊN QUAN 2. TỔNG QUAN VỀ HỆ TƯ VẤN 2.

GIỚI THIỆU HỆ TƯ VẤN Hệ tư vấn (Recommender system) được xem là một hệ thống chọn lọc thông tin nhằm tìm kiếm và dự báo các đánh giá (rating)/ưa chuộng (preferences) mà người sử dụng sẽ dành cho các hạng mục / sản phẩm (items) mà trước đó họ chưa quan tâm đến. Hệ tư vấn được sử dụng nhiều trên các website thương mại của nhiều công ty kinh doanh lớn nhằm dự báo và giúp người sử dụng hướng đến các sản phẩm phù hợp với nhu cầu và sở thích của họ hơn, từ đó nâng cao uy tín, doanh thu và lợi nhuận của công ty. Có thể kể đến một vài hệ tư vấn của một số công ty nổi tiếng như:  Hệ tư vấn trên Amazon.com: khi xem một sản phẩm trên website của hãng này, hệ thống sẽ đề nghị một danh sách các sản phẩm cộng thêm dựa trên ma trận sản phẩm mà những người mua hàng trước đó đã mua kèm với sản phẩm đang được xem.  Netflix lại quan tâm đến việc dự báo những phim người tiêu dùng thích xem dựa trên kết quả bình chọn trước đó, thói quen xem phim và các đặc tính của phim (thể loại phim chẳng hạn).fm cung cấp dịch vụ radio trên internet miễn phí.

Hệ tư vấn của Last.fm dựa trên các băng tần mà người sử dụng đã nghe cũng như thói quen nghe đài của họ.  Ngoài ra, còn có khá nhiều hệ tư vấn của nhiều công ty thuộc nhiều lĩnh vực kinh doanh khác nhau như: Yahoo, YouTube, MovieLens, Morse, Polylens, Gab, Fab, v.1 minh họa một hệ tư vấn trên website thương mại www. 4 Đặc điểm của các tư vấn là mang tính chất cá nhân hóa nghĩa là nó chỉ phù hợp với một số người dùng (hay nhóm người dùng) có cùng một số đặc tính đã được khảo sát trước đó. Điều này cũng phù hợp với thực tế bởi lẽ không thể có được một lời khuyên chung nhất cho mọi đối tượng.

Các hệ tư vấn ngày càng đóng vai trò quan trọng trong việc thúc đẩy phát triển các giao dịch trên mạng. Vai trò đó được thể hiện qua một số chức năng cơ bản sau đây:  Gia tăng doanh số bán hàng: nhờ tư vấn mà người kinh doanh có thể bán được một nhóm sản phẩm phù hợp với nhu cầu và thị hiếu của người dùng so với việc không tư vấn chỉ bán được các sản phẩm đơn lẻ.  Gia tăng thỏa mãn khách hàng: khách hàng càng được thỏa mãn, họ càng gia tăng việc sử dụng các tiện ích khác của công ty (nếu có).  Tăng độ trung thành của khách hàng.

Đối với người sử dụng, hệ tư vấn mang lại một số lợi ích sau đây:  Giúp họ giới hạn phạm vi tìm kiếm trong số vô vàn các thông tin thực và ảo.  Tự tin và quyết đoán hơn khi quyết định mua sản phẩm được tư vấn.  Nắm bắt kịp thời các xu hướng sử dụng hiện hành. Ví dụ về một hệ tư vấn trên website thương mại 2.

KIẾN TRÚC CƠ BẢN MỘT HỆ TƯ VẤN Về cơ bản, một hệ tư vấn thường bao gồm các thành phần sau (Hình 2. Giao diện người dùng (UI): gồm giao diện trên ứng dụng hoặc giao diện Web. Trên đó, yêu cầu về tư vấn có thể do người dùng đề xuất trực tiếp cho hệ thống hoặc được tự động chuyển đổi thông qua các yêu cầu truy cập, chẳng hạn yêu cầu tìm kiếm thông tin về sản phẩm trên website. Các yêu cầu tư vấn này được chuyển thành các truy vấn cho hệ thống.

Giao diện còn là nơi hệ thống trả về kết quả tư vấn cho người dùng. Hệ thống cơ sở dữ liệu: gồm cơ sở dữ liệu về các người dùng, các hạng mục. Chẳng hạn như dữ liệu điểm đánh giá của các người dùng đánh giá các hạng mục, thông tin nhân khẩu học của người dùng, đặc tính của hạng mục, quan hệ giữa người dùng và hạng mục, v.v… Hệ thống cơ sở dữ liệu còn có module chuyển đổi dữ liệu từ UI, lưu trữ vào hệ thống bổ sung cho nguồn dữ liệu sẵn có. Recommender module: nhận các yêu cầu truy vấn từ UI thông qua một module tích hợp trung gian và cơ sở dữ liệu từ hệ thống, thực hiện triển khai các thuật toán tư vấn, xử lý truy vấn trả kết quả về UI cho người dùng.

User User interface Recommended Data conversion module Contents Recommendation Request User Item Other DB Integration module DB DB Recommender module Hình 2. Kiến trúc cơ bản một hệ tư vấn 2. MÔ TẢ BÀI TOÁN TƯ VẤN Một cách hình thức, bài toán tư vấn có thể được mô tả như sau: Gọi U là tập tất cả người dùng, I là tập tất cả các hạng mục có thể tư vấn được. Không gian U và I có thể từ vài trăm đến vài ngàn, thậm chí lên đến hàng triệu.

Khi đó hàm R(u,i) đo lường mức độ hữu ích của hạng mục i đối với người dùng u được gọi là hàm hữu dụng và R: U x I  P, với P là một tập có thứ tự. 7 Khi đó, với mỗi người dùng uU, ta sẽ tìm các hạng mục i’I để tối ưu hóa tính hữu dụng cho người dùng u. Nghĩa là ta sẽ tìm iu’ sao cho: uU, i 'u  arg max R (u , i ) (2.1) iI Tính hữu dụng của một hạng mục đối với người dùng trong các hệ tư vấn được đo lường bằng điểm đánh giá, nó biểu thị mức độ ưa chuộng của người dùng đối với một hạng mục nào đó. Hàm hữu dụng R tổng quát có thể là một hàm bất kỳ, hoặc do người dùng đặc tả hoặc được tính toán bởi một ứng dụng cụ thể.

Mỗi người dùng trong không gian U có thể được xác định thông qua profile, chứa nhiều thông tin đặc trưng cho người dùng như tuổi, giới tính, hôn nhân, thu nhập, … hay đơn giản hơn chỉ là mã số người dùng (userId). Tương tự, mỗi hạng mục trong tập I cũng được xác định bởi tập các đặc trưng cho hạng mục đó. Trong các hệ tư vấn, hàm R không được xác định trên toàn bộ không gian U x I mà chỉ xác định trên một miền nhỏ của không gian trên. Điều này dẫn đến việc hàm R phải được ngoại suy trong không gian U x I.

Tính hữu dụng trong hệ tư vấn được biểu diễn bằng điểm đánh giá và thường chỉ được bắt đầu tính cho một số hạng mục trước đó đã được người dùng bình chọn (thường là rất nhỏ). Thang điểm đánh giá có thể là 10 hoặc 5. Với các hạng mục chưa được người dùng bình chọn thì dùng ký hiệu  để biểu diễn. Điểm hữu dụng giữa người dùng và hạng mục được biểu diễn dưới dạng ma trận như ví dụ trong Bảng 2.

Từ những thông tin đó, hệ tư vấn sẽ ước lượng (dự đoán) điểm đánh giá giữa các cặp người dùng / hạng mục chưa được bình chọn, từ đó đưa ra các khuyến nghị thích hợp nhất. Việc ngoại suy từ điểm đánh giá đã biết trước sang các điểm đánh giá chưa biết thường được thực hiện bởi (i) đặc tả các heuristics để định nghĩa hàm hữu dụng và đánh giá hiệu năng theo kinh nghiệm và (ii) ước lượng hàm hữu dụng dựa trên các phương pháp xấp xỉ tối ưu như MSE (mean square error) chẳng hạn. Kết quả đánh giá của người xem phim với một số phim khảo sát Harry Potter Star trek Xmen Transformer A 2  5 4 B 5 2 2  C   1 1 D 4 3  4 2. PHÂN LOẠI HỆ TƯ VẤN Phân loại hệ tư vấn chủ yếu dựa trên kỹ thuật mà hệ sử dụng để tiếp cận.

Có 6 hướng tiếp cận tư vấn chính là:  Phương pháp dựa trên nội dung (content-based).  Phương pháp chọn lọc cộng tác (collaborative filtering).  Phương pháp dựa trên nhân khẩu học (demographic-based).  Phương pháp dựa trên tri thức (knowledge-based).

 Phương pháp dựa trên cộng đồng (community-based).  Phương pháp lai (hybrid). tóm tắt các kỹ thuật cơ bản dùng để xây dựng một hệ tư vấn. Thiết kế hệ tư vấn dựa vào kỹ thuật nào tùy thuộc vào lĩnh vực và đặc trưng của dữ liệu có sẵn.

PHƯƠNG PHÁP DỰA TRÊN NỘI DUNG (CONTENT-BASED) Trong phương pháp này, hàm hữu dụng R(u,i) của hạng mục i đối với người dùng u được ước lượng dựa trên giá trị hữu dụng R(u,ik) của hạng mục ikI mà người dùng u đánh giá cao và được cho là tương tự với hạng mục i. Ví dụ để 9 giới thiệu phim cho người dùng u, hệ thống sẽ tìm ra những nét phổ biến nhất trong số các phim được người dùng u đánh giá cao trong quá khứ (dựa vào điểm đánh giá). Sau đó chỉ những phim nào có điểm tương đồng cao với các đặc điểm phổ biến này mới được đề cử cho người dùng u. Các bước cơ bản triển khai một hệ tư vấn CB được mô tả trong Hình 2.

Ví dụ về một hệ tư vấn trên website thương mại Phương pháp này dựa trên nền tảng các nghiên cứu về rút trích thông tin (information retrieval) và chắt lọc thông tin (information filtering). Nhờ những thành tựu trong các nghiên cứu này mà hiện nay nhiều hệ tư vấn loại này tập trung vào tư vấn các đối tượng chứa thông tin dạng văn bản như tài liệu, websites, tin tức, v.v… Những tiến bộ trong rút trích thông tin đã cải thiện đáng kể profile của người dùng như thông tin về sở thích, nhu cầu, thói quen,…), các thông tin này có được một cách tường minh thông qua các bảng câu hỏi gởi cho người dùng, 10 hoặc không tường minh thông qua khai phá thông tin từ những ứng xử và giao tiếp của họ. Các kỹ thuật tư vấn Kỹ thuật Dữ liệu cơ bản Đầu vào Xử lý Chọn lọc Điểm đánh giá của Điểm đánh giá của Xác định các cộng tác các người dùng người dùng u cho người dùng trong trong tập U cho các các hạng mục tập U tương đồng hạng mục trong tập trong tập I. với u, và ngoại I.

suy từ điểm đánh giá của các người dùng này cho hạng mục i. Theo nội Đặc tính của các Điểm đánh giá của Phân loại sự phù dung hạng mục trong I. người dùng u cho hợp giữa thái độ các hạng mục và việc sử dụng trong I hạng mục i của người dùng u. Nhân khẩu Thông tin nhân Thông tin nhân Xác định các học khẩu học của các khẩu học của người dùng tương người dùng trong người dùng u.