Bối cảnh và vấn đề nghiên cứu

Trong kỷ nguyên Web 2.0 và sự bùng nổ của mạng Internet, khối lượng thông tin và sản phẩm trực tuyến gia tăng nhanh chóng, dẫn đến hiện tượng quá tải thông tin đối với người dùng. Mặc dù các công cụ tìm kiếm truyền thống như Google hay Bing hỗ trợ việc tra cứu dữ liệu, chúng vẫn chưa thể tối ưu hóa việc sắp xếp thứ tự ưu tiên và cá nhân hóa trải nghiệm theo sở thích riêng biệt của từng cá nhân. Trong bối cảnh đó, hệ thống đề xuất (Recommendation System - RS) trở thành giải pháp then chốt giúp các nền tảng số hiểu rõ hành vi, thói quen tiêu dùng để đưa ra gợi ý chính xác.

Theo báo cáo của Grand View Research (2021), quy mô thị trường công cụ đề xuất toàn cầu được định giá 1,77 tỷ USD vào năm 2020 và được dự báo đạt tốc độ tăng trưởng kép hàng năm (CAGR) là 33,0% trong giai đoạn 2021–2028. Nghiên cứu của Straits Research (2022) cũng chỉ ra quy mô thị trường này có thể đạt 54 tỷ USD vào năm 2030 từ mức 3 tỷ USD năm 2021 với CAGR 37%. Trong lĩnh vực giải trí trực tuyến, việc cung cấp các đề xuất phim ảnh được cá nhân hóa đóng vai trò trực tiếp trong việc nâng cao trải nghiệm khách hàng và tối ưu hóa doanh thu cho doanh nghiệp cung cấp dịch vụ.

Đề tài chuyên đề tốt nghiệp "Ứng dụng Machine Learning trong xây dựng hệ thống đề xuất phim ảnh" của tác giả Nguyễn Lương Liệu (Khoa Toán Kinh tế, Trường Đại học Kinh tế Quốc dân) được thực hiện với các định hướng nghiên cứu cụ thể:

  1. Nhiệm vụ nghiên cứu:

    • Hệ thống hóa cơ sở lý luận về hệ thống đề xuất, các thành phần cấu tạo, quy trình vận hành và các thách thức cốt lõi.
    • Nghiên cứu chi tiết cơ chế hoạt động, công thức toán học và phương pháp đánh giá của nhóm thuật toán Lọc cộng tác dựa trên bộ nhớ (Memory-based Collaborative Filtering - MBCF) với hai hướng tiếp cận: dựa trên người dùng (User-based Collaborative Filtering - UBCF) và dựa trên mục tin (Item-based Collaborative Filtering - IBCF).
    • Phân tích thực trạng ứng dụng và giá trị kinh tế của hệ thống đề xuất trên thế giới và tại Việt Nam.
    • Thực nghiệm tiền xử lý, chuẩn bị dữ liệu và huấn luyện mô hình đề xuất trên bộ dữ liệu MovieLens 100K bằng ngôn ngữ R, từ đó đánh giá và so sánh hiệu quả giữa hai thuật toán UBCF và IBCF.

  2. Đối tượng và phạm vi nghiên cứu:

    • Đối tượng nghiên cứu: Hệ thống đề xuất và các khía cạnh lý thuyết, thuật toán Machine Learning liên quan.
    • Phạm vi nội dung: Tập trung vào kỹ thuật Lọc cộng tác dựa trên bộ nhớ (UBCF và IBCF), đo lường độ tương tự qua Cosine và Pearson, cùng các chỉ số đánh giá độ chính xác thống kê và hỗ trợ quyết định.
    • Phạm vi dữ liệu: Bộ dữ liệu MovieLens 100K được thu thập từ ngày 19 tháng 9 năm 1997 đến ngày 22 tháng 4 năm 1998, bao gồm 99.392 xếp hạng từ 943 người dùng trên 1.664 bộ phim.

Cơ sở lý thuyết và phương pháp

Chuyên đề tốt nghiệp xây dựng nền tảng nghiên cứu dựa trên các khái niệm chuẩn tắc của Học máy (Machine Learning - ML) và Hệ thống đề xuất (Recommendation System - RS):

Khái niệm / Thành phần Nội dung lý thuyết được tác giả sử dụng
Học máy (Machine Learning) Nhánh của Trí tuệ nhân tạo (AI) và khoa học máy tính sử dụng dữ liệu và thuật toán thống kê để đưa ra dự đoán và phân loại (theo IBM Cloud Education, 2020).
Hệ thống đề xuất (RS) Lớp con của ML sử dụng dữ liệu tương tác trong quá khứ để dự đoán mức độ quan tâm của người dùng đối với các mục tin chưa biết (theo NVIDIA, 2021).
Thành phần cơ bản của RS Ba thực thể chính gồm: Người dùng (User), Mục tin (Item) và Phản hồi (Feedback - xếp hạng, số lần nhấp chuột, thời gian tương tác) theo Thai Nghe (2016).
Biểu diễn thông tin Ma trận Người dùng - Mục tin (Users - Items Matrix, ký hiệu ma trận U-I), trong đó giá trị các ô thể hiện điểm đánh giá mức độ ưa thích.
Các dạng phản hồi - Phản hồi tường minh (Explicit feedback): Điểm xếp hạng trực tiếp 1–5 sao, like/dislike.
- Phản hồi ngụ ý (Implicit feedback): Lịch sử mua hàng, lịch sử duyệt web, thời gian dừng trên trang.
- Phản hồi kết hợp (Hybrid feedback): Tích hợp cả hai dạng phản hồi.
Thách thức hệ thống Khởi động chậm (Cold-start), Dữ liệu thưa (Data sparsity), Khả năng mở rộng (Scalability), Từ đồng nghĩa (Synonymy) và Quyền riêng tư (Privacy).

Phương pháp nghiên cứu thực nghiệm:

  • Phương pháp tính toán độ tương tự: Sử dụng hai độ đo chính xác là Độ tương tự Cosine (Cosine Similarity) và Tương quan Pearson (Pearson Correlation).
  • Phương pháp xử lý và chuẩn hóa: Kỹ thuật chuẩn hóa ma trận U-I bằng cách trừ đi giá trị trung bình xếp hạng của từng người dùng (đối với UBCF) hoặc từng mục tin (đối với IBCF), chuyển đổi các giá trị chưa đánh giá về mức 0 nhằm triệt tiêu độ lệch (bias) do người dùng khó tính/dễ tính.
  • Phương pháp kiểm định và đánh giá: Ứng dụng kỹ thuật Kiểm chứng chéo (Cross-validation). Sử dụng các chỉ số sai số thống kê (MAE - Mean Absolute Error, RMSE - Root Mean Squared Error) và các chỉ số hỗ trợ quyết định (Precision, Recall) với các ngưỡng lân cận $k$ khác nhau.
  • Công cụ triển khai: Môi trường lập trình R và gói thư viện chuyên dụng recommenderlab với cấu trúc dữ liệu đối tượng realRatingMatrix.

Nội dung chính theo từng chương

Giới thiệu chung

Phần mở đầu thiết lập bối cảnh thực tiễn của sự phát triển mạng xã hội và thương mại điện tử từ kỷ nguyên Web 2.0. Tác giả chỉ ra mâu thuẫn giữa tình trạng bùng nổ thông tin và khả năng tìm kiếm cá nhân hóa của người dùng, làm nổi bật vai trò của các thuật toán đề xuất phim ảnh trong việc tiết kiệm thời gian lựa chọn cho khán giả và nâng cao hiệu quả kinh doanh của các nhà cung cấp nội dung số.

Chương 1. Cơ sở lý luận và tổng quan nghiên cứu

Chương này phân tích toàn diện cấu trúc và nguyên lý vận hành của một hệ thống đề xuất:

  • Quy trình đề xuất 3 giai đoạn (theo Isinkaye et al., 2015):
    1. Giai đoạn thu thập thông tin (Information collection phase): Tạo lập hồ sơ người dùng (User profile) từ phản hồi tường minh và ngụ ý.
    2. Giai đoạn học tập (Learning phase): Áp dụng thuật toán khai thác mẫu đặc trưng hành vi.
    3. Giai đoạn dự đoán/đề xuất (Prediction/recommendation phase): Tính toán điểm số dự báo và xếp hạng danh sách đề xuất Top-N.
  • Năm thách thức chính của hệ thống đề xuất: Phân tích chi tiết nguyên nhân và hướng khắc phục cho các vấn đề: Khởi động chậm (Cold-start), Dữ liệu thưa (Data sparsity), Khả năng mở rộng (Scalability), Từ đồng nghĩa (Synonymy) và Bảo mật quyền riêng tư (Privacy).
  • Tổng quan các nghiên cứu liên quan: Điểm lại các công trình tiêu biểu như thuật toán cây quy nạp của Li & Yamada (2004), kết hợp mạng Bayes và Lọc cộng tác của de Campos et al. (2010), phân loại kỹ thuật của Sharma & Mann (2013), phương pháp phân cụm của Kuzelewska (2014), hệ thống MOVREC của Kumar et al. (2015), và các mô hình đề xuất phim của Chiru et al. (2015) cùng Virk et al. (2015).

Chương 2. Thuật toán đề xuất

Tác giả hệ thống hóa các nhóm thuật toán đề xuất (Lọc cộng tác, Lọc dựa trên nội dung, Lọc kết hợp, Không cá nhân hóa) và đi sâu vào nhóm Lọc cộng tác dựa trên bộ nhớ (MBCF):

  • Thuật toán Lọc cộng tác dựa trên người dùng (UBCF): Đề xuất bởi Jonathan L. Herlocker (cuối thập niên 1990). Xây dựng vectơ đặc tính từ phản hồi quá khứ, chuẩn hóa ma trận bằng việc trừ trung bình xếp hạng người dùng, tính độ tương tự Cosine/Pearson để xác định $k$ người dùng lân cận, và dự đoán xếp hạng theo công thức: $$\hat{r}{u,i} = \bar{r}u + \frac{\sum{u' \in K_u} \text{sim}(u, u')(r{u',i} - \bar{r}{u'})}{\sum{u' \in K_u} |\text{sim}(u, u')|}$$
  • Thuật toán Lọc cộng tác dựa trên mục tin (IBCF): Đề xuất bởi các nhà nghiên cứu Đại học Minnesota (2001). Thực hiện tính toán tương quan giữa các cột mục tin dựa trên trung bình xếp hạng của từng phim, xác định $k$ mục tin lân cận và tính toán điểm dự báo: $$\hat{r}{u,i} = \bar{r}i + \frac{\sum{i' \in K_i} \text{sim}(i, i')(r{u,i'} - \bar{r}{i'})}{\sum{i' \in K_i} |\text{sim}(i, i')|}$$
  • Ưu điểm của Lọc cộng tác: Không đòi hỏi trích xuất thuộc tính ngữ cảnh chi tiết của sản phẩm, không yêu cầu phân tích cú pháp hay tách gốc từ (word-stemming), và có khả năng giúp người dùng khám phá những sở thích mới một cách ngẫu nhiên (serendipity).
  • Hệ thống chỉ số đánh giá: Định nghĩa chi tiết công thức đo sai số thống kê (MAE, RMSE) và độ chính xác hỗ trợ quyết định (Precision - tỷ lệ mục tin đề xuất chính xác trên tổng số mục tin đề xuất, Recall - tỷ lệ mục tin đề xuất chính xác trên tổng số mục tin hữu ích).

Chương 3. Ứng dụng của hệ thống đề xuất trong thực tiễn

Chương này đánh giá các tác động thực tế của RS trên phương diện thương mại:

  • Lợi ích đối với doanh nghiệp và khách hàng: Gia tăng giá trị đơn hàng trung bình, tạo sự hài lòng, chuyển đổi khách vãng lai thành người mua hàng, giảm chi phí marketing và tự động hóa vận hành. Đối với khách hàng, RS mang lại trải nghiệm cá nhân hóa và giảm thiểu chi phí tìm kiếm.
  • Dẫn chứng thực tiễn quốc tế: Amazon ghi nhận 35% tổng doanh thu năm 2015 và mức tăng trưởng 29% doanh số trong quý II/2012 nhờ công cụ lọc cộng tác; YouTube tối ưu tín hiệu tương tác; Facebook ứng dụng mô hình Deep Learning DLRM; Netflix cá nhân hóa giao diện trang chủ; LinkedIn sử dụng công cụ LinkedIn Recruiter.
  • Bối cảnh tại Việt Nam: Các nền tảng thương mại điện tử lớn (Shopee, Lazada, Tiki) và chuỗi bán lẻ công nghệ (HACOM, Phong Vũ) ứng dụng rộng rãi các danh mục như "Dành riêng cho bạn" hay "Sản phẩm liên quan".

Chương 4. Dữ liệu và kết quả nghiên cứu

Chương này trình bày toàn bộ quy trình thực nghiệm trên ngôn ngữ R với package recommenderlab:

  • Đặc trưng bộ dữ liệu MovieLens 100K: Gồm 3 bảng chính: MovieLenseMeta (tên phim, năm phát hành, thể loại), MovieLenseUser (mã người dùng, tuổi, giới tính, nghề nghiệp, mã bưu điện) và ma trận MovieLense kích thước $943 \times 1.664$.
  • Khám phá dữ liệu (EDA):
    • Phân bố xếp hạng: Điểm đánh giá dao động từ 1 đến 5 sao (bỏ qua giá trị 0), phần lớn tập trung ở mức trên 2 sao, phổ biến nhất là xếp hạng 4 sao.
    • Phim được xem nhiều nhất: Star Wars (1977) dẫn đầu về tổng lượt xem (gần 600 lượt xem).
    • Phân bố xếp hạng trung bình: Ban đầu tập trung ở mức 3 sao (có các giá trị cực đoan 1 hoặc 5 sao do ít người chấm). Sau khi lọc các phim có trên 100 lượt xem, phân bố xếp hạng trung bình nằm trong khoảng 2,25 đến 4,5 (tập trung từ 3,5 đến 4,0).
    • Trực quan hóa ma trận: Sử dụng bản đồ nhiệt (Heatmap) thể hiện mật độ xếp hạng và sự khác biệt về mức độ tích cực giữa các nhóm người dùng.
  • Chuẩn bị và lọc dữ liệu liên quan:
    • Tiêu chí lọc: Chỉ giữ lại người dùng đã xếp hạng ít nhất 50 bộ phim và các bộ phim có tối thiểu 100 lượt xem.
    • Kết quả sau xử lý: Thu được ma trận tinh chỉnh gồm 560 người dùng, 332 bộ phim và 55.298 xếp hạng có độ tin cậy cao nhất.
    • Chuẩn hóa: Dùng hàm normalize() trong recommenderlab đưa dữ liệu về dạng chuẩn không thiên lệch trước khi đưa vào mô hình.
  • Huấn luyện và so sánh mô hình:
    • Xây dựng các mô hình UBCF và IBCF với các tham số lân cận $k$ khác nhau.
    • Phân tích đồ thị Precision-Recall để so sánh hiệu quả giữa hai thuật toán.
    • Tạo bảng kết quả đề xuất Top 10 bộ phim cho người dùng mục tiêu từ cả hai thuật toán (Bảng 4.1 cho UBCF và Bảng 4.2 cho IBCF).

Kết quả và đóng góp

Nghiên cứu đạt được các kết quả thực nghiệm định lượng rõ ràng trên tập dữ liệu chuẩn:

Dữ liệu gốc MovieLens 100K (943 người dùng, 1.664 phim, 99.392 xếp hạng)
Ma trận rút gọn (560 người dùng, 332 phim, 55.298 xếp hạng)
Huấn luyện & Đánh giá mô hình:
Xuất danh sách Top 10 phim đề xuất và đánh giá qua đồ thị Precision - Recall

  1. Kết quả thực nghiệm:

    • Xác định chính xác các ngưỡng phân bố dữ liệu điện ảnh trên tập MovieLens 100K, chứng minh việc loại bỏ các bộ phim có dưới 100 lượt đánh giá giúp khử các giá trị trung bình cực đoan (1 sao hoặc 5 sao ảo).
    • Thiết lập thành công quy trình chuẩn bị dữ liệu tinh gọn, giảm 40,6% số người dùng và 80,0% số phim ít tương tác, tạo ra ma trận có mật độ thông tin chất lượng cao gồm 55.298 quan sát.
    • Triển khai hoàn chỉnh hai thuật toán UBCF và IBCF, tạo lập danh sách gợi ý Top 10 phim cá nhân hóa cho người dùng và thiết lập đồ thị Precision-Recall so sánh hiệu quả giữa các giá trị tham số $k$.

  2. Đóng góp của nghiên cứu:

    • Về mặt lý thuyết: Cung cấp một tài liệu tổng hợp hệ thống, chi tiết về toán học và quy trình kỹ thuật của các phương pháp Lọc cộng tác dựa trên bộ nhớ.
    • Về mặt thực tiễn: Cung cấp mã nguồn và quy trình xử lý thực nghiệm chuẩn trên môi trường R thông qua thư viện recommenderlab, làm tài liệu tham khảo có thể tái lập cho các bài toán xây dựng hệ gợi ý trong lĩnh vực thương mại và dịch vụ giải trí.

Hạn chế và hướng nghiên cứu tiếp

Tác giả đã chỉ ra các hạn chế cố hữu trong khuôn khổ nghiên cứu cùng các định hướng mở rộng:

  • Hạn chế của nghiên cứu:

    • Nghiên cứu chỉ tập trung vào nhóm thuật toán Lọc cộng tác dựa trên bộ nhớ (MBCF), vốn vẫn gặp trở ngại lớn về tài nguyên tính toán khi quy mô ma trận mở rộng (Scalability) và không xử lý triệt để được vấn đề người dùng/mục tin hoàn toàn mới (Cold-start).
    • Quá trình thực nghiệm chỉ dựa trên phản hồi tường minh (điểm số 1–5 sao), chưa khai thác dữ liệu phản hồi ngụ ý (thời gian xem, lượt nhấp chuột) hoặc thông tin thuộc tính phong phú (nhân khẩu học người dùng từ bảng MovieLenseUser, thể loại phim từ bảng MovieLenseMeta).
    • Đánh giá mô hình thực hiện hoàn toàn trên tập dữ liệu lịch sử tĩnh (offline evaluation), chưa được kiểm chứng qua thử nghiệm A/B trên môi trường vận hành trực tuyến.

  • Hướng nghiên cứu tiếp theo:

    • Nghiên cứu và triển khai các thuật toán Lọc cộng tác dựa trên mô hình (Model-based CF), đặc biệt là kỹ thuật Phân rã ma trận (Matrix Factorization như SVD) và các mô hình Học sâu (Deep Learning / DLRM) để nâng cao khả năng mở rộng.
    • Phát triển hệ thống đề xuất kết hợp (Hybrid Recommender System) tích hợp giữa Lọc cộng tác và Lọc theo nội dung (Content-based Filtering), tận dụng toàn diện dữ liệu metadata về người dùng và nội dung phim.
    • Tích hợp các cơ chế phản hồi ngụ ý và thiết kế thử nghiệm trực tuyến để đo lường mức độ tương tác thực tế của người dùng.

Giá trị tham khảo

Chuyên đề tốt nghiệp là tài liệu tham khảo hữu ích cho các đối tượng:

  • Sinh viên chuyên ngành Toán Kinh tế, Khoa học dữ liệu, Hệ thống thông tin quản lý: Tham khảo cấu trúc trình bày một đề tài ứng dụng Machine Learning hoàn chỉnh từ khâu lập luận toán học, xử lý ma trận đến cài đặt thực nghiệm.
  • Lập trình viên và nhà nghiên cứu ứng dụng R: Tham khảo trực tiếp quy trình sử dụng thư viện recommenderlab, các hàm tiền xử lý ma trận realRatingMatrix, chuẩn hóa normalize(), và cách vẽ đường cong Precision-Recall.
  • Doanh nghiệp dịch vụ số và thương mại điện tử: Nắm bắt các phương pháp phân loại phản hồi khách hàng và nguyên lý vận hành của các giải pháp gợi ý sản phẩm/nội dung.

Câu hỏi thường gặp

1. Bộ dữ liệu MovieLens 100K được sử dụng trong chuyên đề có những đặc trưng gì và được thu thập trong khoảng thời gian nào?
Bộ dữ liệu MovieLens 100K được thu thập qua website movielens.org (thuộc GroupLens) trong khoảng thời gian 7 tháng từ ngày 19/09/1997 đến ngày 22/04/1998. Bộ dữ liệu chứa 99.392 xếp hạng (từ 1 đến 5 sao) của 943 người dùng đánh giá trên 1.664 bộ phim, được cấu trúc trong R thành 3 thành phần: MovieLenseMeta, MovieLenseUser và ma trận xếp hạng MovieLense.

2. Tiêu chí lọc dữ liệu để đưa vào hệ thống đề xuất trong nghiên cứu là gì và kết quả sau khi lọc thay đổi ra sao?
Để hạn chế tình trạng thiếu thông tin gây sai lệch thuật toán, tác giả áp dụng hai tiêu chí: người dùng phải xếp hạng ít nhất 50 bộ phim và bộ phim phải được xem ít nhất 100 lần. Kết quả sau khi lọc thu được ma trận rút gọn gồm 560 người dùng, 332 bộ phim và 55.298 xếp hạng liên quan nhất (so với 943 người dùng, 1.664 phim và 99.392 xếp hạng ban đầu).

3. Tại sao cần phải chuẩn hóa ma trận Người dùng - Mục tin trước khi tính toán độ tương tự?
Chuẩn hóa ma trận là cần thiết vì người dùng có xu hướng đánh giá khác nhau: người dễ tính thường cho điểm cao (4-5 sao) trong khi người khó tính cho điểm thấp hơn (dưới 3 sao). Bằng cách lấy điểm đánh giá trừ đi điểm đánh giá trung bình của người dùng đó (hoặc của mục tin) và gán các ô chưa đánh giá bằng 0, hệ thống phân tách rõ đánh giá thành hai nhóm: giá trị dương (yêu thích) và giá trị âm (không thích), đồng thời tránh làm sai lệch việc đo lường khoảng cách giữa các vectơ đặc tính.

4. Sự khác biệt cốt lõi giữa hai thuật toán UBCF và IBCF được trình bày trong tài liệu là gì?
UBCF tìm kiếm các người dùng có hành vi tương đồng (vùng lân cận người dùng) và gợi ý các mục tin được nhóm lân cận này đánh giá tích cực. Ngược lại, IBCF tính toán độ tương đồng giữa các mục tin dựa trên lịch sử đánh giá của toàn bộ người dùng, sau đó đề xuất các mục tin có độ tương tự cao nhất với những mục tin mà người dùng mục tiêu đã từng đánh giá tốt trong quá khứ.

Kết luận

Chuyên đề tốt nghiệp của sinh viên Nguyễn Lương Liệu đã hệ thống hóa toàn diện cơ sở lý luận và phương pháp toán học của hệ thống đề xuất dựa trên Machine Learning. Thông qua việc phân tích và triển khai hai thuật toán Lọc cộng tác dựa trên bộ nhớ (UBCF và IBCF) trên tập dữ liệu chuẩn MovieLens 100K bằng ngôn ngữ R, tác giả đã chứng minh tính khả thi và hiệu quả của các mô hình cá nhân hóa nội dung phim ảnh. Mặc dù còn những hạn chế về khả năng mở rộng và việc chưa tích hợp dữ liệu metadata, công trình đã cung cấp một quy trình thực nghiệm rõ ràng, đóng vai trò là tài liệu tham khảo có giá trị học thuật và ứng dụng thực tiễn trong phân tích dữ liệu kinh tế và hệ thống thông tin.