Nghiên Cứu Ứng Dụng Mô Hình Lọc Cộng Tác và Phân Cụm Mờ Trong Hệ Thống Gợi Ý Phim

Luận văn thạc sĩ kỹ thuật nghiên cứu nghiên cứu ứng dụng mô hình lọc cộng tác và phân cụm mờ xây dựng hệ thống gợi ý phim dựa trên thông, khảo sát thực trạng, phân tích nguyên

• Tác giả: Nguyễn Kim Lương
• Người hướng dẫn: TS. Mai Đình Sinh
• Trường học: Trường Đại Học Công Nghiệp Hà Nội
• Chuyên ngành: Hệ Thống Thông Tin
• Đề tài: Nghiên Cứu Hệ Thống Gợi Ý Phim Dựa Trên Mô Hình Lọc Cộng Tác và Phân Cụm Mờ
• Loại tài liệu: Đề Án Tốt Nghiệp Thạc Sĩ
• Năm xuất bản: 2024
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VÀ HỆ THỐNG GỢI Ý
• 1.1. MẶT SỐ KHÁI NIỆM PHỔ BIẾN VÀ HỆ THỐNG GỢI Ý
• 1.2. PHƯƠNG THỨC HOẠT ĐỘNG CỦA HỆ THỐNG GỢI Ý
• 1.3. PHƯƠNG PHÁP TIẾP CẬN KHI XÂY DỰNG HỆ THỐNG GỢI Ý
• 2. CHƯƠNG 2: HỆ GỢI Ý DỰA TRÊN LỌC CỘNG TÁC VÀ CÁC PHƯƠNG PHÁP PHÂN CỤM
• 3. CHƯƠNG 3: LỰA CHỌN MÔ HÌNH HỆ GỢI Ý SỬ DỤNG PHƯƠNG PHÁP PHÂN CỤM MỜ
• 4. CHƯƠNG 4: CÀI ĐẶT, THỬ NGHIỆM MÔ HÌNH ĐÃ LỰA CHỌN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Hệ Thống Gợi Ý Phim Hiện Đại Nhất

Hệ thống gợi ý, hay recommendation system, đóng vai trò quan trọng trong việc giải quyết vấn đề quá tải thông tin. Chúng phân tích dữ liệu người dùng và thông tin sản phẩm để tạo ra các đề xuất cá nhân hóa. Mục tiêu là tối ưu hóa trải nghiệm người dùng bằng cách gợi ý những sản phẩm, dịch vụ phù hợp nhất với sở thích và nhu cầu của họ. Ví dụ, Netflix sử dụng hệ thống gợi ý để đề xuất phim dựa trên lịch sử xem và đánh giá của người dùng, giúp tăng cường sự tương tác và hài lòng. Hệ thống gợi ý hiệu quả dựa trên ba thành phần chính: tập hợp người dùng, tập hợp mục dữ liệu và tập hợp mối quan hệ giữa người dùng và mục dữ liệu. "[9] - T¿p hÿp ng°åi dùng (U): Đây là danh sách chća các thông tin cá nhân cąa ng°åi dùng đã đăng ký hoặc đ°āc theo dõi bçi há tháng, ký hiáu là U={u1,u2,.,up}"

1.1. Khái Niệm Cơ Bản về Hệ Thống Gợi Ý Phim

Hệ thống gợi ý là nền tảng phần mềm sử dụng các kỹ thuật hiện đại để phân tích dữ liệu người dùng và sản phẩm. Mục tiêu là tối ưu hóa sự hài lòng bằng cách cung cấp thông tin cá nhân hóa dựa trên lịch sử hoạt động và lựa chọn của người dùng. Khi người dùng truy cập Amazon, hệ thống gợi ý giúp cá nhân hóa dữ liệu và đề xuất sản phẩm phù hợp từ hàng triệu lựa chọn, đảm bảo người dùng tìm thấy sản phẩm ưng ý nhanh nhất. "[9] - T¿p hÿp ng°åi dùng (U): Đây là danh sách chća các thông tin cá nhân cąa ng°åi dùng đã đăng ký hoặc đ°āc theo dõi bçi há tháng, ký hiáu là U={u1,u2,.,up}"

1.2. Phương Pháp Thu Thập Dữ Liệu Người Dùng

Có hai phương pháp chính để thu thập dữ liệu hồ sơ người dùng: phản hồi rõ ràng (explicit feedback) và phản hồi ngầm (implicit feedback). Phản hồi rõ ràng yêu cầu người dùng cung cấp xếp hạng cụ thể cho từng mục, trong khi phản hồi ngầm thu thập thông tin từ hành vi của người dùng trên hệ thống như lịch sử mua hàng, thời gian xem trang web và số lần click. Mặc dù phản hồi rõ ràng cho kết quả đáng tin cậy hơn, nó yêu cầu công việc bổ sung trên hệ thống và có thể gây trải nghiệm kém cho người dùng. Ngược lại, phản hồi ngầm nâng cao trải nghiệm người dùng bằng cách tự động thu thập dữ liệu về hành vi. "Ng°åi dùng s¿ th°ång không đánh giá tất cả nhăng gì há đã trải qua vì lý do tâm lý. Há th°ång chỉ đ°a ra đánh giá các măc vãi tình tr¿ng tích cąc, tćc là rất thích hoặc tiêu cąc."

II. Lọc Cộng Tác Nền Tảng Của Gợi Ý Phim Cá Nhân Hóa

Lọc cộng tác là một kỹ thuật quan trọng trong hệ thống gợi ý, dựa trên việc tìm kiếm những người dùng có sở thích tương đồng để đưa ra gợi ý. Phương pháp này phân tích lịch sử tương tác của người dùng, lưu trữ trong ma trận tương tác User-Item, và đưa ra đánh giá dựa trên độ phù hợp giữa người dùng hiện tại và các người dùng khác có sở thích tương tự. Vấn đề thường gặp là ma trận tương tác bị thưa, do người dùng không đánh giá tất cả các mục đã trải nghiệm. Các phương pháp gợi ý dựa trên bộ nhớ gặp khó khăn khi dữ liệu bị thưa, và có thể xuất hiện vấn đề khởi động nguội khi có tương tác mới giữa người dùng hoặc mặt hàng. "Há tháng gāi tìm kiÁm nhăng nhóm ng°åi dùng có hành vi t°¢ng đßng bằng cách phân tích lßch sā t°¢ng tác cąa há, đ°āc l°u tră trong ma trÅn t°¢ng tác User 3 Item."

2.1. Cách Thức Hoạt Động của Lọc Cộng Tác

Khi mua sắm, khách hàng thường dựa vào thông tin sản phẩm và gợi ý từ người xung quanh. Hệ thống gợi ý mô phỏng quá trình này bằng hai kỹ thuật chính: gợi ý dựa trên lọc nội dung và gợi ý dựa trên lọc cộng tác. Lọc dựa trên nội dung tận dụng thông tin tương tác trong quá khứ của người dùng và thuộc tính của đối tượng để xác định đặc tính ảnh hưởng đến đánh giá của người dùng. Lọc cộng tác tìm kiếm nhóm người dùng có hành vi tương đồng để đưa ra gợi ý. "Mát là kiểm tra chi tiÁt các thông tin cąa sản phÁm, chẳng h¿n nh° tính năng, công dăng và thành ph¿n, tùy thuác vào nhu c¿u sā dăng cąa há."

2.2. Giải Quyết Bài Toán Gợi Ý Phim Cộng Tác

Để giải quyết bài toán gợi ý, cần phát triển một hàm ước lượng giá trị xếp hạng mà người dùng đưa ra cho đối tượng. Mục tiêu là làm cho sai số giữa giá trị dự đoán và giá trị xếp hạng đã biết trong ma trận tương tác trở nên nhỏ nhất. Điều này đòi hỏi các thuật toán lọc cộng tác phải xử lý được dữ liệu thưa và vấn đề khởi động nguội để đưa ra các gợi ý chính xác và phù hợp. "Để giải quyÁt vấn đà này, ta c¿n phát triển mát hàm ÿ(Ăÿ , ăĀ ) nhằm °ãc l°āng giá trß xÁp h¿ng mà ng°åi dùng Ăÿ đ°a ra cho đái t°āng ăĀ ."

2.3. Các Phương Pháp Tiếp Cận trong Xây Dựng Hệ Thống Gợi Ý

Có nhiều phương pháp tiếp cận để xây dựng hệ thống gợi ý, bao gồm lọc nội dung và lọc cộng tác. Lọc nội dung ghi lại hồ sơ người dùng và sản phẩm dưới dạng vector, trong đó mỗi thành phần biểu thị sở thích và đặc trưng của người dùng và sản phẩm. Lọc cộng tác tìm kiếm những người dùng có sở thích tương tự để đưa ra gợi ý. Cả hai phương pháp đều có ưu và nhược điểm riêng, và việc lựa chọn phương pháp phù hợp phụ thuộc vào đặc điểm của dữ liệu và yêu cầu của hệ thống. "Há tháng gāi ý ghi l¿i hß s¢ ng°åi dùng d°ãi d¿ng vector Ă̂ = {Ă1 , Ă2 , & , ĂĄ }, trong đó Ăÿ biểu thß sự yêu thích và quan tâm đái vãi tÿng chi tiÁt sản phÁm cąa ng°åi dùng."

III. Phân Cụm Mờ Tối Ưu Độ Chính Xác Gợi Ý Phim

Phân cụm mờ là một kỹ thuật mạnh mẽ để cải thiện độ chính xác gợi ý. Thay vì gán mỗi người dùng vào một cụm duy nhất, phân cụm mờ cho phép người dùng thuộc về nhiều cụm với mức độ thành viên khác nhau. Điều này phản ánh chính xác hơn sự đa dạng trong sở thích của người dùng. K-means clustering và Fuzzy clustering là hai phương pháp phân cụm phổ biến. K-means chia dữ liệu thành các cụm riêng biệt, trong khi Fuzzy clustering cho phép các điểm dữ liệu thuộc về nhiều cụm với mức độ thành viên khác nhau. Việc kết hợp phân cụm mờ với lọc cộng tác có thể cải thiện đáng kể hiệu suất của hệ thống gợi ý.

3.1. Tại Sao Nên Sử Dụng Phân Cụm Mờ Cho Gợi Ý

Phân cụm mờ phù hợp với hệ thống gợi ý vì nó cho phép người dùng có nhiều sở thích khác nhau và thuộc về nhiều nhóm khác nhau. Điều này giúp hệ thống đưa ra các gợi ý cá nhân hóa hơn, phản ánh chính xác hơn sự đa dạng trong sở thích của người dùng. Phân cụm mờ có thể cải thiện đáng kể độ chính xác và độ bao phủ của hệ thống gợi ý, đồng thời giúp giảm thiểu vấn đề khởi động nguội.

3.2. Các Phương Pháp Phân Cụm Mờ Phổ Biến

Có nhiều phương pháp phân cụm mờ khác nhau, nhưng Fuzzy C-Means (FCM) là một trong những phương pháp phổ biến nhất. FCM cho phép mỗi điểm dữ liệu thuộc về nhiều cụm với mức độ thành viên khác nhau. Thuật toán này tìm kiếm các cụm có trung tâm gần các điểm dữ liệu nhất và cập nhật mức độ thành viên của mỗi điểm dữ liệu dựa trên khoảng cách đến các trung tâm cụm. FCM có thể được sử dụng để phân cụm người dùng hoặc sản phẩm, tùy thuộc vào mục tiêu của hệ thống gợi ý.

3.3. Ưu Điểm của Fuzzy C Means trong Phân Cụm

Ưu điểm của Fuzzy C-Means trong phân cụm là khả năng xử lý dữ liệu phức tạp, cho phép một điểm dữ liệu thuộc về nhiều cụm với các mức độ khác nhau. FCM cũng linh hoạt hơn so với các phương pháp phân cụm khác, vì có thể điều chỉnh tham số 'm' để kiểm soát mức độ mờ của các cụm. Điều này cho phép hệ thống gợi ý tùy chỉnh độ chính xác và độ bao phủ của các gợi ý dựa trên yêu cầu cụ thể của ứng dụng.

IV. Nghiên Cứu Mô Hình Gợi Ý Phim Kết Hợp Phân Cụm Mờ

Nghiên cứu này tập trung vào việc xây dựng một hệ thống gợi ý phim dựa trên mô hình lọc cộng tác và phân cụm mờ. Mục tiêu là cải thiện hiệu suất của hệ thống bằng cách kết hợp ưu điểm của cả hai kỹ thuật. Hệ thống sẽ sử dụng phân cụm mờ để nhóm người dùng dựa trên sở thích và sau đó sử dụng lọc cộng tác để đưa ra các gợi ý cá nhân hóa cho từng nhóm. Việc đánh giá hiệu suất của hệ thống sẽ được thực hiện bằng cách sử dụng các bộ dữ liệu chuẩn như MovieLens và so sánh với các hệ thống gợi ý truyền thống.

4.1. Lựa Chọn Mô Hình Hệ Thống Gợi Ý Phù Hợp

Việc lựa chọn mô hình hệ thống gợi ý là rất quan trọng để đảm bảo hiệu suất và độ chính xác của hệ thống. K-means clustering dựa trên item và Fuzzy clustering dựa trên user là hai lựa chọn phổ biến. K-means chia các item thành các cụm dựa trên đặc điểm, trong khi Fuzzy clustering nhóm người dùng dựa trên sở thích. Việc lựa chọn mô hình phù hợp phụ thuộc vào đặc điểm của dữ liệu và yêu cầu của ứng dụng.

4.2. Nhận Xét Về Mô Hình Gợi Ý Được Chọn

Mô hình kết hợp lọc cộng tác và phân cụm mờ có nhiều ưu điểm so với các hệ thống gợi ý truyền thống. Phân cụm mờ giúp hệ thống hiểu rõ hơn về sở thích của người dùng và đưa ra các gợi ý cá nhân hóa hơn. Lọc cộng tác tận dụng thông tin từ những người dùng có sở thích tương tự để cải thiện độ chính xác của các gợi ý. Mô hình này có thể giảm thiểu vấn đề khởi động nguội và cải thiện độ bao phủ của hệ thống.

V. Cài Đặt Thử Nghiệm Mô Hình Gợi Ý Phim Thực Tế

Để đánh giá hiệu suất của mô hình, hệ thống đã được cài đặt và thử nghiệm trên bộ dữ liệu MovieLens. Môi trường thử nghiệm được thiết lập để mô phỏng các điều kiện sử dụng thực tế. Các chỉ số đánh giá như độ chính xác gợi ý, độ bao phủ gợi ý và tính đa dạng gợi ý đã được sử dụng để so sánh hiệu suất của mô hình với các hệ thống gợi ý truyền thống. Kết quả thử nghiệm cho thấy mô hình kết hợp lọc cộng tác và phân cụm mờ có hiệu suất tốt hơn so với các hệ thống gợi ý truyền thống.

5.1. Tập Dữ Liệu Và Thiết Lập Môi Trường Thử Nghiệm

Tập dữ liệu MovieLens chứa thông tin về đánh giá phim của người dùng. Môi trường thử nghiệm được thiết lập để mô phỏng các điều kiện sử dụng thực tế. Các thư viện và công cụ cần thiết như Python, Scikit-learn và Pandas đã được cài đặt để hỗ trợ quá trình thử nghiệm. Dữ liệu được tiền xử lý để loại bỏ các giá trị thiếu và chuẩn hóa các thuộc tính.

5.2. Đánh Giá Kết Quả Thử Nghiệm Gợi Ý Phim

Kết quả thử nghiệm cho thấy mô hình kết hợp lọc cộng tác và phân cụm mờ có hiệu suất tốt hơn so với các hệ thống gợi ý truyền thống. Độ chính xác của các gợi ý đã được cải thiện đáng kể, đồng thời hệ thống cũng có khả năng đưa ra các gợi ý đa dạng hơn. Vấn đề khởi động nguội cũng đã được giảm thiểu nhờ vào việc sử dụng phân cụm mờ để nhóm người dùng dựa trên sở thích.

VI. Kết Luận Hướng Phát Triển Cho Gợi Ý Phim Tương Lai

Nghiên cứu này đã chứng minh rằng việc kết hợp mô hình lọc cộng tác và phân cụm mờ có thể cải thiện đáng kể hiệu suất của hệ thống gợi ý phim. Trong tương lai, có thể nghiên cứu các phương pháp phân cụm mờ tiên tiến hơn và tích hợp thêm thông tin về nội dung phim để nâng cao độ chính xác của các gợi ý. Ngoài ra, việc phát triển các giao diện người dùng thân thiện hơn cũng là một hướng đi quan trọng để tăng cường trải nghiệm người dùng.

6.1. Tóm Tắt Kết Quả Nghiên Cứu Gợi Ý Phim

Nghiên cứu đã thành công trong việc xây dựng và đánh giá một hệ thống gợi ý phim dựa trên mô hình lọc cộng tác và phân cụm mờ. Kết quả thử nghiệm cho thấy mô hình này có hiệu suất tốt hơn so với các hệ thống gợi ý truyền thống. Việc kết hợp hai kỹ thuật này giúp hệ thống hiểu rõ hơn về sở thích của người dùng và đưa ra các gợi ý cá nhân hóa hơn.

6.2. Hướng Phát Triển Hệ Thống Gợi Ý Phim Tương Lai

Trong tương lai, có thể nghiên cứu các phương pháp phân cụm mờ tiên tiến hơn như sử dụng mạng nơ-ron để học biểu diễn người dùng và sản phẩm. Việc tích hợp thêm thông tin về nội dung phim như thể loại, diễn viên và đạo diễn cũng có thể giúp nâng cao độ chính xác của các gợi ý. Ngoài ra, việc phát triển các giao diện người dùng thân thiện hơn và hỗ trợ đa nền tảng cũng là một hướng đi quan trọng để tăng cường trải nghiệm người dùng.

Nội dung chính

Tổng quan nghiên cứu

Thị trường giải trí và phát trực tuyến toàn cầu đang chứng kiến sự tăng trưởng vượt bậc với quy mô doanh thu phòng vé quốc tế đạt mốc 8 tỷ USD vào năm 2023 cùng khoảng 500 bộ phim được phát hành chính thức (theo báo cáo của Box Office Mojo). Sự bùng nổ này mang lại vô vàn lựa chọn giải trí nhưng đồng thời cũng gây ra hiện tượng quá tải thông tin nghiêm trọng cho người xem. Trong thực tế, các nền tảng phân phối phim đối mặt với bài toán ma trận tương tác người dùng - vật phẩm có độ thưa thớt lên tới hơn 95%, khiến việc dự đoán chính xác sở thích cá nhân trở thành thách thức kỹ thuật lớn.

Đề án thạc sĩ ngành Hệ thống thông tin mã số 8480104 tại Trường Đại học Công nghiệp Hà Nội tập trung giải quyết bài toán này thông qua mục tiêu xây dựng hệ thống gợi ý phim thông minh. Đề tài kết hợp mô hình lọc cộng tác với thuật toán phân cụm mờ Fuzzy C-Means và phân cụm K-Means nhằm tối ưu hóa độ chính xác trong dự báo đánh giá của người dùng. Phạm vi nghiên cứu được triển khai thực nghiệm trên tập dữ liệu chuẩn MovieLens kết hợp dữ liệu trích xuất từ OMDB API trong giai đoạn năm 2024. Ý nghĩa thực tiễn của công trình thể hiện ở khả năng giảm thiểu sai số bình phương trung bình gốc RMSE từ 8.5% đến 14.2% so với các mô hình truyền thống, đồng thời rút ngắn thời gian xử lý truy vấn gợi ý, tạo tiền đề nâng cao tỷ lệ giữ chân khách hàng cho các nền tảng giải trí số.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng của 2 hướng tiếp cận lọc cộng tác cốt lõi: Lọc cộng tác dựa trên bộ nhớ (Memory-based Collaborative Filtering) và Lọc cộng tác dựa trên mô hình (Model-based Collaborative Filtering). Hệ thống biểu diễn không gian tương tác qua tập hợp người dùng $U = {u_1, u_2, ..., u_p}$ và tập hợp vật phẩm $I = {i_1, i_2, ..., i_q}$ tạo thành ma trận đánh giá $R$. Để đo lường khoảng cách và độ tương đồng giữa các vector hành vi, nghiên cứu áp dụng công thức độ tương đồng Cosine và hệ số tương quan tuyến tính Pearson.

Bên cạnh đó, lý thuyết logic mờ và thuật toán phân cụm mờ Fuzzy C-Means (FCM) đóng vai trò nền tảng để mô hình hóa sở thích người dùng. Không giống như các thuật toán phân cụm cứng truyền thống nơi một đối tượng chỉ thuộc về duy nhất một nhóm, FCM cho phép mỗi người dùng thuộc về nhiều cụm khác nhau với các bậc thành viên nằm trong khoảng giá trị từ 0 đến 1, với tổng các bậc thành viên bằng 1. Đối với phía sản phẩm, thuật toán phân cụm K-Means kết hợp hàm khoảng cách Euclidean được sử dụng để gom nhóm các bộ phim có thuộc tính tương đồng. Chất lượng mô hình được kiểm chứng thông qua 2 tiêu chuẩn đánh giá thống kê phổ biến là sai số tuyệt đối trung bình MAE và sai số bình phương trung bình gốc RMSE (thước đo tiêu chuẩn từng được áp dụng tại giải thưởng Netflix Prize).

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu thực nghiệm tiêu chuẩn MovieLens gồm hàng trăm nghìn bản ghi tương tác từ 943 người dùng đối với 1.682 bộ phim điện ảnh. Bộ dữ liệu được làm giàu thông qua việc tích hợp thông tin thể loại, diễn viên và đạo diễn trích xuất từ OMDB API, đồng thời chuẩn hóa điểm đánh giá và tính toán chỉ số Net Promoter Score (NPS) cho từng tương tác.

Phương pháp chọn mẫu tập trung vào việc tiền xử lý dữ liệu để loại bỏ các điểm dị biệt và chuẩn hóa các vector thuộc tính đa chiều về cùng một khoảng giá trị. Quy trình phân tích 4 giai đoạn được thiết kế chặt chẽ:

• Giai đoạn 1: Gom cụm 1.682 bộ phim thành $K = 4$ cụm bằng thuật toán K-Means dựa trên tối ưu hóa đồng thời 3 chỉ số Silhouette Score, Distortion Score và Davies-Bouldin Index.
• Giai đoạn 2: Gom cụm người dùng bằng thuật toán Fuzzy C-Means trên ma trận tương tác con đã giảm chiều để xác định ma trận bậc thành viên.
• Giai đoạn 3: Thực hiện kỹ thuật khử mờ (defuzzification) để xác định tập láng giềng gần nhất cho từng người dùng mục tiêu.
• Giai đoạn 4: Dự đoán điểm đánh giá và trích xuất danh sách Top-N bộ phim phù hợp nhất với ngưỡng điểm kỳ vọng lớn hơn 3.0.

Lý do lựa chọn phương pháp phân tích phân cụm 2 tầng này là nhằm giảm thiểu chi phí tính toán trong bộ nhớ và giải quyết triệt để hiện tượng thưa thớt dữ liệu mà các mô hình lọc cộng tác đơn lẻ không thể khắc phục.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm và kiểm thử mô hình đã mang lại 4 phát hiện khoa học quan trọng:

• Tối ưu hóa số lượng cụm vật phẩm: Đánh giá trên dải giá trị $K$ từ 2 đến 10 cho thấy cấu trúc dữ liệu đạt trạng thái tối ưu nhất khi thiết lập $K = 4$. Việc phân bổ các bộ phim vào 4 cụm giúp nâng cao độ tương đồng nội cụm lên hơn 35% và cô lập hoàn toàn các điểm dữ liệu nhiễu.
• Hiệu quả mô hình hóa sở thích mờ: Phân cụm Fuzzy C-Means phân bổ thành công bậc thành viên của người dùng trên 4 cụm thị hiếu khác nhau. Điều này phản ánh chính xác hành vi người dùng thực tế khi một cá nhân có thể vừa yêu thích phim hành động với mức độ 0.4, vừa yêu thích phim khoa học viễn tưởng ở mức độ 0.3 và phim tâm lý ở mức độ 0.3.
• Cải thiện độ chính xác dự báo: Mô hình đề xuất đạt chỉ số RMSE thấp hơn rõ rệt so với thuật toán lọc cộng tác truyền thống dựa trên bộ nhớ, với mức giảm sai số từ 8.5% đến 14.2% trên cùng tập dữ liệu thử nghiệm MovieLens.
• Tăng tốc độ phản hồi hệ thống: Nhờ kỹ thuật phân vùng dữ liệu và thu hẹp không gian tìm kiếm láng giềng trong các cụm xác định, thời gian tính toán danh sách Top-N gợi ý được rút ngắn khoảng 2.5 lần so với việc quét toàn bộ ma trận người dùng gốc.

Thảo luận kết quả

Các kết quả thực nghiệm chỉ ra rằng sự kết hợp giữa logic mờ và kỹ thuật phân cụm đã giải quyết thành công điểm nghẽn lớn nhất của hệ thống gợi ý là bài toán ma trận thưa. Dữ liệu thực nghiệm có thể được minh họa trực quan qua biểu đồ phân phối điểm đánh giá và bảng đối sánh giá trị RMSE giữa các thuật toán. Khi ma trận tương tác bị khuyết thiếu nhiều ô giá trị, việc gom nhóm các vật phẩm tương đồng trước khi áp dụng phân cụm mờ cho người dùng giúp bảo toàn cấu trúc tương quan tiềm ẩn.

So với các nghiên cứu trước đây chỉ áp dụng lọc cộng tác đơn thuần hoặc phân cụm cứng K-Means, việc tích hợp Fuzzy C-Means giúp tránh được hiện tượng gán nhãn cưỡng bức một người dùng vào một phân khúc duy nhất. Điều này giúp các gợi ý đầu ra vừa giữ được tính cá nhân hóa sâu sắc, vừa mở rộng được tính đa dạng của danh mục phim được đề xuất mà không làm suy giảm độ chính xác tổng thể.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu đạt được, đề tài đưa ra 4 khuyến nghị then chốt nhằm ứng dụng và hoàn thiện hệ sinh thái gợi ý phim:

• Tích hợp kiến trúc phân cụm mờ động (Dynamic Fuzzy Clustering) vào hệ thống backend của nền tảng phát trực tuyến, hướng tới mục tiêu xử lý cập nhật hồ sơ người dùng theo thời gian thực với độ trễ phản hồi dưới 50 mili-giây trong vòng 6 tháng triển khai.
• Xây dựng hệ thống thu thập dữ liệu đa kênh kết hợp cả phản hồi tường minh (điểm đánh giá, nhận xét) và phản hồi ẩn (thời gian dừng xem, lịch sử tìm kiếm, tỷ lệ nhấp chuột), nâng cao độ phủ dữ liệu lên trên 90% trước quý 3 năm 2025.
• Áp dụng các mô hình học sâu kết hợp trích xuất đặc trưng đa phương tiện (Deep Learning Content-Based Feature Extraction) từ hình ảnh poster và trailer để khắc phục 100% tình trạng khởi động nguội đối với các bộ phim mới được đưa lên hệ thống.
• Thiết lập quy trình giám sát định kỳ chất lượng gợi ý bằng cách đo lường chỉ số NPS và tỷ lệ chuyển đổi nhấp chuột CTR, đặt mục tiêu gia tăng thời lượng xem phim trung bình của người dùng thêm 18% đến 25% trong giai đoạn 2024 - 2025 do bộ phận kỹ thuật và phát triển sản phẩm chịu trách nhiệm thực thi.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang lại giá trị học thuật và ứng dụng thực tiễn cao cho 4 nhóm đối tượng chính:

• Kỹ sư dữ liệu và chuyên gia trí tuệ nhân tạo (AI/ML Engineers): Nắm vững kỹ thuật triển khai kết hợp giữa K-Means và Fuzzy C-Means để xử lý bài toán ma trận thưa và tối ưu hóa hiệu năng hệ thống đề xuất quy mô lớn.
• Nhà phát triển nền tảng phát video trực tuyến (OTT/VOD Developers): Ứng dụng trực tiếp quy trình tạo danh sách Top-N gợi ý phim nhằm nâng cao trải nghiệm người dùng và tăng chỉ số tương tác trên ứng dụng thương mại.
• Học viên cao học và nghiên cứu sinh ngành Hệ thống thông tin, Công nghệ thông tin: Sử dụng làm tài liệu tham khảo chuẩn mực về phương pháp luận nghiên cứu, kỹ thuật tiền xử lý dữ liệu và phương pháp đánh giá sai số MAE/RMSE trong học máy.
• Quản lý sản phẩm số (Digital Product Managers): Xây dựng chiến lược phân khúc khách hàng đa chiều dựa trên logic mờ để đưa ra các gói nội dung phù hợp cho từng nhóm thị hiếu.

Câu hỏi thường gặp

• Tại sao nghiên cứu lại kết hợp Phân cụm mờ (FCM) thay vì chỉ sử dụng phân cụm K-Means truyền thống cho người dùng? Trong thực tế, sở thích xem phim của con người mang tính đa chiều và biến đổi linh hoạt, một người có thể cùng lúc thích nhiều thể loại phim khác nhau. Thuật toán FCM cho phép gán một người dùng vào nhiều cụm với các trọng số thành viên từ 0 đến 1, giúp nắm bắt sở thích chân thực hơn nhiều so với việc chỉ gán vào 1 cụm duy nhất của K-Means.

• Mô hình giải quyết bài toán ma trận thưa (Sparsity problem) bằng cách nào? Bằng cách gom nhóm các bộ phim có đặc tính tương đồng thành 4 cụm thông qua K-Means ở giai đoạn đầu, không gian dữ liệu được nén lại thành các ma trận con có mật độ tương tác dày đặc hơn. Điều này giúp phép đo độ tương đồng Cosine hoạt động chính xác hơn ngay cả khi người dùng chỉ đánh giá dưới 5% tổng số phim trên hệ thống.

• Ý nghĩa của chỉ số sai số RMSE trong việc đánh giá hệ thống gợi ý là gì? RMSE là thước đo căn bậc hai của sai số bình phương trung bình giữa điểm đánh giá dự đoán và điểm đánh giá thực tế của người dùng. Chỉ số này đặc biệt nhạy cảm với các sai số lớn, giúp đảm bảo hệ thống không đưa ra những gợi ý sai lệch nghiêm trọng làm giảm sút trải nghiệm của người xem.

• Số lượng cụm K = 4 cho vật phẩm được xác định dựa trên tiêu chí nào? Nghiên cứu đã tiến hành thử nghiệm độc lập trên dải giá trị $K$ từ 2 đến 10 và đánh giá thông qua 3 thước đo phân cụm chuẩn gồm Silhouette Score, Distortion Score và Davies-Bouldin Index. Kết quả phân tích đồng thuận rằng $K = 4$ mang lại cấu trúc phân cụm cân bằng, rõ ràng và có độ nén thông tin tốt nhất.

• Mô hình nghiên cứu này có thể mở rộng sang các lĩnh vực thương mại điện tử khác không? Mô hình hoàn toàn có thể tái sử dụng cho các nền tảng thương mại điện tử, dịch vụ âm nhạc trực tuyến hoặc đề xuất tin tức. Chỉ cần chuyển đổi vector thuộc tính sản phẩm và ma trận hành vi người dùng, quy trình phân cụm 2 tầng này sẽ phát huy hiệu quả tương tự trong việc cá nhân hóa sản phẩm.

Kết luận

• Hệ thống hóa toàn diện cơ sở lý thuyết về các phương pháp gợi ý thông tin hiện đại, bao gồm lọc dựa trên nội dung, lọc cộng tác và các mô hình lai ghép tiên tiến.
• Thiết kế thành công kiến trúc gợi ý phim 2 giai đoạn kết hợp phân cụm K-Means cho vật phẩm và phân cụm mờ Fuzzy C-Means cho người dùng.
• Giảm thiểu hiệu quả sai số RMSE (cải thiện độ chính xác từ 8.5% đến 14.2%) và giải quyết triệt để hiện tượng ma trận thưa thớt dữ liệu trên tập dữ liệu MovieLens.
• Xây dựng quy trình trích xuất và tiền xử lý dữ liệu hoàn chỉnh, tích hợp nguồn dữ liệu mở rộng từ OMDB API và chuẩn hóa chỉ số đánh giá.
• Định hình lộ trình phát triển kỹ thuật khả thi cho giai đoạn 2024 - 2026 với trọng tâm là tích hợp mạng nơ-ron học sâu và xử lý dữ liệu hành vi thời gian thực.

Các tổ chức, doanh nghiệp phát triển nền tảng nội dung số và các nhà nghiên cứu quan tâm có thể khai thác và ứng dụng ngay mô hình này để nâng cao năng lực cạnh tranh và tối ưu hóa trải nghiệm cá nhân hóa cho khách hàng.

Trích đoạn nội dung tài liệu

BÞ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI NGUYỄN KIM LƯƠNG NGUYỄN KIM LƯƠNG HÞ THÞNG THÔNG TIN NGHIÊN CỨU ỨNG DỤNG MÔ HÌNH LỌC CỘNG TÁC VÀ PHÂN CỤM MỜ XÂY DỰNG HỆ THỐNG GỢI Ý PHIM DỰA TRÊN THÔNG TIN ĐÁNH GIÁ CỦA NGƯỜI DÙNG ĐỀ ÁN TÞT NGHIÞP THẠC SĨ HÞ THÞNG THÔNG TIN 2024 Hà Nßi – 2024 BÞ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI NGUYỄN KIM LƯƠNG NGHIÊN CỨU ỨNG DỤNG MÔ HÌNH LỌC CỘNG TÁC VÀ PHÂN CỤM MỜ XÂY DỰNG HỆ THỐNG GỢI Ý PHIM DỰA TRÊN THÔNG TIN ĐÁNH GIÁ CỦA NGƯỜI DÙNG Ngành Hß thßng thông tin Mã sß: 8480104 ĐỀ ÁN TÞT NGHIÞP THẠC SĨ HÞ THÞNG THÔNG TIN NGƯỜI HƯàNG DẪN: 1. MAI ĐÌNH SINH 2. ĐẶNG TRỌNG HỢP Hà Nßi – 2024 LäI CAM ĐOAN Tôi xin cam đoan rằng đà án th¿c s* Há tháng thông tin <Nghiên cću ćng dăng mô hình lác cáng tác và phân căm må xây dąng há tháng gāi ý phim dąa trên thông tin đánh giá cąa ng°åi dùng= là công trình nghiên cću cąa tôi d°ãi są h°ãng dÃn cąa TS. Mai Đình Sinh và TS.

Đặng Tráng Hāp. Toàn bá nái dung đ°āc trình bày trong đà án này hoặc là đÁn tÿ są tìm hiểu nghiên cću cąa tôi hoặc là táng hāp, thu thÅp tÿ các tài liáu khác nhau đÃu đ°āc trích dÃn đ¿y đą trong ph¿n tài liáu tham khảo. Các tài liáu tham khảo này đ°āc sā dăng mát cách hāp lý và minh b¿ch. Tôi xin cam đoan rằng không có bất cć vi ph¿m nào đái vãi các quy đßnh đ¿o đćc nghiên cću khoa hác trong quá trình thąc hián dą án.

Tôi xin hoàn toàn chßu trách nhiám và chßu mái hình thćc kÿ luÅt theo quy đßnh và tính chính xác và trung thąc cąa đà án nghiên cću này. Hà Nội, ngày 28 tháng 04 năm 2024 Tác giả đà án NguyÅn Kim L°¢ng LäI CÀM ¡N Tr°ãc tiên, tôi muán bày tß lòng biÁt ¢n chân thành và sâu sắc cąa mình đÁn các th¿y giáo Mai Đình Sinh t¿i Hác vián Kā thuÅt Quân są và th¿y giáo Đặng Tráng Hāp t¿i Đ¿i hác Công nghiáp Hà Nái, nhăng ng°åi đã hß trā, khuyÁn khích và cung cấp cho tôi. Các th¿y không chỉ là nhăng ng°åi h°ãng dÃn mà còn là ngußn đáng viên, đ°a ra nhăng ý kiÁn quan tráng giúp tôi nhìn nhÅn vấn đà mát cách toàn dián h¢n. Są tÅn tâm và chia sẻ kiÁn thćc sâu ráng cąa các Th¿y đã giúp tôi phát triển khả năng nghiên cću và làm viác đác lÅp.

Tôi xin dành låi cảm ¢n chân thành tãi các th¿y cô giáo khoa Công nghá thông tin, tr°ång Đ¿i hác Công nghiáp Hà Nái đã tÅn tình đào t¿o, chia sẻ nhăng kiÁn thćc quý báu trong l*nh vąc cąa mình trong suát quá trình tôi hác tÅp và nghiên cću t¿i tr°ång. Sau cùng, tôi muán bày tß lòng biÁt ¢n đÁn tất cả nhăng ng°åi thân yêu trong gia đình, đßng nghiáp và b¿n bè đã luôn bên c¿nh tôi, giúp đÿ, đáng viên và khích lá tôi tham gia ch°¢ng trình đào t¿o sau đ¿i hác t¿i Đ¿i hác Công nghiáp Hà Nái. Tôi xin chân thành cảm ¢n! MĀC LĀC DANH MĀC CÁC TĆ VI¾T TÀT. i DANH MĀC CÁC BÀNG BIÂU.

ii DANH MĀC HÌNH ÀNH. iii Mæ ĐÀU. Lý do chán đà tài. Táng quan nghiên cću.

4 TÞNG QUAN VÀ HÆ THÞNG GþI Ý. MàT Sà KHÁI NIàM PHà BIÀN V Hà THàNG GĀI Ý. PH¯¡NG THĆC HO¾T ĐàNG CĄA Hà THàNG GĀI Ý. PH¯¡NG PHÁP TIÀP CÄN KHI XÂY DĄNG Hà THàNG GĀI Ý.

CÁC TIÊU CHUÀN ĐÁNH GIÁ Hà GĀI Ý. Trung bình lßi tuyát đái. Lßi bình ph°¢ng trung bình. 22 HÆ GþI Ý DĂA TRÊN LàC CàNG TÁC VÀ CÁC PH¯¡NG PHÁP PHÂN CĀM.

BÀI TOÁN GĀI Ý DĄA TRÊN CàNG TÁC. Lác cáng tác dąa vào bá nhã. Lác cáng tác dąa vào trên mô hình. SĀ DĂNG KĀ THUÄT PHÂN CĂM KÀT HĀP VâI Hà GĀI Ý.

Lý do nên sā dăng phân căm cho há gāi ý. Cách sā dăng phân căm cho há gāi ý. Nhăng thách thćc và h¿n chÁ cąa viác phân căm cho các há tháng gāi ý. Lāi ích và c¢ hái cąa viác phân căm cho há gāi ý.

33 LĂA CHàN MÔ HÌNH HÆ GþI Ý Sþ DĀNG PH¯¡NG PHÁP PHÂN CĀM Mä. LĄA CHàN MÔ HÌNH Hà GĀI Ý. K-means clustering dąa trên item. Fuzzy clustering dąa trên user.

MàT Sà NHÄN XÉT V MÔ HÌNH. 43 CÀI Đ¾T VÀ THĂC NGHIÆM TRÊN MÔ HÌNH LĂA CHàN. TÄP DĂ LIàU VÀ THIÀT LÄP MÔI TR¯äNG. THĄC NGHIàM VÀ ĐÁNH GIÁ.

Táng quan và tÅp dă liáu thąc nghiám. Cài đặt thąc nghiám và đánh giá kÁt quả. 66 TÀI LIÆU THAM KHÀO. 68 i DANH MĀC CÁC TĆ VI¾T TÀT Vi¿t tÁt Ti¿ng Anh Ti¿ng ViÇt RS Recommender System Há tháng gāi ý U User Ng°åi dùng I Item Sản phÁm.

IF Information Filtering Lác thông tin CBF Content-Based Filtering Lác thông tin dąa trên nái dung CF Collaborative Filtering Lác thông tin dąa trên cáng tác R Interaction Matrix/Utility Ma trÅn ghi nhÅn đánh giá cąa Matrix ng°åi dùng đái vãi sản phÁm đ°āc t°¢ng tác r Relevant Đá phù hāp SP Sparsity problem Vấn đà dă liáu th°a RMSE Root Mean Squared Error Hàm sai sá trung bình bình MF Matrix Factorization Phân tích thÿa sá ma trÅn DLCRS Deep learning method of Ph°¢ng pháp hác sâu cąa há collaborative tháng đà xuất cáng tác recommender systems ii DANH MĀC CÁC BÀNG BIÂU Bảng 3. Phân căm cąa các măc dąa trên hß s¢ cąa măc vãi thuÅt toán Kmeans. MÃu dă liáu cąa 15 măc đ°āc nhóm vào 4 căm. 38 iii DANH MĀC HÌNH ÀNH Hình 1.

S¢ đß táng quát cąa mát há tháng gāi ý. Ma trÅn t°¢ng tác User - Item. Cách thćc ph°¢ng pháp lác cáng tác ho¿t đáng. C¢ chÁ ho¿t đáng theo lác nái dung.

Quy trình đà xuất dąa trên są hāp tác. Lác cáng tác dąa theo ng°åi dùng. Lác cáng tác dąa theo sản phÁm. Biểu đß cąa ph°¢ng pháp đã ląa chán và há tháng gāi ý.

Phân bá ng°åi dùng vào 4 căm vãi các bÅc thành viên khác nhau bằng cách sā dăng Fuzzy C-means. Dă liáu đánh giá các bá phim. Biểu đß phân phái điểm đánh giá. Sá l°āng phim mà mßi ng°åi dùng xem và đánh giá.

Sá l°āng đánh giá cąa mßi bá phim. Sá l°āng dă liáu ng°åi dùng. Thông tin và giãi tính cąa ng°åi dùng. Thông tin và tuái cąa ng°åi dùng.

Dă liáu và nghà nghiáp cąa ng°åi dùng. Thông tin trích xuất tÿ OMDB API. Dă liáu phim sau khi đßnh d¿ng l¿i thåi gian đánh giá. Tính toán Net Promoter Score cho tÿng đánh giá.

Dă liáu sẵn sàng ph¿n căm bằng K-means. Ląa chán sá căm K theo Silhouette Score. Ląa chán sá căm K theo Distortion Score. Ląa chán sá căm K theo Davies Bouldin.

Ląa chán sá căm K cho K-means. Dă liáu sau khi phân căm vãi K-means. Dă liáu đ¿u vào cho viác phân căm må vãi C-means. Dă liáu sau khi phân căm må vãi C-means.

S¢ đß mô hình há tháng gāi ý. KÁt quả gāi ý cho căm ng°åi dùng Cluster 0. KÁt quả gāi ý cho căm ng°åi dùng Cluster 1. KÁt quả gāi ý cho căm ng°åi dùng Cluster 2.

KÁt quả gāi ý cho căm ng°åi dùng Cluster 3. KÁt quả gāi ý cho căm ng°åi dùng Cluster 5. KÁt quả gāi ý cho căm ng°åi dùng Cluster 7. KÁt quả gāi ý cho căm ng°åi dùng Cluster 4.

KÁt quả gāi ý cho căm ng°åi dùng Cluster 6. So sánh hiáu suất cąa bán thuÅt toán bằng đá đo RMSE trên tÅp dă liáu Movielens [5]. So sánh kÁt quả cąa há tháng gāi ý đã xây dąng so vãi há tháng gāi ý truyÃn tháng. Lý do chán đÁ tài Trong thåi đ¿i công nghá sá 4.0, bán hàng trąc tuyÁn đã mang l¿i lāi nhuÅn cho rất nhiÃu ngành kinh doanh.

ĐiÃu này là kÁt quả cąa są phát triển m¿nh m¿ cąa Internet. Bán hàng qua m¿ng đang trç nên phá biÁn vì nó có khả năng cho phép ng°åi dùng nhanh chóng tiÁp cÅn mát sá lo¿i hàng hóa và dßch vă đa d¿ng. Phim đián ảnh, mát trong nhăng dßch vă phá biÁn hián nay, đã và đang thu hút đ°āc są quan tâm đáng kể cąa khách hàng trên toàn thÁ giãi. Theo tháng kê cąa Box Office Mojo, mát ngußn thông tin quan tráng và doanh sá bán vé và tài chính cąa các bá phim trên toàn c¿u, thß tr°ång phim s¿ đ¿t táng cáng 8 tÿ USD vào năm 2023 vãi khoảng 500 bá phim đ°āc công chiÁu.

ĐiÃu này cho thấy thß tr°ång này có khả năng kiÁm đ°āc rất nhiÃu tiÃn. Tuy nhiên, są đa d¿ng và thể lo¿i và nái dung cąa phim cũng khiÁn khách hàng khó ląa chán bá phim phù hāp. Để khách hàng có thể tiÁp cÅn đ°āc vãi bá phim mình đang phá biÁn và phù hāp vãi thß hiÁu cąa mình thì są t° vấn, gāi ý đóng vai trò rất quan tráng. Mát há tháng gāi ý tát có thể đóng vai trò nh° mát ng°åi trung gian hß trā khách hàng đ°a ra các quyÁt đßnh ląa chán đúng đắn.

Bằng cách xác đßnh sç thích, nhu c¿u kèm theo nhăng thông tin nhÅn xét đánh giá cąa khách hàng, há tháng có thể đ°a ra mát tÅp các gāi ý giúp cho khách hàng dß dàng chán ląa nhăng bá phim có nái dung yêu thích h¢n. Qua đó hiáu suất cąa viác kinh doanh đ°āc tăng cao mát cách đáng kể. Măc tiêu chính cąa đà án là t¿o ra mát há tháng gāi ý phim cho khách hàng dąa trên nhăng đánh giá cąa các bá phim để tái °u hóa dą đoán mćc đá 2 °a thích cąa khách hàng đái vãi các bá phim và sau đó đà xuất các bá phim mà khách hàng có thể quan tâm và °a thích. Tßng quan nghiên cąu Há tháng gāi ý (RS) là mát ph°¢ng tián và ph°¢ng pháp ph¿n mÃm giúp đà xuất tin tćc và hành vi tiêu dùng cho ng°åi dùng.

Chúng t¿o ra các gāi ý tùy chỉnh, đ°a ra danh sách các sản phÁm, dßch vă, hoặc nái dung đ°āc sắp xÁp theo thć tą °u tiên dąa trên sç thích cá nhân để dą báo ląa chán phù hāp nhất vãi há. Nhăng ląa chán này bao gßm viác mua sắm, âm nh¿c mà há lắng nghe, và tin tćc trąc tuyÁn mà há đác [1]. Há tháng này giải quyÁt đ°āc tình tr¿ng ngÅp lăt thông tin bằng cách cung cấp dßch vă và nái dung riêng biát, phù hāp vãi nhu c¿u và mong muán cąa tÿng ng°åi dùng.