Chuyên Đề Tốt Nghiệp: Ứng Dụng Machine Learning Trong Xây Dựng Hệ Thống Đề Xuất Phim

Chuyên đề tốt nghiệp ứng dụng machine learning xây dựng hệ thống đề xuất phim ảnh, tập trung vào giải pháp công nghệ hiện đại, tối ưu trải nghiệm người dùng.

Chuyên ngành

Toán kinh tế

Người đăng

Ẩn danh

Thể loại

chuyên đề tốt nghiệp

2022

73
5
0

Phí lưu trữ

30 Point

Mục lục chi tiết

LỜI CAM ĐOAN

LỜI CẢM ƠN

1. CHƯƠNG 1: CƠ SỞ LÝ LUẬN VÀ TỔNG QUAN NGHIÊN CỨU

1.1. Một số khái niệm cơ bản

1.2. Hệ thống đề xuất (Recommendation System)

1.3. Tổng quan một hệ thống đề xuất cơ bản

1.3.1. Các thành phần cơ bản của một hệ thống đề xuất

1.3.2. Biểu diễn thông tin trong một hệ thống đề xuất

1.3.3. Các giai đoạn của quá trình đề xuất

1.3.4. Hồ sơ người dùng (User profile)

1.3.5. Các dạng phản hồi chính của hệ thống

1.4. Một số vấn đề và thách thức của hệ thống đề xuất

1.4.1. Khởi động chậm (Cold-start)

1.4.2. Dữ liệu thưa (Data sparsity)

1.4.3. Khả năng mở rộng (Scalability)

1.4.4. Từ đồng nghĩa (Synonymy)

1.4.5. Quyền riêng tư (Privacy)

1.5. Tổng quan một số nghiên cứu liên quan

2. CHƯƠNG 2: THUẬT TOÁN ĐỀ XUẤT

2.1. Phân loại các thuật toán

2.2. Thuật toán Lọc cộng tác dựa trên bộ nhớ (Memory-based CF)

2.2.1. Tính toán độ tương tự

2.2.2. Thuật toán Lọc cộng tác dựa trên người dùng (UBCF)

2.2.3. Thuật toán Lọc cộng tác dựa trên mục tin (JBCF)

2.2.4. Ưu điểm của thuật toán Lọc cộng tác

2.2.5. Đánh giá thuật toán đề xuất

2.2.5.1. Các chỉ số về độ chính xác thống kê
2.2.5.2. Các chỉ số về độ chính xác hỗ trợ quyết định

3. CHƯƠNG 3: ỨNG DỤNG CỦA HỆ THỐNG ĐỀ XUẤT TRONG THỰC TIỄN

3.1. Những lợi ích của hệ thống đề xuất

3.1.1. Đối với doanh nghiệp

3.1.2. Đối với khách hàng

3.2. Ứng dụng của hệ thống đề xuất trong một số lĩnh vực

3.2.1. Xu hướng thị trường

3.2.2. Một số trường hợp tiêu biểu sử dụng hệ thống đề xuất

4. CHƯƠNG 4: DỮ LIỆU VÀ KẾT QUẢ NGHIÊN CỨU

4.1. Lựa chọn dữ liệu liên quan nhất

4.2. Tiền xử lý dữ liệu

4.3. Khám phá dữ liệu

4.3.1. Khám phá các giá trị của xếp hạng

4.3.2. Khám phá những bộ phim đã được xem

4.3.3. Khám phá xếp hạng trung bình

4.3.4. Hình dung ma trận

4.4. Chuẩn bị dữ liệu

4.5. Xây dựng hệ thống đề xuất

4.6. Đưa ra đề xuất cho người dùng

KẾT LUẬN

TÀI LIỆU THAM KHẢO

PHỤ LỤC

Tóm tắt

I. Giới thiệu chung

Bài viết tập trung vào việc ứng dụng Machine Learning để xây dựng hệ thống đề xuất phim hiệu quả. Với sự phát triển của công nghệ, hệ thống đề xuất đã trở thành công cụ quan trọng trong việc cá nhân hóa trải nghiệm người dùng, đặc biệt trong lĩnh vực giải trí trực tuyến. Machine Learning đóng vai trò then chốt trong việc phân tích dữ liệu và đưa ra các gợi ý phù hợp. Nghiên cứu này sử dụng bộ dữ liệu MovieLens 100K để minh họa quá trình xây dựng và tối ưu hóa hệ thống.

1.1. Đặt vấn đề

Sự bùng nổ của Internet và dữ liệu đã dẫn đến tình trạng quá tải thông tin, khiến người dùng khó khăn trong việc tìm kiếm nội dung phù hợp. Hệ thống đề xuất ra đời như một giải pháp để lọc thông tin và cá nhân hóa trải nghiệm. Trong lĩnh vực điện ảnh, hệ thống đề xuất phim giúp người dùng tiết kiệm thời gian và tăng độ chính xác trong việc lựa chọn phim.

1.2. Phạm vi và phương pháp nghiên cứu

Nghiên cứu tập trung vào xây dựng hệ thống đề xuất sử dụng các thuật toán Machine Learning, đặc biệt là lọc cộng tác (Collaborative Filtering). Phương pháp kiểm chứng chéo (Cross-validation) được áp dụng để đánh giá hiệu quả của hệ thống. Đối tượng nghiên cứu là các thuật toán đề xuất và cách chúng tối ưu hóa trải nghiệm người dùng.

II. Cơ sở lý luận và tổng quan nghiên cứu

Chương này cung cấp cái nhìn tổng quan về hệ thống đề xuất và các khái niệm liên quan. Machine Learning được định nghĩa là công nghệ sử dụng dữ liệu và thuật toán để bắt chước cách con người học, từ đó cải thiện độ chính xác của các dự đoán. Hệ thống đề xuất là một ứng dụng của Machine Learning, giúp gợi ý các sản phẩm hoặc dịch vụ phù hợp với sở thích người dùng.

2.1. Khái niệm cơ bản

Hệ thống đề xuất bao gồm ba thành phần chính: người dùng, mục tin và phản hồi. Người dùng là đối tượng nhận gợi ý, mục tin là các sản phẩm hoặc dịch vụ được đề xuất, và phản hồi thể hiện mức độ quan tâm của người dùng đối với mục tin. Phân tích dữ liệu phim là một ví dụ điển hình của việc áp dụng các khái niệm này.

2.2. Quá trình đề xuất

Quá trình đề xuất bao gồm ba giai đoạn: thu thập thông tin, học tập và dự đoán. Giai đoạn thu thập thông tin tập trung vào việc xây dựng hồ sơ người dùng. Giai đoạn học tập sử dụng các thuật toán để phân tích dữ liệu. Giai đoạn dự đoán đưa ra các gợi ý dựa trên kết quả phân tích. Thuật toán đề xuất như lọc cộng tác đóng vai trò quan trọng trong quá trình này.

III. Thuật toán đề xuất

Chương này tập trung vào các thuật toán đề xuất được sử dụng trong nghiên cứu. Lọc cộng tác (Collaborative Filtering) là phương pháp chính, bao gồm hai cách tiếp cận: dựa trên người dùng (User-based CF) và dựa trên mục tin (Item-based CF). Các thuật toán này sử dụng dữ liệu lịch sử của người dùng để dự đoán sở thích và đưa ra gợi ý phù hợp.

3.1. Lọc cộng tác dựa trên người dùng

Lọc cộng tác dựa trên người dùng (UBCF) so sánh sở thích của người dùng hiện tại với những người dùng khác để tìm ra các mục tin tương tự. Phương pháp này hiệu quả khi có nhiều dữ liệu về người dùng, nhưng có thể gặp vấn đề về khả năng mở rộng (Scalability) khi số lượng người dùng tăng lên.

3.2. Lọc cộng tác dựa trên mục tin

Lọc cộng tác dựa trên mục tin (IBCF) tập trung vào việc so sánh các mục tin với nhau dựa trên đánh giá của người dùng. Phương pháp này hiệu quả hơn trong việc xử lý dữ liệu thưa (Data Sparsity) và có khả năng mở rộng tốt hơn so với UBCF.

IV. Ứng dụng thực tiễn

Hệ thống đề xuất phim đã được áp dụng rộng rãi trong các nền tảng xem phim trực tuyến như Netflix và Spotify. Những hệ thống này không chỉ giúp người dùng tiết kiệm thời gian mà còn tăng doanh thu cho doanh nghiệp thông qua việc cá nhân hóa trải nghiệm. Công nghệ AI trong điện ảnh đang ngày càng phát triển, mang lại nhiều cơ hội và thách thức mới.

4.1. Lợi ích đối với doanh nghiệp

Hệ thống đề xuất hiệu quả giúp doanh nghiệp tăng tỷ lệ chuyển đổi và cải thiện trải nghiệm khách hàng. Bằng cách phân tích hành vi người dùng, hệ thống có thể đưa ra các gợi ý phù hợp, từ đó tăng doanh thu và lòng trung thành của khách hàng.

4.2. Lợi ích đối với người dùng

Người dùng được hưởng lợi từ việc nhận được các gợi ý phim phù hợp với sở thích cá nhân. Hệ thống đề xuất cá nhân hóa giúp họ khám phá những bộ phim mới mà không cần tốn nhiều thời gian tìm kiếm.

V. Kết luận

Nghiên cứu đã chứng minh rằng việc ứng dụng Machine Learning trong xây dựng hệ thống đề xuất phim mang lại nhiều lợi ích thiết thực. Các thuật toán như lọc cộng tác đã được chứng minh là hiệu quả trong việc cá nhân hóa trải nghiệm người dùng. Tuy nhiên, vẫn còn những thách thức như khởi động chậm (Cold-start) và dữ liệu thưa (Data Sparsity) cần được giải quyết trong tương lai.

5.1. Kết quả đạt được

Nghiên cứu đã xây dựng thành công một hệ thống đề xuất phim dựa trên bộ dữ liệu MovieLens 100K. Các thuật toán lọc cộng tác đã được áp dụng và đánh giá hiệu quả thông qua các chỉ số như MAE và RMSE.

5.2. Hướng nghiên cứu tiếp theo

Trong tương lai, nghiên cứu có thể tập trung vào việc cải thiện các thuật toán để giải quyết các vấn đề như khởi động chậmdữ liệu thưa. Ngoài ra, việc tích hợp thêm các công nghệ như Deep Learning có thể mang lại hiệu quả cao hơn.

21/02/2025

Trích đoạn nội dung tài liệu

Chương 1. CƠ SỞ LÝ LUẬN VÀ TỔNG QUAN NGHIÊN CỨU 1. Một số khái niệm cơ bản 1. Học máy (Machine Learning) Theo IBM Cloud Education (2020), Hoc máy hay Machine Learning (ML) là một nhánh cua Trí tuệ nhân tạo (AI) và khoa hoc máy tính, tập trung vào việc sử dung đữ liệu và thuật toán để bắt chước cách con người học, dần dần cải thiện độ chính xác của nó.

Học máy là một thành phần quan trọng của lĩnh vực khoa học dữ liệu đang phát triển. Thông qua việc sử dụng các phương pháp thống kê, các thuật toán được đào tạo để đưa ra các phân loại hoặc dự đoán và khám phá những thông tin chỉ tiết chính (key insights) trong các dự án khai thác dữ liệu. Các quyết định được đưa ra là kết quả của những thông tin này này tác động mạnh mẽ đến các chỉ số tăng trưởng chính trong các ứng dụng và doanh nghiệp. Hệ thông dé xuất (Recommendation System) Hệ thống dé xuất (RS) hay còn gọi là hệ thống gợi ý, hệ gợi ý hoặc hệ dé xuất là một lớp con của Học máy sử dụng dữ liệu lớn để đề xuất hoặc giới thiệu các sản phẩm bổ sung cho người tiêu dùng (NVIDIA, 2021).

Nó có thể dựa trên nhiễu tiêu chí khác nhau, bao gồm các giao dịch mua trong quá khứ, lịch sử tìm kiếm, thông tin nhân khẩu học và các yếu tố khác. Hệ thống dé xuất rất hữu ích vì chúng giúp người dùng khám phá các sản phẩm và dịch vụ mà họ có thể chưa tự tìm thấy. Hệ thống đề xuất được đào tạo để hiểu sở thích, các quyết định trước đây và đặc điểm của con người và sản phẩm bằng cách sử dụng dữ liệu thu thập được về các tương tác của họ. Chúng bao gồm hiển thị, nhấp chuột, thích và mua hàng.

Do khả năng dự đoán sở thích và mong muốn của người tiêu dùng ở mức độ được cá nhân hóa cao, hệ thống giới thiệu được các nhà cung cấp nội dung và sản phẩm yêu thích. Họ có thể hướng người tiêu dùng đến bắt kỳ sản phẩm hoặc dịch vụ nào mà họ quan tâm, từ sách đến video, lớp học sức khỏe cho đên quân áo. Nguyễn Lương Liệu — 11192734 3 Chuyên dé tốt nghiệp e Daily Mix 5 Sơn Tùng M- , Vũ O, BLAC NK, IU và aylor Swift, S à nhiều h. XEM TẤT CẢ 7/2 `5 Suýt Nữa Thì.

Nham Mat Thay M. Minh Yeu Nhau Tu. Cảm Ơn Và Xin Lỗi Tình Ca Hoàng Dũ. Phút Ban Đầu Andiez Nguyên Hà Quang Trung Chillies Hoang Dũng Vũ Hình 1.

Các dé xuất bài hát của Spotify 1. Tổng quan một hệ thống đề xuất cơ bản 1. Các thành phan co bản của một hệ thong dé xuất Để làm việc hay xây dựng một hệ thống thông tin mới thì cần phải định hình được những thành phan gi để tạo ra chúng. Trong RS, thông thường người ta quan tâm đến ba thông tin chính (Thai Nghe, 2016): ¢ Người dùng (User).

Người dùng là đối tượng làm việc của một hệ gợi ý đồng thời là nguồn cung cấp các dữ liệu cho hoạt động của hệ thống thông qua một loạt các phản hôi. Mục tin có thể là sản phẩm trên các trang bán hàng, bài hát trên các trang nghe nhạc hay một người dùng khác trên mạng xã hội tùy vào mục đích dé xuất của hệ thống. Các mục tin cũng là kết quả đề xuất được gửi đến người dùng chính. Phản hồi thể hiện sự quan tâm của người dùng lên mục tin đó, thường là các xếp hạng hoặc đánh giá (rating); hay thậm chí có thể là số lần nhấp chuột vào mục tin, thời gian trung bình tương tác với mục tin.

Thành phần này đóng vai trò là cơ sở gợi ý cho người dùng. Nguyễn Lương Liệu — 11192734 4 Chuyên dé tốt nghiệp 1. Biểu diễn thông tin trong một hệ thông dé xuất Sau khi đã thu thập được các thông tin trên của hệ thông bằng một cách nào đó, việc cần làm là phải biểu diễn các thông tin đó dưới dạng có thể tính toán được. Một cách hiệu quả đó là sử dụng ma trận.

Một ma trận được tạo ra để biểu diễn những thành phần trên của hệ thống được gọi là ma trận người dùng - mục tin (users — items matrix), gọi tắt là ma trận U-I (Bảng 1. Nó thể hiện "mức độ ưa thích" của từng người dùng lên các mục tin tương ứng. Ma trận người dùng — mục tin Người dùng ] 2_. m 71513 112 2 2 4 Mục tin 5 i |J3|14|27 1211 4 m 3 12 Trong ma trận U-I, mỗi cột là một người dùng, mỗi dòng là một mục tin và mỗi 6 là một giá trị phản hồi (chẳng hạn đánh giá) đại diện cho mức độ ưa thích của từng người dùng lên các mục tin tương ứng.

Những ô có giá trị cho biết những mục tin mà người dùng đã đánh giá trong quá khứ. Ngược lại, những ô còn trống cho biết rằng người dùng chưa đánh giá những mục tin đó. Nhiệm vu của một hệ dé xuất chính là dựa vào các thông tin được biết trong quá khứ của người dùng, RS sẽ dé xuất cho người dùng đó các mục tin mà người dùng chưa biết. Nói cách khác, RS dựa vào các 6 đã có giá trị để dự đoán các giá trị tại các 6 còn trống trong ma trận U-I.

Sau đó sắp xếp theo thứ tự mức độ ưa thích giảm dần từ đó gợi ý cho người dùng. Các giai đoạn của quá trình dé xuất Quá trình đề xuất bao gồm ba giai đoạn chính, đó là Thu thập thông tin, Học tập và Dự đoán/đề xuất (Isinkaye et al. Quá trình được thể hiện một cách tổng quan qua Hình 1. Nguyễn Lương Liệu — 11192734 5 Chuyên dé tot nghiệp Phản hồi ngụ ý Phản hồi NI Phản hồi tường minh Hình 1.

Quá trình dé xuất ¢ Giai đoạn thu thập thông tin (Information collection phase). Giai đoạn nay thu thập thông tin liên quan của người dùng để tạo hồ sơ người dùng hoặc mô hình cho các nhiệm vụ dự đoán bao gồm đặc điểm, hành vi của người dùng hoặc nội dung của các tài nguyên mà người dùng truy cập. Một hệ đề xuất không thể hoạt động chính xác cho đến khi hồ sơ người dùng hoặc mô hình đã được xây dựng tốt. Hệ thống cần biết nhiều nhất có thể từ người dùng để đưa ra khuyến nghị hợp lý ngay từ khi bắt đầu.

« Giai đoạn học tập (Learning phase). Giai đoạn này áp dụng một số thuật toán học tập để lọc và khai thác các tính năng của người dùng từ phản hồi thu thập được trong giai đoạn thu thập thông tin. ¢ Giai đoạn dự đoán/đề xuất (Prediction/recommendation phase). Từ kết qua của giai đoạn học tập, giai đoạn này đề xuất hoặc dự đoán loại mặt hàng mà người dùng có thể thích.

Hồ sơ người dùng (User profile) Trong giai đoạn thu thập thông tin, ta đã đề cập đến hồ sơ người dùng. Mọi thông tin được thu thập trong giai đoạn này đều dùng để tạo hồ sơ người dùng, phục vụ cho các giai Nguyễn Lương Liệu — 11192734 6 Chuyên dé tốt nghiệp đoạn kế tiếp. Hồ sơ người dùng là tập hợp thông tin cá nhân được liên kết với một người dùng cụ thể. Thông tin này bao gồm các kỹ năng nhận thức, khả năng trí tuệ, phong cách học tập, sở thích và sự tương tác với hệ thống.

Hồ sơ người dùng thường được sử dụng để truy xuất thông tin cần thiết để xây dựng mô hình người dùng. Do đó, một hồ sơ người dùng mô tả một mô hình người dùng đơn giản. Sự thành công của bat kỳ hệ thống dé xuất nào phụ thuộc phần lớn vào khả năng thể hiện sở thích hiện tại của người dùng. Các mô hình chính xác cần thiết phải có được các dé xuất có liên quan và chính xác từ bất kỳ kỹ thuật dự đoán nào.

Các dạng phản hôi chính của hệ thông Hệ thống đề xuất dựa trên các loại đầu vào là các phản hồi khác nhau để thực hiện đưa ra các dé xuất. Các phản hồi này được chia làm 2 dạng chính, là phản hồi tường minh va phản hồi ngụ ý. Phản hồi tường minh (Explicit feedback) là dạng thông tin phản hồi được xác một cách cụ thể và rõ ràng như thông qua việc đánh giá/xếp hạng (Thai Nghe, 2016); chẳng hạn xếp hạng cho bộ phim từ 1* đến 5*, gửi like hoặc dislike cho 1 sản phẩm. Nó thể hiện sự quan tâm rõ ràng của người dùng đối với mục tin.

Hệ thống thường nhắc nhở người dùng thông qua giao diện hệ thống cung cấp xếp hạng cho các mục tin để thu thập loại phản hồi này, nhằm xây dựng và cải thiện mô hình. Độ chính xác của đề xuất phụ thuộc vào số lượng xếp hạng được cung cấp bởi người dùng. Điểm thiếu sót duy nhất của dạng thông tin này là, nó đòi hỏi hành động từ người dùng và người dùng không phải lúc nào cũng sẵn sàng cung cấp đủ thông tin. Mặc dù thực tế là phản hồi tường minh đòi hỏi nhiều nỗ lực từ người dùng, song nó vẫn được đánh giá là cung cấp dữ liệu đáng tin cậy hơn, vì không liên quan đến việc trích xuất các sở thích từ các hành động, và nó cũng cung cấp tính minh bach trong quá trình dé xuất dẫn đến chất lượng và độ tin cậy cao hơn trong các dé xuất Isinkaye et al.

Phản hồi ngụ ý (Implicit feedback) là dang phản hồi được thu thập gián tiếp bằng cách suy luận sở thích của người dùng gián tiếp thông qua quan sát hành vi của người dùng. Hệ thống sẽ ghi lại các hành động khác nhau của người dùng (chẳng hạn như lịch sử mua hàng, lịch sử điều hướng, thời gian dành cho một số trang web, số lần nháy chuột vào nút chức năng nào đó) từ đó suy đoán mối quan tâm của người dùng về các mục tin hay đánh giá của của họ lên chúng. Đây là cách mà phản hồi ngụ ý được xác định. Phản hồi ngụ ý Nguyễn Lương Liệu — 11192734 7 Chuyên dé tốt nghiệp không phụ thuộc vào sự chủ động của người dùng để đưa ra thông tin, mà bằng cách suy luận sở thích của người dùng từ hành vi của họ với hệ thống.

Dang phản hồi này mặc dù không yêu cau sự nỗ lực từ người dùng và dé dang thu thập hơn, nhưng nó ít chính xác hơn (Isinkaye et al. Tuy nhiên, người ta cũng lập luận rang dữ liệu sở thích ngầm trên thực tế có thể khách quan hơn, vì không có sai lệch (bias) phát sinh từ việc người dùng phản hồi theo cách xã hội mong muốn hoặc nhu cầu duy trì hình anh bản thân trước người khác (Buder & Schwind, 2012).

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ

Ứng Dụng Machine Learning Xây Dựng Hệ Thống Đề Xuất Phim Hiệu Quả là một tài liệu chuyên sâu về việc áp dụng các kỹ thuật Machine Learning để thiết kế hệ thống đề xuất phim tối ưu. Tài liệu này tập trung vào việc phân tích dữ liệu người dùng, xây dựng mô hình dự đoán và cải thiện độ chính xác của các gợi ý phim. Những lợi ích chính mà độc giả nhận được bao gồm hiểu rõ hơn về cách thức hoạt động của các hệ thống đề xuất, cách tối ưu hóa chúng để tăng trải nghiệm người dùng, và ứng dụng thực tiễn của Machine Learning trong lĩnh vực giải trí.

Để mở rộng kiến thức về các phương pháp phân tích dữ liệu và Machine Learning, bạn có thể tham khảo thêm Luận văn thạc sĩ khoa học máy tính phân lớp dữ liệu chuỗi thời gian dựa vào mạng nơron tích chập CNN, tài liệu này cung cấp cái nhìn sâu sắc về việc sử dụng mạng nơron tích chập để phân loại dữ liệu thời gian. Ngoài ra, Luận văn thạc sĩ khoa học máy tính cải tiến giải thuật KMeans cho bài toán gom cụm dữ liệu chuỗi thời gian sẽ giúp bạn hiểu rõ hơn về các thuật toán gom cụm và cách cải tiến chúng. Cuối cùng, Luận văn thạc sĩ khoa học máy tính khai phá cụm hướng thời gian trên dữ liệu giáo dục là một tài liệu hữu ích để khám phá các phương pháp khai phá dữ liệu theo hướng thời gian.