Khám Phá Hệ Thống Gợi Ý Trong Machine Learning

Tài liệu nghiên cứu Extract pages from 1580834235521 book ml pdfp2 1072, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên sâu về .

Trường đại học

Trường Đại Học

Chuyên ngành

Machine Learning

Người đăng

Ẩn danh

Thể loại

Bài viết

2025

190
4
0

Phí lưu trữ

45 Point

Mục lục chi tiết

17. CHƯƠNG 17: HỆ THỐNG GỢI Ý DỰA TRÊN NỘI DUNG

17.1. Giới thiệu

17.2. Hiện tượng đuôi dài

17.3. Hai nhóm thuật toán trong hệ thống gợi ý

17.4. Ma trận tiện ích

17.5. Xây dựng ma trận tiện ích

17.6. Xây dựng thông tin sản phẩm

17.7. Xây dựng mô hình cho mỗi người dùng

17.8. Xây dựng hàm mất mát

17.9. Mô hình tuyến tính

17.10. Ví dụ về hàm mất mát cho người dùng E

17.11. Bài toán MovieLens 100k

17.11.1. Cơ sở dữ liệu MovieLens 100k

17.11.2. Xây dựng thông tin sản phẩm

17.11.3. Xây dựng mô hình cho mỗi người dùng

Tóm tắt

I. Tổng quan về hệ thống gợi ý trong Machine Learning

Hệ thống gợi ý là một phần quan trọng trong lĩnh vực machine learning. Chúng giúp người dùng tìm kiếm sản phẩm hoặc nội dung phù hợp dựa trên sở thích và hành vi trước đó. Hệ thống này đã trở thành một phần không thể thiếu trong các nền tảng như Netflix, Amazon và YouTube. Mục tiêu chính của hệ thống gợi ý là tối ưu hóa trải nghiệm người dùng bằng cách cung cấp những gợi ý chính xác và kịp thời.

1.1. Định nghĩa và vai trò của hệ thống gợi ý

Hệ thống gợi ý là công cụ sử dụng thuật toán gợi ý để phân tích dữ liệu và đưa ra các gợi ý cho người dùng. Chúng có vai trò quan trọng trong việc tăng cường sự tương tác và giữ chân người dùng.

1.2. Lịch sử phát triển của hệ thống gợi ý

Hệ thống gợi ý đã phát triển mạnh mẽ trong 10-15 năm qua, nhờ vào sự bùng nổ của internet và dữ liệu lớn. Các thuật toán đã được cải tiến để đáp ứng nhu cầu ngày càng cao của người dùng.

II. Vấn đề và thách thức trong hệ thống gợi ý

Mặc dù hệ thống gợi ý mang lại nhiều lợi ích, nhưng vẫn tồn tại nhiều thách thức. Một trong số đó là việc thu thập và xử lý dữ liệu lớn. Ngoài ra, việc đảm bảo tính chính xác và độ tin cậy của các gợi ý cũng là một vấn đề lớn. Các thuật toán cần phải được tối ưu hóa để giảm thiểu sai sót và tăng cường trải nghiệm người dùng.

2.1. Khó khăn trong việc thu thập dữ liệu

Việc thu thập dữ liệu từ người dùng là một thách thức lớn. Nhiều người dùng không cung cấp đủ thông tin, dẫn đến việc hệ thống không thể đưa ra gợi ý chính xác.

2.2. Đảm bảo tính chính xác của gợi ý

Độ chính xác của các gợi ý phụ thuộc vào chất lượng dữ liệu và thuật toán. Các hệ thống cần phải liên tục được cải tiến để đáp ứng nhu cầu của người dùng.

III. Phương pháp chính trong hệ thống gợi ý

Có hai phương pháp chính trong hệ thống gợi ý: hệ thống dựa trên nội dunglọc cộng tác. Mỗi phương pháp có những ưu điểm và nhược điểm riêng. Hệ thống dựa trên nội dung tập trung vào đặc điểm của sản phẩm, trong khi lọc cộng tác dựa vào hành vi của người dùng tương tự.

3.1. Hệ thống gợi ý dựa trên nội dung

Phương pháp này sử dụng thông tin về sản phẩm để đưa ra gợi ý. Ví dụ, nếu một người dùng thích một bộ phim, hệ thống sẽ gợi ý các bộ phim có nội dung tương tự.

3.2. Lọc cộng tác

Phương pháp này dựa vào hành vi của người dùng khác để đưa ra gợi ý. Nếu nhiều người dùng có sở thích giống nhau, hệ thống sẽ gợi ý sản phẩm mà họ thích cho người dùng mới.

IV. Ứng dụng thực tiễn của hệ thống gợi ý

Hệ thống gợi ý đã được áp dụng rộng rãi trong nhiều lĩnh vực như thương mại điện tử, giải trí và truyền thông. Chúng giúp tăng cường trải nghiệm người dùng và tối ưu hóa doanh thu cho các doanh nghiệp. Ví dụ, Amazon sử dụng hệ thống gợi ý để tăng doanh số bán hàng bằng cách gợi ý sản phẩm liên quan đến những gì người dùng đã xem hoặc mua.

4.1. Hệ thống gợi ý trong thương mại điện tử

Trong thương mại điện tử, hệ thống gợi ý giúp người dùng tìm kiếm sản phẩm dễ dàng hơn, từ đó tăng doanh thu cho các doanh nghiệp.

4.2. Hệ thống gợi ý trong giải trí

Netflix và Spotify sử dụng hệ thống gợi ý để cung cấp nội dung phù hợp với sở thích của người dùng, từ đó giữ chân người dùng lâu hơn.

V. Kết luận và tương lai của hệ thống gợi ý

Hệ thống gợi ý sẽ tiếp tục phát triển và trở thành một phần không thể thiếu trong cuộc sống hàng ngày. Với sự tiến bộ của công nghệ học máydữ liệu lớn, các hệ thống gợi ý sẽ ngày càng chính xác và hiệu quả hơn. Tương lai hứa hẹn sẽ mang đến nhiều cải tiến trong cách mà người dùng tương tác với các nền tảng trực tuyến.

5.1. Xu hướng phát triển của hệ thống gợi ý

Các hệ thống gợi ý sẽ ngày càng thông minh hơn, sử dụng các thuật toán phức tạp để cải thiện độ chính xác và cá nhân hóa trải nghiệm người dùng.

5.2. Tác động của công nghệ mới

Công nghệ như trí tuệ nhân tạo và học sâu sẽ đóng vai trò quan trọng trong việc phát triển các hệ thống gợi ý trong tương lai.

15/07/2025

Trích đoạn nội dung tài liệu

Phần V Hệ thống gợi ý Có lẽ các bạn đã từng gặp những hiện tượng sau đây nhiều lần. Các bạn có lẽ đã gặp những hiện tượng sau đây nhiều lần. Youtube tự động chạy các clip liên quan đến clip bạn đang xem hoặc gợi ý những clip bạn có thể sẽ thích. Khi mua một món hàng trên Amazon, hệ thống sẽ tự động gợi ý những sản phẩm thường xuyên được mua cùng nhau, hoặc biết người dùng có thể thích món hàng nào dựa trên lịch sử mua hàng.

Facebook hiển thị quảng cáo những sản phẩm có liên quan đến từ khoá bạn vừa tìm kiếm hoặc gợi ý kết bạn. Netflix tự động gợi ý phim cho khán giả. Và còn rất nhiều ví dụ khác mà hệ thống có khả năng tự động gợi ý cho người dùng những sản phẩm họ có thể thích. Bằng cách thiết lập quảng cáo hướng đến đúng nhóm đối tượng, hiệu quả của việc marketing cũng sẽ tăng lên.

Những thuật toán đằng sau các ứng dụng này là nhóm thuật toán machine learn- ing được gọi chung là hệ thống gợi ý hoặc hệ thống khuyến nghị (recommender system, recommendation system). Trong phần này của cuốn sách, chúng ta sẽ cùng tìm hiểu ba thuật toán cơ bản nhất trong các hệ thống gợi ý. Hệ thống gợi ý dựa trên nội dung Chương 17 Hệ thống gợi ý dựa trên nội dung 17. Giới thiệu Hệ thống gợi ý là một mảng khá rộng của machine learning và có xuất hiện sau phân loại hay hồi quy vì internet mới chỉ thực sự bùng nổ khoảng 10-15 năm gần đây.

Có hai thực thể chính trong một hệ thống gợi ý là người dùng (user) và sản phẩm (item). Mục đích chính của các hệ thống gợi ý là dự đoán mức độ quan tâm của một người dùng tới một sản phẩm nào đó, qua đó có chiến lược gợi ý phù hợp. Hiện tượng đuôi dài Chúng ta cùng đi vào việc so sánh điểm khác nhau căn bản giữa các cửa hàng thực và cửa hàng điện tử trên khía cạnh lựa chọn sản phẩm để quảng bá. Ở đây, chúng ta tạm quên đi khía cạnh cảm giác thật chạm vào sản phẩm của các cửa hàng thực và tập trung vào phần làm thế nào để quảng bá đúng sản phẩm tới khách hàng.

Có thể các bạn đã biết tới Nguyên lý Pareto (quy tắc 20/80) (https://goo.gl/ NujWjH): phần lớn kết quả được gây ra bởi phần nhỏ nguyên nhân. Phần lớn số từ sử dụng hàng ngày chỉ là một phần nhỏ trong từ điển. Phần lớn của cải được sở hữu bởi phần nhỏ số người. Trong hương mại, những sản phẩm bán chạy nhất chiếm phần nhỏ trên tổng số sản phẩm.

Các cửa hàng thực thường có hai khu vực: khu trưng bày và kho. Nguyên tắc dễ thấy để đạt doanh thu cao là trưng ra các sản phẩm phổ biến ở những nơi dễ thấy nhất và cất những sản phẩm ít phổ biến hơn trong kho. Cách làm này có một hạn chế rõ rệt: những sản phẩm được trưng ra mang tính phổ biến nhưng chưa chắc đã phù hợp với nhu cầu của một khách hàng cụ thể. Một cửa hàng 234 Machine Learning cơ bản Chương 17.

Hệ thống gợi ý dựa trên nội dung có thể có món hàng một người đang tìm kiếm nhưng không bán được vì khách hàng đó không tìm thấy sản phẩm. Điều này dẫn đến việc khách hàng không tiếp cận được sản phẩm ngay cả khi chúng đã được trưng ra. Ngoài ra, vì không gian có hạn, cửa hàng không thể trưng ra tất cả các sản phẩm mà mỗi loại chỉ đưa ra một số lượng nhỏ. Ở đây, phần lớn doanh thu (80%) đến từ phần nhỏ số sản phẩm phổ biến nhất (20%).

Nếu sắp xếp các sản phẩm của cửa hàng theo doanh số từ cao đến thấp, ta sẽ nhận thấy có thể phần nhỏ các sản phẩm tạo ra phần lớn doanh số. Và một danh sách dài phía sau chỉ đóng góp một lượng nhỏ. Hiện tượng này còn được gọi là đuôi dài (long tail phenomenon). Với các cửa hàng điện tử, nhược điểm trên hoàn toàn có thể tránh được vì gian trưng bày của các cửa hàng điện tử gần như là vô tận, mọi sản phẩm đều có thể được trưng ra.

Hơn nữa, việc sắp xếp online là linh hoạt, tiện lợi với chi phí chuyển đổi gần như bằng không khiến việc mang đúng sản phẩm tới khách hàng trở nên thuận tiện. Doanh thu vì thế có thể được tăng lên. Hai nhóm thuật toán trong hệ thống gợi ý Các thuật toán trong hệ thống gợi ý được chia thành hai nhóm lớn: a. Hệ thống dựa trên nội dung: Gợi ý dựa trên đặc tính của sản phẩm.

Ví dụ, hệ thống nên gợi ý các bộ phim hình sự tới những người thích xem phim “Cảnh sát hình sự” hay “Người phán xử”. Cách tiếp cận này yêu cầu sắp xếp các sản phẩm vào từng nhóm hoặc đi tìm các đặc trưng của từng sản phẩm. Tuy nhiên, có những sản phẩm không có rơi vào một nhóm cụ thể và việc xác định nhóm hoặc đặc trưng của từng sản phẩm đôi khi bất khả thi. Lọc cộng tác (collaborative filtering): Hệ thống gợi ý các sản phẩm dựa trên sự tương quan giữa người dùng và/hoặc sản phẩm.

Ở nhóm này, một sản phẩm được gợi ý tới một người dùng dựa trên những người dùng có sở thích tương tự hoặc những sản phẩm tương ựu. Ví dụ, ba người dùng A, B, C đều thích các bài hát của Noo Phước Thịnh. Ngoài ra, hệ thống biết rằng người dùng B, C cũng thích các bài hát của Bích Phương nhưng chưa có thông tin về việc liệu người dùng A có thích ca sĩ này hay không. Dựa trên thông tin của những người dùng tương tự là B và C, hệ thống có thể dự đoán rằng A cũng thích Bích Phương và gợi ý các bài hát của ca sĩ này tới A.

Trong chương này, chúng ta sẽ làm quen với nhóm thuật toán thứ nhất. Nhóm thuật toán thứ hai, lọc cộng tác, sẽ được trình bày trong các chương tiếp theo. Ma trận tiện ích Có hai thực thể chính trong các hệ thống gợi ý là người dùng và sản phẩm. Mỗi người dùng có mức quan tâm tới từng sản phẩm khác nhau.

Thông tin về mức Machine Learning cơ bản 235 Chương 17. Hệ thống gợi ý dựa trên nội dung A B C D E F Hình 17. Ví dụ về ma trận tiện Mưa nửa đêm 5 5 0 0 1 ? ích với hệ thống gợi ý bài hát. Các bài hát được người dùng đánh giá Cỏ úa 5 ? ? 0 ? ? theo mức độ từ 0 đến 5 sao.

Các Vùng lá me bay ? 4 1 ? ? 1 dấu ’ ?’ nền màu xám ứng với việc Con cò bé bé 1 1 4 4 4 ? dữ liệu còn thiếu. Hệ thống gợi ý Em yêu trường em 1 0 5 ? ? ? cần dự đoán các giá trị này. độ quan tâm của một người dùng tới một sản phẩm có thể được thu thập thông qua một hệ thống đánh giá (review và rating), qua việc người dùng đã click vào thông tin của sản phẩm hoặc qua thời lượng người dùng xem thông tin của một sản phẩm. Các ví dụ trong phần này đều dựa trên hệ thống đánh giá sản phẩm.

Ma trận tiện ích Với một hệ thống đánh giá sản phẩm, mức độ quan tâm của một người dùng tới một sản phẩm được đo bằng số sao trên tổng số sao, chẳng hạn năm sao. Tập hợp tất cả các đánh giá ở dạng số, bao gồm cả những giá trị cần được dự đoán, tạo nên một ma trận gọi là ma trận tiện ích (utility matrix). Xét ví dụ trong Hình 17.1, có sáu người dùng A, B, C, D, E, F và năm bài hát. Các ô đã được đánh số thể hiện việc một người dùng đã đánh giá một bài hát từ 0 (không thích) đến 5 (rất thích).

Các ô có dấu ’ ?’ tương ứng với các ô chưa có dữ liệu. Công việc của một hệ thống gợi ý là dự đoán giá trị tại các ô màu xám này, từ đó đưa ra gợi ý cho người dùng. Vì vậy, bài toán hệ thống gợi ý đôi khi được coi là bài toán hoàn thiện ma trận (matrix completion). Nhận thấy có hai thể loại nhạc khác nhau: ba bài đầu là nhạc bolero và hai bài sau là nhạc thiếu nhi.

Từ dữ liệu này, ta cũng có thể đoán được rằng A, B thích thể loại nhạc Bolero; trong khi C, D, E, F thích nhạc thiếu nhi. Từ đó, một hệ thống tốt nên gợi ý “Cỏ úa” cho B ; “Vùng lá me bay” cho A; “Em yêu trường em” cho D, E, F. Giả sử chỉ có hai thể loại nhạc này, khi có một bài hát mới, ta cần phân loại rồi đưa ra gợi ý với từng người dùng. Thông thường, có rất nhiều người dùng và sản phẩm trong hệ thống nhưng mỗi người dùng chỉ đánh giá một lượng nhỏ các sản phẩm, thậm chí có những người dùng không đánh giá sản phẩm nào.

Vì vậy, lượng ô màu xám của ma trận tiện ích thường rất lớn so với lượng ô màu trắng đã biết. Rõ ràng, càng nhiều ô được điền thì độ chính xác của hệ thống sẽ càng được cải thiện. Vì vậy, các hệ thống luôn khuyến khích người dùng bày tỏ sự quan tâm của họ tới các sản phẩm thông qua việc đánh giá các sản phẩm đó. Việc đánh giá không những giúp người dùng khác biết được chất lượng của sản phẩm mà còn giúp hệ thống biết được sở thích của người dùng, qua đó có chính sách quảng cáo hợp lý.

236 Machine Learning cơ bản Chương 17. Hệ thống gợi ý dựa trên nội dung 17. Xây dựng ma trận tiện ích Không có ma trận tiện ích, hệ thống gần như không thể gợi ý được sản phẩm tới người dùng. Vì vậy, việc xây dựng ma trận tiện ích là tối quan trọng trong các hệ thống gợi ý.

Tuy nhiên, việc xây dựng ma trận này thường gặp nhiều khó khăn. Có hai hướng tiếp cận phổ biến để xác định giá trị đánh giá cho mỗi cặp (người dùng, sản phẩm) trong ma trận tiện ích: a. Khuyến khích người dùng đánh giá sản phẩm. Amazon luôn khuyến khích người dùng đánh giá các sản phẩm bằng cách gửi mail nhắc nhở nhiều lần.

Tuy nhiên, cách tiếp cận này cũng có một vài hạn chế. Các đánh giá có thể thiên lệch bởi những người sẵn sàng đáng giá. Hướng tiếp cận thứ hai là dựa trên hành vi của người dùng. Nếu một người dùng mua một sản phẩm trên Amazon, xem một clip trên Youtube nhiều lần hay đọc một bài báo, có thể khẳng định người dùng này có xu hướng thích các sản phẩm đó.

Facebook cũng dựa trên việc bạn like những nội dung nào để hiển thị trên newsfeed những nội dung liên quan.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ