Hệ Thống Tư Vấn Website Dựa Trên Khai Phá Query Log

Tài liệu nghiên cứu Luận văn hệ thống tư vấn website cho máy tìm kiếm dựa trên khai phá query log, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên sâu về .

• Tác giả: Nguyễn Song Hà
• Người hướng dẫn: PGS.TS Hà Quang Thụy
• Trường học: Đại học Quốc gia Hà Nội - Trường Đại học Công nghệ
• Chuyên ngành: Công nghệ Thông tin
• Đề tài: Hệ Thống Tư Vấn Website Dựa Trên Khai Phá Query Log
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2009
• Địa điểm: Hà Nội

Tóm tắt

I. Tổng Quan Về Hệ Thống Tư Vấn Website Dựa Trên Query Log

Trong kỷ nguyên số, hệ thống tư vấn website đóng vai trò quan trọng trong việc giúp người dùng vượt qua tình trạng quá tải thông tin. Các hệ thống này, đặc biệt là những hệ thống dựa trên khai phá query log, cung cấp các gợi ý phù hợp dựa trên hành vi tìm kiếm của người dùng. Khác với các hệ thống tư vấn truyền thống tập trung vào sách, phim, hay âm nhạc, hệ thống tư vấn website hướng đến việc hỗ trợ người dùng tìm kiếm thông tin trên phạm vi rộng lớn hơn. Theo nghiên cứu, khi tìm kiếm thông tin, người dùng thường sử dụng máy tìm kiếm thay vì các website chuyên ngành. Tuy nhiên, máy tìm kiếm chỉ cung cấp danh sách kết quả, không đưa ra được lời khuyên cụ thể. Do đó, hệ thống gợi ý website dựa trên phân tích query log trở nên vô cùng cần thiết. Hệ thống này tận dụng kinh nghiệm của những người dùng trước đó để đưa ra các gợi ý phù hợp, giúp người dùng tiết kiệm thời gian và công sức.

1.1. Giới Thiệu Chung Về Hệ Thống Tư Vấn Website

Hệ thống tư vấn website là một công cụ hỗ trợ người dùng tìm kiếm thông tin hiệu quả hơn trên internet. Hệ thống này sử dụng các thuật toán để phân tích hành vi tìm kiếm của người dùng và đưa ra các gợi ý về các website phù hợp với nhu cầu của họ. Các hệ thống tư vấn website ngày càng trở nên phổ biến do sự gia tăng nhanh chóng của số lượng website trên internet và nhu cầu tìm kiếm thông tin chính xác, nhanh chóng của người dùng. Theo tài liệu, hệ thống tư vấn đưa ra gợi ý dựa trên những gì người dùng đã làm trong quá khứ, hoặc dựa trên tổng hợp ý kiến của những người dùng khác.

1.2. Vai Trò Của Khai Phá Query Log Trong Tư Vấn Website

Khai phá query log đóng vai trò then chốt trong việc xây dựng hệ thống gợi ý website hiệu quả. Query log chứa thông tin về các truy vấn tìm kiếm của người dùng, các website mà họ đã truy cập, và thời gian họ dành cho mỗi website. Bằng cách phân tích query log, hệ thống có thể hiểu được nhu cầu và sở thích của người dùng, từ đó đưa ra các gợi ý phù hợp. Dữ liệu trong query log cho biết những người tìm về một chủ đề thường truy cập vào website nào. Những website này đã qua hai lần lọc, một của máy tìm kiếm và một của người dùng.

II. Thách Thức Khi Xây Dựng Hệ Thống Tư Vấn Website

Việc xây dựng hệ thống tư vấn website hiệu quả đối mặt với nhiều thách thức. Một trong những thách thức lớn nhất là xử lý lượng dữ liệu khổng lồ trong query log. Phân tích query log đòi hỏi các thuật toán mạnh mẽ và hiệu quả về mặt thời gian. Bên cạnh đó, việc xác định độ tương đồng giữa các truy vấn tìm kiếm và các website cũng là một vấn đề phức tạp. Hệ thống cần phải hiểu được ngữ nghĩa của các truy vấn và nội dung của các website để đưa ra các gợi ý chính xác. Ngoài ra, việc cá nhân hóa các gợi ý cho từng người dùng cũng là một thách thức quan trọng. Hệ thống cần phải thu thập và phân tích thông tin về sở thích và hành vi của từng người dùng để đưa ra các gợi ý phù hợp nhất.

2.1. Vấn Đề Xử Lý Dữ Liệu Lớn Từ Query Log

Query log thường có kích thước rất lớn, lên đến hàng gigabyte hoặc thậm chí terabyte. Việc xử lý lượng dữ liệu này đòi hỏi các thuật toán và kỹ thuật đặc biệt, chẳng hạn như data mining website, machine learning trong khai phá query log, và các kỹ thuật song song hóa. Hệ thống cần phải có khả năng đọc, xử lý, và phân tích dữ liệu một cách nhanh chóng và hiệu quả để đảm bảo tính khả thi trong thực tế. Bài toán khai phá query logs là bài toán phải xử lý khối lượng dữ liệu rất lớn (lên tới hàng gigabyte) nên việc chọn được một thuật toán tốt và hiệu quả về thời gian là rất khó khăn.

2.2. Xác Định Độ Tương Đồng Giữa Truy Vấn Và Website

Việc xác định độ tương đồng giữa truy vấn tìm kiếm và website là một bài toán khó do sự phức tạp của ngôn ngữ tự nhiên và sự đa dạng của nội dung website. Hệ thống cần phải sử dụng các kỹ thuật natural language processing (NLP) và semantic search để hiểu được ý nghĩa của truy vấn và nội dung website. Ngoài ra, hệ thống cũng cần phải xem xét các yếu tố khác như độ tin cậy của website, mức độ liên quan của nội dung, và trải nghiệm người dùng để đưa ra đánh giá chính xác. Cần có một phương pháp có thể đưa ra gợi ý, tư vấn cho người dùng đủ tốt để áp dụng cho những chủ đề rất đa dạng của cuộc sống.

III. Phương Pháp Khai Phá Query Log Hiệu Quả Cho Tư Vấn

Có nhiều phương pháp khai phá query log có thể được sử dụng để xây dựng hệ thống tư vấn website. Một trong những phương pháp phổ biến nhất là phân cụm truy vấn (query clustering). Phương pháp này nhóm các truy vấn tương tự vào cùng một cụm, từ đó xác định các chủ đề tìm kiếm phổ biến. Một phương pháp khác là khai phá luật kết hợp (association rule mining), phương pháp này tìm kiếm các mối quan hệ giữa các truy vấn và các website mà người dùng truy cập. Ngoài ra, các kỹ thuật machine learning như phân loại (classification) và hồi quy (regression) cũng có thể được sử dụng để dự đoán các website mà người dùng có khả năng truy cập dựa trên truy vấn tìm kiếm của họ.

3.1. Phân Cụm Truy Vấn Để Xác Định Chủ Đề Tìm Kiếm

Phân cụm truy vấn là một kỹ thuật quan trọng trong khai phá query log. Kỹ thuật này giúp xác định các chủ đề tìm kiếm phổ biến và nhóm các truy vấn liên quan lại với nhau. Các thuật toán phân cụm như K-means, hierarchical clustering, và DBSCAN có thể được sử dụng để phân cụm truy vấn. Kết quả phân cụm có thể được sử dụng để xây dựng hệ thống đề xuất nội dung và cải thiện trải nghiệm người dùng. Bước một: nhóm các query tương đồng vào các cụm. Mỗi cụm tương ứng với một chủ đề.

3.2. Khai Phá Luật Kết Hợp Để Tìm Mối Quan Hệ

Khai phá luật kết hợp là một kỹ thuật data mining website được sử dụng để tìm kiếm các mối quan hệ giữa các truy vấn và các website mà người dùng truy cập. Các luật kết hợp có thể được sử dụng để dự đoán các website mà người dùng có khả năng truy cập dựa trên truy vấn tìm kiếm của họ. Các thuật toán như Apriori và FP-Growth có thể được sử dụng để khai phá luật kết hợp từ query log. Những thông tin được lưu lại trong log của máy tìm kiếm sẽ cho biết những người tìm về chủ đề đó thường hay truy cập vào website nào.

IV. Ứng Dụng Thực Tế Của Hệ Thống Tư Vấn Website

Hệ thống tư vấn website có nhiều ứng dụng thực tế trong các lĩnh vực khác nhau. Trong lĩnh vực thương mại điện tử, hệ thống có thể được sử dụng để tối ưu hóa website dựa trên query log, cải thiện trải nghiệm người dùng website, và tăng doanh số bán hàng. Trong lĩnh vực du lịch, hệ thống có thể được sử dụng để gợi ý các địa điểm du lịch, khách sạn, và nhà hàng phù hợp với sở thích của người dùng. Trong lĩnh vực giáo dục, hệ thống có thể được sử dụng để gợi ý các tài liệu học tập, khóa học, và chương trình đào tạo phù hợp với nhu cầu của người học. Ngoài ra, hệ thống còn có thể được sử dụng trong các lĩnh vực khác như y tế, tài chính, và giải trí.

4.1. Ứng Dụng Trong Thương Mại Điện Tử Để Tăng Doanh Số

Trong lĩnh vực thương mại điện tử, hệ thống tư vấn website có thể được sử dụng để gợi ý các sản phẩm mà người dùng có khả năng mua dựa trên lịch sử mua hàng, truy vấn tìm kiếm, và hành vi duyệt web của họ. Hệ thống cũng có thể được sử dụng để cá nhân hóa trải nghiệm mua sắm của người dùng và cung cấp các ưu đãi đặc biệt cho từng người. Các website thương mại điện tử lớn như Amazon và Alibaba đã sử dụng hệ thống gợi ý website để tăng doanh số bán hàng và cải thiện sự hài lòng của khách hàng.

4.2. Ứng Dụng Trong Du Lịch Để Gợi Ý Địa Điểm

Trong lĩnh vực du lịch, hệ thống tư vấn website có thể được sử dụng để gợi ý các địa điểm du lịch, khách sạn, và nhà hàng phù hợp với sở thích và ngân sách của người dùng. Hệ thống có thể phân tích thông tin về lịch sử du lịch, truy vấn tìm kiếm, và đánh giá của người dùng để đưa ra các gợi ý chính xác và hữu ích. Các website du lịch lớn như TripAdvisor và Booking.com đã sử dụng hệ thống đề xuất nội dung để giúp người dùng lên kế hoạch cho chuyến đi của họ một cách dễ dàng và hiệu quả.

V. Kết Luận Và Hướng Phát Triển Của Hệ Thống Tư Vấn

Hệ thống tư vấn website dựa trên khai phá query log là một lĩnh vực nghiên cứu đầy tiềm năng với nhiều ứng dụng thực tế. Mặc dù đã có nhiều tiến bộ trong lĩnh vực này, vẫn còn nhiều thách thức cần được giải quyết. Trong tương lai, các nghiên cứu sẽ tập trung vào việc phát triển các thuật toán khai phá query log hiệu quả hơn, cải thiện khả năng hiểu ngữ nghĩa của truy vấn và nội dung website, và cá nhân hóa các gợi ý cho từng người dùng. Ngoài ra, việc tích hợp các nguồn dữ liệu khác nhau như mạng xã hội và dữ liệu vị trí cũng sẽ giúp cải thiện độ chính xác và tính hữu ích của hệ thống gợi ý website.

5.1. Tổng Kết Các Kết Quả Nghiên Cứu Về Tư Vấn Website

Các nghiên cứu về hệ thống tư vấn website đã đạt được nhiều kết quả đáng khích lệ trong việc cải thiện trải nghiệm người dùng và tăng hiệu quả tìm kiếm thông tin. Các thuật toán phân tích query log đã được phát triển để xác định các chủ đề tìm kiếm phổ biến, tìm kiếm các mối quan hệ giữa truy vấn và website, và dự đoán các website mà người dùng có khả năng truy cập. Tuy nhiên, vẫn còn nhiều vấn đề cần được giải quyết để hệ thống gợi ý website trở nên hoàn thiện hơn.

5.2. Hướng Phát Triển Trong Tương Lai Của Hệ Thống

Trong tương lai, hệ thống tư vấn website sẽ tiếp tục phát triển theo hướng cá nhân hóa, thông minh hóa, và tích hợp đa nguồn dữ liệu. Các thuật toán machine learning sẽ được sử dụng để xây dựng các mô hình dự đoán chính xác hơn về sở thích và hành vi của người dùng. Các kỹ thuật natural language processing (NLP) sẽ được sử dụng để hiểu ngữ nghĩa của truy vấn và nội dung website một cách sâu sắc hơn. Và các nguồn dữ liệu khác nhau như mạng xã hội và dữ liệu vị trí sẽ được tích hợp để cung cấp các gợi ý phù hợp hơn với ngữ cảnh của người dùng.

Trích đoạn nội dung tài liệu

Chương 1. Tổng quan về hệ tư vấn: Trình bày những nội dung cơ bản về hệ tư vấn (các hệ thống nổi tiếng, mô tả bài toán tư vấn, phân loại các hệ tư vấn theo phương pháp xây dựng). Giới thiệu hệ tư vấn website được xây dựng trong khóa luận. Khai phá query log và ứng dụng: Giới thiệu về cấu trúc query log của máy tìm kiếm, các thông tin có thể khai phá, phương pháp khai phá và các ứng dụng của việc khai phá query log.

Hệ thống tư vấn website cho máy tìm kiếm dựa trên khai phá query log: Trình bày mô hình hệ thống tư vấn website do chúng tôi đưa ra và các công trình liên quan. Thực nghiệm và đánh giá: Xây dựng, thử nghiệm và đánh giá hệ thống với các query liên quan tới miền sản phẩm điện tử. Phần kết luận tổng kết nội dung chính của khóa luận, các vấn đề còn tồn tại và định hướng phát triển của hệ thống. Tổng quan về hệ tư vấn 1.

Giới thiệu về hệ tư vấn Trong cuộc sống hàng ngày, trong rất nhiều trường hợp, người ta đưa ra các lựa chọn dựa trên những ý kiến hay lời khuyên của mọi người xung quanh, có thể qua lời nói, các bản đánh giá sản phẩm, khảo sát thị trường, thư giới thiệu …v. Nhưng trong kỉ nguyên thông tin, hàng triệu thông tin được đưa lên internet mỗi ngày, điều này dẫn tới yêu cầu phải có các phương pháp tự động thu thập thông tin và đưa ra lời khuyên để hỗ trợ cho các phương pháp truyến thống trên. Hệ tư vấn (recommender system) là một giải pháp như vậy. Hệ thống này đưa ra gợi ý dựa trên những gì người dùng đã làm trong quá khứ, hoặc dựa trên tổng hợp ý kiến của những người dùng khác.

Hệ tư vấn đã trở thành một ứng dụng quan trọng và thu hút được sự quan tâm lớn của các nhà nghiên cứu cũng như các doanh nghiệp. Một vài hệ tư vấn nổi tiếng [8] : o Phim / TV/ âm nhạc: MovieLens, EachMovie, Morse, Firefly, Flycasting, Ringo… o Tin tức / báo chí: Tapestry, GroupLens, Lotus Notes, Anatagonomy… o Sách / Tài liệu: Amazon.com, Foxtrot, InfoFinder… o Web: Phoaks, Gab, Fab, IfWeb, Let's Browse … o Nhà hàng: Adaptive Place Advisor, Polylens, Pocket restaurent finder… o Du lịch: Dietorecs, LifestyleFinder … $1,000,000 Hình 1. Giải thưởng 1 triệu USD của Hình 2. Ba hội nghị của ACM về Netflix cho ai đưa ra được thuật toán hệ tư vấn được tổ chức ở châu Âu giúp tăng độ chính xác của hệ thống tư và Mỹ [3] vấn phim của họ thêm 10% [21] 3 1.

Bài toán tư vấn Theo Adomavicius và Tuzhilin trong [4], trong hầu hết các trường hợp, bài toán tư vấn được coi là bài toán ước lượng trước hạng (rating) của các sản phẩm (phim, cd, nhà hàng …) chưa được người dùng xem xét. Việc ước lượng này thường dựa trên những đánh giá đã có của chính người dùng đó hoặc những người dùng khác. Những sản phẩm có hạng cao nhất sẽ được dùng để tư vấn. Một cách hình thức, bài toán tư vấn được mô tả như sau: Gọi C là tập tất cả người dùng; S là tập tất cả các sản phẩm có thể tư vấn.

Tập S có thể rất lớn, từ hàng trăm ngàn (sách, cd…) đến hàng triệu (như website). Tập C trong một số trường hợp cũng có thể lên tới hàng triệu. Hàm u(c,s) đo độ phù hợp (hay hạng) của sản phẩm s với user c: 𝑢: 𝐶 × 𝑆 → 𝑅 với R là tập được sắp thứ tự. Với mỗi người dùng 𝑐 ∈ 𝐶, cần tìm sản phẩm 𝑠 ′ ∈ 𝑆 sao cho hàm u(s’, c) đạt giá trị lớn nhất: ∀𝑐 ∈ 𝐶, 𝑠′𝑐 = arg max𝑠∈𝑆 𝑢 (𝑐, 𝑠) Trong hệ tư vấn, độ phù hợp của một sản phẩm thường được cho bằng điểm, ví dụ người dùng A đánh giá bộ phim ―Star war 3‖ được điểm 7/10.

Tuy nhiên, nhìn chung độ phù hợp có thể là một hàm bất kì tùy thuộc vào ứng dụng cụ thể. Giá trị của hàm u có thể được xác định bởi người dùng hoặc được tính toán bởi công thức nào đó. Mỗi người dùng trong không gian C được xác định bởi một hồ sơ (profile). Hồ sơ này có thể gồm rất nhiều loại thông tin: tuổi, giới tính, thu nhập, … hoặc có thể chỉ gồm một trường mã số người dùng (user id) duy nhất.

Tương tự, mỗi sản phẩm trong không gian S cũng được xác định bởi một tập các đặc trưng. Ví dụ, trong hệ thống tư vấn phim, đặc trưng của mỗi bộ phim có thể là : tên phim, thể loại, đạo diễn, năm sản xuất, diễn viên chính …v…v. Vấn đề chính của hệ tư vấn là hàm u không được xác định trên toàn không gian 𝐶 × 𝑆 mà chỉ trên một miền nhỏ của không gian đó. Điều này dẫn tới việc hàm u phải được ngoại suy trong không gian 𝐶 × 𝑆.

Thông thường, độ phù hợp được thể hiện bằng điểm và chỉ xác định trên tập các sản phẩm đã từng được người dùng đánh giá từ trước (thường khá nhỏ). Ví dụ, bảng 1 là đánh giá của một số người dùng với các phim mà họ đã xem (thang điểm từ 0-10, kí hiệu ∅ nghĩa là bộ phim chưa được người dùng cho điểm). Từ những thông tin đó, hệ thống tư vấn phải dự đoán (ngoại suy) điểm cho các bộ phim chưa được người dùng đánh giá, từ đó đưa ra những gợi ý phù hợp nhất. 4 Harry potter Star trek Xmen Transformer A 5 ∅ 7 9 B 9 5 5 ∅ C 6 6 ∅ 8 D ∅ ∅ 8 9 Bảng 1.

Đánh giá của người dùng về một số bộ phim đã xem 1. Phân loại hệ tư vấn Có rất nhiều cách để dự đoán, ước lượng hạng/điểm cho các sản phẩm như sử dụng học máy, lí thuyết xấp sỉ, các thuật toán dựa trên kinh nghiệm… Theo [4], các hệ thống tư vấn thường được phân thành ba loại dựa trên cách nó dùng để ước lượng hạng của sản phẩm: o Dựa trên nội dung (content-based): người dùng được gợi ý những sản phẩm tương tự như các sản phẩm từng được họ đánh giá cao. o Cộng tác (collaborative): người dùng được gợi ý những sản phẩm mà những người cùng sở thích với họ đánh giá cao. o Lai ghép (hybrid): kết hợp cả phương pháp dựa trên.

Phương pháp dựa trên nội dung Theo [4], với phương pháp tư vấn dựa trên nội dung, độ phù hợp 𝑢(𝑐, 𝑠) của sản phẩm s với người dùng c được đánh giá dựa trên độ phù hợp 𝑢(𝑐, 𝑠𝑖 ), trong đó si ϵ S và ―tương tự‖ như s. Ví dụ, để gợi ý một bộ phim cho người dùng c, hệ thống tư vấn sẽ tìm các đặc điểm của những bộ phim từng được c đánh giá cao (như diễn viên, đạo diễn…); sau đó chỉ những bộ phim tương đồng với sở thích của c mới được giới thiệu. Hướng tiếp cận dựa trên nội dung bắt nguồn từ những nghiên cứu về thu thập thông tin (IR - information retrieval) và lọc thông tin (IF - information filtering). Do đó, rất nhiều hệ thống dựa trên nội dung hiện nay tập trung vào tư vấn các đối tượng chứa dữ liệu text như văn bản, tin tức, website… Những tiến bộ so với hướng tiếp cận cũ của IR là do việc sử dụng hồ sơ về người dùng (chứa thông tin về sở thích, nhu cầu…).

Hồ sơ này được xây dựng dựa trên những thông tin được người dùng cung 5 cấp trực tiếp (khi trả lời khảo sát) hoặc gián tiếp (do khai phá thông tin từ các giao dịch của người dùng). Tư vấn dựa trên nội dung [17] Để cụ thể hơn, đặt Content(s) là tập thông tin (hay tập các đặc trưng) về sản phẩm s. Do hệ thống dựa trên nội dung được thiết kế chủ yếu để dành cho các sản phẩm là text, nên nội dung sản phẩm thường được biểu diễn bởi các từ khóa (keyword): Content(s) = (w1s, …wks), với w1s,.wks là trọng số của các từ khóa từ 1 tới k (có thể được tính bằng TF-IDF). Ví dụ, hệ tư vấn website Fab biểu diễn nội dung các trang web bằng 100 từ quan trọng nhất.

Tương tự, hệ thống Syskill & Webert biểu diễn văn bản bằng 128 từ có trọng số cao nhất. Đặt Profile(c) là hồ sơ về người dùng c, bao gồm các thông tin về sở thích của c. Những thông tin này có được bằng cách phân tích nội dung của các sản phẩm từng được c đánh giá (cho điểm) trước đó. Phương pháp được sử dụng thường là các kĩ thuật phân tích từ khóa của IR, do đó, Profile(c) cũng có thể được định nghĩa như một vector trọng số: Profile(c) = (w1c, …,wkc) với xic biểu thị độ quan trọng của từ khóa i với người dùng c.

6 Trong hệ thống tư vấn dựa trên nội dung, độ phù hợp u(c,s) được xác định bởi công thức: u(c,s) = score(Profile(c), Content(s)) Cả Profile(c), Content(s) đều có thể được biểu diễn bằng vector trọng số từ TF- IDF (tương ứng là 𝑤𝑐 , 𝑤𝑠 ) nên có thể đo độ tương đồng của chúng bằng độ đo cosin: 𝑤𝑐. 𝑤𝑠 𝑢(𝑐, 𝑠) = cos( 𝑤𝑐 , 𝑤𝑠 ) = ||𝑤 𝑐 || × || 𝑤 𝑠 || Ví dụ, nếu c đọc nhiều bài báo thuộc lĩnh vực sinh học thì các từ khóa liên quan tới sinh học (như gen, protein, tế bào, ADN…) trong Profile(c) sẽ có trọng số cao. Hệ quả là với các bài báo s cũng thuộc lĩnh vực này sẽ có độ phù hợp u(c,s) cao hơn với người dùng c. Bên cạnh các phương pháp IR, hệ tư vấn dựa trên nội dung còn sử dụng nhiều phương pháp học máy khác như: phân lớp Bayes, cây quyết định, mạng nơron nhân tạo… Các phương pháp này khác với các phương pháp của IR ở chỗ nó dựa trên các mô hình học được từ dữ liệu nền.

Ví dụ, dựa trên tập các trang web đã được người dùng đánh giá là có nội dung ―tốt‖ hoặc ―xấu‖ có thể sử dụng phân lớp Bayes để phân loại các trang web chưa được đánh giá. Phương pháp cộng tác Theo [4], không giống như phương pháp tư vấn dựa trên nội dung, hệ thống cộng tác dự đoán độ phù hợp u(c,s) của một sản phẩm s với người dùng c dựa trên độ phù hợp u(cj, s) giữa người dùng cj và s, trong đó cj là người có cùng sở thích với c. Ví dụ, để gợi ý một bộ phim cho người dùng c, đầu tiên hệ thống cộng tác tìm những người dùng khác có cùng sở thích phim ảnh với c. Sau đó, những bộ phim được họ đánh giá cao sẽ được dùng để tư vấn cho c.

Có rất nhiều hệ thống cộng tác đã được phát triển như: Grundy, GroupLens (tin tức), Ringo (âm nhạc), Amazon. Tư vấn dựa trên cộng tác [17] 1.