Chương 1. Giới thiệu bài toán Nêu bài toán nghiên cứu của luận văn, mục tiêu và phương pháp nghiên cứu LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 12 Chương 2. Tổng quan về hệ tư vấn Trình bày kiến thức tổng quan về hệ tư vấn, phân biệt các loại hệ tư vấn và nêu ưu, nhược điểm của chúng. Tiếp theo tác giả tìm hiểu và đánh giá một số hệ thống tư vấn trên thế giới và Việt Nam, từ đó phân tích sự khác biệt của mô hình tư vấn tin trong diễn đàn với các hệ thống trên.
Kỹ thuật lọc cộng tác trong hệ tư vấn và nghiên cứu liên quan Tìm hiểu hệ tư vấn dựa vào cộng tác và các vấn đề liên quan (các độ đo tương tự, kỹ thuật lọc cộng tác dựa vào láng giềng gần nhất và kỹ thuật chọn tốp N gợi ý) phục vụ cho việc xây dựng bộ lọc tin diễn đàn ở chương 4. Ngoài ra còn nghiên cứu thêm về các hướng khắc phục hạn chế của lọc cộng tác đã và đang được sử dụng, đề xuất hướng khắc phục người dùng mới. Xây dựng mô hình và thực nghiệm Trình bày tổng quan về mô đun lọc cộng tác của diễn đàn và các thành phần cấu thành lên mô đun. Tiếp theo tác giả trình bày các đặc điểm của dữ liệu diễn đàn Tuệ Tĩnh, xây dựng và cài đặt bộ lọc tin cho diễn đàn.
Phần còn lại của chương tập trung phân tích kết quả thực nghiệm và đánh giá thuật toán. Phân tích tính đúng đắn và hiệu năng của hệ thống đã xây dựng từ đó định hướng nghiên cứu trong tương lai. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 13 Chương 2. Tổng quan về hệ tư vấn 2.
Lý thuyết hệ tư vấn Hệ tư vấn (Recommender System - RS) hay còn gọi là hệ gợi ý: là chương trình hay tập hợp các kỹ thuật nhằm dự đoán các đối tượng mà người dùng có thể quan tâm [30]. Có nghĩa là nó có khả năng tự động phân tích, phân loại, lựa chọn và cung cấp cho người dùng những thông tin, hàng hóa hay dịch vụ mà họ quan tâm. Nhiều hệ tư vấn đã được thương mại hóa và triển khai thành công, tiêu biểu trên thế giới là hệ tư vấn của hãng Amazon.com, Proter và Gamble. Để khái quát hệ tư vấn, có thể mô tả bài toán tư vấn như sau: Gọi U là tập tất cả người dùng (user), S là tập tất cả các đối tượng có thể tư vấn.
Tập S có thể rất lớn, hàng trăm ngàn (như tư vấn sách của Amazon.com) đến hàng triệu (như tư vấn website). Tập U có thể lên đến hàng triệu người. Như vậy, trong hệ tư vấn sẽ bàn đến hai thực thể là người dùng (khách hàng) và đối tượng cần tư vấn (sản phẩm, bài viết. Một người dùng sẽ có những quan điểm về các đối tượng đã từng tương tác và nhận được gợi ý từ hệ thống tư vấn về các đối tượng mà họ chưa tương tác tới.
Đầu vào của hệ tư vấn phụ thuộc vào thuật toán của từng loại tư vấn nhìn chung thì nó thường bao gồm [13]: 1- Ratings (còn gọi là điểm – votes): mô tả quan điểm đánh giá của người dùng trên các đối tượng. Điểm thường được biểu diễn bởi các số nguyên (như trong Amazon, nó thuộc [1.5] với ý hiểu, 1 là điểm đánh giá cho đối tượng đó là thấp, 5 là đánh giá cao cho đối tượng đó). Ngoài ra người ta còn chọn mức điểm là 0 (không thích) hay 1 (thích). Đây thường là input cho thuật toán tư vấn bằng phương pháp lọc cộng tác sẽ trình bày chi tiết chương 3.
2-Dữ liệu nhân khẩu học (demographic data): hay còn gọi là hồ sơ (profile) người dùng như các thông tin hiện là: tuổi, nghề nghiệp, giới tính, quê quán. hay các thông tin ẩn như lịch sử các từ khóa tìm kiếm, tần số lặp lại các từ khóa. 3-Nội dung dữ liệu (Content data) dựa trên việc phân tích văn bản của tài liệu liên quan đến các đối tượng được đánh giá bởi người sử dụng. Đầu ra của hệ tư vấn: Các hệ thống tư vấn này sẽ tính toán và dự đoán đối tượng mà khả năng người dùng sẽ thích.
Từ đó đưa ra những gợi ý những đối tượng phù hợp với người dùng nhất mà trước đó họ chưa quan tâm. Để làm được điều này các hệ tư vấn đi xây dựng hồ sơ (Profile) của người dùng. Hồ sơ của người dùng bao gồm thông tin rõ ràng và thông tin ẩn. Những thông tin rõ ràng là những thông tin được người dùng cung cấp cụ thể thông qua việc trả lời các câu hỏi, hay những thể hiện cụ thể như: người dùng mua sản phẩm, người dùng đưa đánh giá cho một sản phẩm, một bản tin nào đó hay sở thích của người dùng là gì? LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 14 Trong hệ tư vấn, độ phù hợp của một đối tượng thường thông qua điểm (rate), ví dụ người dùng A đánh giá bộ phim ― Star war được điểm 7/10.
Tuy nhiên, nhìn chung độ phù hợp có thể là một hàm bất kì tùy thuộc vào ứng dụng cụ thể. Có rất nhiều cách để dự đoán, ước lượng hạng/điểm cho các đối tượng như sử dụng học máy, lí thuyết xấp sỉ, các thuật toán dựa trên kinh nghiệm… C ác hệ thống tư vấn thường được phân thành ba loại dựa trên cách nó dùng để ước lượng hạng của đối tượng tư vấn [19]: Dựa trên nội dung (content-based): người dùng được gợi ý những đối tượng tương tự như các đối tượng từng được họ đánh giá cao. Cộng tác (collaborative): người dùng được gợi ý những đối tượng mà những người cùng sở thích với họ đánh giá cao. Lai ghép (hybrid): kết hợp cả hai phương pháp dựa trên.
Phân loại hệ tư vấn 2. Hệ tư vấn dựa trên nội dung Với phương pháp tư vấn dựa trên nội dung (Content Based – CB), xét S là tập hợp các đối tượng cần tư vấn thì độ phù hợp của người dùng u với đối tượng s S được đánh giá dựa trên độ phù hợp của người dùng u với các đối tượng si trong đó si S và tương tự với s. Ví dụ để gợi ý một cuốn sách cho người dùng u, hệ thống tư vấn sẽ tìm đặc điểm của những cuốn sách từng được u đánh giá cao (theo một số tiêu chí như: tác giả, thể loại, .), sau đó chỉ ra những cuốn sách mới (so với u) tương đồng với sở thích trong quá khứ của u để giới thiệu [1]. Trong phương pháp lọc dựa trên nội dung, hệ thống sẽ phân tích và so sánh nội dung của các đối tượng từ đó đánh giá khả năng người dùng sẽ thích đối tượng đó.
Ngoài ra nó còn so sánh nội dung của đối tượng hay thông tin với sở thích mà người dùng cung cấp. Chẳng hạn người dùng quan tâm tới những thông tin về chứng khoán thì sẽ được tư vấn những bản tin nói về chứng khoán… Hướng tiếp cận dựa trên nội dung bắt nguồn từ những nghiên cứu về thu thập thông tin (IR-Information Retrieval) và lọc thông tin (IF-Information Filtering). Do đó, rất nhiều hệ thống dựa trên nội dung hiện nay tập trung vào tư vấn các đối tượng chứa dữ liệu text như văn bản, tin tức, website… Mỗi đối tượng cần xử lý được biểu diễn bởi một tập hợp đặc trưng, làm cơ sở xác định mức độ tương đồng giữa các đối tượng và giữa đối tượng với tiêu chuẩn gợi ý. Trong phạm vi đối tượng là các dữ liệu văn bản, tập đặc trưng thường là một tập từ khóa (keyword) mang giá trị ý nghĩa của văn bản.
Để rõ hơn ta đặt Content(s) là tập thông tin (tập các đặc trưng) về đối tượng s. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 15 Content(s)=ws=(w1s,w2s,.,wks là trọng số của các từ khóa từ 1 tới k. Các trọng số này thường được xác định bằng độ đo TF-IDF (Term Frequency – Inverse Document Frequency) [1]. Ví dụ Fab [4], một hệ tư vấn website đã biểu diễn nội dung các trang web bằng 100 từ quan trọng nhất.
Tương tự, hệ thống Syskill &Webert [8] biểu diễn văn bản bằng 128 từ có trọng số cao nhất. Đặt profile(u) là hồ sơ về người dùng u, bao gồm các thông tin về sở thích của u. Những thông tin này có được bằng cách phân tích nội dung của các đối tượng từng được u đánh giá (cho điểm) trước đó. Trong đó wiu biểu thị độ quan trọng của từ khóa i với người dùng u.
Trong hệ tư vấn dựa trên nội dung độ phù hợp r(u,s) được xác định bởi công thức: r(u,s)=score(profile(u),contents(s)) Vì cả profile(u) và contents(s) đều có thể biểu diễn bằng vector trọng số thông qua TF-IDF (tương ứng là wc , ws ) nên có thể đo độ tương đồng của chúng bằng độ đo Cosine (sẽ được nghiên cứu phần 3. Ví dụ: nếu u đọc nhiều bài báo thuộc lĩnh vực tin học thì các từ khóa liên quan tới công nghệ (IT, thông tin, phần mềm, dữ liệu.) trong profile(u) sẽ có trọng số cao. Kết quả là với các bài báo s cũng thuộc lĩnh vực này sẽ có độ phù hợp r(u,s) cao hơn với người dùng u. Những tiến bộ so với hướng tiếp cận cũ của IR là do việc sử dụng hồ sơ người dùng (chứa thông tin về sở thích, nhu cầu…).
Hồ sơ này được xây dựng dựa trên những thông tin được người dùng cung cấp trực tiếp (khi trả lời khảo sát) hoặc gián tiếp (do khai phá thông tin từ các giao dịch của người dùng). Tư vấn dựa trên nội dung [30] Bên cạnh các phương pháp IR, hệ tư vấn dựa trên nội dung còn sử dụng nhiều phương pháp học máy khác như: phân lớp Bayes, cây quyết định, mạng nơron nhân tạo… Các phương pháp này khác với các phương pháp của IR ở chỗ nó dựa trên các LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 16 mô hình học được từ dữ liệu nền chứ không tính toán độ lợi thông tin dựa trên các hàm tri thức như Cosine. Ví dụ, dựa trên tập các trang web đã được người dùng đánh giá là có nội dung “tốt” hoặc “xấu” có thể sử dụng phân lớp Bayes để phân loại các trang web chưa được đánh giá. Hạn chế của hệ tư vấn dựa trên nội dung [4] + Gợi ý cho người dùng mới: Đây có thể coi là vấn đề chung của các hệ thống gợi ý.
Khi một người dùng tạo tài khoản mới và chưa tương tác nhiều với hệ thống thì hệ thống không thể hiểu được sở thích của họ dẫn tới kết quả gợi ý không đạt độ chính xác cao.