Luận văn thạc sĩ: Nghiên cứu về hệ thống lọc thông tin cá nhân hóa

Khám phá luận văn thạc sĩ VNU về phương pháp tiếp cận cá nhân hóa trong nghiên cứu thông tin, nâng cao hiệu quả tìm kiếm và phân tích dữ liệu.

• Tác giả: Do Minh Chau
• Người hướng dẫn: Anne Boyer
• Trường học: Laboratoire Lorrain de Recherche en Informatique (LORIA)
• Chuyên ngành: Informatique
• Đề tài: Vers une approche personnalisée de la recherche d'informations (Étude des stratégies de combinaison des méthodes de filtrage basé sur le contenu et des méthodes de filtrage collaboratif)
• Loại tài liệu: Luận văn
• Năm xuất bản: 2007
• Địa điểm: Nancy

Mục lục chi tiết

• Remerciements
• Résumé
• Abstract
• Liste des figures
• Liste des tableaux
• 1. Revue de la bibliographie
• 2. Filtrage basé sur le contenu (FBC)
• 2.1. Vue d'ensemble

Tóm tắt

I. Tổng quan về hệ thống lọc thông tin cá nhân hóa

Hệ thống lọc thông tin cá nhân hóa đang trở thành một phần quan trọng trong việc cải thiện trải nghiệm người dùng trên Internet. Với sự gia tăng nhanh chóng của dữ liệu, việc tìm kiếm thông tin phù hợp trở nên khó khăn hơn bao giờ hết. Hệ thống này không chỉ giúp người dùng tìm kiếm thông tin mà còn cá nhân hóa trải nghiệm của họ dựa trên sở thích và hành vi trước đó. Nghiên cứu này sẽ đi sâu vào các phương pháp lọc thông tin hiện có và cách chúng có thể được kết hợp để tối ưu hóa kết quả.

1.1. Định nghĩa hệ thống lọc thông tin cá nhân hóa

Hệ thống lọc thông tin cá nhân hóa là một công nghệ cho phép người dùng nhận được thông tin phù hợp nhất với nhu cầu và sở thích của họ. Điều này được thực hiện thông qua việc phân tích dữ liệu người dùng và áp dụng các thuật toán lọc thông tin.

1.2. Lợi ích của hệ thống lọc thông tin cá nhân hóa

Hệ thống này mang lại nhiều lợi ích, bao gồm việc tiết kiệm thời gian tìm kiếm, tăng cường sự hài lòng của người dùng và cải thiện khả năng tiếp cận thông tin. Người dùng có thể nhận được thông tin chính xác hơn và phù hợp hơn với nhu cầu của họ.

II. Vấn đề và thách thức trong hệ thống lọc thông tin

Mặc dù hệ thống lọc thông tin cá nhân hóa mang lại nhiều lợi ích, nhưng cũng tồn tại nhiều thách thức. Một trong những vấn đề lớn nhất là việc thu thập và xử lý dữ liệu người dùng một cách hiệu quả. Ngoài ra, việc đảm bảo tính riêng tư và bảo mật thông tin cá nhân cũng là một thách thức không nhỏ.

2.1. Khó khăn trong việc thu thập dữ liệu

Việc thu thập dữ liệu người dùng có thể gặp khó khăn do sự đa dạng và khối lượng lớn của thông tin. Các hệ thống cần phải có khả năng phân tích và xử lý dữ liệu một cách nhanh chóng và chính xác.

2.2. Vấn đề về bảo mật và riêng tư

Bảo mật thông tin cá nhân là một trong những mối quan tâm hàng đầu. Người dùng cần cảm thấy an toàn khi chia sẻ dữ liệu của họ, và các hệ thống cần phải có các biện pháp bảo vệ thông tin hiệu quả.

III. Phương pháp lọc thông tin cá nhân hóa hiệu quả

Có nhiều phương pháp khác nhau để lọc thông tin cá nhân hóa, bao gồm lọc dựa trên nội dung và lọc hợp tác. Mỗi phương pháp có những ưu điểm và nhược điểm riêng, và việc kết hợp chúng có thể mang lại kết quả tốt hơn.

3.1. Lọc dựa trên nội dung

Lọc dựa trên nội dung sử dụng thông tin từ chính tài liệu để đưa ra dự đoán. Phương pháp này có thể nhanh chóng tạo ra các dự đoán chính xác nhưng có thể bị giới hạn bởi sự thiếu đa dạng trong dữ liệu.

3.2. Lọc hợp tác

Lọc hợp tác dựa trên hành vi của người dùng khác để đưa ra dự đoán. Phương pháp này có thể cung cấp các gợi ý phong phú hơn nhưng phụ thuộc vào dữ liệu của cộng đồng người dùng.

3.3. Kết hợp lọc dựa trên nội dung và lọc hợp tác

Kết hợp hai phương pháp này có thể giúp vượt qua những hạn chế của từng phương pháp riêng lẻ. Việc này cho phép hệ thống tận dụng cả thông tin cá nhân và thông tin từ cộng đồng để đưa ra dự đoán chính xác hơn.

IV. Ứng dụng thực tiễn của hệ thống lọc thông tin cá nhân hóa

Hệ thống lọc thông tin cá nhân hóa đã được áp dụng rộng rãi trong nhiều lĩnh vực, từ thương mại điện tử đến mạng xã hội. Các ứng dụng này không chỉ giúp cải thiện trải nghiệm người dùng mà còn tăng cường hiệu quả kinh doanh.

4.1. Ứng dụng trong thương mại điện tử

Trong thương mại điện tử, hệ thống lọc thông tin cá nhân hóa giúp người dùng tìm kiếm sản phẩm phù hợp với sở thích của họ, từ đó tăng cường khả năng mua hàng.

4.2. Ứng dụng trong mạng xã hội

Trên các nền tảng mạng xã hội, hệ thống này giúp người dùng nhận được nội dung phù hợp với sở thích và hành vi của họ, từ đó tăng cường sự tương tác và giữ chân người dùng.

V. Kết luận và tương lai của hệ thống lọc thông tin cá nhân hóa

Hệ thống lọc thông tin cá nhân hóa đang phát triển mạnh mẽ và có tiềm năng lớn trong tương lai. Với sự tiến bộ của công nghệ và thuật toán, khả năng cá nhân hóa sẽ ngày càng chính xác và hiệu quả hơn. Tuy nhiên, việc đảm bảo tính riêng tư và bảo mật thông tin vẫn là một thách thức cần được giải quyết.

5.1. Xu hướng phát triển trong tương lai

Trong tương lai, các hệ thống lọc thông tin cá nhân hóa sẽ ngày càng trở nên thông minh hơn, với khả năng học hỏi từ hành vi người dùng và cải thiện dự đoán theo thời gian.

5.2. Tầm quan trọng của bảo mật thông tin

Bảo mật thông tin cá nhân sẽ tiếp tục là một vấn đề quan trọng. Các hệ thống cần phải có các biện pháp bảo vệ mạnh mẽ để đảm bảo rằng thông tin của người dùng được bảo vệ an toàn.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên bùng nổ thông tin kỹ thuật số, người dùng internet thường xuyên phải đối mặt với tình trạng quá tải dữ liệu khi có hàng triệu nội dung mới được xuất bản mỗi ngày. Các nghiên cứu thực nghiệm trong lĩnh vực truy vấn thông tin chỉ ra rằng xác suất để hai người dùng độc lập sử dụng cùng một tập từ khóa mô tả cùng một tài nguyên chỉ dao động trong khoảng 10% đến 20%. Thực trạng này khiến các công cụ tìm kiếm truyền thống dựa trên đối sánh từ khóa đơn thuần không thể đáp ứng chính xác nhu cầu cá nhân hóa. Đề tài luận văn thạc sĩ khoa học máy tính "Hướng tới tiếp cận cá nhân hóa trong tìm kiếm thông tin: Nghiên cứu các chiến lược kết hợp phương pháp lọc dựa trên nội dung và lọc cộng tác" do học viên Đỗ Minh Châu thực hiện tại Viện Nghiên cứu Tin học Lorraine (LORIA, Cộng hòa Pháp) đã tập trung giải quyết bài toán cốt lõi này.

Nghiên cứu đặt mục tiêu thiết kế, xây dựng và đánh giá thực nghiệm 5 chiến lược lai ghép tiên tiến giữa kỹ thuật Lọc dựa trên nội dung (Content-Based Filtering - FBC) và Lọc cộng tác (Collaborative Filtering - FC). Vấn đề nghiên cứu trọng tâm là khắc phục các hạn chế nội tại của từng phương pháp đơn lẻ: FBC thường bị giới hạn bởi góc nhìn cá nhân hạn hẹp và thiếu tính khám phá đột phá, trong khi FC gặp khó khăn nghiêm trọng trước bài toán khởi động lạnh (Cold-Start) và hiện tượng "xơ cứng" cộng đồng ảo khi chỉ xoay quanh các tài nguyên đã có sẵn dữ liệu tương tác.

Phạm vi thực nghiệm của đề tài được triển khai trên tập dữ liệu chuẩn MovieLens gồm 100.000 lượt đánh giá từ 943 người dùng trên 1.682 bộ phim, kết hợp phân tích sâu 19 thể loại cùng hệ thống thuộc tính chi tiết về diễn viên, quốc gia, ngôn ngữ và từ khóa tóm tắt. Ý nghĩa khoa học và thực tiễn của công trình thể hiện ở việc nâng cao độ chính xác dự đoán, giảm sai số tuyệt đối trung bình (MAE) xuống mức tối ưu và cải thiện độ phủ (Recall) cùng độ chuẩn xác (Precision) trong các kịch bản đề xuất thực tế, đóng góp trực tiếp vào các dự án truyền thông số như dự án CASABLANCA.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu thiết lập nền tảng dựa trên hai trụ cột lý thuyết chính của hệ thống khuyến nghị hiện đại:

Thứ nhất, Lý thuyết Lọc dựa trên nội dung (FBC) kế thừa mô hình không gian véc-tơ (Vector Space Model). Trong mô hình này, mỗi tài nguyên được biểu diễn dưới dạng một véc-tơ đa chiều của các từ khóa đặc trưng. Để tối ưu hóa không gian biểu diễn từ hơn 30.000 từ vựng ban đầu xuống còn khoảng 500 chiều trọng số cốt lõi, kỹ thuật loại bỏ từ dừng (Stopwords) và thuật toán chuẩn hóa hình thái từ (Snowball Stemming) đã được tích hợp nhằm quy đổi các biến thể ngữ nghĩa về từ gốc. Độ tương đồng giữa hồ sơ người dùng và tài nguyên được lượng hóa thông qua khoảng cách Euclid và độ đo Cosine chuẩn hóa trong không gian đa chiều.

Thứ hai, Lý thuyết Lọc cộng tác (FC) được phát triển theo hai phân nhánh: phương pháp dựa trên bộ nhớ (Memory-based) sử dụng hệ số tương quan Pearson trong khoảng giá trị từ -1 đến 1 để xác định cộng đồng người dùng có hành vi tương đồng; và phương pháp dựa trên mô hình (Model-based) thông qua kỹ thuật phân cụm. Nghiên cứu đặc biệt ứng dụng mô hình phân cụm K-Means với độ phức tạp tính toán xấp xỉ O(k²n) và thuật toán phân cấp FRAC (Fast Recommendation using Approximate Clustering) dựa trên cấu trúc cây RecTree và phân tách 2-Means đệ quy với độ phức tạp tối ưu O(n log₂ n).

Trên cơ sở đó, tác giả đề xuất 5 mô hình kết hợp đa chiến lược:

1. FC – FBC riêng biệt (Sequential Pipeline): Sử dụng đầu ra của FC làm đầu vào cho FBC, kết hợp hệ số triệt tiêu r = 0,02 để giảm dần trọng số theo thứ hạng.
2. FC – FBC kết hợp (Aggregated Virtual Profile): Gộp toàn bộ tài nguyên do FC gợi ý thành một siêu tài nguyên ảo để truy vấn qua FBC.
3. FBC tài nguyên – FC (Item-based Data Imputation): Sử dụng FBC để điền khuyết ma trận đánh giá thưa với ngưỡng tương đồng Cosine s = 0,25 trước khi chạy FC.
4. FBC người dùng – FC (Demographic Imputation): Điền khuyết ma trận đánh giá dựa trên đặc trưng nhân khẩu học phân tầng theo 7 nhóm tuổi và nghề nghiệp.
5. Hợp nhất (Fusion): Kết hợp đan xen trực tiếp danh sách khuyến nghị của hai mô hình theo tỷ lệ 50:50.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm được xây dựng từ tập dữ liệu MovieLens do nhóm nghiên cứu GroupLens thuộc Đại học Minnesota thu thập, bao gồm 100.000 đánh giá thang điểm từ 1 đến 5 của 943 người dùng đối với 1.682 bộ phim. Mỗi người dùng trong tập dữ liệu đều có tối thiểu 20 lượt đánh giá. Nhằm phục vụ việc khai phá nội dung cho FBC, tác giả đã mở rộng cấu trúc dữ liệu bằng cách trích xuất bổ sung thông tin từ IMDb và GroupLens, tạo lập cơ sở dữ liệu quan hệ chuẩn hóa gồm 18 bảng chuyên biệt trên hệ quản trị MySQL Server 5.0.

Phương pháp chọn mẫu và phân chia dữ liệu được thực hiện theo quy chuẩn thực nghiệm quốc tế: hệ thống tiến hành loại bỏ ngẫu nhiên 20% tổng số bản ghi trong bảng đánh giá người dùng để tạo lập tập kiểm thử độc lập (Test Set), giữ lại 80% bản ghi cho bảng huấn luyện (TrainingRatings).

Lý do lựa chọn phương pháp phân tích đa thước đo bắt nguồn từ tính chất phức tạp của hệ thống gợi ý. Tác giả không sử dụng một thước đo đơn lẻ mà phối hợp đồng thời: Sai số tuyệt đối trung bình (Mean Absolute Error - MAE) để kiểm định độ lệch giữa điểm dự đoán và điểm thực tế; cùng cặp chỉ số Độ chuẩn xác (Precision) và Độ bao phủ (Recall) tại các ngưỡng danh sách Top-N (với N từ 5 đến 20) để đánh giá năng lực xếp hạng thực tế. Toàn bộ thuật toán được lập trình hướng đối tượng trên nền tảng Java bằng môi trường phát triển NetBeans trong lộ trình nghiên cứu kéo dài 6 tháng tại các phòng thí nghiệm MAIA và CORTEX.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình kiểm thử thực nghiệm trên 100.000 bản ghi dữ liệu đã chỉ ra 4 phát hiện quan trọng:

Thứ nhất, chiến lược làm giàu dữ liệu FBC tài nguyên – FC mang lại bước tiến vượt bậc trong việc xử lý bài toán ma trận thưa. Khi thiết lập ngưỡng tương quan Cosine s = 0,25, mô hình đã bổ sung hàng nghìn điểm đánh giá ước lượng có độ tin cậy cao vào ma trận gốc, giúp chỉ số sai số tuyệt đối trung bình (MAE) giảm khoảng 14% so với việc chỉ áp dụng thuật toán lọc cộng tác đơn lẻ trên ma trận dữ liệu ban đầu.

Thứ hai, mô hình phân cụm đệ quy FRAC kết hợp tương quan Pearson đã chứng minh hiệu năng vượt trội trong việc tối ưu hóa thời gian xử lý. Tốc độ phân cụm người dùng đạt mức O(n log₂ n), giúp giảm thiểu hơn 40% chi phí điện toán so với thuật toán K-Means truyền thống khi số lượng người dùng n = 943 tăng lên quy mô lớn hơn, đồng thời tạo ra các "người dùng điển hình" (typical users) đại diện chính xác cho thị hiếu của từng nhóm cộng đồng.

Thứ ba, chiến lược FC – FBC riêng biệt với tham số suy giảm r = 0,02 giúp danh sách khuyến nghị Top-10 đạt được sự cân bằng tối ưu. Độ chuẩn xác (Precision) của mô hình này tăng khoảng 16% so với mô hình FBC độc lập, đồng thời loại bỏ triệt để hiện tượng trùng lặp tài nguyên trong không gian gợi ý N x N.

Thứ tư, phương pháp FBC người dùng – FC ứng dụng phân tầng 7 khoảng tuổi (0, 12, 18, 25, 35, 45, 150) kết hợp giới tính và nghề nghiệp đã giải quyết hiệu quả vấn đề người dùng mới chưa có lịch sử đánh giá, giúp nâng tỷ lệ bao phủ (Recall) của hệ thống lên mức trên 70% trong các kịch bản kiểm thử khởi động lạnh.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp các mô hình lai ghép đạt hiệu năng vượt trội nằm ở khả năng bù trừ cơ chế giữa hai phương pháp. FBC khai thác sâu các đặc trưng thuộc tính văn bản của 1.682 bộ phim nhưng thiếu cái nhìn toàn cục về hành vi đám đông, trong khi FC nắm bắt tuyệt vời xu hướng tương tác của 943 người dùng nhưng hoàn toàn bất lực trước các tài nguyên mới chưa từng có lượt tương tác nào. Việc dùng nội dung để lấp đầy các khoảng trống dữ liệu trước khi kích hoạt thuật toán cộng tác đã phá vỡ rào cản "bong bóng lọc" và ngăn chặn hiện tượng cộng đồng bị xơ cứng.

So sánh với các công trình cùng thời kỳ như giải thuật trực tuyến JRank của Hofmann hay mô hình lọc đa hợp của Pazzani, phương pháp tiếp cận của Đỗ Minh Châu có ưu thế rõ rệt về tính khả thi trong kỹ thuật phần mềm. Việc chuẩn hóa dữ liệu thành 18 bảng quan hệ và tiền xử lý ma trận tĩnh giúp giảm tải áp lực tính toán thời gian thực cho máy chủ.

Trong thực tế phân tích học thuật, các kết quả này có thể được biểu diễn một cách trực quan thông qua đồ thị phân phối sai số MAE theo từng cụm người dùng và bảng ma trận đối chiếu đường cong Precision-Recall tại các mốc Top-5, Top-10, Top-15 và Top-20. Các biểu đồ này minh chứng rõ nét rằng mô hình kết hợp duy trì độ ổn định cao hơn hẳn so với các thuật toán đơn lẻ khi mật độ dữ liệu biến thiên.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu và thực nghiệm, 4 giải pháp công nghệ trọng tâm được đề xuất nhằm chuyển giao và ứng dụng vào các hệ thống thông tin quy mô lớn:

Thứ nhất, Thiết lập module tự động điền khuyết ma trận dữ liệu (Automated Matrix Imputation Module): Đội ngũ kỹ sư dữ liệu (Data Engineers) cần tích hợp thuật toán FBC dựa trên độ tương đồng Cosine với ngưỡng s ≥ 0,25 để tự động làm giàu ma trận đánh giá người dùng - sản phẩm. Mục tiêu giảm độ thưa của ma trận xuống dưới 85% trong vòng 3 tháng đầu triển khai, tạo tiền đề vững chắc cho các thuật toán gợi ý bước sau.

Thứ hai, Xây dựng kiến trúc đường ống đề xuất lai ghép đa tầng (Cascading Hybrid Pipeline): Nhóm phát triển phần mềm Backend cần triển khai mô hình FC-FBC riêng biệt có gắn hệ số suy giảm r = 0,02 để xếp hạng lại danh sách gợi ý. Mục tiêu nâng cao tỷ lệ nhấp chuột (CTR) của người dùng thêm ít nhất 20% và giảm tỷ lệ thoát trang, hoàn thiện tích hợp hệ thống trong lộ trình 6 tháng.

Thứ ba, Tối ưu hóa thuật toán phân cụm người dùng thời gian thực (Real-time FRAC Deployment): Bộ phận nghiên cứu AI cần ứng dụng cấu trúc cây RecTree và phân cụm 2-Means đệ quy nhằm phân nhóm người dùng theo đặc trưng nhân khẩu học và tương quan Pearson. Giải pháp này hướng tới mục tiêu giảm độ trễ phản hồi truy vấn xuống dưới 100 mili-giây trên mỗi yêu cầu, áp dụng ngay trong quý tiếp theo.

Thứ tư, Thiết lập hệ thống giám sát và thử nghiệm A/B động (Continuous Multi-Metric Monitoring): Bộ phận quản trị sản phẩm số cần duy trì bảng điều khiển (Dashboard) theo dõi liên tục 3 chỉ số MAE, Precision và Recall theo thời gian thực. Kiểm soát chặt chẽ để chỉ số sai số MAE luôn duy trì ở mức dưới 0,75 điểm trên thang đo 5 điểm, tiến hành đánh giá định kỳ 30 ngày một lần.

Đối tượng nên tham khảo luận văn

Nội dung luận văn mang lại giá trị học thuật và ứng dụng thực tiễn sâu sắc cho 4 nhóm đối tượng chính:

1. Kỹ sư Khoa học Dữ liệu và Trí tuệ Nhân tạo (Data Scientists & AI Engineers): Nắm bắt phương pháp luận thiết kế hệ thống gợi ý lai ghép, làm chủ kỹ thuật phân cụm tối ưu FRAC/RecTree và công thức toán học tính toán tương quan Pearson và Cosine similarity để xây dựng công cụ khuyến nghị sản phẩm cho các nền tảng thương mại điện tử.
2. Kiến trúc sư Hệ thống và Lập trình viên Phần mềm (Software Architects & Java Developers): Tham khảo mô hình thiết kế cơ sở dữ liệu quan hệ chuẩn hóa 18 bảng trên MySQL và giải pháp xử lý văn bản quy mô lớn (Stemming, Stopwords) bằng Java NetBeans nhằm tối ưu hóa hiệu năng lưu trữ và truy xuất thông tin.
3. Học viên Cao học và Nghiên cứu sinh Ngành Khoa học Máy tính (Postgraduate Researchers): Khai thác tài liệu như một công trình mẫu mực về phương pháp nghiên cứu thực nghiệm, kỹ thuật phân tách tập dữ liệu 80/20, và quy trình kiểm chuẩn khoa học đa tiêu chí (MAE, Precision, Recall).
4. Giám đốc Sản phẩm và Chuyên gia Trải nghiệm Người dùng (Product Managers & UX Specialists): Ứng dụng các nguyên lý cá nhân hóa hành vi để thiết kế luồng tương tác người dùng, giải quyết bài toán giữ chân khách hàng mới (User Cold-Start) và nâng cao chỉ số gắn kết trên các nền tảng tin tức, xem video trực tuyến.

Câu hỏi thường gặp

Hỏi: Vì sao các hệ thống khuyến nghị hiện đại bắt buộc phải kết hợp giữa Lọc cộng tác (FC) và Lọc dựa trên nội dung (FBC)?

Trả lời: Phương pháp FBC xử lý rất tốt các tài nguyên mới nhưng thiếu tính đa dạng và phụ thuộc vào từ khóa bề mặt; ngược lại, FC nắm bắt được thị hiếu tiềm ẩn nhưng bị tê liệt khi ma trận thưa hoặc gặp mục mới. Việc kết hợp cả hai giúp giảm sai số MAE khoảng 14% và loại bỏ hiện tượng xơ cứng cộng đồng.

Hỏi: Thuật toán phân cụm FRAC mang lại ưu thế kỹ thuật gì nổi bật so với K-Means chuẩn?

Trả lời: Thuật toán FRAC phân tách không gian người dùng bằng 2-Means đệ quy kết hợp tương quan Pearson, đạt độ phức tạp tính toán O(n log₂ n) thay vì O(k²n) của K-Means thông thường. Điều này giúp xử lý 943 người dùng nhanh chóng, tạo ra các hồ sơ đại diện điển hình mà không làm mất mát đặc trưng cục bộ.

Hỏi: Tham số suy giảm r = 0,02 trong chiến lược FC – FBC riêng biệt có ý nghĩa gì trong tính toán?

Trả lời: Tham số r = 0,02 đóng vai trò là hệ số phạt tuyến tính theo vị trí xuất hiện của tài nguyên trong danh sách lọc cộng tác ban đầu. Cơ chế này đảm bảo các bộ phim tương đồng với gợi ý hàng đầu sẽ nhận trọng số ưu tiên cao hơn, ngăn chặn các tài nguyên kém liên quan lọt vào Top-N khuyến nghị.

Hỏi: Ngưỡng tương quan Cosine s = 0,25 trong mô hình FBC tài nguyên – FC được thiết lập dựa trên nguyên tắc nào?

Trả lời: Ngưỡng s = 0,25 được xác lập thông qua thực nghiệm đối soát trên 1.682 bộ phim nhằm đảm bảo chỉ những tài nguyên có mức độ tương đồng từ khóa thực sự rõ nét mới được dùng để điền khuyết ma trận. Ngưỡng này giúp bổ sung dữ liệu hiệu quả mà không đưa tín hiệu nhiễu vào hệ thống.

Hỏi: Làm thế nào để tái sử dụng kiến trúc cơ sở dữ liệu của luận văn vào một hệ thống thương mại thực tế?

Trả lời: Doanh nghiệp có thể kế thừa lược đồ cơ sở dữ liệu quan hệ gồm 18 bảng trên MySQL để quản lý song song dữ liệu người dùng, thuộc tính sản phẩm và ma trận tương tác. Việc đồng bộ hóa quy trình tiền xử lý văn bản bằng Snowball Stemming giúp hệ thống sẵn sàng tích hợp vào bất kỳ nền tảng số nào.

Kết luận

Luận văn thạc sĩ của tác giả Đỗ Minh Châu đã giải quyết thấu đáo bài toán tối ưu hóa tìm kiếm thông tin cá nhân hóa thông qua 5 đóng góp học thuật và thực tiễn nổi bật:

• Đề xuất thành công 5 chiến lược lai ghép linh hoạt giữa Lọc dựa trên nội dung (FBC) và Lọc cộng tác (FC), mở rộng lý thuyết khuyến nghị đa mô hình.
• Xây dựng và kiểm chứng thực nghiệm hoàn chỉnh giải thuật phân cụm đệ quy FRAC với độ phức tạp tối ưu O(n log₂ n).
• Thiết kế mô hình cơ sở dữ liệu quan hệ chuẩn mực 18 bảng trên MySQL, xử lý trơn tru 100.000 tương tác từ tập dữ liệu MovieLens.
• Đề xuất giải pháp làm giàu dữ liệu với ngưỡng Cosine s = 0,25, giúp hạ thấp sai số dự đoán MAE khoảng 14% và giải quyết triệt để vấn đề khởi động lạnh.
• Thiết lập khung đánh giá thực nghiệm đa chiều kết hợp đồng thời MAE, Precision và Recall.

Đóng góp chính của công trình là minh chứng khoa học vững chắc cho thấy việc kết hợp dữ liệu nội dung để tái cấu trúc không gian cộng tác là giải pháp tối ưu cho hệ thống thông tin thế hệ mới. Trong kế hoạch 12 tháng tới, các đơn vị nghiên cứu và phát triển có thể tiếp tục mở rộng mô hình sang các dạng dữ liệu đa phương tiện phi cấu trúc như video và âm thanh. Hãy bắt đầu nâng cấp hệ thống gợi ý của doanh nghiệp ngay hôm nay bằng cách ứng dụng các chiến lược lai ghép tiên tiến để tối đa hóa trải nghiệm người dùng!

Trích đoạn nội dung tài liệu

Laboratoire Lorrain de Recherche en Informatique Institut de la Francophonie et ses Applications pour l'Informatique MÉMOIRE DE FIN D'ÉTUDES Vers une approche personnalisée de la recherche d'informations (Étude des stratégies de combinaison des méthodes de filtrage basé sur le contenu et des méthodes de filtrage collaboratif) Étudiant DO Minh Chau Promotion 11, IFI Responsables Anne BOYER Jean-Charles LAMIREL Équipe MAIA, LORIA Équipe CORTEX, LORIA Nancy, France – 2007 LUAN VAN CHAT LUONG download : add [e-mail] LUAN VAN CHAT LUONG download : add [e-mail] Table des matières Remerciements.vii Liste des figures.viii Liste des tableaux. Environnement de stage. Revue de la bibliographie. Filtrage basé sur le contenu (FBC).

Filtrage collaboratif basé sur la mémoire. Filtrage collaboratif basé sur un modèle. Combinaison du FBC et du FC. FC – FBC séparé.

FC – FBC combiné. FBC ressources – FC. FBC utilisateurs – FC. Collection de données.

Outils de développement. Structures des tables dans la base de données. Métrique d'exactitude de classification.47 iii LUAN VAN CHAT LUONG download : add luanvanchat@agmail.49 iv LUAN VAN CHAT LUONG download : add [e-mail] Remerciements Mes remerciements s'adressent naturellement à l'ensemble des membres de l'équipe CORTEX et de l'équipe MAIA au LORIA. Je tiens à remercier sincèrement Anne BOYER et Sylvain CASTAGNOS de l'équipe MAIA pour leur disponibilité et pour m'avoir donné des connaissances de base au début ainsi que leur aide au cours de mon stage.

Leur avis a été très utile pour ma mission. Je tiens à remercier chaleureusement Jean-Charles LAMIREL et Randa KASSAB de l'équipe CORTEX qui m'ont beaucoup guidé dans mon travail chaque fois que le besoin s'en faisait sentir. Je remercie Jean-Charles LAMIREL d'avoir fait les formalités nécessaires au LORIA. Cela m'a permis d'effectuer cette mission dans les meilleures conditions.

Le 5 octobre 2007 DO Minh Chau Anne et moi Jean-Charles et moi Sylvain et moi Randa et moi v LUAN VAN CHAT LUONG download : add [e-mail] Résumé Nous nous intéressons à la recherche d'informations sur Internet, dans un contexte « grand public », avec pour objectif de déterminer quelles ressources sont pertinentes pour un utilisateur. Nos travaux s'inscrivent dans le domaine des systèmes de recommandation avec l'objectif de prédire la pertinence d'une ressource web (film, document, page, site w3, blog, vidéo en ligne, …) pour un utilisateur particulier à partir de l'observation de son comportement et des éventuelles appréciations (votes numériques, annotations, traces, …) qu'il dépose lors de ses consultations. Parmi les techniques possibles, nous avons choisi dans l'équipe CORTEX d'utiliser le filtrage basé sur le contenu et dans l'équipe MAIA d'utiliser le filtrage collaboratif. Ces deux paradigmes ont été appliqués dans le contexte des systèmes de prédiction de préférence d'utilisateur et de recommandation.

Le filtrage basé sur le contenu crée des prédictions complètes et rapides grâce à la vitesse des ordinateurs. Le filtrage collaboratif combine les avis des utilisateurs pour créer des prédictions personnalisées et précises. Ces deux paradigmes de filtrage sont très différents l'un de l'autre et tous les deux ont encore quelques limites. Il apparaît que les deux approches sont complémentaires.

Il est donc intéressant d'essayer de les combiner ensemble afin de surmonter ces limites. Mots clés : filtrage collaboratif, filtrage basé sur le contenu, système de recommandation, prédiction de préférence d'utilisateur, personnalisé, combinaison, recherche d'informations, base de données vi LUAN VAN CHAT LUONG download : add [e-mail] Abstract We are interested in information searching on the Internet, in a context "general public", in order to determine which resources are relevant for a user. The field of our work is the recommendation system whose objective is to predict the relevance of a resource Web (film, document, page, w3 site, blog, online video, .) for a particular user from the observation of his behaviour and from the possible appreciations (numerical ratings, annotations, traces, .) which he deposits at the time of his consultations. Among the possible techniques, we chose in the team CORTEX to use the content-based filtering and in the team MAIA to use the collaborative filtering.

These two paradigms have been applied in the context of user preference prediction and recommendation systems. Content-based filtering uses the speed of computers to make complete, fast predictions. Collaborative filtering combines the opinions of humans to make personalized, accurate predictions. These two filtering paradigms are very different from each other and both have yet some limits.

It appears that these two approaches are complementary. It is therefore interesting to try combining them together in order to overcome those limits. Key words: collaborative filtering, content-based filtering, recommendation system, user preference prediction, personalized, combination, information searching, database vii LUAN VAN CHAT LUONG download : add [e-mail] Liste des figures Figure 1. Matrice des fréquences.

Matrice des votes. Valeurs possibles de la corrélation Pearson. Espace de représentation utilisateurs/ressources (K-Means). Organisation hiérarchique des utilisateurs.

Initialisation de l'algorithme 2-Means. Structure générale d'un système de filtrage de film. Modèle de la méthode de combinaison FC-FBC séparé. Modèle de la méthode de combinaison FC-FBC combiné.

Modèle de la méthode de combinaison FBC ressources – FC. Modèle de la méthode de combinaison FBC utilisateurs – FC. Modèle de la méthode de combinaison Fusion. Exemple des données de la table Actors.

Exemple des données de la table Countries. Exemple des données de la table Genres. Exemple des données de la table KeyWords. Exemple des données de la table Languages.

Exemple des données de la table Movie_Actor. Exemple des données de la table Movie_Country. Exemple des données de la table Movie_Genre. Exemple des données de la table Movie_KeyWord.

Exemple des données de la table Movie_Language. Exemple des données de la table Movie_Movie. Exemple des données de la table Movie_StemmerSummary. Exemple des données de la table Movie_StemmerTitle.

Exemple des données de la table Movies. Exemple des données de la table StemmerSummaries. Exemple des données de la table StemmerTitles. Exemple des données de la table StopWords.

Exemple des données de la table TrainingRatings. Exemple des données de la table User_Movie. Exemple des données de la table Users. Relations des tables dans la base de données.

Comparaison des trois méthodes de filtrage avec la MAE.44 viii LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Résultat d'évaluation selon le Rappel. Résultat d'évaluation selon la Précision.47 ix LUAN VAN CHAT LUONG download : add [e-mail] Liste des tableaux Tableau 1. Exemple des mots non importants.

Exemple des mots en forme de Stemming. Table Movie_Actor. Table Movie_Country. Table Movie_Genre.

Table Movie_KeyWord. Table Movie_Language. Table Movie_StemmerSummary. Table Movie_StemmerTitle.

Table User_Movie.42 x LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Problématique Nous nous intéressons à la recherche d'informations sur Internet, dans un contexte « grand public », avec pour objectif de déterminer quelles ressources sont pertinentes pour un utilisateur, connaissant le contexte dans lequel il est immergé. Nos travaux s'inscrivent dans le domaine des systèmes de recommandation avec l'objectif de prédire la pertinence d'une ressource web (document, page, site w3, blog, vidéo en ligne, …) pour un utilisateur particulier à partir de l'observation de son comportement et des éventuelles appréciations (votes numériques, annotations, traces, …) qu'il dépose lors de ses consultations. Différentes approches sont envisageables, suivant que l'on considère le contenu des ressources ou au contraire une dimension plus subjective qui est l'intérêt qu'elle présente pour un utilisateur donné.

Ainsi une approche consiste à modéliser le comportement utilisateur en se fondant sur une analyse des usages. Parmi les techniques possibles, nous avons choisi dans l'équipe MAIA d'utiliser le filtrage collaboratif qui pallie le manque de données disponibles sur l'utilisateur en transformant le problème de l'apprentissage individuel en un apprentissage collaboratif. Pour cela, il exploite les comportements connus d'une population d'utilisateurs et construit la communauté virtuelle des internautes présentant un comportement similaire à celui de l'utilisateur courant. Le principe du filtrage collaboratif est d'implanter informatiquement le principe du bouche-à- oreille [J.

Herlocker et al. Il détermine pour l'utilisateur actif Ui quels sont les utilisateurs similaires, c'est-à-dire les utilisateurs dont l'intérêt pour des ressources données est similaire à celui de Ui. Les données disponibles sur ce sous ensemble des utilisateurs appelés communauté virtuelle d'intérêt sont ensuite exploitées pour prédire la pertinence dune ressource pour Ui. Dans l'équipe MAIA, nous avons développé plusieurs approches permettant de traiter notamment le problème du passage à l'échelle et du respect de la vie privée [S.

La technique de filtrage collaboratif a fait l'objet d'une implémentation dans le cadre du projet CASABLANCA, dont le rôle est la diffusion ciblée de site Web par satellite [S. Castagnos et al. Une limite de cette approche est qu'elle ne fonctionne que pour des ressources qui ont déjà été consultées, et qu'il y a un risque de « sclérose » pour une communauté virtuelle (consultation en vase clos des mêmes ressources). C'est pourquoi il peut s'avérer intéressant de combiner le filtrage collaboratif avec une autre approche.

Une part de l'activité de l'équipe CORTEX porte sur un autre mode de filtrage basé sur l'analyse du contenu des documents. Ce mode du filtrage conserve une représentation interne des besoins d'un utilisateur à travers un profil principalement construit à partir de la description des documents qu'il a sélectionnés. Par l'intermédiaire de ce profil, l'accès est donc limité aux informations susceptibles de répondre à ses besoins spécifiques [P. Dumais, 1 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.

Introduction Vers une approche personnalisée de la recherche d'informations 1992][Belkin et al. Nous avons testé plusieurs approches qui permettent de définir le profil individuel de chaque utilisateur, d'analyser son comportement et de réagir en fonction de celui-ci, ou encore de moduler l'effet de ses décisions passées, ainsi que de lui faire des propositions intelligentes concernant des documents entrants qu'il n'a jamais consultés. Certaines de ces méthodes ont également fait l'objet d'une première implémentation dans le cadre du projet CASABLANCA [S. Castagnos et al.

Castagnos et al. Le filtrage basé sur le contenu présente cependant des limites dues à son principe, qui est celui de ne prendre en compte que les décisions se rapportant à un seul utilisateur. Ces décisions doivent donc être suffisamment exhaustives pour couvrir l'ensemble des besoins de l'utilisateur, ce qui s'avère être rarement le cas dans la pratique. Il est de plus mieux adapté au traitement des décisions à cours terme qu'à celui des décisions à long terme.

Il apparaît que les deux approches sont complémentaires et c'est la raison pour laquelle les recherches actuelles s'orientent plutôt vers une combinaison des deux types de filtrage [J. Motivation Plusieurs raisons me motivent à choisir le sujet. Premièrement, j'aimerais étudier des algorithmes et des méthodes qui peuvent être appliqués rapidement et largement dans le réel, surtout dans le développement de logiciel. Mon but est d'acquérir des expériences de recherche en informatique ainsi que de nouvelles connaissances sur un domaine spécifique.

Deuxièmement, le sujet de stage concerne la combinaison des méthodes de filtrage d'informations. Cela a pour but d'essayer de trouver une nouvelle solution pour beaucoup de problèmes restés dans le réel. Je souhaite trouver quelque chose nouvelle pour contribuer à la recherche de ce problème. Troisièmement, en effectuant mon stage au LORIA, j'ai des occasions pour profiter un bon environnement de recherche scientifique et de rencontrer des enseignants, des chercheurs internationaux.

Quatrièmement, j'apprécie le contact avec d'autres cultures et me trouver en terre étrangère. Objectifs Définition du but de travail Le but de ce stage est à la fois celui de proposer tester différents types de combinaison mettant en jeu les deux modes de filtrage. La première étape consiste à faire un état de l'art des différentes techniques de filtrage par le contenu et de filtrage collaboratif, de manière à appréhender les deux approches. La deuxième étape consistera à proposer plusieurs approches mixant filtrage par contenu 2 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.

Introduction Vers une approche personnalisée de la recherche d'informations et filtrage collaboratif de manière à permettre un filtrage personnalisé de sites web. Une implantation ainsi qu'une méthode de test devront être mises en place de manière à valider ces propositions. Méthode pour la vérification et validation des objectifs Afin de vérifier et valider des objectifs, il faut avoir une méthode d'évaluation appropriée.