Chương 1: Giới thiệu tổng quan về phương pháp phân tích hàm ý thống kê, sự biến thiên hàm ý thống kê và trường hàm ý. Nghiên cứu các mô hình tư vấn, các vấn đề gặp phải trong lĩnh vực nghiên cứu hệ tư vấn đặc biệt là hệ tư vấn dựa trên khai thác luật cùng các mô hình đề xuất của luận văn. Chương 2: Trình bày mô hình tư vấn dựa trên khai thác luật với sự biến thiên hàm ý (chỉ số hàm ý thống kê hoặc cường độ hàm ý) trong trường hàm ý, thông qua việc tiếp cận cách sử dụng khung khai thác độ hỗ trợ và độ tin cậy để sinh luật sau đó dùng độ biến thiên của chỉ số hàm ý hoặc cường độ hàm ý trong trường hàm ý để lọc ra một tập luật kết hợp mạnh có mức độ hàm ý phù hợp. Ngoài ra để mở rộng bài toán cho dữ liệu phi nhị phân cũng như để khắc phục hơn nữa các nhược điểm của mô hình tư vấn dựa trên khai thác luật kết hợp, mô hình tư vấn dựa trên trường hàm ý cũng được đề xuất trong chương này.
Chương 3: Trình bày việc tổ chức các thực nghiệm để đánh giá các mô hình đề xuất ở Chương 2. Phần thực nghiệm được triển khai trên hai tập dữ liệu nhị phân (MSWEB) và phi nhị phân (Movielens) và so sánh kết quả với các mô hình tư vấn hiệu quả khác. Phần kết luận: trình bày các kết quả nghiên cứu cũng như các hướng nghiên cứu phát triển. Mối quan hệ giữa các Chương được thể hiện trong Hình 0-1 Chương 1 – Tổng Quan về trường hàm ý và hệ tư vấn Phân tích hàm ý thống kê, các độ đo hàm Hệ tư vấn - Tổng quan, đánh giá và các kỹ ý thống kê, biến thiên hàm ý và trường thuật xây dựng hệ tư vấn hàm ý Các nghiên cứu hệ tư vấn ứng dụng phân tích Các vấn đề của hệ tư vấn, đặc biệt hệ tư hàm ý thống kê và các vấn đề vấn dựa trên luật kết hợp Đề xuất mô hình hệ tư vấn dựa trên trường hàm ý thống kê Chương 2 – Các mô hình tư Chương 3 – Thực Phân tích,tiền Mô hình tư vấn: Khung khai thác xử lý và phân luật kết hợp và mô hình tư vấn lọc cộng tác dựa trên biến thiên hàm ý Thực nghiệm vấn dựa trên biến Hình 10-1Mối quan hệ á chương trong luận Mô hình tư vấn: Khung khai thác luật hàm ý và mô hình tư vấn dựa trên Thực nghiệm vấn trường hàm ý thống kê dựa trên trường hàm K ết Kết quả và đóng góp của luận luận Hướng phát triển của luận án án Hình 0-1 Mối quan hệ giữa các chương trong luận án CHƯƠNG 1.
TỔNG QUAN VỀ TRƯỜNG HÀM Ý VÀ HỆ TƯ VẤN Chương này trình bày một số vấn đề về phân tích hàm ý thống kê, trường hàm ý và hệ tư vấn. Đối với nội dung phân tích hàm ý thống kê, không như các nghiên cứu của một số tác giả trước đây, luận án quan tâm đến sự biến thiên của chỉ số hàm ý và trường hàm ý làm cơ sở cho các mô hình tư vấn đề xuất trong các chương sau, và trong phần trình bày về hệ tư vấn, chúng tôi tóm lược các kỹ thuật có liên quan đến hệ tư vấn, một số các vấn đề còn cần phải giải quyết, đặc biệt chúng tôi quan tâm đến các vấn đề của các hệ tư vấn dựa trên khai thác luật (khai thác các mẫu tri thức thường xuyên), để từ đó có định hướng nghiên cứu ứng dụng kết hợp lý thuyết trường hàm ý vào các vấn đề khai thác luật để cải thiện hiệu quả cũng như thời gian xử lý cho các khuyến nghị. Các công trình nghiên cứu liên quan với nội dung này đã được công bố trên hội thảo quốc tế lần thứ IX về phân tích hàm ý thống kê (A. Phân tích hàm ý thống kê Phân tích hàm ý thống kê (ASI) [93][94] [95][96], do Regis Gras đề xuất vào thập niên 1990, nghiên cứu mối quan hệ hàm ý giữa các biến dữ liệu.
Theo đó, các mối quan hệ giữa các biến dữ liệu thường được biểu diễn dưới dạng luật 𝑎 → 𝑏, và dạng biểu diễn này đã trở thành khái niệm chính trong khai phá dữ liệu dùng để biểu diễn mối quan hệ hàm ý giữa các mẫu của các tập phổ biến (itemsets). Từ các công trình của Agrawal et al. [90][91] , nhiều thuật toán đã được đề xuất để khai thác các luật như vậy một cách hiệu quả trong cơ sở dữ liệu lớn. Tất cả đều cố gắng trích xuất một tập hạn chế các luật có liên quan để dễ dàng giải thích cho việc ra quyết định, nhưng các thử nghiệm so sánh cho thấy rằng kết quả có thể thay đổi tùy theo sự lựa chọn của các độ đo chất lượng luật.
Trong các tài liệu phong phú dành cho vấn đề này, các độ đo mức độ thú vị thường được phân loại thành hai loại: các độ đo chủ quan [80] [98][99] (hướng người dùng) và các độ đo khách quan [11][13] (hướng dữ liệu). Các độ chủ quan nhằm tính đến tính bất ngờ và khả năng hoạt động tương đối so với hiểu biết trước đó [11][13], trong khi các độ đo khách quan ưu tiên các tiêu chí thống kê như mức độ bao phủ, cường độ, ý nghĩa. Trong số nhóm các độ đo khách quan, tiêu chí được sử dụng phổ biến nhất là sự kết hợp của độ hỗ trợ 𝑠𝑢𝑝𝑝 - hoặc tần suất xuất hiện của 𝑎, 𝑏 với độ tin cậy 𝑐𝑜𝑛𝑓 [90] [91]. Độ hỗ trợ 𝑠𝑢𝑝𝑝(𝑎 → 𝑏)cho biết liệu các biến liên quan đến tập mục 𝑎 và 𝑏 có xảy ra thường xuyên cùng nhau trong tập dữ liệu hay không.
Độ tin cậy 𝑐𝑜𝑛𝑓 hoặc xác suất có điều kiện- 𝑐𝑜𝑛𝑓(𝑎 → 𝑏) là phần các đối tượng thỏa mãn 𝑏 trong số các đối tượng thỏa mãn 𝑎. Tuy nhiên, độ tin cậy thể hiện hai điểm yếu chính: nó không thay đổi khi kích thước của 𝑏 ( 𝑛𝐵) hoặc của tập giao dịch 𝐸 (𝑛) thay đổi , nó cũng không nhạy cảm với độ giãn của 𝑛𝐴, 𝑛𝐵, và bản số của 𝐸 [59]. Với các độ đo khác, một số đến từ các lĩnh vực thống kê, tính toán một mối liên kết - hoặc không có liên kết - giữa các tập mục nhưng chúng thường không xác định rõ ràng hướng của mối quan hệ (như độ đo 𝜒2). Brin đề xuất trong [105] để tìm kiếm một số tập phổ biến tương quan (phụ thuộc dương hoặc âm được xác nhận bởi giá trị 𝜒2).
Phép đo mức độ thú vị của 𝜒2 dựa vào một ô trong bảng tương quan (contingency table) giữa hai biến mà không tận dụng sự mất cân bằng có thể tìm thấy giữa hai ô khác nhau và cho biết một luật hiện có. Để xem xét đến kích thước tập dữ liệu một cách rõ ràng, và cũng để làm nổi bật đặc điểm không đối xứng "tự nhiên" của hàm ý, Gras [93][95] đã đưa ra độ đo cường độ hàm ý 𝜑(𝑎 → 𝑏) và chỉ số hàm ý 𝑞(𝑎 → 𝑏) nhằm mục đích lượng hóa "sự ngạc nhiên" của một mối quan hệ hay một mẫu tri thức khi phải đối mặt với số lượng nhỏ các phản ví dụ không thể tránh khỏi so với một lượng lớn dữ liệu. Tương tự, giống như Freitas [8], ở đây phân tích hàm ý thống kê cho rằng các khía cạnh chủ quan có thể được đo lường một phần bằng các điều kiện khách quan và tập trung vào tầm quan trọng của việc phát hiện ra “những sai lệch nhỏ” trong tập dữ liệu. Với mục đích đó, cường độ hàm ý dựa trên mô hình xác suất cho phép đo lường chính xác ý nghĩa thống kê của các luật đã phát hiện.
Các giới hạn chung về ý nghĩa của các phương pháp thử nghiệm trong khai phá dữ liệu đã được các tác giả khác nhau đề cập [18]. Cường độ hàm ý đã được thực nghiệm chứng minh là rất nhạy đối với các biến đổi nhỏ [33]. Bên cạnh đó, các thực nghiệm trên cả dữ liệu tổng hợp và dữ liệu trong thế giới thực đã chứng minh khả năng sự kết hợp tốt của nó với các độ đo cổ điển hơn [75][111]. Bây giờ, để trình bày tổng quan về lý thuyết hàm ý thống kê, chúng ta hãy xem xét một tập hữu hạn 𝐸 = {𝑒1, 𝑒2, … , 𝑒𝑛} gồm 𝑛 giao dịch được mô tả bởi tập 𝐼 = {𝑖1, 𝑖2, … , 𝑖𝑝} gồm 𝑝 biến (mục, thuộc tính, tiêu chuẩn…).
Cho 𝑎, 𝑏 là hai tập con của 𝐼 , ký / hiệu 𝐴 = {𝑒𝑘 ∈ 𝐸; ∀j ∈ 𝑎, 𝑗 ∈ Ω(𝑒𝑘)} là tập giao dịch trong 𝐸 có chứa 𝑎, và ký hiệu 𝐴̅, 𝐵̅ là tập bù của 𝐴 trong 𝐸. Cũng tương tự như thế, ta ký hiệu tập 𝐵 = {𝑒𝑘 ∈ / 𝐸; ∀j ∈ 𝑏, 𝑗 ∈ Ω(𝑒𝑘)} và 𝐵̅ là tập bù của 𝐵 trong 𝐸. Luật kết hợp/hàm ý là một mẫu có dạng 𝑎 → 𝑏, trong đó 𝑎 và 𝑏 là các tập phổ biến không giao nhau (𝑎 ⊂ 𝐼, 𝑏 ⊂ 𝐼 và 𝑎 ∩ 𝑏 = ∅). Trong thực tế, khá phổ biến khi quan sát một số giao dịch có xuất hiện 𝑎 và không có 𝑏, chúng không theo xu hướng chung là có 𝑏 khi 𝑎 có mặt.
Do đó, liên quan đến bản số 𝑛 của E cũng như các bản số / 𝑛𝐴 của 𝐴 và bản số 𝑛𝐵 của 𝐵 thì số 𝑛𝐴∩𝐵̅ = 𝑐𝑎𝑟𝑑(𝐴 ∩ 𝐵̅) của các phản ví dụ phải được tính đến để thống kê và quyết định liệu có chấp nhận hay không một luật 𝑎 → 𝑏. Theo phân tích liên kết khả năng xảy ra của Lerman [41], cường độ hàm ý thể hiện khả năng không xảy ra các phản ví dụ 𝑛𝐴∩𝐵̅ trong 𝑇. Mối quan hệ hàm ý giữa 𝑎 và 𝑏 được mô hình hóa trong phân tích hàm ý thống kê như sau (xem Hình 1-1).