Chương 1 – Tổng Quan về trường hàm ý và hệ tư vấn Phân tích hàm ý thống kê, các độ đo hàm ý Hệ tư vấn - Tổng quan, đánh giá và các kỹ thống kê, biến thiên hàm ý và trường hàm ý thuật xây dựng hệ tư vấn Các nghiên cứu hệ tư vấn ứng dụng phân tích Các vấn đề của hệ tư vấn, đặc biệt hệ tư hàm ý thống kê và các vấn đề vấn dựa trên luật kết hợp Đề xuất mô hình hệ tư vấn dựa trên trường hàm ý thống kê Chương 2 – Các mô hình tư vấn Chương 3 – Thực nghiệm Phân tích,tiền xử lý và phân hoạch Mô hình tư vấn: Khung khai thác luật kết dữ liệu hợp và mô hình tư vấn lọc cộng tác dựa trên biến thiên hàm ý Thực nghiệm vấn dựa trên biến thiên hàm ý Hình 10-1Mối quan hệ giữa các chương trong luận án Mô hình tư vấn: Khung khai thác luật hàm ý và mô hình tư vấn dựa trên trường hàm ý Thực nghiệm vấn dựa trên trường thống kê hàm ý thống kê Kết luận Kết quả và đóng góp của luận án Hướng phát triển của luận án Hình 0-1 Mối quan hệ giữa các chương trong luận án (LUAN.ke luan an tien si TIEU LUAN MOI download : skknchat123@gmail.com moi nhat (LUAN. TỔNG QUAN VỀ TRƯỜNG HÀM Ý VÀ HỆ TƯ VẤN Chương này trình bày một số vấn đề về phân tích hàm ý thống kê, trường hàm ý và hệ tư vấn. Đối với nội dung phân tích hàm ý thống kê, không như các nghiên cứu của một số tác giả trước đây, luận án quan tâm đến sự biến thiên của chỉ số hàm ý và trường hàm ý làm cơ sở cho các mô hình tư vấn đề xuất trong các chương sau, và trong phần trình bày về hệ tư vấn, chúng tôi tóm lược các kỹ thuật có liên quan đến hệ tư vấn, một số các vấn đề còn cần phải giải quyết, đặc biệt chúng tôi quan tâm đến các vấn đề của các hệ tư vấn dựa trên khai thác luật (khai thác các mẫu tri thức thường xuyên), để từ đó có định hướng nghiên cứu ứng dụng kết hợp lý thuyết trường hàm ý vào các vấn đề khai thác luật để cải thiện hiệu quả cũng như thời gian xử lý cho các khuyến nghị. Các công trình nghiên cứu liên quan với nội dung này đã được công bố trên hội thảo quốc tế lần thứ IX về phân tích hàm ý thống kê (A.
Phân tích hàm ý thống kê Phân tích hàm ý thống kê (ASI) [93][94] [95][96], do Regis Gras đề xuất vào thập niên 1990, nghiên cứu mối quan hệ hàm ý giữa các biến dữ liệu. Theo đó, các mối quan hệ giữa các biến dữ liệu thường được biểu diễn dưới dạng luật 𝑎 → 𝑏, và dạng biểu diễn này đã trở thành khái niệm chính trong khai phá dữ liệu dùng để biểu diễn mối quan hệ hàm ý giữa các mẫu của các tập phổ biến (itemsets). Từ các công trình của Agrawal et al. [90][91] , nhiều thuật toán đã được đề xuất để khai thác các luật như vậy một cách hiệu quả trong cơ sở dữ liệu lớn.
Tất cả đều cố gắng trích xuất (LUAN.ke luan an tien si TIEU LUAN MOI download : skknchat123@gmail.com moi nhat (LUAN.ke 9 một tập hạn chế các luật có liên quan để dễ dàng giải thích cho việc ra quyết định, nhưng các thử nghiệm so sánh cho thấy rằng kết quả có thể thay đổi tùy theo sự lựa chọn của các độ đo chất lượng luật. Trong các tài liệu phong phú dành cho vấn đề này, các độ đo mức độ thú vị thường được phân loại thành hai loại: các độ đo chủ quan [80][98][99] (hướng người dùng) và các độ đo khách quan [11][13] (hướng dữ liệu). Các độ chủ quan nhằm tính đến tính bất ngờ và khả năng hoạt động tương đối so với hiểu biết trước đó [11][13], trong khi các độ đo khách quan ưu tiên các tiêu chí thống kê như mức độ bao phủ, cường độ, ý nghĩa. Trong số nhóm các độ đo khách quan, tiêu chí được sử dụng phổ biến nhất là sự kết hợp của độ hỗ trợ 𝑠𝑢𝑝𝑝 - hoặc tần suất xuất hiện của 𝑎, 𝑏 với độ tin cậy 𝑐𝑜𝑛𝑓 [90][91].
Độ hỗ trợ 𝑠𝑢𝑝𝑝(𝑎 → 𝑏)cho biết liệu các biến liên quan đến tập mục 𝑎 và 𝑏 có xảy ra thường xuyên cùng nhau trong tập dữ liệu hay không. Độ tin cậy 𝑐𝑜𝑛𝑓 hoặc xác suất có điều kiện- 𝑐𝑜𝑛𝑓(𝑎 → 𝑏) là phần các đối tượng thỏa mãn 𝑏 trong số các đối tượng thỏa mãn 𝑎. Tuy nhiên, độ tin cậy thể hiện hai điểm yếu chính: nó không thay đổi khi kích thước của 𝑏 ( 𝑛𝐵 ) hoặc của tập giao dịch 𝐸 (𝑛) thay đổi , nó cũng không nhạy cảm với độ giãn của 𝑛𝐴 , 𝑛𝐵 , và bản số của 𝐸 [59]. Với các độ đo khác, một số đến từ các lĩnh vực thống kê, tính toán một mối liên kết - hoặc không có liên kết - giữa các tập mục nhưng chúng thường không xác định rõ ràng hướng của mối quan hệ (như độ đo 𝜒 2 ).
Brin đề xuất trong [105] để tìm kiếm một số tập phổ biến tương quan (phụ thuộc dương hoặc âm được xác nhận bởi giá trị 𝜒 2 ). Phép đo mức độ thú vị của 𝜒 2 dựa vào một ô trong bảng tương quan (contingency table) giữa hai biến mà không tận dụng sự mất cân bằng có thể tìm thấy giữa hai ô khác nhau và cho biết một luật hiện có. Để xem xét đến kích thước tập dữ liệu một cách rõ ràng, và cũng để làm nổi bật đặc điểm không đối xứng "tự nhiên" của hàm ý, Gras [93][95] đã đưa ra độ đo cường độ hàm ý 𝜑(𝑎 → 𝑏) và chỉ số hàm ý 𝑞(𝑎 → 𝑏) nhằm mục đích lượng hóa "sự ngạc nhiên" của một mối quan hệ hay một mẫu tri thức khi phải đối mặt với số lượng nhỏ các phản ví dụ không thể tránh khỏi so với một lượng lớn dữ liệu. Tương tự, giống (LUAN.ke luan an tien si TIEU LUAN MOI download : skknchat123@gmail.com moi nhat (LUAN.ke 10 như Freitas [8], ở đây phân tích hàm ý thống kê cho rằng các khía cạnh chủ quan có thể được đo lường một phần bằng các điều kiện khách quan và tập trung vào tầm quan trọng của việc phát hiện ra “những sai lệch nhỏ” trong tập dữ liệu.
Với mục đích đó, cường độ hàm ý dựa trên mô hình xác suất cho phép đo lường chính xác ý nghĩa thống kê của các luật đã phát hiện. Các giới hạn chung về ý nghĩa của các phương pháp thử nghiệm trong khai phá dữ liệu đã được các tác giả khác nhau đề cập [18]. Cường độ hàm ý đã được thực nghiệm chứng minh là rất nhạy đối với các biến đổi nhỏ [33]. Bên cạnh đó, các thực nghiệm trên cả dữ liệu tổng hợp và dữ liệu trong thế giới thực đã chứng minh khả năng sự kết hợp tốt của nó với các độ đo cổ điển hơn [75][111].
Bây giờ, để trình bày tổng quan về lý thuyết hàm ý thống kê, chúng ta hãy xem xét một tập hữu hạn 𝐸 = {𝑒1 , 𝑒2 , … , 𝑒𝑛 } gồm 𝑛 giao dịch được mô tả bởi tập 𝐼 = {𝑖1 , 𝑖2 , … , 𝑖𝑝 } gồm 𝑝 biến (mục, thuộc tính, tiêu chuẩn…). Cho 𝑎, 𝑏 là hai tập con của 𝐼 , ký hiệu 𝐴 = {𝑒𝑘 ∈ 𝐸; ∀j ∈ 𝑎, 𝑗 ∈ Ω(𝑒𝑘 )} là tập giao dịch trong 𝐸 có chứa 𝑎, và ký hiệu 𝐴̅, 𝐵̅ là tập bù của 𝐴 trong 𝐸. Cũng tương tự như thế, ta ký hiệu tập 𝐵 = {𝑒𝑘 ∈ 𝐸; ∀j ∈ 𝑏, 𝑗 ∈ Ω(𝑒𝑘 )} và 𝐵̅ là tập bù của 𝐵 trong 𝐸. Luật kết hợp/hàm ý là một mẫu có dạng 𝑎 → 𝑏, trong đó 𝑎 và 𝑏 là các tập phổ biến không giao nhau (𝑎 ⊂ 𝐼, 𝑏 ⊂ 𝐼 và 𝑎 ∩ 𝑏 = ∅).
Trong thực tế, khá phổ biến khi quan sát một số giao dịch có xuất hiện 𝑎 và không có 𝑏, chúng không theo xu hướng chung là có 𝑏 khi 𝑎 có mặt. Do đó, liên quan đến bản số 𝑛 của E cũng như các bản số 𝑛𝐴 của 𝐴 và bản số 𝑛𝐵 của 𝐵 thì số 𝑛𝐴∩𝐵̅ = 𝑐𝑎𝑟𝑑(𝐴 ∩ 𝐵̅ ) của các phản ví dụ phải được tính đến để thống kê và quyết định liệu có chấp nhận hay không một luật 𝑎 → 𝑏. Theo phân tích liên kết khả năng xảy ra của Lerman [41], cường độ hàm ý thể hiện khả năng không xảy ra các phản ví dụ 𝑛𝐴∩𝐵̅ trong 𝑇. Mối quan hệ hàm ý giữa 𝑎 và 𝑏 được mô hình hóa trong phân tích hàm ý thống kê như sau (xem Hình 1-1).ke luan an tien si TIEU LUAN MOI download : skknchat123@gmail.com moi nhat (LUAN.ke 11 𝒏 𝑬 𝒏𝑨 𝒏𝑩 B 𝒏𝑨𝑩ഥ A Hình 1-1 Minh hoạ các thành phần của phân tích hàm ý thống kê bởi giản đồ VENN Để thấy rõ hơn cách biểu diễn mối quan hệ hàm ý của một luật hàm ý, hãy xét một tập dữ liệu các giao dịch như được trình bày trong ví dụ ở Bảng 1-1 sau đây: Bảng 1-1 Dữ liệu các giao dịch phim T Các mục / Ω(𝑡𝑘 ) 𝑡1 𝑃ℎ𝑖𝑚2 𝑡2 𝑃ℎ𝑖𝑚1 , 𝑃ℎ𝑖𝑚2 𝑡3 𝑃ℎ𝑖𝑚1 𝑡4 𝑃ℎ𝑖𝑚1 , 𝑃ℎ𝑖𝑚2 , 𝑃ℎ𝑖𝑚3 𝑡5 𝑃ℎ𝑖𝑚1 , 𝑃ℎ𝑖𝑚2 , 𝑃ℎ𝑖𝑚3 𝑡6 𝑃ℎ𝑖𝑚1 , 𝑃ℎ𝑖𝑚2 , 𝑃ℎ𝑖𝑚3 𝑡7 𝑃ℎ𝑖𝑚2 𝑡8 𝑃ℎ𝑖𝑚1 , 𝑃ℎ𝑖𝑚2 𝑡9 𝑃ℎ𝑖𝑚1 , 𝑃ℎ𝑖𝑚2 , 𝑃ℎ𝑖𝑚3 (LUAN.ke luan an tien si TIEU LUAN MOI download : skknchat123@gmail.com moi nhat (LUAN.ke 12 Bảng 1-2 Trình bày dạng nhị phân dữ liệu các giao dịch phim 𝐸 𝑃ℎ𝑖𝑚1 𝑃ℎ𝑖𝑚2 𝑃ℎ𝑖𝑚3 𝑒1 0 1 0 𝑒2 1 1 0 𝑒3 1 0 0 𝑒4 1 1 1 𝑒5 1 1 1 𝑒6 1 1 1 𝑒7 0 1 0 𝑒8 1 1 0 𝑒9 1 1 1 Có thể xem tập dữ liệu gồm 9 giao dịch 𝐸 = {𝑒1 , 𝑒2 , … , 𝑒9 } và 𝐼 = {𝑃ℎ𝑖𝑚1 , 𝑃ℎ𝑖𝑚2 , 𝑃ℎ𝑖𝑚3 } là một tập có 3 mục, tập mục Ω(𝑒1 ) = {𝑃ℎ𝑖𝑚2 }, Ω(𝑒2 ) = {𝑃ℎ𝑖𝑚1 , 𝑃ℎ𝑖𝑚2 }, … Tập các giao dịch trong Bảng 1-1 có thể được biểu diễn dạng nhị phân như trong Bảng 1-2, trong đó mỗi dòng tương ứng một giao dịch và mỗi cột tương ứng một mục (phim).
Mỗi phim có thể được xử lý như một biến nhị phân mà giá trị của nó bằng 1 khi nó có tồn tại trong giao dịch và bằng 0 nếu ngược lại. Bây giờ, hãy xem xét luật 𝑎 → 𝑏 với 𝑎 = {𝑃ℎ𝑖𝑚1 , 𝑃ℎ𝑖𝑚2 } và 𝑏 = {𝑃ℎ𝑖𝑚3 }, thì tập 𝐴 và 𝐵 sẽ là 𝐴 = {𝑒2 , 𝑒4 , 𝑒5 , 𝑒6 , 𝑒8 , 𝑒9 } và 𝐵 = {𝑒4 , 𝑒5 , 𝑒6 , 𝑒9 }.