Chương 1: Tổng quan Hệ tư vấn -Phân tích hàm ý thống kê -Các mức độ quan trọng Tư vấn dựa trên phân -Kỹ thuật tư vấn hàm ý thống kê tích hàm ý thống kê -Đánh giá hiệu quả tư vấn Chương 2: Tư vấn theo mức độ quan trọng hàm ý thống kê trên luật kết hợp Mô hình Thực nghiệm Chương 3: Tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê trên người dùng KnnUIR Mô hình Thực nghiệm Chương 4: Tư vấn theo mức độ quan trọng xếp hạng hàm ý thống kê trên mục dữ liệu KnnIIR Mô hình Thực nghiệm Hình 0.1: Mối quan hệ giữa các chương của luận án Chương 3 giới thiệu một mức độ quan trọng hàm ý thống kê mới 𝐾𝑛𝑛𝑈𝐼𝑅 để dự đoán xếp hạng của người dùng; một mô hình tư vấn mới 𝑈𝐼𝑅 sử dụng kỹ thuật tư vấn lọc cộng tác dựa trên láng giềng và mức độ quan trọng 𝐾𝑛𝑛𝑈𝐼𝑅. 𝐾𝑛𝑛𝑈𝐼𝑅 kết hợp nhiều yếu tố có thể tác động đến việc dự đoán xếp hạng của người dùng như: Ai là các láng giềng gần nhất của người cần tư vấn, giá trị xếp hạng cho mục dữ liệu cần dự đoán xếp hạng của những láng giềng này và ảnh hưởng của mục dữ liệu đang xét 6 đến sự hình thành mối quan hệ láng giềng. 𝐾𝑛𝑛𝑈𝐼𝑅 được phát triển từ hai mức độ quan trọng cơ sở: Cường độ hàm ý và chỉ số tiêu biểu. Khác với cách tiếp cận ở Chương 2, cường độ hàm ý sẽ đo sức mạnh của mối quan hệ giữa hai người dùng thay vì giữa các mục dữ liệu; chỉ số tiêu biểu sẽ đo sự ảnh hưởng của một mục dữ liệu đối với sự hình thành mối quan hệ giữa hai người dùng thay vì của người dùng đối sự hình thành mối quan hệ giữa các mục.
Mô hình tư vấn đề xuất 𝑈𝐼𝑅 không chỉ dự đoán xếp hạng mà còn gợi ý cho người cần tư vấn danh sách các mục có xếp hạng dự đoán cao. Mô hình 𝑈𝐼𝑅 được so sánh với một số mô hình hiện có của gói recommenderlab qua việc đánh giá tính chính xác của: Các gợi ý như Chương 2, xếp hạng dự đoán theo các sai số và gợi ý được sắp thứ tự theo nDCG. Dữ liệu dùng trong thực nghiệm là dữ liệu nhị phân hoặc phi nhị phân. Chương 4 mô tả một mức độ quan trọng hàm ý thống kê mới 𝐾𝑛𝑛𝐼𝐼𝑅 để dự đoán xếp hạng của người dùng và mô hình tư vấn mới 𝐼𝐼𝑅 theo mức độ quan trọng này.
𝐾𝑛𝑛𝐼𝐼𝑅 kết hợp giá trị bất ngờ khi quan sát một số lượng nhỏ các phản ví dụ, giá trị tin cậy dựa trên số đồng thuận của các mối quan hệ giữa hai mục dữ liệu và các xếp hạng đã có của người cần tư vấn để thực hiện dự đoán xếp hạng. Mục đích của sự kết hợp này là để phân biệt rõ ảnh hưởng của từng mục dữ liệu lên mục dữ liệu đang xét nhằm cải thiện hiệu quả tư vấn. Tương tự như các chương trước, mô hình tư vấn 𝐼𝐼𝑅 được so sánh với một số mô hình hiện có; được đánh giá qua tính chính xác của: Gợi ý, xếp hạng dự đoán và gợi ý được sắp thứ tự; được áp dụng cho cả dữ liệu nhị phân hoặc phi nhị phân. Bên cạnh đó, Chương 4 còn cải thiện thời gian tư vấn bằng cách xây dựng trực tiếp ma trận mối quan hệ giữa các mục dữ liệu.
Trong chương này, mức độ quan trọng hàm ý thống kê sẽ đo sức mạnh của mối quan hệ giữa hai mục dữ liệu thay vì giữa hai người dùng như Chương 3 hay giữa một tập mục dữ liệu với một mục như Chương 2. Phần Phụ lục trình bày: Công cụ Interestingnesslab được phát triển và tập dữ liệu DKHP được thu thập để chạy các kịch bản thực nghiệm (Phụ lục 1); các giải thuật cài đặt các mô hình tư vấn đề xuất (Phụ lục 2, 3, 4, 5) và một số kịch bản thực nghiệm bổ sung khi đánh giá các mô hình đề xuất (Phụ lục 6). TỔNG QUAN Chương 1 tập trung nghiên cứu sự liên kết giữa lý thuyết phân tích hàm ý thống kê và bài toán hệ tư vấn thông qua: (1) xác định các mức quan trọng hàm ý thống kê trên cả dữ liệu nhị phân và phi nhị phân có thể hỗ trợ cho hoạt động tư vấn; (2) tìm hiểu về hệ tư vấn và những nghiên cứu hiện có về hệ tư vấn dựa trên lý thuyết phân tích hàm ý thống kê để định hướng nghiên cứu của luận án; (3) xác định kỹ thuật tư vấn và phương pháp đánh giá hệ tư vấn được sử dụng trong luận án. Trên cơ sở này, Chương 1 phác thảo các đề xuất tư vấn theo mức độ quan trọng hàm ý thống kê mà chúng sẽ được trình bày chi tiết trong các chương còn lại.
Mức độ quan trọng hàm ý thống kê 1. Định nghĩa mức độ quan trọng hàm ý thống kê Mức độ quan trọng hàm ý thống kê là một độ đo của lý thuyết phân tích hàm ý thống kê - một lý thuyết phân tích dữ liệu được đề xuất bởi Gras và các cộng sự [61]. Mức độ quan trọng hàm ý thống kê được sử dụng để đo giá trị của mối quan hệ giữa các thuộc tính (biến) ở cả dạng nhị phân và phi nhị phân; qua đó, giúp phát hiện các khuynh hướng trong một tập hợp các thuộc tính. Với dữ liệu nhị phân, mỗi thuộc tính chỉ nhận một trong hai giá trị 0 hoặc 1.
Với dữ liệu phi nhị phân, mỗi thuộc tính nhận giá trị số thực và được quy đổi về đoạn [0,1]. Đặc điểm của mức độ quan trọng hàm ý thống kê là không đối xứng, dựa trên xác suất và có sự kết hợp phi tuyến tính giữa các thuộc tính.1 tổng hợp vai trò của các mức độ quan trọng hàm ý thống kê. Chi tiết về từng mức độ quan trọng được trình bày trong các Mục 1. Các mức độ quan trọng hàm ý thống kê trong Bảng 1.1 được sử dụng để xây dựng mô hình tư vấn trên luật kết hợp (Chương 2 của luận án) và là cơ sở để đề xuất hai mức độ quan trọng hàm ý thống kê mới trong các mô hình tư vấn trên người dùng và trên mục dữ liệu (Chương 3 và Chương 4 của luận án).1: Các mức độ quan trọng hàm ý thống kê.
Mức độ quan trọng Vai trò hàm ý thống kê Đo độ lệch giữa giá trị ngẫu nhiên và giá trị mong đợi của một mối quan hệ 𝑎 → 𝑏 với 𝑎 và 𝑏 là tập các thuộc tính. Chỉ số hàm ý Chỉ số hàm ý được dùng để tính cường độ hàm ý. Chỉ số hàm ý càng thấp thì cường độ hàm ý càng cao. Đo tính bất ngờ (ngạc nhiên, surprisingness) của một mối quan hệ 𝑎 → 𝑏 khi quan sát một số lượng nhỏ các phản ví Cường độ hàm ý dụ 𝑛ab¯ - số các đối tượng không có 𝑏 khi có 𝑎 , counter example number.
Cường độ hàm ý là một độ đo chất lượng thông tin và quy nạp. Điều chỉnh giá trị bất ngờ được lượng hóa bởi cường độ hàm Cường độ hàm ý có ý bằng việc quan tâm đến chiều ngược của mối quan hệ entropy (𝑏¯ → 𝑎¯). Cường độ hàm ý có entropy củng cố sự chắc chắn về chất lượng tốt của một mối quan hệ. Phát hiện các mối quan hệ có chất lượng hàm ý tốt; được Chỉ số gắn kết xây dựng dựa trên cường độ hàm ý và entropy.
Đo sự góp phần của một đối tượng đối với sự hình thành Chỉ số đóng góp của một mối quan hệ. Đo tính tiêu biểu của một đối tượng trong sự hình thành Chỉ số tiêu biểu một mối quan hệ. Mức độ quan trọng hàm ý thống kê cho dữ liệu nhị phân 1. Mối quan hệ hàm ý thống kê trên dữ liệu nhị phân Mối quan hệ 𝑎 → 𝑏 (hay khuynh hướng các đối tượng có thuộc tính 𝑏 khi chúng có thuộc tính 𝑎) được chấp nhận khi nó đạt tới một mức tin cậy xác định.
Khi đó, ta có thể xem mối quan hệ 𝑎 → 𝑏 như một quy tắc hay một luật. Luật này khó bị thay thế nếu có rất ít số đối tượng không có 𝑏 khi có 𝑎 (phản ví dụ) mới xuất hiện. Tuy nhiên, nếu số phản ví dụ mới càng tăng, sự tin cậy của luật sẽ bị giảm và luật có thể 9 bị loại bỏ. Theo phương pháp phân tích hàm ý thống kê, một mối quan hệ được quan sát thống kê chấp nhận càng ít số phản ví dụ thì nó càng có hàm ý [61].1 biểu diễn mối quan hệ 𝑎 → 𝑏 theo phương pháp phân tích hàm ý thống kê.
Mối quan hệ 𝑎 → 𝑏 được thể hiện bằng một bộ gồm bốn giá trị 𝑛, 𝑛a, 𝑛b và 𝑛ab¯ .1: - 𝐸 là tổng thể gồm 𝑛 đối tượng được mô tả bởi một tập hữu hạn các thuộc tính nhị phân 𝑉. - 𝐴 ⊂ 𝐸 là tập con gồm các đối tượng có thuộc tính 𝑎, 𝐴̅ là tập bù của tập 𝐴. - 𝐵 ⊂ 𝐸 là tập con gồm các đối tượng có thuộc tính 𝑏, 𝐵¯ là tập bù của tập 𝐵. - (𝐴 ∩ 𝐵¯ ) ⊂ 𝐸 là tập con gồm các đối tượng có thuộc tính 𝑎 mà không có thuộc tính 𝑏.
- 𝑛a = 𝑐𝑎𝑟𝑑(𝐴) và 𝑛a¯ = 𝑐𝑎𝑟𝑑(𝐴̅) là bản số của tập 𝐴 và tập 𝐴̅ tương - 𝑛b = 𝑐𝑎𝑟𝑑(𝐵) và 𝑛b¯ = 𝑐𝑎𝑟𝑑(𝐵¯ ) là bản số của tập 𝐵 và tập 𝐵¯ ứng. - 𝑛ab¯ = 𝑐𝑎𝑟𝑑(𝐴 ∩ 𝐵¯ ) là bản số của tập 𝐴 ∩ 𝐵¯. 𝑛ab¯ là số phản tương ứng. ví dụ và còn được gọi là chỉ số chống khuynh hướng từ 𝑎 tới 𝑏.
𝐵 𝐸 𝑛 𝐴 𝑛b 𝐵 𝑛ab𝐴̅ 𝑛a¯b 𝐴 𝑛b 𝑛ab¯𝑛a¯b¯ 𝑛a 𝐵¯ 𝑛b¯ 𝑛a 𝑛a¯ 𝑛 𝑛ab¯ = 𝑐𝑎𝑟𝑑(𝐴 ∩ 𝐵¯) Hình 1.1: Biểu diễn của mối quan hệ a b theo phân tích hàm ý thống kê. Ví dụ, ta có 9 đối tượng {u1, u2, …, u9} được mô tả bởi 5 thuộc tính {Regwiz, Support Desktop, End User Produced View, Knowledge Base, Microsoft. com Search} như Bảng 1. Số đối tượng thỏa thuộc tính Support Desktop là 2; số đối tượng thỏa thuộc tính End User Produced View là 4 và số đối tượng thỏa thuộc tính Support Desktop nhưng không thỏa thuộc tính End User Produced View là 1.
Như vậy, mối 10 quan hệ {Support Desktop} {End User Produced View} được biểu diễn bởi bộ 𝑛, 𝑛a, 𝑛b và 𝑛ab¯ là {9, 2, 4, 1}.2: Một ví dụ về dữ liệu đầu vào ở dạng nhị phân của phân tích hàm ý thống kê. Support End User Knowledge Microsoft.