Chương 1 phác thảo các đề xuất tư vấn theo mức độ quan trọng hàm ý thống kê mà chúng sẽ được trình bày chi tiết trong các chương còn lại. Mức độ quan trọng hàm ý thống kê 1. Định nghĩa mức độ quan trọng hàm ý thống kê Mức độ quan trọng hàm ý thống kê là một độ đo của lý thuyết phân tích hàm ý thống kê - một lý thuyết phân tích dữ liệu được đề xuất bởi Gras và các cộng sự [61]. Mức độ quan trọng hàm ý thống kê được sử dụng để đo giá trị của mối quan hệ giữa các thuộc tính (biến) ở cả dạng nhị phân và phi nhị phân; qua đó, giúp phát hiện các khuynh hướng trong một tập hợp các thuộc tính.
Với dữ liệu nhị phân, mỗi thuộc tính chỉ nhận một trong hai giá trị 0 hoặc 1. Với dữ liệu phi nhị phân, mỗi thuộc tính nhận giá trị số thực và được quy đổi về đoạn [0,1]. Đặc điểm của mức độ quan trọng hàm ý thống kê là không đối xứng, dựa trên xác suất và có sự kết hợp phi tuyến tính giữa các thuộc tính.1 tổng hợp vai trò của các mức độ quan trọng hàm ý thống kê. Chi tiết về từng mức độ quan trọng được trình bày trong các Mục 1.
Các mức độ quan trọng hàm ý thống kê trong Bảng 1.1 được sử dụng để xây dựng mô hình tư vấn trên luật kết hợp (Chương 2 của luận án) và là cơ sở để đề xuất hai mức độ quan trọng hàm ý thống kê mới trong các mô hình tư vấn trên người dùng và trên mục dữ liệu (Chương 3 và Chương 4 của luận án). luan an 8 Bảng 1.1: Các mức độ quan trọng hàm ý thống kê. Mức độ quan trọng Vai trò hàm ý thống kê Đo độ lệch giữa giá trị ngẫu nhiên và giá trị mong đợi của một mối quan hệ 𝑎 → 𝑏 với 𝑎 và 𝑏 là tập các thuộc tính. Chỉ Chỉ số hàm ý số hàm ý được dùng để tính cường độ hàm ý.
Chỉ số hàm ý càng thấp thì cường độ hàm ý càng cao. Đo tính bất ngờ (ngạc nhiên, surprisingness) của một mối quan hệ 𝑎 → 𝑏 khi quan sát một số lượng nhỏ các phản ví Cường độ hàm ý dụ 𝑛 - số các đối tượng không có 𝑏 khi có 𝑎, counter example number. Cường độ hàm ý là một độ đo chất lượng thông tin và quy nạp. Điều chỉnh giá trị bất ngờ được lượng hóa bởi cường độ hàm Cường độ hàm ý có ý bằng việc quan tâm đến chiều ngược của mối quan hệ entropy (𝑏 → 𝑎).
Cường độ hàm ý có entropy củng cố sự chắc chắn về chất lượng tốt của một mối quan hệ. Phát hiện các mối quan hệ có chất lượng hàm ý tốt; được Chỉ số gắn kết xây dựng dựa trên cường độ hàm ý và entropy. Đo sự góp phần của một đối tượng đối với sự hình thành Chỉ số đóng góp của một mối quan hệ. Đo tính tiêu biểu của một đối tượng trong sự hình thành một Chỉ số tiêu biểu mối quan hệ.
Mức độ quan trọng hàm ý thống kê cho dữ liệu nhị phân 1. Mối quan hệ hàm ý thống kê trên dữ liệu nhị phân Mối quan hệ 𝑎 → 𝑏 (hay khuynh hướng các đối tượng có thuộc tính 𝑏 khi chúng có thuộc tính 𝑎) được chấp nhận khi nó đạt tới một mức tin cậy xác định. Khi đó, ta có thể xem mối quan hệ 𝑎 → 𝑏 như một quy tắc hay một luật. Luật này khó bị thay thế nếu có rất ít số đối tượng không có 𝑏 khi có 𝑎 (phản ví dụ) mới xuất hiện.
Tuy nhiên, nếu số phản ví dụ mới càng tăng, sự tin cậy của luật sẽ bị giảm và luật có thể luan an 9 bị loại bỏ. Theo phương pháp phân tích hàm ý thống kê, một mối quan hệ được quan sát thống kê chấp nhận càng ít số phản ví dụ thì nó càng có hàm ý [61].1 biểu diễn mối quan hệ 𝑎 → 𝑏 theo phương pháp phân tích hàm ý thống kê. Mối quan hệ 𝑎 → 𝑏 được thể hiện bằng một bộ gồm bốn giá trị 𝑛, 𝑛 , 𝑛 và 𝑛 .1: - 𝐸 là tổng thể gồm 𝑛 đối tượng được mô tả bởi một tập hữu hạn các thuộc tính nhị phân 𝑉. - 𝐴 ⊂ 𝐸 là tập con gồm các đối tượng có thuộc tính 𝑎, 𝐴̅ là tập bù của tập 𝐴.
- 𝐵 ⊂ 𝐸 là tập con gồm các đối tượng có thuộc tính 𝑏, 𝐵 là tập bù của tập 𝐵. - (𝐴 ∩ 𝐵) ⊂ 𝐸 là tập con gồm các đối tượng có thuộc tính 𝑎 mà không có thuộc tính 𝑏. - 𝑛 = 𝑐𝑎𝑟𝑑(𝐴) và 𝑛 = 𝑐𝑎𝑟𝑑(𝐴̅) là bản số của tập 𝐴 và tập 𝐴̅ tương ứng. - 𝑛 = 𝑐𝑎𝑟𝑑(𝐵) và 𝑛 = 𝑐𝑎𝑟𝑑(𝐵 ) là bản số của tập 𝐵 và tập 𝐵 tương ứng.
-𝑛 = 𝑐𝑎𝑟𝑑(𝐴 ∩ 𝐵 ) là bản số của tập 𝐴 ∩ 𝐵. 𝑛 là số phản ví dụ và còn được gọi là chỉ số chống khuynh hướng từ 𝑎 tới 𝑏.1: Biểu diễn của mối quan hệ a b theo phân tích hàm ý thống kê. Ví dụ, ta có 9 đối tượng {u1, u2, …, u9} được mô tả bởi 5 thuộc tính {Regwiz, Support Desktop, End User Produced View, Knowledge Base, Microsoft. com Search} như Bảng 1.
Số đối tượng thỏa thuộc tính Support Desktop là 2; số đối tượng thỏa thuộc tính End User Produced View là 4 và số đối tượng thỏa thuộc tính Support Desktop nhưng không thỏa thuộc tính End User Produced View là 1. Như vậy, mối luan an 10 quan hệ {Support Desktop} {End User Produced View} được biểu diễn bởi bộ 𝑛, 𝑛 , 𝑛 và 𝑛 là {9, 2, 4, 1}.2: Một ví dụ về dữ liệu đầu vào ở dạng nhị phân của phân tích hàm ý thống kê. Support End User Knowledge Microsoft.com Regwiz Desktop Produced View Base Search u1 0 0 1 1 1 u2 0 1 1 1 0 u3 0 0 0 0 1 u4 0 0 0 0 1 u5 1 1 0 1 0 u6 1 0 1 0 0 u7 0 0 1 0 1 u8 0 0 0 1 1 u9 0 0 0 0 1 1. Chỉ số hàm ý và cường độ hàm ý Hình 1.2 gồm: Tổng thể 𝐸, các tập 𝐴, 𝐵, 𝐵, các giá trị 𝑛, 𝑛 , 𝑛 , 𝑛 và 𝑛 như được mô tả ở trên; hai tập con ngẫu nhiên 𝑋, 𝑌 có số phần tử tương ứng là 𝑛 và 𝑛 .2: Mô hình biểu diễn phương pháp phân tích hàm ý thống kê.
Mối quan hệ 𝑎 → 𝑏 là có thể chấp nhận ở ngưỡng 𝛼 nếu xác suất của 𝑐𝑎𝑟𝑑(𝑋 ∩ 𝑌) ≤ 𝑐𝑎𝑟𝑑(𝐴 ∩ 𝐵 ) là nhỏ hơn hoặc bằng ngưỡng 𝛼 [61].1) luan an 11 Trong (1.1), 𝑐𝑎𝑟𝑑(𝐴 ∩ 𝐵) là số phản ví dụ được quan sát và 𝑐𝑎𝑟𝑑(𝑋 ∩ 𝑌) là số phản ví dụ được mong đợi. Khi biến ngẫu nhiên 𝑐𝑎𝑟𝑑 (𝑋 ∩ 𝑌) tuân theo phân phối Poisson với tham số 𝜆 = , 𝑃(𝑐𝑎𝑟𝑑 (𝑋 ∩ 𝑌) ≤ 𝑐𝑎𝑟𝑑 (𝐴 ∩ 𝐵)) được tính như công thức (1.2) 𝑠! Với 𝑛 ≠ 0, biến ngẫu nhiên 𝑐𝑎𝑟𝑑 (𝑋 ∩ 𝑌) được chuyển về biến ngẫu nhiên được chuẩn hóa 𝑄 𝑎, 𝑏 như công thức (1.3) 𝑛 Giá trị được quan sát của 𝑄 𝑎, 𝑏 trong thực nghiệm được biểu diễn bởi 𝑞 𝑎, 𝑏. 𝑞 𝑎, 𝑏 đo độ lệch giữa giá trị mong đợi và ngẫu nhiên khi 𝑎 và 𝑏 là độc lập. Khi sự xấp xỉ được chứng minh là đúng (𝜆 > 4), 𝑄 𝑎, 𝑏 tuân theo phân phối chuẩn 𝑁(0,1).
𝑞 𝑎, 𝑏 được gọi là chỉ số hàm ý (implicative index) [61] của mối quan hệ 𝑎 → 𝑏 và được lượng hóa qua bộ giá trị 𝑛, 𝑛 , 𝑛 và 𝑛 với 𝑛 = 𝑛 − 𝑛 như công thức (1.4) 𝑛 Cường độ hàm ý (mật độ hàm ý - implicative intensity) [61] đo tính bất ngờ khi quan sát một số lượng nhỏ các phản ví dụ. Cường độ hàm ý của mối quan hệ 𝑎 → 𝑏, ký hiệu là 𝜑(𝑎, 𝑏), được định nghĩa như (1. 1 − 𝑃 𝑄 𝑎, 𝑏 ≤ 𝑞 𝑎, 𝑏 𝑛ế𝑢 𝑛 ≠ 𝑛 𝜑(𝑎, 𝑏) = 0 nếu ngược lại (1.5) ⎧ 1 𝑒 𝑑𝑡 𝑛ế𝑢 𝑛 ≠ 𝑛 = √2𝜋 ⎨ ( , ) ⎩ 0 nếu ngược lại luan an 12 Công thức (1.5) cho thấy chỉ số hàm ý được sử dụng để tính cường độ hàm ý, chỉ số hàm ý càng thấp thì cường độ hàm ý càng cao. Cường độ hàm ý là một độ đo chất lượng thông tin, quy nạp và không đối xứng.
Mối quan hệ 𝑎 → 𝑏 là có thể chấp nhận ở ngưỡng 𝛼 nếu cường độ hàm ý 𝜑(𝑎, 𝑏) ≥ 1 − 𝛼. Việc sử dụng cường độ hàm ý thích ứng tốt với dữ liệu nhiễu vì một số nhỏ phản ví dụ không làm mất đi mối quan hệ hàm ý. Cường độ hàm ý có entropy Độ đo cường độ hàm ý 𝜑(𝑎, 𝑏) bị một số hạn chế: Có khuynh hướng không đủ phân biệt khi số 𝑛 tăng cao; chưa quan tâm đến chiều ngược 𝑏 → 𝑎 mà nó củng cố sự chắc chắn về chất lượng tốt của mối quan hệ giữa 𝑎 và 𝑏 [26]. Vì vậy, cường độ hàm ý có entropy (entropic version of implicative intensity) [26][61] 𝜙(𝑎, 𝑏) đã được đề xuất và có công thức tính như (1.
Cường độ hàm ý có entropy điều chỉnh giá trị bất ngờ được lượng hóa bởi cường độ hàm ý bằng cách tính đến sự mất cân bằng giữa số ví dụ 𝑛 và số phản ví dụ 𝑛 của mối quan hệ 𝑎 → 𝑏 và sự mất cân bằng giữa số ví dụ 𝑛 và số phản ví dụ 𝑛 của mối quan hệ 𝑏 → 𝑎. Cường độ hàm ý có entropy dựa trên entropy của Shannon để lượng hóa phi tuyến những khác biệt này.6) Trong công thức (1.6), 𝜑(𝑎, 𝑏) là cường độ hàm ý được xác định bởi (1.5) và (𝑎, 𝑏) là chỉ số bao gồm đo sự mất cân bằng theo công thức (1.7) (𝑎, 𝑏) được xác định bởi hệ số mũ 𝛼 (𝛼 thường được chọn là 1 hoặc 2) và các entropy có điều kiện 𝐻 / , 𝐻 /. Việc tăng entropy có điều kiện theo mũ 𝛼 nhằm tăng cường sự tương phản giữa các pha khác nhau. Hệ số 𝛼 càng thấp thì cường độ hàm ý có entropy giảm càng nhiều theo 𝑛 và việc phân hạng các mối quan hệ là phân biệt hơn.
Các entropy có điều kiện 𝐻 / và 𝐻 / đo sự không chắc chắn trung bình của các mẫu ngẫu nhiên trong đó ta kiểm tra xem 𝑏 (hay 𝑎) có được nhận dạng hay không khi 𝑎 (hay 𝑏) được quan sát. 𝐻 / và 𝐻 / được định nghĩa bởi (1.