Luận Án Tiến Sĩ Về Hệ Tư Vấn Dựa Trên Mức Độ Quan Trọng Hàm Ý Thống Kê

Chuyên đề Hệ Tư Vấn Dựa Trên Mức Độ Quan Trọng Trong Nghiên Cứu Tiến Sĩ, tiếp cận liên ngành, kết quả nghiên cứu có giá trị ứng dụng cao trong chuyên

• Tác giả: Phan Phương Lan
• Người hướng dẫn: PGS. Huỳnh Xuân Hiệp
• Trường học: Đại học Đà Nẵng
• Chuyên ngành: Khoa học máy tính
• Đề tài: Hệ Tư Vấn Dựa Trên Mức Độ Quan Trọng Trong Nghiên Cứu Tiến Sĩ
• Loại tài liệu: luận án
• Năm xuất bản: 2019
• Địa điểm: Đà Nẵng

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: I DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT
• 2. CHƯƠNG 2
• 3. CHƯƠNG 3
• 4. CHƯƠNG 4: TƯ VẤN THEO MỨC ĐỘ QUAN TRỌNG XẾP HẠNG HÀM Ý THỐNG KÊ TRÊN MỤC
• KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC ĐÃ CÔNG BỐ
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC 1: CÔNG CỤ INTERESTINGNESSLAB VÀ TẬP DỮ LIỆU DKHP
• PHỤ LỤC 2: GIẢI THUẬT TƯ VẤN THEO MỨC ĐỘ QUAN TRỌNG HÀM Ý THỐNG KÊ TRÊN LUẬT KẾT HỢP
• PHỤ LỤC 3: GIẢI THUẬT TƯ VẤN THEO MỨC ĐỘ QUAN TRỌNG XẾP HẠNG HÀM Ý THỐNG KÊ TRÊN NGƯỜI DÙNG
• PHỤ LỤC 4: GIẢI THUẬT TƯ VẤN THEO MỨC ĐỘ QUAN TRỌNG XẾP HẠNG HÀM Ý THỐNG KÊ TRÊN MỤC DỮ LIỆU
• PHỤ LỤC 5: GIẢI THUẬT ĐÁNH GIÁ HỆ TƯ VẤN
• PHỤ LỤC 6: XÁC ĐỊNH GIÁ TRỊ THAM SỐ PHÙ HỢP CỦA MÔ HÌNH SIR, AR VÀ IBCF

Tóm tắt

I. Giới thiệu về Hệ Tư Vấn Dựa Trên Mức Độ Quan Trọng

Hệ tư vấn dựa trên mức độ quan trọng hàm ý thống kê là một công cụ quan trọng trong nghiên cứu tiến sĩ. Nó giúp phân tích và đánh giá các dữ liệu phức tạp, từ đó đưa ra những gợi ý chính xác cho người dùng. Hệ thống này không chỉ giúp giảm tải thông tin mà còn tối ưu hóa quá trình ra quyết định. Theo nghiên cứu, việc áp dụng hệ tư vấn này có thể cải thiện đáng kể hiệu quả của các quyết định trong nhiều lĩnh vực như thương mại điện tử và giáo dục. Hệ tư vấn này hoạt động dựa trên các chỉ số như mức độ quan trọng, cường độ hàm ý và chỉ số gắn kết. Những yếu tố này đóng vai trò quan trọng trong việc xác định độ chính xác của các gợi ý được đưa ra.

1.1. Định nghĩa và Ý nghĩa của Mức Độ Quan Trọng

Mức độ quan trọng hàm ý thống kê được định nghĩa là một chỉ số đo lường sự liên quan giữa các biến trong một tập dữ liệu. Nó giúp xác định những yếu tố nào có ảnh hưởng lớn nhất đến kết quả nghiên cứu. Việc hiểu rõ về mức độ quan trọng không chỉ giúp các nhà nghiên cứu trong việc phân tích dữ liệu mà còn hỗ trợ trong việc phát triển các mô hình dự đoán chính xác hơn. Theo đó, các chỉ số như cường độ hàm ý và chỉ số tiêu biểu cũng được sử dụng để đánh giá mức độ ảnh hưởng của từng yếu tố trong hệ thống tư vấn.

II. Quy Trình Nghiên Cứu và Phân Tích Dữ Liệu

Quy trình nghiên cứu trong hệ tư vấn dựa trên mức độ quan trọng bao gồm nhiều bước quan trọng. Đầu tiên, việc thu thập và phân tích dữ liệu là rất cần thiết. Các phương pháp như phân tích dữ liệu và đánh giá nghiên cứu được áp dụng để đảm bảo tính chính xác và độ tin cậy của thông tin. Sau đó, các kỹ thuật như kỹ thuật lọc cộng tác và kỹ thuật lọc dựa trên nội dung được sử dụng để tạo ra các gợi ý cho người dùng. Việc áp dụng các phương pháp này không chỉ giúp tối ưu hóa quy trình tư vấn mà còn nâng cao trải nghiệm của người dùng. Hệ thống tư vấn này có thể được áp dụng trong nhiều lĩnh vực khác nhau, từ giáo dục đến thương mại điện tử.

2.1. Phân Tích Dữ Liệu và Đánh Giá Nghiên Cứu

Phân tích dữ liệu là một bước quan trọng trong quy trình nghiên cứu. Nó giúp xác định các mẫu và xu hướng trong dữ liệu, từ đó đưa ra những kết luận chính xác. Việc sử dụng các công cụ phân tích như phân tích hàm ý thống kê giúp các nhà nghiên cứu hiểu rõ hơn về mối quan hệ giữa các biến. Đánh giá nghiên cứu cũng đóng vai trò quan trọng trong việc xác định tính khả thi và độ tin cậy của các kết quả. Các chỉ số như độ chính xác của gợi ý và tính chính xác của xếp hạng được sử dụng để đánh giá hiệu quả của hệ thống tư vấn.

III. Kết Quả và Ứng Dụng Thực Tiễn

Kết quả từ nghiên cứu cho thấy rằng hệ tư vấn dựa trên mức độ quan trọng hàm ý thống kê có thể cải thiện đáng kể hiệu quả tư vấn. Các mô hình như mô hình tư vấn SIR và mô hình tư vấn UIR đã được chứng minh là hiệu quả trong việc cung cấp các gợi ý chính xác cho người dùng. Việc áp dụng các mô hình này trong thực tế đã cho thấy sự cải thiện trong trải nghiệm người dùng và tăng cường khả năng ra quyết định. Hệ tư vấn này không chỉ có giá trị trong nghiên cứu mà còn có thể được áp dụng rộng rãi trong các lĩnh vực như thương mại điện tử, giáo dục và dịch vụ khách hàng.

3.1. Đánh Giá Hiệu Quả Tư Vấn

Đánh giá hiệu quả tư vấn là một phần quan trọng trong nghiên cứu. Các chỉ số như tính chính xác của gợi ý và tính chính xác của xếp hạng được dự đoán được sử dụng để đo lường hiệu quả của hệ thống. Kết quả cho thấy rằng hệ tư vấn dựa trên mức độ quan trọng hàm ý thống kê có thể cung cấp các gợi ý chính xác hơn so với các phương pháp truyền thống. Điều này chứng tỏ rằng việc áp dụng các phương pháp phân tích hiện đại có thể mang lại lợi ích lớn cho người dùng trong việc ra quyết định.

Nội dung chính

Tổng quan về luận án

Trong kỷ nguyên bùng nổ dữ liệu và chuyển đổi số, tình trạng quá tải thông tin (information overload) đặt ra thách thức nghiêm trọng đối với khả năng ra quyết định của người dùng trên các nền tảng thương mại điện tử, dịch vụ giải trí và giáo dục trực tuyến. Hệ tư vấn (Recommender Systems - RS) đã khẳng định vai trò là công cụ cốt lõi giải quyết bài toán này thông qua việc tự động truy xuất thông tin, dự đoán mức độ quan tâm (rating prediction) và đề xuất danh mục mục tin tối ưu (top-$N$ recommendation). Tuy nhiên, các kỹ thuật lọc cộng tác truyền thống (Collaborative Filtering - CF) chủ yếu dựa trên các độ đo tương tự đối xứng (như Cosine similarity, hệ số tương quan Pearson hay chỉ số Jaccard), vốn bỏ qua tính bất đối xứng tự nhiên trong hành vi và mối quan hệ thực tế giữa các thực thể dữ liệu.

Luận án tiến sĩ kỹ thuật chuyên ngành Khoa học máy tính (Mã số: 9480101) của tác giả Phan Phương Lan, thực hiện tại Trường Đại học Bách khoa – Đại học Đà Nẵng dưới sự hướng dẫn khoa học của PGS. Huỳnh Xuân Hiệp và TS. Huỳnh Hữu Hưng, mang tựa đề "Hệ tư vấn dựa trên mức độ quan trọng hàm ý thống kê" (2019). Luận án xác lập tính tiên phong khi tích hợp lý thuyết Phân tích hàm ý thống kê (Statistical Implicative Analysis - SIA) do Régis Gras khởi xướng vào kỹ thuật lọc cộng tác đa chiều, giải quyết triệt để ba khoảng trống nghiên cứu (research gaps) chính trong tài liệu học thuật:

(1) Các mô hình tư vấn dựa trên SIA trước đây hầu hết chỉ dừng lại ở phạm vi dữ liệu nhị phân (binary data), thiếu khả năng mở rộng xử lý dữ liệu phi nhị phân (non-binary/ratings) và đánh giá toàn diện độ chính xác của gợi ý; (2) Việc ứng dụng luật kết hợp truyền thống thường dẫn đến bùng nổ không gian tìm kiếm, khiến thời gian tư vấn trực tuyến kéo dài và hệ thống dễ bị quá tải; (3) Thiếu vắng cơ chế tích hợp đồng thời các đặc trưng hàm ý đa cấp độ (từ người dùng, mục dữ liệu đến luật) để tối ưu hóa chất lượng gợi ý.

Nghiên cứu tập trung giải quyết 3 câu hỏi nghiên cứu (Research Questions - RQ) và kiểm chứng 3 giả thuyết khoa học (Hypotheses - H):

• RQ1: Làm thế nào để xây dựng mô hình lọc cộng tác trên luật kết hợp dựa trên các độ đo SIA nhằm giảm thiểu thời gian khai phá và nâng cao độ chính xác $F1$-score trên cả dữ liệu nhị phân lẫn phi nhị phân?
• RQ2: Mối quan hệ hàm ý bất đối xứng giữa người dùng và chỉ số tiêu biểu của mục dữ liệu có thể được hình thức hóa thành độ đo xếp hạng mới ($KnnUIR$) để cải thiện sai số dự đoán (MAE, RMSE) hay không?
• RQ3: Làm thế nào để mô hình hóa mối quan hệ bất đối xứng trực tiếp và gián tiếp giữa các mục dữ liệu ($KnnIIR$) nhằm tối ưu hóa thứ hạng gợi ý (nDCG) và ổn định hiệu năng trong điều kiện dữ liệu thưa?

Luận án phát triển khung lý thuyết hợp nhất giữa SIA (với các độ đo: cường độ hàm ý $\varphi(a,b)$, cường độ hàm ý có entropy $\phi(a,b)$, chỉ số gắn kết $coh(a,b)$, chỉ số đóng góp $\varphi(i, a \to b)$, chỉ số tiêu biểu $\gamma(i, a \to b)$) và kỹ thuật lọc cộng tác (Memory-based & Model-based CF). Phạm vi thực nghiệm của luận án bao quát trên 3 tập dữ liệu chuẩn và thực tế: tập dữ liệu công nghiệp MSWeb (kích thước $875 \times 135$ và các biến thể $432 \times 145$, $2.xxx$), tập chuẩn quốc tế MovieLens (biến thể $565 \times 336$ và $943 \times 1.144$), cùng tập dữ liệu thực tế DKHP thu thập từ 1.130 sinh viên với 57 học phần thuộc các khóa 40, 41, 42 và 43 (giai đoạn 2015–2018) tại Trường Đại học Cần Thơ.

---

Literature Review và Positioning

Khảo sát lịch sử phát triển hơn hai thập kỷ của lĩnh vực hệ tư vấn chỉ ra rằng các kỹ thuật lọc cộng tác là dòng nghiên cứu chủ đạo, được phân nhánh thành hai lớp tiếp cận cơ bản: tiếp cận dựa trên bộ nhớ (Memory-based CF bao gồm User-based và Item-based) do Resnick et al. (1994), Sarwar et al. (2001) khởi xướng; và tiếp cận dựa trên mô hình (Model-based CF như Matrix Factorization, Latent Factor Models) được phát triển mạnh mẽ bởi Koren, Bell & Volinsky (2009). Song song đó, hướng tiếp cận dựa trên luật kết hợp (Association Rule-based CF) do Agrawal et al. (1993) đặt nền móng sử dụng hai độ đo khách quan cơ bản là độ hỗ trợ (support - $s$) và độ tin cậy (confidence - $c$).

Tuy nhiên, các tranh luận học thuật sâu sắc đã nảy sinh giữa hai trường phái:

1. Trường phái Độ đo Đối xứng (Symmetric Similarity Paradigm): Sử dụng Cosine, Pearson correlation, Jaccard index giả định rằng nếu thực thể $a$ tương tự thực thể $b$ thì mức độ liên kết $a \to b$ tương đương $b \to a$. Quan điểm này bị chỉ trích bởi Gras et al. (2008), Couturier (2008) vì trong thực tế nhận thức và tiêu dùng, nếu người dùng quan tâm đến một sản phẩm đặc thù ($a$) thì xác suất cao họ quan tâm đến sản phẩm đại trà ($b$), nhưng chiều ngược lại ($b \to a$) không hề có cùng mức độ tin cậy.
2. Trường phái Phân tích Dữ liệu Bất đối xứng (Asymmetric & Implicative Paradigm): Khởi nguồn từ lý thuyết Phân tích hàm ý thống kê (Statistical Implicative Analysis - SIA) của Régis Gras (1996, 2008). Lý thuyết này mô hình hóa mối quan hệ $a \to b$ thông qua số phản ví dụ quan sát được $n_{a\bar{b}} = card(A \cap \bar{B})$ so với số phản ví dụ mong đợi trong giả thiết độc lập ngẫu nhiên, lượng hóa tính bất ngờ (surprisingness) và bất đối xứng qua phân phối xác suất.

Về mặt định vị nghiên cứu, trước thời điểm luận án, một số công trình quốc tế như Martinez et al. (2008) hay các nghiên cứu bước đầu của tác giả trong nước đã cố gắng ứng dụng SIA vào khai phá luật, nhưng gặp phải rào cản lớn: chỉ xử lý được ma trận nhị phân 0/1, tiêu tốn tài nguyên tính toán khi sinh tập luật trực tuyến, và chưa thiết lập được công thức dự đoán xếp hạng định lượng tương thích với các framework chuẩn như recommenderlab (Hahsler, 2011).

So sánh với các nghiên cứu quốc tế điển hình:

• So với mô hình Item-based Top-$N$ của Sarwar et al. (2001): Mô hình của Sarwar sử dụng Cosine similarity dẫn đến việc đánh đồng độ ảnh hưởng tương hỗ giữa các mục, trong khi luận án đề xuất mô hình $IIR$ sử dụng $KnnIIR$ khai thác số phản ví dụ để phân biệt rõ chiều tác động hướng đích, nâng cao chỉ số nDCG khi danh sách gợi ý bị cắt ngắn.
• So với mô hình khai phá luật kết hợp đa tiêu chí của Hahsler et al. (2007, 2011): Gói recommenderlab của Hahsler chỉ hỗ trợ khai phá luật AR cổ điển dựa trên support/confidence, dễ bị bão hòa bởi các mục phổ biến (popular items). Luận án định vị vượt trội bằng việc tích hợp chỉ số gắn kết $coh(a,b)$ và entropy có điều kiện của Shannon, giúp lọc bỏ các luật ngẫu nhiên và tăng độ lợi thông tin.

---

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án đã mở rộng căn bản lý thuyết Phân tích hàm ý thống kê của Régis Gras sang miền ứng dụng hệ tư vấn lọc cộng tác, hình thành 3 đóng góp lý thuyết nền tảng:

                  ┌────────────────────────────────────────┐
                  │ Lý thuyết Phân tích Hàm ý Thống kê    │
                  │   (SIA - Régis Gras, 1996, 2008)       │
                  └──────────────────┬─────────────────────┘
                                     │
         ┌───────────────────────────┼───────────────────────────┐
         ▼                           ▼                           ▼
┌──────────────────┐       ┌──────────────────┐        ┌──────────────────┐
│   Chương 2: SIR  │       │  Chương 3: UIR   │        │  Chương 4: IIR   │
│  Mô hình tư vấn  │       │ Độ đo mới KnnUIR │        │ Độ đo mới KnnIIR │
│ luật kết hợp SIA │       │ và mô hình UIR   │        │ và mô hình IIR   │
└──────────────────┘       └──────────────────┘        └──────────────────┘

1. Hình thức hóa mối quan hệ hàm ý thống kê trên dữ liệu phi nhị phân đa chiều: Mở rộng việc biểu diễn quan hệ $a \to b$ qua bộ tứ giá trị $(n, n_a, n_{\bar{b}}, n_{a\bar{b}})$, trong đó chỉ số hàm ý khuynh hướng (propensity index) $q_{prop}(a,b)$ được xác định dựa trên kỳ vọng và phương sai mẫu: $$q_{prop}(a, b) = \frac{\frac{1}{n}\sum_{i \in E} a(i)b(i) - m_a m_b}{\sqrt{\frac{1}{n}(v_a + m_a^2)(v_b + m_b^2)}}$$
2. Đề xuất mức độ quan trọng xếp hạng hàm ý trên người dùng ($KnnUIR$): Hợp nhất cường độ hàm ý $\varphi(u, v)$ giữa hai người dùng $u, v$ và chỉ số tiêu biểu $\gamma(i, u \to v)$ của mục dữ liệu $i$ thông qua khoảng cách hàm ý $d_1(i, u \to v)$: $$\gamma(i, u \to v) = 1 - \frac{d_1(i, u \to v)}{\max_{j \in E} d_1(j, u \to v)}$$ với $d_1(i, u \to v) = \frac{(\varphi(u, v) - \varphi(i, u \to v))^2}{1 - \varphi(u, v)}$. Mức độ này cho phép dự đoán chính xác mức độ quan tâm của người dùng mục tiêu dựa trên các láng giềng có quan hệ hàm ý mạnh nhất.
3. Đề xuất mức độ quan trọng xếp hạng hàm ý trên mục dữ liệu ($KnnIIR$): Thiết lập cơ chế lượng hóa độ bất ngờ kết hợp với số đồng thuận giữa các mục dữ liệu để tính toán ma trận tương tác mục trực tiếp và gián tiếp.

Khung phân tích độc đáo

Khung phân tích của luận án tích hợp liên ngành giữa ba nền tảng lý thuyết: (1) Lý thuyết xác suất thống kê cổ điển (phân phối Poisson và phân phối chuẩn Gaussian $N(0,1)$); (2) Lý thuyết thông tin Shannon (Information Theory) qua khái niệm Entropy có điều kiện $H(B/A)$; và (3) Lý thuyết không gian vector lọc cộng tác (Collaborative Filtering Space).

Khung phân tích thiết lập 3 mệnh đề mô hình hóa:

• Mệnh đề 1 (Mô hình SIR): Việc tích hợp chỉ số gắn kết $coh(a,b) = \sqrt{1 - [H(Y)]^2}$ loại bỏ các quy tắc kết hợp biên có độ tin cậy giả tạo do tần suất xuất hiện ngẫu nhiên cao.
• Mệnh đề 2 (Mô hình UIR): Khắc phục hiện tượng suy giảm thông tin của láng giềng bằng cách đánh trọng số dự đoán rating $\hat{r}_{u,i}$ thông qua tích chéo giữa ma trận cường độ hàm ý người dùng và chỉ số tiêu biểu mục.
• Mệnh đề 3 (Mô hình IIR): Tối ưu hóa thời gian tính toán bằng giải thuật xây dựng ma trận mục trực tiếp, giảm độ phức tạp từ $\mathcal{O}(|U| \cdot |I|^2)$ xuống cấu trúc biểu diễn thưa cục bộ.

Điều kiện biên (Boundary conditions): Khung phân tích đòi hỏi các giá trị rating phi nhị phân phải được chuẩn hóa đơn điệu về đoạn $[0, 1]$ và tham số phân phối Poisson $\lambda = \frac{n_a n_{\bar{b}}}{n} > 4$ để phép xấp xỉ phân phối chuẩn đạt độ hội tụ tin cậy.

---

Phương pháp nghiên cứu tiên tiến

Thiết kế nghiên cứu

Nghiên cứu tuân thủ chặt chẽ thế giới quan thực chứng (Positivism paradigm) và phương pháp luận định lượng thực nghiệm (quantitative experimental methodology). Thiết kế nghiên cứu được cấu trúc thành ba cấp độ độc lập tương ứng với ba mô hình:

• Cấp độ Luật (Rule-level): Mô hình $SIR$ (Statistical Implicative Rules-based CF) và phiên bản cải tiến $SIR$ cải tiến.
• Cấp độ Người dùng (User-level): Mô hình $UIR$ (User Implicative Rating-based CF).
• Cấp độ Mục dữ liệu (Item-level): Mô hình $IIR$ (Item Implicative Rating-based CF).

   ┌──────────────────────────────────────────────────────────────┐
   │                    QUY TRÌNH NGHIÊN CỨU                      │
   └──────────────────────────────┬───────────────────────────────┘
                                  │
         ┌────────────────────────┴────────────────────────┐
         ▼                                                 ▼
┌─────────────────────────────────┐       ┌─────────────────────────────────┐
│ Tiền xử lý ma trận xếp hạng R   │       │ Đánh giá chéo k tập con         │
│ Chuẩn hóa rating về đoạn [0, 1] │       │ (k-fold cross-validation, k=4)  │
└────────────────┬────────────────┘       └────────────────┬────────────────┘
                 │                                         │
                 └────────────────────────┬────────────────┘
                                          │
                                          ▼
                ┌──────────────────────────────────────────────────┐
                │ Khởi tạo mô hình trên Package R Interestingnesslab│
                │ Huấn luyện: Khai phá SIR / Tính KnnUIR / KnnIIR  │
                └─────────────────────────┬────────────────────────┘
                                          │
                                          ▼
                ┌──────────────────────────────────────────────────┐
                │ Dự báo & Đánh giá Offline đa chiều:              │
                │ - Nhị phân: ROC Curve, PR Curve, F1-score        │
                │ - Xếp hạng: MAE, RMSE                            │
                │ - Thứ tự danh mục: nDCG                          │
                └──────────────────────────────────────────────────┘

Quy trình nghiên cứu rigorous

Quy trình thu thập và xử lý dữ liệu thực nghiệm tuân thủ các chuẩn mực khoa học nghiêm ngặt:

• Chiến lược phân chia mẫu: Áp dụng phương pháp đánh giá chéo $k$ tập con ($k$-fold cross-validation với $k=4$). Mỗi tập dữ liệu được phân chia ngẫu nhiên thành $k$ phần bằng nhau; trong mỗi lượt lặp $i \in {1, \dots, k}$, tập dữ liệu được tách thành: tập huấn luyện $S_i$ (để học mô hình $M$), tập truy vấn $Q_i$ (chứa các profile đầu vào) và tập đích $T_i$ (chứa ground truth để kiểm thử). Toàn bộ quy trình được lặp lại nhiều phiên thử nghiệm độc lập (times từ 1 đến 30) với các mức kích thước profile biết trước (given từ 1 đến 17) nhằm triệt tiêu sai số ngẫu nhiên.
• Giao thức Triangulation: Kết hợp tam giác giác hóa phương pháp (đối chuẩn chéo giữa Model-based và Memory-based) và tam giác giác hóa dữ liệu (kiểm định đồng thời trên dữ liệu thương mại điện tử MSWeb, phim ảnh MovieLens và đăng ký học tập DKHP).
• Độ tin cậy và giá trị đo lường: Độ tin cậy của thuật toán được bảo đảm thông qua tính ổn định khi thay đổi siêu tham số láng giềng gần $knn \in [10, 80]$, ngưỡng hỗ trợ $s \in [0.01, 0.05]$ và ngưỡng tin cậy $c \in [0.1, 0.6]$.

Data và phân tích

Đặc tính mẫu thực nghiệm được kiểm soát chi tiết:

1. Tập MSWeb ($875 \times 135$): Ma trận giao dịch người dùng truy cập các khu vực nội dung website Microsoft, phản ánh hành vi duyệt web nhị phân thưa.
2. Tập MovieLens ($565 \times 336$ và $943 \times 1.144$): Dữ liệu xếp hạng phim từ 1 đến 5 sao, được chuyển đổi về miền thực $[0, 1]$, độ thưa trên 93.7%.
3. Tập DKHP ($1.130 \times 57$): Gồm 1.130 sinh viên và 57 học phần thuộc chương trình đào tạo kỹ sư/cử nhân CNTT Trường ĐH Cần Thơ, thể hiện rõ chuỗi quan hệ tiên quyết và phụ thuộc giữa các môn học.

Môi trường thực thi và kiểm thử: Toàn bộ mô hình được đóng gói trong thư viện tự xây dựng Interestingnesslab viết trên nền tảng ngôn ngữ R, tích hợp chặt chẽ với framework recommenderlab [48], gói thống kê pROC [69] và ROCR [67].

| Tập dữ liệu mẫu | Chiều dữ liệu ($|U| \times |I|$) | Bản chất dữ liệu | Tham số kiểm thử tiêu biểu | | :--- | :--- | :--- | :--- | | MSWeb | $875 \times 135$ | Nhị phân (Web visits) | $times = 2 \dots 10$, $given = 1 \dots 7$, $knn = 30 \dots 80$ | | MovieLens | $565 \times 336$ / $943 \times 1.144$ | Phi nhị phân (Ratings 1–5) | $times = 1 \dots 10$, $given = 1 \dots 17$, $knn = 10 \dots 80$ | | DKHP | $1.130 \times 57$ | Nhị phân (Course enrollment) | $times = 2 \dots 5$, $given = 1 \dots 5$, $knn = 40$ |

---

Phát hiện đột phá và implications

Những phát hiện then chốt

Kết quả phân tích định lượng từ hàng trăm kịch bản thực nghiệm khẳng định 4 phát hiện mang tính đột phá:

                    SO SÁNH CÁC CHỈ SỐ ĐO LƯỜNG CHÍNH
┌───────────────────────────────────────────────────────────────────────┐
│ 1. Độ chính xác F1-score (Tập MSWeb, times=2, recs=3..10):            │
│    - SIR cải tiến & IIR > AR truyền thống và UBCF Jaccard             │
│    - F1 của IIR duy trì ổn định khi given thay đổi từ 1 đến 4         │
├───────────────────────────────────────────────────────────────────────┤
│ 2. Thời gian xây dựng mô hình (Execution Time):                       │
│    - SIR cải tiến giảm 35% - 60% thời gian so với SIR gốc             │
│    - IIR trực tiếp tối ưu hóa vượt trội so với IIR gián tiếp          │
├───────────────────────────────────────────────────────────────────────┤
│ 3. Sai số dự đoán (Tập MovieLens 943x1144, knn=10..80):               │
│    - UIRTypicality đạt MAE ~ 0.18 - 0.22 (thấp hơn UBCF Cosine)       │
│    - RMSE của IIRIIntens giảm ổn định khi k tăng                      │
├───────────────────────────────────────────────────────────────────────┤
│ 4. Chất lượng xếp hạng danh mục (nDCG, times=10, 30):                 │
│    - UIR và IIR vượt trội có ý nghĩa thống kê so với UBCF/IBCF        │
│    - Khả năng gợi ý mục hiếm (long-tail items) tăng rõ rệt            │
└───────────────────────────────────────────────────────────────────────┘

1. Sự vượt trội của quy tắc hàm ý so với luật kết hợp truyền thống ($SIR$ vs $AR$): Trên tập MSWeb(875x135) và DKHP(1.130x57), mô hình $SIR$ sử dụng chỉ số gắn kết $coh(a,b)$ kết hợp chỉ số đóng góp đạt diện tích dưới đường cong ROC (AUC) và đường cong Precision-Recall cao hơn rõ rệt so với thuật toán khai phá luật kết hợp cổ điển $AR$. Trên tập MSWeb, chỉ số $F1$-score của $SIR$ duy trì ưu thế bền vững khi số lượng gợi ý thay đổi từ $N=1$ đến $N=10$.
2. Đột phá về tốc độ xử lý của mô hình $SIR$ cải tiến: Bằng cách kết hợp đồng thời việc biểu diễn quan hệ hàm ý và tính toán chỉ số gắn kết/cường độ hàm ý trực tiếp ngay trong pha sinh tập luật (thay vì sinh toàn bộ tập luật rồi mới lọc ở pha hậu xử lý), mô hình $SIR$ cải tiến đã rút ngắn thời gian xây dựng mô hình từ 35% đến hơn 60% trên cả hai tập MSWeb và DKHP mà không làm suy giảm độ chính xác gợi ý.
3. Giảm thiểu sai số dự đoán xếp hạng với $UIR$ ($KnnUIR$): Đối với bài toán dự đoán rating trên tập phi nhị phân MovieLens(943x1.144), mô hình $UIRTypicality$ (kết hợp cường độ hàm ý và chỉ số tiêu biểu) đạt sai số tuyệt đối trung bình (MAE) và sai số bình phương trung bình (RMSE) thấp hơn có ý nghĩa so với các giải thuật chuẩn quốc tế $UBCFCosine$ và $UBCFPearson$. Khi kiểm thử với các láng giềng $knn = {10, 30, 50, 60, 80}$, $UIR$ thể hiện tính kháng nhiễu và độ hội tụ sai số ổn định.
4. Tối ưu hóa thứ hạng gợi ý với mô hình $IIR$ ($KnnIIR$): Về độ lợi tích lũy giảm dần chuẩn hóa (nDCG) – thước đo quan trọng nhất phản ánh chất lượng danh sách top-$N$, mô hình $IIR$ và $UIR$ liên tục vượt qua $IBCFPearson$ và $UBCFJaccard$ trên cả MSWeb (khi $times=10, 30$) và MovieLens. Cơ chế khai thác số phản ví dụ $n_{a\bar{b}}$ giúp mô hình loại bỏ các đề xuất phổ biến sai lệch, ưu tiên chính xác các mục có hàm ý nhân quả thực sự.

Implications đa chiều

• Về mặt lý thuyết: Chứng minh tính đúng đắn của việc tích hợp lý thuyết phân tích dữ liệu bất đối xứng (SIA) vào các mô hình học máy và lọc cộng tác; tạo tiền đề mở rộng cho các nghiên cứu mô hình hóa bất đối xứng trong Deep Learning và Graph Neural Networks.
• Về mặt phương pháp luận: Cung cấp bộ công cụ mã nguồn mở Interestingnesslab trên R, thiết lập chuẩn kiểm thử ngoại tuyến đa thước đo (ROC, PR, F1, MAE, RMSE, nDCG) có thể tái lập hoàn toàn (fully reproducible) cho cộng đồng nghiên cứu hệ tư vấn.
• Về ứng dụng thực tiễn:
  • Lĩnh vực Giáo dục số (EdTech): Áp dụng trực tiếp tập dữ liệu DKHP chứng minh khả năng hỗ trợ cố vấn học tập tự động hóa quy trình gợi ý đăng ký môn học theo lộ trình năng lực và điều kiện tiên quyết của sinh viên.
  • Lĩnh vực Thương mại điện tử (E-Commerce): Cải thiện tỷ lệ chuyển đổi (conversion rate) nhờ danh sách top-$N$ bám sát nhu cầu tiềm ẩn của khách hàng mà không cần dữ liệu lịch sử quá dày đặc.
• Về chính sách và quản trị: Cung cấp cơ sở khoa học để các tổ chức xây dựng hệ thống gợi ý minh bạch, giải thích được (explainable AI) dựa trên các quy tắc hàm ý thống kê rõ ràng.

---

Limitations và Future Research

Luận án thừa nhận khách quan các giới hạn nghiên cứu (limitations):

1. Rào cản về quy mô dữ liệu cực lớn (Scalability boundary): Việc tính toán ma trận tương tác người dùng $n \times n$ theo độ đo cường độ hàm ý có entropy trong mô hình $UIR$ tiêu tốn bộ nhớ khi số lượng người dùng vượt quá hàng trăm nghìn cá thể, do tính chất phi tuyến của hàm logarit entropy.
2. Chưa tích hợp ngữ cảnh thời gian thực (Contextual dynamics): Các mô hình đề xuất hiện xử lý ma trận tĩnh, chưa nắm bắt được sự dịch chuyển sở thích người dùng theo thời gian (concept drift) và các biến ngữ cảnh (thời tiết, vị trí, tâm trạng).
3. Xử lý vấn đề người dùng/mục hoàn toàn mới (Extreme Cold-Start): Dù cải thiện độ chính xác ở mức $given$ nhỏ ($given=1, 2$), mô hình vẫn phụ thuộc vào sự tồn tại của ít nhất một vài tương tác lịch sử để thiết lập quan hệ hàm ý ban đầu.

Chương trình nghiên cứu tiếp theo (Future Research Agenda):

• Hướng 1: Nghiên cứu phân tán hóa giải thuật tính toán các độ đo SIA trên nền tảng tính toán song song Apache Spark / GPU để xử lý các tập dữ liệu Big Data quy mô hàng triệu người dùng.
• Hướng 2: Mở rộng mô hình $UIR$ và $IIR$ tích hợp mạng nơ-ron sâu (Deep Neural Networks) hoặc mạng tích chập đồ thị (Graph Convolutional Networks - GCN) nhằm học các biểu diễn hàm ý tiềm ẩn (latent implicative embeddings).
• Hướng 3: Phát triển hệ tư vấn dựa trên hàm ý thống kê nhận biết ngữ cảnh (Context-aware SIA Recommender System) và hệ tư vấn hội thoại (Conversational RS).
• Hướng 4: Mở rộng ứng dụng sang các miền dữ liệu y tế (gợi ý phác đồ điều trị) và tài chính số (cảnh báo rủi ro tín dụng).

---

Tác động và ảnh hưởng

Công trình của NCS. Phan Phương Lan tạo ra các giá trị tác động đa tầng:

                          CÁC TẦNG TÁC ĐỘNG CỦA LUẬN ÁN
┌────────────────────────────────────────────────────────────────────────────────┐
│ 1. HỌC THUẬT QUỐC TẾ & TRONG NƯỚC                                             │
│    - Cầu nối tiên phong giữa trường phái SIA Pháp ngữ và cộng đồng RS          │
│    - Công bố trên các tạp chí, kỷ yếu hội thảo uy tín chuyên ngành             │
├────────────────────────────────────────────────────────────────────────────────┤
│ 2. CHUYỂN GIAO CÔNG NGHỆ R&D                                                  │
│    - Đóng gói trọn vẹn Package R Interestingnesslab dùng cho nghiên cứu        │
│    - Dễ dàng tích hợp vào các nền tảng thương mại điện tử, dịch vụ nội dung    │
├────────────────────────────────────────────────────────────────────────────────┤
│ 3. GIẢI PHÁP GIÁO DỤC ĐẠI HỌC (EDTECH)                                         │
│    - Tối ưu hóa kế hoạch học tập qua gợi ý đăng ký học phần (DKHP)             │
│    - Giảm thiểu tỷ lệ sinh viên rớt môn và kéo dài thời gian đào tạo           │
└────────────────────────────────────────────────────────────────────────────────┘

• Tác động học thuật: Đóng vai trò cầu nối tiên phong giữa trường phái phân tích dữ liệu Pháp ngữ (GS. Régis Gras) và cộng đồng nghiên cứu Hệ tư vấn toàn cầu; cung cấp khung lý thuyết bất đối xứng vững chắc cho các công trình nghiên cứu sau đại học.
• Chuyển giao công nghệ & R&D: Thư viện Interestingnesslab cung cấp nền tảng giải thuật sẵn sàng tích hợp vào các engine gợi ý của doanh nghiệp phần mềm thương mại điện tử và dịch vụ giải trí trực tuyến.
• Lợi ích xã hội và giáo dục: Ứng dụng thực tế trên dữ liệu DKHP tại Trường Đại học Cần Thơ mang lại giải pháp công nghệ trực tiếp giúp nâng cao hiệu quả đào tạo theo học chế tín chỉ, hỗ trợ người học cá nhân hóa lộ trình tích lũy kiến thức.

---

Đối tượng hưởng lợi

• Nghiên cứu sinh và Giảng viên ngành Khoa học Máy tính / Khoa học Dữ liệu: Thụ hưởng khung lý thuyết hoàn chỉnh về SIA, các công thức toán học tường minh về độ đo bất đối xứng và các định hướng nghiên cứu mở rộng sang Deep Learning.
• Kỹ sư AI và Chuyên viên R&D hệ thống Recommender Systems: Tiếp cận giải thuật tối ưu hóa thời gian tính toán mô hình luật kết hợp ($SIR$ cải tiến) và phương thức dự đoán rating dựa trên mục ($IIR$), có thể triển khai trực tiếp vào sản phẩm phần mềm.
• Nhà quản lý giáo dục và Quản trị đại học: Thụ hưởng mô hình tư vấn học phần thông minh giúp dự báo nhu cầu mở lớp, sắp xếp thời khóa biểu và tư vấn lộ trình học tập tối ưu cho người học.
• Doanh nghiệp kinh doanh dịch vụ trực tuyến: Tiếp cận giải pháp gia tăng chỉ số thỏa mãn khách hàng và doanh thu thông qua danh mục gợi ý top-$N$ có độ chính xác và tính tương quan cao.

---

Câu hỏi chuyên sâu

1. Đóng góp lý thuyết độc đáo nhất của luận án là gì và đã mở rộng lý thuyết nền tảng nào?

Đóng góp độc đáo nhất là việc luận án đã hình thức hóa thành công hai độ đo xếp hạng hàm ý thống kê mới: $KnnUIR$ (trên người dùng) và $KnnIIR$ (trên mục dữ liệu), mở rộng trực tiếp lý thuyết Phân tích hàm ý thống kê (Statistical Implicative Analysis - SIA) của GS. Régis Gras sang bài toán dự đoán rating và sinh top-$N$ của lọc cộng tác. Điểm mấu chốt là luận án đã thay thế giả định tương tự đối xứng truyền thống bằng cơ chế lượng hóa bất đối xứng qua số phản ví dụ $n_{a\bar{b}}$ kết hợp chỉ số tiêu biểu $\gamma(i, a \to b)$ và entropy Shannon, giải quyết triệt để tính phiến diện trong việc xác định láng giềng.

2. Sự đổi mới về mặt phương pháp luận của luận án khi so sánh với ít nhất hai nghiên cứu quốc tế trước đó?

So với phương pháp lọc cộng tác dựa trên luật kết hợp $AR$ cổ điển của Agrawal et al. (1993) và framework recommenderlab của Hahsler (2011), phương pháp luận của luận án đổi mới ở hai khía cạnh: (1) Đưa ra giải thuật $SIR$ cải tiến tích hợp tính toán cường độ hàm ý ngay trong pha duyệt tập phổ biến, giảm 35%–60% thời gian chạy; (2) So với mô hình Item-based CF của Sarwar et al. (2001), luận án phát triển phương pháp xây dựng ma trận mục trực tiếp dựa trên sự bất ngờ của phản ví dụ, cải thiện rõ rệt đường cong ROC và chỉ số nDCG trong điều kiện ma trận xếp hạng thưa.

3. Phát hiện thực nghiệm nào bất ngờ nhất và có bằng chứng dữ liệu hỗ trợ ra sao?

Phát hiện bất ngờ nhất là việc gia tăng số lượng láng giềng gần $knn$ trong các mô hình truyền thống thường làm tăng mạnh độ nhiễu và suy giảm $F1$-score, nhưng trong mô hình $UIR$ (kết hợp chỉ số tiêu biểu), độ chính xác dự đoán lại duy trì sự ổn định vượt trội khi $knn$ tăng từ 30 lên 80 trên tập MSWeb và MovieLens(943x1.144). Bằng chứng dữ liệu thực nghiệm cho thấy sai số MAE và RMSE của $UIRTypicality$ luôn hội tụ ở mức thấp hơn $UBCFCosine$ nhờ cơ chế phạt tự nhiên của khoảng cách hàm ý $d_1$ đối với các đối tượng không tiêu biểu.

4. Luận án có cung cấp quy trình tái lập thực nghiệm (Replication Protocol) không?

Có. Luận án cung cấp quy trình tái lập thực nghiệm chi tiết và hoàn chỉnh thông qua: (1) Phát triển công cụ phần mềm mã nguồn mở Interestingnesslab trên ngôn ngữ R; (2) Mô tả chi tiết mã giả 5 giải thuật cốt lõi trong phần Phụ lục 2, 3, 4, 5; (3) Công khai thông số tiền xử lý và đặc tính của tập dữ liệu thực nghiệm DKHP (1.130 sinh viên $\times$ 57 môn học) cùng các kịch bản kiểm thử tham số ($s, c, knn, times, given$) trong Phụ lục 6.

5. Lộ trình nghiên cứu 10 năm (10-year research agenda) được phác thảo từ công trình này như thế nào?

Lộ trình 10 năm mở ra ba giai đoạn phát triển chiến lược:

• Giai đoạn 1 (1–3 năm): Tối ưu hóa phân tán giải thuật SIA trên nền tảng Big Data (Spark/Hadoop) và tích hợp các độ đo hàm ý vào các lớp mạng nơ-ron sâu (Neural Collaborative Filtering).
• Giai đoạn 2 (4–6 năm): Phát triển hệ tư vấn hàm ý đa phương thức (Multimodal Implicative RS) kết hợp khai phá văn bản, hình ảnh và đồ thị tri thức (Knowledge Graphs).
• Giai đoạn 3 (7–10 năm): Ứng dụng lý thuyết hàm ý nhân quả (Causal & Implicative AI) vào các hệ thống tự hành và ra quyết định phức hợp trong y tế cá nhân hóa và quản trị xã hội thông minh.

---

Kết luận

Luận án tiến sĩ của tác giả Phan Phương Lan đã giải quyết trọn vẹn và xuất sắc mục tiêu nghiên cứu đề ra, mang lại những giá trị học thuật và ứng dụng thực tiễn to lớn thông qua 6 đóng góp cốt lõi:

1. Hệ thống hóa và hoàn thiện cơ sở lý thuyết phân tích hàm ý thống kê (SIA) cho cả hai miền dữ liệu nhị phân và phi nhị phân trong không gian bài toán hệ tư vấn.
2. Đề xuất hai độ đo xếp hạng hàm ý thống kê mang tính đột phá: $KnnUIR$ (trên người dùng) và $KnnIIR$ (trên mục dữ liệu), khắc phục hạn chế cố hữu của các độ đo tương tự đối xứng truyền thống.
3. Phát triển thành công ba mô hình tư vấn tiên tiến: $SIR$ (và $SIR$ cải tiến trên luật kết hợp), $UIR$ (trên người dùng) và $IIR$ (trên mục dữ liệu), nâng cao vượt bậc độ chính xác gợi ý ($F1$-score, nDCG) và tối ưu hóa thời gian tính toán.
4. Xây dựng công cụ phần mềm chuyên dụng Interestingnesslab trên nền tảng R, đóng góp một framework thực nghiệm giá trị cho cộng đồng học thuật.
5. Thu thập, chuẩn hóa và đóng góp bộ dữ liệu thực tế DKHP gồm 1.130 người học, chứng minh tính khả thi cao trong bài toán hỗ trợ đăng ký học phần giáo dục đại học.
6. Mở ra 3 hướng nghiên cứu mới: Tích hợp hàm ý thống kê vào Deep Learning/GCN, hệ tư vấn nhận biết ngữ cảnh thời gian thực và hệ hỗ trợ quyết định nhân quả giải thích được (Explainable Causal AI).

Công trình khẳng định bước tiến khoa học vững chắc, nâng tầm ứng dụng của lý thuyết phân tích hàm ý thống kê trong khoa học máy tính hiện đại và để lại giá trị phương pháp luận lâu dài cho các thế hệ nghiên cứu tiếp theo.

Trích đoạn nội dung tài liệu

Chương 1 phác thảo các đề xuất tư vấn theo mức độ quan trọng hàm ý thống kê mà chúng sẽ được trình bày chi tiết trong các chương còn lại. Mức độ quan trọng hàm ý thống kê 1. Định nghĩa mức độ quan trọng hàm ý thống kê Mức độ quan trọng hàm ý thống kê là một độ đo của lý thuyết phân tích hàm ý thống kê - một lý thuyết phân tích dữ liệu được đề xuất bởi Gras và các cộng sự [61]. Mức độ quan trọng hàm ý thống kê được sử dụng để đo giá trị của mối quan hệ giữa các thuộc tính (biến) ở cả dạng nhị phân và phi nhị phân; qua đó, giúp phát hiện các khuynh hướng trong một tập hợp các thuộc tính.

Với dữ liệu nhị phân, mỗi thuộc tính chỉ nhận một trong hai giá trị 0 hoặc 1. Với dữ liệu phi nhị phân, mỗi thuộc tính nhận giá trị số thực và được quy đổi về đoạn [0,1]. Đặc điểm của mức độ quan trọng hàm ý thống kê là không đối xứng, dựa trên xác suất và có sự kết hợp phi tuyến tính giữa các thuộc tính.1 tổng hợp vai trò của các mức độ quan trọng hàm ý thống kê. Chi tiết về từng mức độ quan trọng được trình bày trong các Mục 1.

Các mức độ quan trọng hàm ý thống kê trong Bảng 1.1 được sử dụng để xây dựng mô hình tư vấn trên luật kết hợp (Chương 2 của luận án) và là cơ sở để đề xuất hai mức độ quan trọng hàm ý thống kê mới trong các mô hình tư vấn trên người dùng và trên mục dữ liệu (Chương 3 và Chương 4 của luận án). luan an 8 Bảng 1.1: Các mức độ quan trọng hàm ý thống kê. Mức độ quan trọng Vai trò hàm ý thống kê Đo độ lệch giữa giá trị ngẫu nhiên và giá trị mong đợi của một mối quan hệ 𝑎 → 𝑏 với 𝑎 và 𝑏 là tập các thuộc tính. Chỉ Chỉ số hàm ý số hàm ý được dùng để tính cường độ hàm ý.

Chỉ số hàm ý càng thấp thì cường độ hàm ý càng cao. Đo tính bất ngờ (ngạc nhiên, surprisingness) của một mối quan hệ 𝑎 → 𝑏 khi quan sát một số lượng nhỏ các phản ví Cường độ hàm ý dụ 𝑛 - số các đối tượng không có 𝑏 khi có 𝑎, counter example number. Cường độ hàm ý là một độ đo chất lượng thông tin và quy nạp. Điều chỉnh giá trị bất ngờ được lượng hóa bởi cường độ hàm Cường độ hàm ý có ý bằng việc quan tâm đến chiều ngược của mối quan hệ entropy (𝑏 → 𝑎).

Cường độ hàm ý có entropy củng cố sự chắc chắn về chất lượng tốt của một mối quan hệ. Phát hiện các mối quan hệ có chất lượng hàm ý tốt; được Chỉ số gắn kết xây dựng dựa trên cường độ hàm ý và entropy. Đo sự góp phần của một đối tượng đối với sự hình thành Chỉ số đóng góp của một mối quan hệ. Đo tính tiêu biểu của một đối tượng trong sự hình thành một Chỉ số tiêu biểu mối quan hệ.

Mức độ quan trọng hàm ý thống kê cho dữ liệu nhị phân 1. Mối quan hệ hàm ý thống kê trên dữ liệu nhị phân Mối quan hệ 𝑎 → 𝑏 (hay khuynh hướng các đối tượng có thuộc tính 𝑏 khi chúng có thuộc tính 𝑎) được chấp nhận khi nó đạt tới một mức tin cậy xác định. Khi đó, ta có thể xem mối quan hệ 𝑎 → 𝑏 như một quy tắc hay một luật. Luật này khó bị thay thế nếu có rất ít số đối tượng không có 𝑏 khi có 𝑎 (phản ví dụ) mới xuất hiện.

Tuy nhiên, nếu số phản ví dụ mới càng tăng, sự tin cậy của luật sẽ bị giảm và luật có thể luan an 9 bị loại bỏ. Theo phương pháp phân tích hàm ý thống kê, một mối quan hệ được quan sát thống kê chấp nhận càng ít số phản ví dụ thì nó càng có hàm ý [61].1 biểu diễn mối quan hệ 𝑎 → 𝑏 theo phương pháp phân tích hàm ý thống kê. Mối quan hệ 𝑎 → 𝑏 được thể hiện bằng một bộ gồm bốn giá trị 𝑛, 𝑛 , 𝑛 và 𝑛 .1: - 𝐸 là tổng thể gồm 𝑛 đối tượng được mô tả bởi một tập hữu hạn các thuộc tính nhị phân 𝑉. - 𝐴 ⊂ 𝐸 là tập con gồm các đối tượng có thuộc tính 𝑎, 𝐴̅ là tập bù của tập 𝐴.

- 𝐵 ⊂ 𝐸 là tập con gồm các đối tượng có thuộc tính 𝑏, 𝐵 là tập bù của tập 𝐵. - (𝐴 ∩ 𝐵) ⊂ 𝐸 là tập con gồm các đối tượng có thuộc tính 𝑎 mà không có thuộc tính 𝑏. - 𝑛 = 𝑐𝑎𝑟𝑑(𝐴) và 𝑛 = 𝑐𝑎𝑟𝑑(𝐴̅) là bản số của tập 𝐴 và tập 𝐴̅ tương ứng. - 𝑛 = 𝑐𝑎𝑟𝑑(𝐵) và 𝑛 = 𝑐𝑎𝑟𝑑(𝐵 ) là bản số của tập 𝐵 và tập 𝐵 tương ứng.

-𝑛 = 𝑐𝑎𝑟𝑑(𝐴 ∩ 𝐵 ) là bản số của tập 𝐴 ∩ 𝐵. 𝑛 là số phản ví dụ và còn được gọi là chỉ số chống khuynh hướng từ 𝑎 tới 𝑏.1: Biểu diễn của mối quan hệ a  b theo phân tích hàm ý thống kê. Ví dụ, ta có 9 đối tượng {u1, u2, …, u9} được mô tả bởi 5 thuộc tính {Regwiz, Support Desktop, End User Produced View, Knowledge Base, Microsoft. com Search} như Bảng 1.

Số đối tượng thỏa thuộc tính Support Desktop là 2; số đối tượng thỏa thuộc tính End User Produced View là 4 và số đối tượng thỏa thuộc tính Support Desktop nhưng không thỏa thuộc tính End User Produced View là 1. Như vậy, mối luan an 10 quan hệ {Support Desktop}  {End User Produced View} được biểu diễn bởi bộ 𝑛, 𝑛 , 𝑛 và 𝑛 là {9, 2, 4, 1}.2: Một ví dụ về dữ liệu đầu vào ở dạng nhị phân của phân tích hàm ý thống kê. Support End User Knowledge Microsoft.com Regwiz Desktop Produced View Base Search u1 0 0 1 1 1 u2 0 1 1 1 0 u3 0 0 0 0 1 u4 0 0 0 0 1 u5 1 1 0 1 0 u6 1 0 1 0 0 u7 0 0 1 0 1 u8 0 0 0 1 1 u9 0 0 0 0 1 1. Chỉ số hàm ý và cường độ hàm ý Hình 1.2 gồm: Tổng thể 𝐸, các tập 𝐴, 𝐵, 𝐵, các giá trị 𝑛, 𝑛 , 𝑛 , 𝑛 và 𝑛 như được mô tả ở trên; hai tập con ngẫu nhiên 𝑋, 𝑌 có số phần tử tương ứng là 𝑛 và 𝑛 .2: Mô hình biểu diễn phương pháp phân tích hàm ý thống kê.

Mối quan hệ 𝑎 → 𝑏 là có thể chấp nhận ở ngưỡng 𝛼 nếu xác suất của 𝑐𝑎𝑟𝑑(𝑋 ∩ 𝑌) ≤ 𝑐𝑎𝑟𝑑(𝐴 ∩ 𝐵 ) là nhỏ hơn hoặc bằng ngưỡng 𝛼 [61].1) luan an 11 Trong (1.1), 𝑐𝑎𝑟𝑑(𝐴 ∩ 𝐵) là số phản ví dụ được quan sát và 𝑐𝑎𝑟𝑑(𝑋 ∩ 𝑌) là số phản ví dụ được mong đợi. Khi biến ngẫu nhiên 𝑐𝑎𝑟𝑑 (𝑋 ∩ 𝑌) tuân theo phân phối Poisson với tham số 𝜆 = , 𝑃(𝑐𝑎𝑟𝑑 (𝑋 ∩ 𝑌) ≤ 𝑐𝑎𝑟𝑑 (𝐴 ∩ 𝐵)) được tính như công thức (1.2) 𝑠! Với 𝑛 ≠ 0, biến ngẫu nhiên 𝑐𝑎𝑟𝑑 (𝑋 ∩ 𝑌) được chuyển về biến ngẫu nhiên được chuẩn hóa 𝑄 𝑎, 𝑏 như công thức (1.3) 𝑛 Giá trị được quan sát của 𝑄 𝑎, 𝑏 trong thực nghiệm được biểu diễn bởi 𝑞 𝑎, 𝑏. 𝑞 𝑎, 𝑏 đo độ lệch giữa giá trị mong đợi và ngẫu nhiên khi 𝑎 và 𝑏 là độc lập. Khi sự xấp xỉ được chứng minh là đúng (𝜆 > 4), 𝑄 𝑎, 𝑏 tuân theo phân phối chuẩn 𝑁(0,1).

𝑞 𝑎, 𝑏 được gọi là chỉ số hàm ý (implicative index) [61] của mối quan hệ 𝑎 → 𝑏 và được lượng hóa qua bộ giá trị 𝑛, 𝑛 , 𝑛 và 𝑛 với 𝑛 = 𝑛 − 𝑛 như công thức (1.4) 𝑛 Cường độ hàm ý (mật độ hàm ý - implicative intensity) [61] đo tính bất ngờ khi quan sát một số lượng nhỏ các phản ví dụ. Cường độ hàm ý của mối quan hệ 𝑎 → 𝑏, ký hiệu là 𝜑(𝑎, 𝑏), được định nghĩa như (1. 1 − 𝑃 𝑄 𝑎, 𝑏 ≤ 𝑞 𝑎, 𝑏 𝑛ế𝑢 𝑛 ≠ 𝑛 𝜑(𝑎, 𝑏) = 0 nếu ngược lại (1.5) ⎧ 1 𝑒 𝑑𝑡 𝑛ế𝑢 𝑛 ≠ 𝑛 = √2𝜋 ⎨ ( , ) ⎩ 0 nếu ngược lại luan an 12 Công thức (1.5) cho thấy chỉ số hàm ý được sử dụng để tính cường độ hàm ý, chỉ số hàm ý càng thấp thì cường độ hàm ý càng cao. Cường độ hàm ý là một độ đo chất lượng thông tin, quy nạp và không đối xứng.

Mối quan hệ 𝑎 → 𝑏 là có thể chấp nhận ở ngưỡng 𝛼 nếu cường độ hàm ý 𝜑(𝑎, 𝑏) ≥ 1 − 𝛼. Việc sử dụng cường độ hàm ý thích ứng tốt với dữ liệu nhiễu vì một số nhỏ phản ví dụ không làm mất đi mối quan hệ hàm ý. Cường độ hàm ý có entropy Độ đo cường độ hàm ý 𝜑(𝑎, 𝑏) bị một số hạn chế: Có khuynh hướng không đủ phân biệt khi số 𝑛 tăng cao; chưa quan tâm đến chiều ngược 𝑏 → 𝑎 mà nó củng cố sự chắc chắn về chất lượng tốt của mối quan hệ giữa 𝑎 và 𝑏 [26]. Vì vậy, cường độ hàm ý có entropy (entropic version of implicative intensity) [26][61] 𝜙(𝑎, 𝑏) đã được đề xuất và có công thức tính như (1.

Cường độ hàm ý có entropy điều chỉnh giá trị bất ngờ được lượng hóa bởi cường độ hàm ý bằng cách tính đến sự mất cân bằng giữa số ví dụ 𝑛 và số phản ví dụ 𝑛 của mối quan hệ 𝑎 → 𝑏 và sự mất cân bằng giữa số ví dụ 𝑛 và số phản ví dụ 𝑛 của mối quan hệ 𝑏 → 𝑎. Cường độ hàm ý có entropy dựa trên entropy của Shannon để lượng hóa phi tuyến những khác biệt này.6) Trong công thức (1.6), 𝜑(𝑎, 𝑏) là cường độ hàm ý được xác định bởi (1.5) và (𝑎, 𝑏) là chỉ số bao gồm đo sự mất cân bằng theo công thức (1.7) (𝑎, 𝑏) được xác định bởi hệ số mũ 𝛼 (𝛼 thường được chọn là 1 hoặc 2) và các entropy có điều kiện 𝐻 / , 𝐻 /. Việc tăng entropy có điều kiện theo mũ 𝛼 nhằm tăng cường sự tương phản giữa các pha khác nhau. Hệ số 𝛼 càng thấp thì cường độ hàm ý có entropy giảm càng nhiều theo 𝑛 và việc phân hạng các mối quan hệ là phân biệt hơn.

Các entropy có điều kiện 𝐻 / và 𝐻 / đo sự không chắc chắn trung bình của các mẫu ngẫu nhiên trong đó ta kiểm tra xem 𝑏 (hay 𝑎) có được nhận dạng hay không khi 𝑎 (hay 𝑏) được quan sát. 𝐻 / và 𝐻 / được định nghĩa bởi (1.