Tổng quan luận án

Luận án tiến sĩ kỹ thuật với đề tài "Hệ tư vấn dựa trên trường hàm ý thống kê" được thực hiện bởi nghiên cứu sinh Nguyễn Tấn Hoàng, dưới sự hướng dẫn khoa học của PGS.TS Huỳnh Xuân Hiệp và TS Huỳnh Hữu Hưng, thuộc chuyên ngành Khoa học máy tính (mã số: 9480101) tại Trường Đại học Bách khoa – Đại học Đà Nẵng (năm 2022).

Trong bối cảnh bùng nổ thông tin và sự tích tụ dữ liệu với tốc độ cao, người dùng gặp khó khăn trong việc chọn lọc thông tin phù hợp để ra quyết định trong thời gian ngắn. Hoạt động tìm kiếm thông tin truyền thống đã dịch chuyển mạnh mẽ sang hoạt động khuyến nghị, tư vấn tự động. Hệ tư vấn (Recommender System - RS) trở thành công cụ quan trọng được ứng dụng rộng rãi trong các nền tảng thương mại điện tử, dịch vụ truyền thông trực tuyến và hành chính công. Tuy nhiên, các kỹ thuật tư vấn hiện hữu—đặc biệt là lọc cộng tác (Collaborative Filtering) và các mô hình dựa trên khai thác luật kết hợp—đang đối mặt với nhiều thách thức: độ thưa dữ liệu (sparsity), thiếu dữ liệu ban đầu (cold start), khả năng mở rộng (scalability), thiên lệch theo sự phổ biến (popularity bias), và hạn chế về thời gian thực thi khi kích thước dữ liệu tăng.

Khoảng trống nghiên cứu then chốt mà tác giả xác định nằm ở các hạn chế cố hữu của khung khai thác luật kết hợp truyền thống dựa trên độ hỗ trợ và độ tin cậy (support - confidence). Độ tin cậy không phản ánh được sự biến động khi kích thước của tập kết quả hay tổng thể tập giao dịch thay đổi, không nhạy với độ giãn của các bản số dữ liệu và mang tính đối xứng hình thức. Nhằm khắc phục các nhược điểm này, luận án nghiên cứu ứng dụng lý thuyết Phân tích hàm ý thống kê (Statistical Implicative Analysis - SIA), tập trung vào khái niệm biến thiên hàm ý và trường hàm ý (Statistical Implication Field - SIF), nhằm đề xuất các mô hình tư vấn lọc cộng tác có độ chính xác cao và tối ưu thời gian xử lý.

Luận án xác định 06 mục tiêu nghiên cứu cụ thể:

  1. Khảo sát tổng quan các kỹ thuật xây dựng hệ tư vấn cùng các thành tựu và hạn chế của chúng.
  2. Nghiên cứu phương pháp phân tích hàm ý thống kê, đặc biệt là trường hàm ý sinh ra từ sự biến thiên của các độ đo chỉ số hàm ý và cường độ hàm ý.
  3. Nghiên cứu cách tiếp cận xây dựng khung khai thác mới ứng dụng biến thiên hàm ý trong trường hàm ý cho bài toán khai thác dữ liệu dựa trên luật vào bài toán hệ tư vấn, nhằm giảm thiểu hạn chế của khung khai thác dựa trên độ hỗ trợ và độ tin cậy.
  4. Nghiên cứu cách tiếp cận xây dựng khung khai thác mới sử dụng mặt đẳng trị hàm ý trong trường hàm ý cho bài toán hệ tư vấn.
  5. Mở rộng cách tiếp cận xây dựng khung khai thác mới trong trường hàm ý với các luật nhị phân và định lượng vào bài toán hệ tư vấn, nhằm tăng cường tính chính xác của các dự báo và tối ưu thời gian xử lý.
  6. Nghiên cứu đánh giá, so sánh các mô hình tư vấn lọc cộng tác hiện nay, chú trọng mô hình tư vấn lọc cộng tác tiếp cận khai thác luật kết hợp; trên cơ sở đó đề xuất các mô hình tư vấn lọc cộng tác dựa trên trường hàm ý.

Đối tượng nghiên cứu của luận án bao gồm: trường hàm ý, luật hàm ý và các độ đo hàm ý trên trường hàm ý; khung khai thác luật hàm ý; mô hình hệ tư vấn khai thác luật hàm ý với các độ đo biến thiên hàm ý; mô hình hệ tư vấn dựa trên mặt đẳng trị trong trường hàm ý; và phương pháp khai thác luật hàm ý định lượng cho dữ liệu nhị phân lẫn phi nhị phân.

Phạm vi nghiên cứu tập trung vào lý thuyết biến thiên hàm ý, mặt đẳng trị và trường hàm ý trong phân tích hàm ý thống kê; phân tích hạn chế của hệ tư vấn lọc cộng tác dựa trên luật kết hợp; xây dựng tập độ đo biến thiên chỉ số hàm ý và cường độ hàm ý; đề xuất phương pháp phân hoạch dữ liệu đánh giá; thực nghiệm trên hai tập dữ liệu chuẩn là MovieLens (dữ liệu phi nhị phân / số thực) và MSWeb (dữ liệu nhị phân).

Tổng quan tài liệu và vị trí của luận án

Hệ tư vấn bắt đầu phát triển như một lĩnh vực nghiên cứu độc lập từ giữa những năm 1990, kế thừa các thành tựu từ khoa học nhận thức và truy xuất thông tin (Information Retrieval - IR). Các nghiên cứu nền tảng của Resnick và Varian (1997), Sarwar et al., Adomavicius và Tuzhilin (2005), cùng Burke (2002) đã phân loại các kỹ thuật tư vấn chính gồm: lọc dựa trên nội dung (Content-Based), lọc cộng tác (Collaborative Filtering), dựa trên nhân trắc học (Demographic), dựa trên tri thức (Knowledge-Based), mạng xã hội (Social Network) và các hệ lai ghép (Hybrid).

Trong hướng tiếp cận dựa trên khai phá dữ liệu, Agrawal et al. (1993, 1994) đã đặt nền móng cho việc khai thác luật kết hợp $a \to b$ thông qua hai độ đo cơ bản là độ hỗ trợ ($supp$) và độ tin cậy ($conf$). Tuy nhiên, như Tan et al. (2002, 2004) và Lallich et al. (2007) đã phân tích, khung độ hỗ trợ - độ tin cậy bộc lộ nhiều điểm yếu:

  • Độ tin cậy không thay đổi khi kích thước của hệ quả $b$ ($n_B$) hoặc kích thước tập giao dịch $E$ ($n$) biến động.
  • Không nhạy cảm với sự phân tán hay độ giãn của các bản số $n_A, n_B$ và $n$.
  • Không phân biệt được tính định hướng bất đối xứng tự nhiên của quan hệ suy diễn thực tế.
  • Các độ đo thống kê cổ điển khác như $\chi^2$ (được Brin et al. sử dụng năm 1997) hay hệ số tương quan tuy xác định được mối liên kết giữa các tập mục nhưng lại mang tính đối xứng, không chỉ ra được hướng quan hệ của luật.

Phân tích hàm ý thống kê (Statistical Implicative Analysis - SIA/ASI) do Régis Gras khởi xướng từ cuối thập niên 1990 (Gras et al., 1996, 2008), ban đầu phục vụ nghiên cứu phương pháp giảng dạy toán học, sau đó mở rộng sang tâm lý học, bản thể học và hệ tư vấn (Gras et al., 2013; Hiep et al., 2017, 2018, 2019; Hoang et al., 2020). SIA có các đặc tính:

  • Khai thác mối quan hệ thông qua việc lượng hóa số lượng phản ví dụ (counter-example / unlikelihood) $n_{A\bar{B}} = card(A \cap \bar{B})$ thay vì chỉ dựa vào các trường hợp xác nhận (likelihood).
  • Sử dụng các độ đo phi tuyến, bất đối xứng dựa trên mô hình xác suất (phân phối Poisson, phân phối Chuẩn).
  • Có độ nhạy cao với các biến đổi nhỏ trong dữ liệu và khả năng chịu nhiễu tốt.
Hướng tiếp cận Tác giả & Công trình tiêu biểu Đặc điểm chính Hạn chế khi áp dụng vào hệ tư vấn
Khai thác luật kết hợp cổ điển Agrawal et al. (1993, 1994) Dựa trên độ hỗ trợ ($supp$) và độ tin cậy ($conf$) Sinh nhiều luật dư thừa; $conf$ không nhạy với biến thiên kích thước mẫu và phản ví dụ
Độ đo thống kê đối xứng Brin et al. (1997) Sử dụng độ đo $\chi^2$ trên bảng tương quan Tính đối xứng, không xác định được chiều quan hệ nhân quả/hàm ý $a \to b$
Độ đo hấp dẫn chủ quan/khách quan Freitas (1999), Silberschatz & Tuzhilin (1996), Suzuki (1997) Đánh giá tính bất ngờ, độ mới và mức độ thú vị của tri thức Khó mô hình hóa toán học nhất quán trên không gian nhiều chiều
Phân tích hàm ý thống kê (SIA) Régis Gras et al. (1996, 2008), Lerman (1981) Dựa trên phản ví dụ $n_{A\bar{B}}$, chỉ số hàm ý $q$, cường độ hàm ý $\varphi$ Các nghiên cứu trước chủ yếu xử lý biến nhị phân đơn lẻ, chưa tối ưu hóa cho bài toán tư vấn ma trận lớn

Luận án định vị nghiên cứu của mình tại giao điểm giữa phân tích hàm ý thống kê và hệ tư vấn lọc cộng tác: mở rộng lý thuyết biến thiên hàm ý và trường hàm ý của Gras để thiết lập các ngưỡng biến thiên toán học, xây dựng khung khai thác luật hàm ý mới, đồng thời xử lý trực tiếp trên cả dữ liệu nhị phân lẫn dữ liệu phi nhị phân (định lượng), giải quyết bài toán bùng nổ số lượng luật và nâng cao độ chính xác dự báo.

Cơ sở lý thuyết và phương pháp nghiên cứu

1. Cơ sở lý thuyết

Cho tập giao dịch hữu hạn $E = {e_1, e_2, \dots, e_n}$ gồm $n$ giao dịch và tập mục $I = {i_1, i_2, \dots, i_p}$. Cho $a, b \subset I$ với $a \cap b = \emptyset$. Gọi $A$ và $B$ lần lượt là tập các giao dịch chứa $a$ và $b$; $\bar{A}, \bar{B}$ là các tập bù trong $E$; các bản số tương ứng là $n, n_A, n_B, n_{\bar{B}} = n - n_B$. Số lượng phản ví dụ của luật $a \to b$ là $n_{A\bar{B}} = card(A \cap \bar{B})$.

Trong mô hình xác suất của SIA, số phản ví dụ ngẫu nhiên $N_{X\cap\bar{Y}} = card(X \cap \bar{Y})$ tuân theo phân phối Poisson $\mathcal{P}(\lambda)$ với kỳ vọng ngẫu nhiên $\lambda = \frac{n_A n_{\bar{B}}}{n}$. Khi $\lambda \ge 4$, biến ngẫu nhiên chuẩn hóa xấp xỉ phân phối chuẩn tắc $\mathcal{N}(0, 1)$.

Các độ đo nền tảng bao gồm:

  • Chỉ số hàm ý (Implicative Index - $q$):

    • Đối với biến nhị phân: $$q(a, \bar{b}) = \frac{n_{A\bar{B}} - \frac{n_A n_{\bar{B}}}{n}}{\sqrt{\frac{n_A n_{\bar{B}}}{n}}}$$
    • Đối với biến phi nhị phân (biến modal/tần suất trong đoạn $[0, 1]$): $$q_p(a, \bar{b}) = \frac{\sum_{i \in E} a(i)\bar{b}(i) - \frac{n_A n_{\bar{B}}}{n}}{\sqrt{\frac{(n s_A^2 + n_A^2)(n s_{\bar{B}}^2 + n_{\bar{B}}^2)}{n^3}}}$$ Trong đó $a(i), b(i)$ là giá trị thuộc tính của đối tượng thứ $i$; $s_A, s_{\bar{B}}$ là độ lệch chuẩn tương ứng.

  • Cường độ hàm ý (Implicative Intensity - $\varphi$): $$\varphi(a, b) = 1 - \text{Pr}(N_{X\cap\bar{Y}} \le n_{A\bar{B}}) = 1 - \sum_{s=0}^{n_{A\bar{B}}} \frac{e^{-\lambda} \lambda^s}{s!}$$ Khi xấp xỉ phân phối chuẩn, $\varphi(a, b) = \frac{1}{\sqrt{2\pi}} \int_{q(a,\bar{b})}^{+\infty} e^{-\frac{t^2}{2}} dt$. Cường độ hàm ý $\varphi$ tăng khi chỉ số $q$ giảm (mang giá trị âm càng lớn).

  • Biến thiên hàm ý và Trường hàm ý (Statistical Implication Field - SIF): Xem $q$ như một hàm khả vi Fréchet theo 4 biến liên tục $M(n, n_A, n_B, n_{A\bar{B}})$ trong không gian $\mathbb{R}^4$: $$dq = \frac{\partial q}{\partial n}dn + \frac{\partial q}{\partial n_A}dn_A + \frac{\partial q}{\partial n_B}dn_B + \frac{\partial q}{\partial n_{A\bar{B}}}dn_{A\bar{B}}$$ Trường vectơ vô hướng $C = (n, n_A, n_B, n_{A\bar{B}})$ sinh ra trường gradient $\text{grad } q$, thỏa mãn điều kiện vi phân hỗn hợp Schwartz. Trường gradient này được gọi là trường hàm ý, biểu diễn hướng và tốc độ thay đổi của mật độ hàm ý.

  • Mặt đẳng trị hàm ý (Equipotential Surface - ES / EP): Là tập hợp các điểm trong không gian 4 chiều có giá trị thế năng $q$ không đổi, thỏa mãn phương trình $q(a, \bar{b}) - \frac{n_{A\bar{B}} - \frac{n_A n_{\bar{B}}}{n}}{\sqrt{\frac{n_A n_{\bar{B}}}{n}}} = 0$. Vectơ $\text{grad } q$ luôn trực giao với mặt phẳng đẳng trị. Trường có cường độ cao ở những vùng các mặt đẳng trị phân bố dày đặc và giảm dần ở những vùng thưa thớt.

2. Phương pháp nghiên cứu và quy trình thực nghiệm

Luận án sử dụng phương pháp nghiên cứu định lượng, xây dựng mô hình thuật toán và đánh giá thực nghiệm:

  • Xây dựng khung khai thác luật: Thiết lập khung khai thác luật kết hợp hàm ý (tích hợp độ đo biến thiên hàm ý) và khung khai thác luật hàm ý trên các mặt đẳng trị trường hàm ý.
  • Tổ chức dữ liệu đánh giá: Áp dụng phương pháp đánh giá chéo $k$-fold cross-validation với $k=5$. Dữ liệu kiểm thử được chia thành tập đã biết ($known\ set$) với số lượng thuộc tính biết trước ($given$) và tập chưa biết ($unknown\ set$) để dự báo.
  • Phương pháp phân hoạch: Thực nghiệm phân hoạch theo số lượng giao dịch và phân hoạch theo số mục đánh giá trên mỗi giao dịch.

3. Nguồn dữ liệu thực nghiệm

  1. Tập dữ liệu MovieLens: Dữ liệu đánh giá xếp hạng phim dạng số thực (phi nhị phân) từ 1 đến 5 sao, gồm 100.000 đánh giá từ 943 người dùng trên 1.682 bộ phim.
  2. Tập dữ liệu MSWeb: Dữ liệu truy cập các khu vực trên website Microsoft.com dạng giao dịch nhị phân (0/1), gồm 32.711 người dùng và 294 danh mục/mục web.

4. Công cụ và thước đo đánh giá

  • Công cụ: Xây dựng gói phần mềm thực nghiệm implicationFieldRS trên nền tảng ngôn ngữ R, tích hợp đầy đủ các chức năng tiền xử lý, tính toán tham số hàm ý thống kê, sinh luật, phân hoạch dữ liệu và đánh giá mô hình.
  • Hệ thống thước đo:
    • Nhóm đo sai số dự đoán: Sai số tuyệt đối trung bình (MAE), Sai số bình phương trung bình (MSE), Căn bậc hai sai số bình phương trung bình (RMSE).
    • Nhóm đo phân lớp và chất lượng danh sách tư vấn: Ma trận nhầm lẫn (True Positive - TP, False Positive - FP, True Negative - TN, False Negative - FN), Tỷ lệ dương tính thật (TPR / Recall), Tỷ lệ dương tính giả (FPR), Độ chuẩn xác (Precision), Điểm F1-Score, Đường cong đặc trưng hoạt động máy thu (ROC), Đường cong Precision-Recall.
    • Nhóm đo vị trí xếp hạng: Độ lợi tích lũy giảm dần chuẩn hóa (Normalized Discounted Cumulative Gain - nDCG), Điểm xếp hạng (Rankscore).

Nội dung chính theo từng chương

Chương 1. Tổng quan về trường hàm ý và hệ tư vấn

Chương 1 hệ thống hóa cơ sở lý thuyết về phân tích hàm ý thống kê (SIA), trường hàm ý và các kỹ thuật xây dựng hệ tư vấn.

Tác giả trình bày chi tiết bản chất của SIA thông qua việc so sánh số lượng phản ví dụ quan sát được $n_{A\bar{B}}$ với mô hình xác suất ngẫu nhiên. Chỉ số hàm ý $q(a, \bar{b})$ và cường độ hàm ý $\varphi(a, b)$ được diễn giải toán học trên cả biến nhị phân và biến phi nhị phân (biến modal, tần suất). Luận án khảo sát sự biến thiên của $q$ theo 4 tham số $(n, n_A, n_B, n_{A\bar{B}})$ thông qua đạo hàm riêng và vi phân Fréchet, chứng minh $\text{grad } q$ là một trường gradient trong không gian $\mathbb{R}^4$, từ đó định nghĩa trường hàm ý và các mặt đẳng trị hàm ý.

Về hệ tư vấn, chương này mô tả hình thức hóa không gian người dùng $U$, tập mục $I$, tập xếp hạng $R$, thang điểm $S$, cùng các tập con $U_i, I_u, I_{uv}, U_{ij}$. Tác giả phân loại chi tiết các kỹ thuật tư vấn: dựa trên nội dung (CBRS), lọc cộng tác (CF) gồm lọc theo người dùng (UBCF) và theo mục (IBCF), hệ lai ghép (Hybrid), hệ dựa trên tri thức, nhân trắc học và mạng xã hội.

Đồng thời, chương 1 phân tích 5 vấn đề cốt lõi trong hệ tư vấn:

  1. Dữ liệu thưa (Sparsity Problem): Tỷ lệ đánh giá trong ma trận người dùng - mục quá nhỏ.
  2. Thiếu dữ liệu ban đầu (Cold Start): Khó khăn khi xuất hiện người dùng mới hoặc mục mới chưa có lịch sử đánh giá.
  3. Khả năng mở rộng (Scalability): Độ phức tạp tính toán tăng nhanh khi số lượng người dùng và mục đạt quy mô hàng triệu.
  4. Quá chuyên môn hóa (Over Specialization): Hệ thống chỉ gợi ý các mục tương tự nội dung quá khứ, thiếu tính đa dạng và yếu tố bất ngờ.
  5. Thiên lệch theo sự phổ biến (Popularity Bias): Các mục phổ biến bị đề xuất quá mức, chèn ép các mục ít đánh giá (long-tail items).

Cuối chương, tác giả chỉ ra các hạn chế khi áp dụng khai thác luật kết hợp truyền thống vào hệ tư vấn và xác lập hướng nghiên cứu kết hợp trường hàm ý thống kê.

Chương 2. Mô hình hệ tư vấn dựa trên trường hàm ý

Chương 2 là chương trọng tâm về mặt đóng góp lý thuyết, đề xuất hai mô hình hệ tư vấn chính:

1. Mô hình tư vấn lọc cộng tác dựa trên biến thiên hàm ý (Implication Variation based Model)

Mô hình giải quyết nhược điểm của khung khai thác luật kết hợp cổ điển bằng cách đưa vào độ biến thiên hàm ý thống kê. Tác giả xây dựng bảng tương quan (contingency table) giữa hai biến $a, b$ cho luật $a \to b$:

$b$ $\bar{b}$ Tổng
$a$ $n_{AB}$ $n_{A\bar{B}}$ $n_A$
$\bar{a}$ $n_{\bar{A}B}$ $n_{\bar{A}\bar{B}}$ $n_{\bar{A}}$
Tổng $n_B$ $n_{\bar{B}}$ $n$

Tác giả phân tích sự biến thiên của các đại lượng $n, n_A, n_B, n_{A\bar{B}}$ và chỉ số $q$ khi bổ sung hoặc loại bỏ một phần tử khỏi mẫu dữ liệu. Từ đó, luận án thiết lập công thức xác định ngưỡng biến thiên chỉ số hàm ý ($\Delta q$) và ngưỡng biến thiên cường độ hàm ý ($\Delta \varphi$). Khung khai thác luật kết hợp hàm ý vận hành theo quy trình: sinh tập luật kết hợp ứng viên thỏa mãn ngưỡng độ hỗ trợ cực tiểu ($minsupp$) và độ tin cậy cực tiểu ($minconf$), sau đó sử dụng độ biến thiên hàm ý để lọc bỏ các luật tầm thường, giữ lại các luật có mức độ hàm ý thống kê cao nhằm đưa vào mô hình tư vấn lọc cộng tác (theo người dùng hoặc theo mục).

2. Mô hình tư vấn dựa trên trường hàm ý thống kê (Statistical Implication Field based Recommender System - IFSRS / ISF)

Để khắc phục hạn chế của mô hình biến thiên hàm ý (vốn phụ thuộc vào bước nhị phân hóa và khung sinh luật ban đầu), tác giả phát triển mô hình tư vấn dựa trên trường hàm ý:

  • Khai thác trực tiếp các luật hàm ý dưới dạng các mặt đẳng trị trong trường hàm ý.
  • Mở rộng xử lý đồng thời trên dữ liệu nhị phân lẫn dữ liệu phi nhị phân (dữ liệu định lượng / số thực) mà không cần thực hiện bước nhị phân hóa dữ liệu trung gian, bảo toàn thông tin đánh giá gốc.
  • Mô hình hóa khung khai thác luật hàm ý thông qua việc tính toán thế năng hàm ý $q_p$, phân tách không gian trường thành các lớp mặt đẳng trị có thứ tự và lựa chọn các luật có mật độ trường hàm ý cao nhất.
  • Xây dựng thuật toán và thủ tục tư vấn Top-N mục dựa trên xếp hạng tiềm năng hàm ý (Implicative Rating).

Chương 3. Thực nghiệm và đánh giá kết quả

Chương 3 trình bày chi tiết việc cài đặt thực nghiệm, phân tích phân bố dữ liệu và đánh giá hiệu năng của các mô hình đề xuất bằng gói công cụ implicationFieldRS.

1. Phân tích phân bố dữ liệu thực nghiệm

  • MovieLens (100k): Phân phối điểm xếp hạng tập trung phần lớn ở mức 3, 4 và 5 sao; giá trị trung bình toàn bộ tập là 3.53. Đồ thị phân phối cho thấy độ lệch rõ rệt về phía các đánh giá tích cực.
  • MSWeb: Phân phối số lượng mục được truy cập trên mỗi người dùng có đuôi dài (long-tail distribution); đa số người dùng chỉ truy cập từ 1 đến 5 danh mục web.

2. Kết quả thực nghiệm mô hình tư vấn biến thiên hàm ý

Thực nghiệm so sánh mô hình tư vấn lọc cộng tác dựa trên biến thiên hàm ý (ISF) với các mô hình lọc cộng tác truyền thống: Lọc cộng tác dựa trên người dùng (UBCF) và Lọc cộng tác dựa trên mục (IBCF) sử dụng các độ đo tương tự Cosine và Pearson.

Mô hình MAE MSE RMSE
UBCF (Cosine) 0.8351 1.1245 1.0604
UBCF (Pearson) 0.8214 1.0892 1.0436
IBCF (Cosine) 0.8142 1.0721 1.0354
IBCF (Pearson) 0.8055 1.0514 1.0253
ISF (Đề xuất) 0.7421 0.8954 0.9462

Kết quả chỉ ra rằng mô hình ISF đạt các chỉ số sai số MAE và RMSE thấp hơn so với các mô hình UBCF và IBCF. Đồ thị đường cong ROC và đường cong Precision-Recall của ISF đều nằm phía trên các mô hình đối sánh.

3. Kết quả thực nghiệm mô hình dựa trên trường hàm ý (IFARRS / ISF)

Thực nghiệm so sánh giữa mô hình tư vấn dựa trên luật kết hợp truyền thống (ARRS) và mô hình tư vấn luật hàm ý trong trường hàm ý (IFARRS):

Tập dữ liệu Mô hình Kích thước tập luật (Số luật) Thời gian mô hình hóa (giây) Thời gian dự báo (giây) Điểm F1-Score
MSWeb (Nhị phân) ARRS 14.520 185.4 12.8 0.412
IFARRS 3.840 42.1 3.5 0.528
MovieLens (Phi nhị phân) ARRS 28.910 412.6 28.4 0.485
IFARRS 5.120 68.3 6.2 0.614

Thực nghiệm phân hoạch theo số mục đánh giá ($given = 5, 10, 15, 20$) khẳng định:

  • Kích thước tập luật của IFARRS giảm từ 3 đến 5 lần so với ARRS nhờ việc loại bỏ các luật dư thừa trên các mặt đẳng trị thưa.
  • Thời gian huấn luyện (mô hình hóa) và thời gian sinh khuyến nghị thời gian thực giảm mạnh.
  • Các chỉ số chất lượng xếp hạng danh sách như nDCG và Rankscore của mô hình dựa trên trường hàm ý đều vượt trội so với các mô hình lọc cộng tác với số láng giềng $k=15$.

Chương 4. Kết luận và hướng phát triển

Chương này tổng kết các kết quả đạt được: luận án đã hoàn thành toàn diện các mục tiêu đặt ra, chứng minh tính đúng đắn về mặt toán học của việc áp dụng trường hàm ý vào hệ tư vấn và xác nhận hiệu quả thông qua thực nghiệm đối sánh.

Về hướng phát triển, luận án xác định các nội dung mở rộng:

  • Nghiên cứu tối ưu hóa các thuật toán tính toán tham số trường hàm ý trên các hệ thống phân tán và kiến trúc dữ liệu lớn.
  • Khảo sát sự kết hợp của trường hàm ý với các yếu tố ngữ cảnh (Context-Aware Recommender Systems) như thời gian, vị trí địa lý.
  • Mở rộng ứng dụng mô hình vào các hệ thống chuyên ngành như chính phủ điện tử (e-government), thư viện số (e-library) và học tập trực tuyến (e-learning).

Kết quả và những đóng góp mới

Luận án tự xác định 04 đóng góp khoa học chính:

  1. Đề xuất sử dụng lý thuyết phân tích hàm ý thống kê, cụ thể là biến thiên hàm ý thống kê và trường hàm ý, vào việc xây dựng tập các độ đo biến thiên hàm ý thống kê phục vụ khai thác các luật kết hợp hàm ý cho bài toán tư vấn trên cả dữ liệu nhị phân và phi nhị phân. Kết quả thực nghiệm chứng minh mô hình cải thiện đồng thời thời gian xử lý và độ chính xác trên cả 03 nhóm độ đo: độ chính xác dự đoán mục, độ chính xác phân lớp danh sách mục và độ chính xác xếp hạng vị trí khuyến nghị.
  2. Đề xuất các mô hình tư vấn lọc cộng tác tiếp cận phân tích hàm ý thống kê tối ưu hóa tập luật nhằm tăng độ chính xác và tính mới/tính bất ngờ của khuyến nghị:
    • Mô hình lọc cộng tác dựa trên biến thiên hàm ý thống kê trên dữ liệu nhị phân.
    • Mô hình tư vấn dựa trên trường hàm ý thống kê khai thác các mặt đẳng trị, xử lý trực tiếp trên dữ liệu định lượng mà không cần qua khâu nhị phân hóa, nâng cao chất lượng dự báo và tốc độ tính toán.
  3. Đề xuất khung khai thác luật hàm ý mới, kế thừa ưu điểm của khung khai thác luật kết hợp và tích hợp độ đo biến thiên hàm ý. Khung khai thác này giúp tinh gọn kích thước tập luật, giảm thiểu đáng kể thời gian sinh luật và dự báo so với khung độ hỗ trợ - độ tin cậy truyền thống trên các tập dữ liệu MovieLens và MSWeb.
  4. Xây dựng bộ công cụ thực nghiệm implicationFieldRS trên ngôn ngữ R, cung cấp đầy đủ các mô-đun: xử lý dữ liệu, sinh luật kết hợp và luật hàm ý, tính toán tham số trường hàm ý, phân tách mặt đẳng trị, sinh danh sách khuyến nghị Top-N và thực hiện quy trình kiểm thử, đánh giá chéo mô hình tư vấn.

Về mặt ứng dụng thực tiễn, luận án cung cấp giải pháp kỹ thuật có thể tích hợp vào các hệ thống khuyến nghị sản phẩm thương mại điện tử, dịch vụ công trực tuyến và các cổng thông tin điện tử nhằm giải quyết bài toán nghẽn thời gian thực và nâng cao sự hài lòng của người dùng.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên phạm vi nghiên cứu được công bố trong văn bản, luận án còn một số hạn chế và định hướng phát triển:

  • Thực nghiệm được tiến hành trên hai tập dữ liệu tĩnh chuẩn hóa (MovieLens và MSWeb), chưa kiểm thử trực tiếp trên các luồng dữ liệu biến động liên tục theo thời gian thực (streaming data).
  • Việc xác định các ngưỡng biến thiên hàm ý tối ưu hiện vẫn phụ thuộc vào quá trình tinh chỉnh thực nghiệm trên từng tập dữ liệu cụ thể.
  • Hướng nghiên cứu tiếp theo tập trung vào việc:
    • Tự động hóa quá trình xác định ngưỡng tham số biến thiên và mặt đẳng trị hàm ý.
    • Tích hợp thêm thông tin ngữ cảnh người dùng (thời gian, không gian, thiết bị truy cập) vào cấu trúc trường hàm ý.
    • Tối ưu hóa hiệu năng tính toán song song để mở rộng khả năng xử lý trên các tập dữ liệu quy mô hàng triệu người dùng và hàng triệu mục.

Giá trị tham khảo

Luận án là tài liệu tham khảo chuyên sâu cho:

  • Nghiên cứu sinh, học viên cao học và giảng viên ngành Khoa học máy tính, Khoa học dữ liệu, Hệ thống thông tin: Cung cấp cơ sở toán học chặt chẽ về lý thuyết Phân tích hàm ý thống kê (SIA), vi phân Fréchet và trường gradient ứng dụng trong khai phá dữ liệu.
  • Kỹ sư phát triển hệ thống phần mềm và chuyên gia dữ liệu tại các doanh nghiệp thương mại điện tử, dịch vụ trực tuyến: Tham khảo khung khai thác luật hàm ý và phương pháp tối ưu tập luật để giảm tải bộ nhớ, tăng tốc độ phản hồi cho các hệ tư vấn thời gian thực.
  • Phần đáng tham khảo nhất:
    • Chương 2 với các công thức biến thiên hàm ý, chứng minh toán học của trường hàm ý và thuật toán khai thác luật trên mặt đẳng trị.
    • Chương 3 với quy trình thiết lập thực nghiệm phân hoạch dữ liệu chéo $k$-fold và gói công cụ mã nguồn R implicationFieldRS.

Câu hỏi thường gặp

1. Phân tích hàm ý thống kê (SIA) khác gì so với phương pháp khai thác luật kết hợp truyền thống?
Khai thác luật kết hợp truyền thống (Agrawal et al.) chủ yếu dựa vào các trường hợp xác nhận đồng xuất hiện thông qua độ hỗ trợ ($supp$) và độ tin cậy ($conf$), vốn mang tính đối xứng và không nhạy với kích thước tổng thể dữ liệu. Ngược lại, SIA (Régis Gras) tập trung lượng hóa số lượng phản ví dụ ($n_{A\bar{B}}$) không mong đợi so với một mô hình ngẫu nhiên (Poisson/Chuẩn), tạo ra các độ đo bất đối xứng, phi tuyến và có khả năng chịu nhiễu tốt hơn.

2. Trường hàm ý thống kê và mặt đẳng trị hàm ý trong luận án được định nghĩa như thế nào?
Trường hàm ý là một trường gradient vô hướng trong không gian 4 chiều $C = (n, n_A, n_B, n_{A\bar{B}})$, sinh ra từ vectơ đạo hàm riêng $\text{grad } q$ của chỉ số hàm ý. Mặt đẳng trị hàm ý là siêu phẳng tập hợp các điểm trong không gian 4 chiều có cùng một giá trị chỉ số hàm ý $q$ không đổi. Vectơ $\text{grad } q$ luôn trực giao với mặt đẳng trị, chỉ ra hướng và tốc độ tăng trưởng của mật độ hàm ý.

3. Vì sao mô hình dựa trên trường hàm ý (IFARRS) lại giảm được thời gian xử lý so với mô hình luật kết hợp (ARRS)?
Khung khai thác luật kết hợp truyền thống sinh ra một lượng rất lớn các luật dư thừa và luật tầm thường. IFARRS sử dụng các mặt đẳng trị trong trường hàm ý để lọc bỏ các vùng luật có mật độ hàm ý thấp, giúp giảm kích thước tập luật từ 3 đến 5 lần. Kích thước tập luật thu gọn trực tiếp làm giảm bộ nhớ lưu trữ và thời gian đối sánh khi đưa ra khuyến nghị thời gian thực.

4. Mô hình đề xuất xử lý dữ liệu phi nhị phân (dữ liệu định lượng / số thực) như thế nào?
Thay vì phải chuyển đổi dữ liệu đánh giá nhiều mức (ví dụ: thang điểm 1-5 của MovieLens) về dạng nhị phân 0/1 bằng một ngưỡng cố định làm mất mát thông tin, luận án áp dụng công thức chỉ số hàm ý mở rộng $q_p(a, \bar{b})$ dựa trên độ lệch chuẩn $s_A, s_{\bar{B}}$ và kỳ vọng toán học, cho phép mô hình hóa và khai thác trực tiếp luật hàm ý trên dữ liệu số thực.

5. Gói công cụ implicationFieldRS có vai trò gì trong luận án?
implicationFieldRS là bộ công cụ thực nghiệm được tác giả tự xây dựng hoàn chỉnh trên ngôn ngữ R. Gói công cụ thực hiện toàn bộ quy trình: tiền xử lý ma trận dữ liệu, tính toán các tham số thống kê của trường hàm ý, phân tách mặt đẳng trị, sinh luật hàm ý, thực thi thuật toán tư vấn Top-N và tính toán các chỉ số đánh giá (MAE, RMSE, ROC, Precision-Recall, F1, nDCG, Rankscore).

Kết luận

Luận án "Hệ tư vấn dựa trên trường hàm ý thống kê" của tác giả Nguyễn Tấn Hoàng là một công trình nghiên cứu hoàn chỉnh thuộc chuyên ngành Khoa học máy tính, giải quyết thành công bài toán tối ưu hóa hệ tư vấn lọc cộng tác thông qua việc tích hợp lý thuyết phân tích hàm ý thống kê. Tác giả đã xây dựng các mô hình toán học vững chắc cho biến thiên hàm ý, trường hàm ý và mặt đẳng trị, đồng thời mở rộng khả năng khai thác luật trực tiếp trên dữ liệu định lượng. Các kết quả thực nghiệm trên các tập dữ liệu chuẩn MovieLens và MSWeb cùng bộ công cụ implicationFieldRS đã chứng minh mô hình đề xuất vượt trội so với các phương pháp truyền thống về độ chính xác dự báo, khả năng tinh gọn tập luật và tốc độ thực thi.