Tổng quan luận án

Luận án tiến sĩ chuyên ngành Hệ thống thông tin (mã số 62 48 05 01) với đề tài "Nghiên cứu phát hiện luật kết hợp hiếm và ứng dụng" được NCS. Cù Thu Thủy thực hiện dưới sự hướng dẫn khoa học của PGS. TS. Hà Quang Thụy tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội năm 2013.

Tính cấp thiết và khoảng trống nghiên cứu

Khai phá luật kết hợp (Association Rule Mining) là một trong những hướng tiếp cận nền tảng của lĩnh vực khai phá dữ liệu (Data Mining), được khởi xướng bởi R. Agrawal và cộng sự từ năm 1993. Mục tiêu chính là phát hiện các mối quan hệ dạng điều kiện – hệ quả ($X \rightarrow Y$) giữa các tập mục dữ liệu xuất hiện trong các cơ sở dữ liệu lớn. Phần lớn các nghiên cứu truyền thống tập trung vào khai phá các luật phổ biến mạnh (Strong Association Rules), đòi hỏi các tập mục phải thỏa mãn ngưỡng độ hỗ trợ cực tiểu ($minSup$) và độ tin cậy cực tiểu ($minConf$) ở mức cao.

Tuy nhiên, trong thực tiễn tồn tại nhiều tri thức giá trị nằm ở các sự kiện hiếm gặp. Luật kết hợp hiếm (Rare Association Rules hay Sporadic Rules) là các luật có tần suất xuất hiện thấp (độ hỗ trợ nhỏ) nhưng sở hữu độ tin cậy cao hoặc mang giá trị quyết định đặc biệt quan trọng (ví dụ: giao dịch mua máy pha cà phê kéo theo máy xay cà phê; mối quan hệ giữa ăn chay và bệnh tim mạch; tác dụng phụ bất lợi của thuốc điều trị cerivastatin). Nếu áp dụng các thuật toán khai phá luật phổ biến truyền thống để tìm luật hiếm bằng cách hạ thấp ngưỡng $minSup$, hệ thống sẽ gặp phải vấn đề bùng nổ số lượng tập mục phổ biến ứng viên với độ phức tạp tính toán $O(2^{|I|})$, gây quá tải không gian lưu trữ và sinh ra một lượng lớn luật dư thừa.

Khoảng trống nghiên cứu được luận án chỉ ra bao gồm:

  1. Các nghiên cứu về luật hiếm trước đây chủ yếu tập trung vào cơ sở dữ liệu tác vụ (CSDL nhị phân), trong khi việc khai phá luật hiếm trên cơ sở dữ liệu định lượng chưa được giải quyết đầy đủ, mới chỉ dừng ở việc tìm các tập chứa thuần túy mục không phổ biến mà bỏ qua sự kết hợp giữa mục phổ biến và không phổ biến.
  2. Các thuật toán khai phá luật hiếm trên CSDL tác vụ hiện tại thường phải duyệt qua toàn bộ không gian các tập không phổ biến, dẫn đến chi phí bộ nhớ lớn và dư thừa luật.
  3. Việc ứng dụng khai phá luật hiếm kết hợp với các mô hình kinh tế lượng phi tuyến trong phân tích và dự báo các chuỗi số liệu thực tế tại Việt Nam vẫn còn bỏ ngỏ.

Mục tiêu nghiên cứu

Luận án xác định hai mục tiêu chính:

  1. Phát triển cơ sở lý thuyết và đề xuất các thuật toán phát hiện luật kết hợp hiếm hiệu quả trên cả hai loại cơ sở dữ liệu: cơ sở dữ liệu tác vụ (dữ liệu nhị phân) và cơ sở dữ liệu định lượng (dữ liệu số/phân loại). Trong quy trình 2 giai đoạn của bài toán khai phá luật kết hợp (Giai đoạn 1: tìm tập mục hiếm; Giai đoạn 2: sinh luật từ tập mục hiếm), luận án tập trung chủ yếu vào giải quyết Giai đoạn 1 – giai đoạn phức tạp và tốn kém chi phí tính toán nhất.
  2. Triển khai ứng dụng thử nghiệm các kết quả nghiên cứu lý thuyết vào việc xây dựng mô hình phân tích và dự báo cho hai bài toán kinh tế thực tiễn tại Việt Nam: dự báo chỉ số chứng khoán (HNX-Index) và chỉ số giá tiêu dùng (CPI).

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Các cấu trúc dữ liệu tác vụ và định lượng, khái niệm toán học về luật kết hợp hiếm (Sporadic Rules), tập đóng Galois, lý thuyết tập mờ và mô hình hồi quy chuyển tiếp trơn phi tuyến (STR/LSTR).
  • Phạm vi nghiên cứu: Luận án giới hạn phạm vi tập trung vào thuật toán tìm tập mục hiếm đóng nhằm tối ưu hóa không gian tìm kiếm trên CSDL tác vụ; mở rộng sang CSDL định lượng thông qua kỹ thuật mờ hóa; và kiểm chứng thực nghiệm mô hình dự báo trên dữ liệu chuỗi thời gian kinh tế Việt Nam giai đoạn trước năm 2013.

Tổng quan tài liệu và vị trí của luận án

Luận án đã hệ thống hóa quá trình phát triển của lý thuyết phát hiện luật kết hợp thông qua các mốc nghiên cứu chính:

Các công trình và hướng nghiên cứu nền tảng

  • Thuật toán tìm tập phổ biến chuẩn: Thuật toán duyệt theo chiều rộng Apriori (Agrawal & Srikant, 1994), Partition (Savasere et al., 1995); các thuật toán duyệt theo chiều sâu như FP-Growth (Han et al., 2000), ECLAT (Zaki et al., 1997).
  • Thuật toán khai phá tập phổ biến đóng và cực đại: Nhằm giảm độ phức tạp $O(2^{|I|})$, Pasquier et al. (1999) đề xuất thuật toán CLOSE; Zaki & Hsiao (2002) phát triển thuật toán CHARM dựa trên toán tử đóng Galois và cấu trúc cặp mục dữ liệu - tập định danh (IT-pair); các thuật toán tìm tập cực đại như Max-Miner (Bayardo, 1998), MAFIA (Burdick et al., 2001), GENMAX (Gouda & Zaki, 2001).
  • Khai phá với độ hỗ trợ nhiều mức và ràng buộc: Srikant et al. (1997) với ràng buộc mục dữ liệu nhị phân; Liu et al. (1999) với thuật toán MSApriori sử dụng cận dưới cho từng mục ($MIS$); Yun et al. (2003) với thuật toán RSAA giải quyết hạn chế của tham số $\beta$; Reddy et al. (2005, 2007) phát triển mô hình ràng buộc cực tiểu cho CSDL thưa; F. Tao et al. (2003) đề xuất khai phá luật kết hợp có trọng số dựa trên tính chất đóng dưới của trọng số; Rahman et al. (2007) áp dụng tính toán song song cho tập đóng có trọng số; M. Karypis (2001) với thuật toán LPMiners sử dụng ràng buộc độ hỗ trợ giảm dần theo độ dài; Wang et al. (2005) với mô hình gán thùng độ hỗ trợ ($bin$); E. Cohen et al. (2001) và Wang et al. (2003) với hướng tiếp cận bỏ qua ngưỡng độ hỗ trợ cực tiểu chỉ dựa trên độ tin cậy.
  • Nghiên cứu về luật hiếm: Khởi xướng từ các nghiên cứu ứng dụng của Rountree, Szathmary et al. (2005); các hướng tiếp cận dùng ràng buộc phần hệ quả của luật hoặc định nghĩa dạng luật Sporadic.

Vị trí và khoảng trống luận án giải quyết

Trong khi các luận án tiến sĩ trước đó tại Việt Nam nghiên cứu về luật kết hợp (như các công trình mã nguồn tham khảo [9, 10, 12]) chưa đi sâu vào phát hiện luật hiếm, luận án của NCS. Cù Thu Thủy xác định vị trí tiếp nối bằng cách:

  • Kế thừa tư tưởng của thuật toán CHARM để đề xuất không gian tìm kiếm tập hiếm đóng thay vì tìm kiếm toàn bộ các tập không phổ biến trên CSDL tác vụ.
  • Giải quyết vấn đề "điểm biên gãy" trên CSDL định lượng bằng cách tích hợp lý thuyết tập mờ vào bài toán khai phá luật hiếm hai ngưỡng (Sporadic tuyệt đối và không tuyệt đối).
  • Kết hợp luật kết hợp mẫu âm với mô hình kinh tế lượng hồi quy chuyển tiếp trơn Logistic (LSTR) để khắc phục nhược điểm của các mô hình dự báo tuyến tính cổ điển.

Cơ sở lý thuyết và phương pháp nghiên cứu

Các khái niệm và mô hình toán học sử dụng

  1. Cơ sở dữ liệu tác vụ (CSDL nhị phân):

    • Cho $I = {i_1, i_2, \dots, i_n}$ là tập các mục dữ liệu; $O = {t_1, t_2, \dots, t_m}$ là tập các tác vụ. CSDL tác vụ là quan hệ $D \subseteq I \times O$.
    • Mỗi tác vụ $t$ là một vectơ nhị phân: $t[k] = 1$ nếu $i_k \in t$ và $t[k] = 0$ nếu ngược lại.
    • Độ hỗ trợ của tập mục $X \subseteq I$ ký hiệu là $sup(X)$, biểu diễn số lượng (hoặc tỷ lệ) tác vụ trong $D$ chứa $X$.
    • Luật kết hợp có dạng $X \rightarrow Y$ ($X, Y \subset I, X \cap Y = \emptyset$). Độ tin cậy: $conf(X \rightarrow Y) = \frac{sup(X \cup Y)}{sup(X)}$.

  2. Kết nối Galois và toán tử đóng:

    • Ngữ cảnh khai phá dữ liệu $\hat{D} = (O, I, R)$. Ánh xạ $f: 2^O \rightarrow 2^I$ và $g: 2^I \rightarrow 2^O$ xác định bởi: $$f(O') = {i \in I \mid \forall t \in O', (i,t) \in R}$$ $$g(I') = {t \in O \mid \forall i \in I', (i,t) \in R}$$
    • Toán tử đóng Galois $h = f \circ g$ trong $2^I$. Tập $X$ được gọi là tập đóng nếu $h(X) = X$. Độ hỗ trợ của tập mục bằng độ hỗ trợ của bao đóng của nó: $sup(X) = sup(h(X))$.

  3. Cơ sở dữ liệu định lượng và lý thuyết tập mờ:

    • CSDL định lượng chứa các thuộc tính nhận giá trị số hoặc phân loại.
    • Luận án sử dụng hàm thuộc tập mờ để phân hoạch miền giá trị liên tục thành các tập mờ, khắc phục hiện tượng chia khoảng cứng làm mất thông tin tại các điểm ranh giới (điểm biên gãy).

  4. Mô hình Hồi quy Chuyển tiếp Trơn (Smooth Transition Regression - STR):

    • Dạng mô hình phi tuyến sử dụng hàm chuyển tiếp liên tục $G(\cdot)$ dạng hàm Logistic (LSTR), cho phép hệ số hồi quy thay đổi trơn tru giữa các trạng thái thị trường khác nhau.
Khái niệm / Ký hiệu Tên tiếng Anh Diễn giải toán học / Ý nghĩa
CSDL Database Cơ sở dữ liệu tác vụ hoặc định lượng
minSup / sup Minimum Support / Support Ngưỡng độ hỗ trợ cực tiểu / Độ hỗ trợ của tập mục
maxSup Maximum Support Ngưỡng độ hỗ trợ cận trên (dùng trong luật Sporadic)
minAS Minimum Absolute Support Ngưỡng độ hỗ trợ cận dưới tuyệt đối
minConf / conf Minimum Confidence / Confidence Ngưỡng độ tin cậy cực tiểu / Độ tin cậy của luật
IT-pair Itemset-Tidset pair Cặp tập mục dữ liệu $I$ và tập định danh tác vụ $g(I)$
CHARM Closed Association Rules Mining Khai phá tập phổ biến đóng bằng mở rộng cấu trúc cây
NC-CHARM Negative Constraints - CHARM Thuật toán khai phá tập đóng có ràng buộc mục dữ liệu âm
MCPSI Mining Closed Perfectly Sporadic Itemsets Thuật toán phát hiện tập mục Sporadic tuyệt đối đóng
MCISI Mining Closed Imperfectly Sporadic Itemsets Thuật toán phát hiện tập mục Sporadic không tuyệt đối đóng
MFPSI Mining Fuzzy Perfectly Sporadic Itemsets Thuật toán phát hiện tập mục Sporadic tuyệt đối mờ
MFISI Mining Fuzzy Imperfectly Sporadic Itemsets Thuật toán phát hiện tập mục Sporadic không tuyệt đối mờ
STR / LSTR Smooth Transition Regression Mô hình hồi quy chuyển tiếp trơn (dạng Logistic)

Phương pháp nghiên cứu

  • Phương pháp lý thuyết: Thiết lập và chứng minh các định lý, tính chất liên quan đến tập đóng Galois, bảo toàn quan hệ tương đương giữa tập hiếm cực đại và tập hiếm đóng cực đại; xây dựng không gian trạng thái cắt tỉa dựa trên 4 tính chất của cặp IT-pair.
  • Phương pháp thuật toán và thực nghiệm: Cài đặt các thuật toán mới (MCPSI, MCISI, NC-CHARM, MFPSI, MFISI); tiến hành đánh giá hiệu năng so sánh với các thuật toán nền tảng (như Apriori, Apriori-Inverse, CHARM).
  • Dữ liệu thực nghiệm:
    • Dữ liệu mẫu/chuẩn hóa: Tập dữ liệu chuẩn quốc tế Mushroom; các bộ dữ liệu mô phỏng gồm $T5I1000D10K$, $T30I1000D10K$ cùng các bộ dữ liệu giả định khác.
    • Dữ liệu kinh tế: Dữ liệu giá giao dịch các mã cổ phiếu trên sàn HNX (Hà Nội) và chuỗi dữ liệu rổ hàng hóa phục vụ tính chỉ số giá tiêu dùng CPI Việt Nam.

Nội dung chính theo từng chương

Chương 1 – Phát hiện luật kết hợp và luật kết hợp hiếm

Chương 1 đóng vai trò hệ thống hóa toàn diện các nền tảng lý thuyết về khai phá dữ liệu và các kỹ thuật phát hiện luật kết hợp. Nội dung chương phân tích chi tiết quy trình hai giai đoạn kinh điển:

  1. Giai đoạn 1 tìm tất cả các tập phổ biến (có độ phức tạp tính toán $O(2^{|I|})$).
  2. Giai đoạn 2 sinh luật từ các tập phổ biến đã tìm thấy.

Chương này phân loại các phương pháp duyệt không gian tìm kiếm thành hai nhóm chính:

  • Duyệt theo chiều rộng (BFS): Điển hình là thuật toán Apriori và Partition. Thuật toán Apriori sinh tập ứng viên $C_k$ từ tập $L_{k-1}$ thông qua thủ tục apriori-gen và sử dụng thuộc tính đơn điệu (tập con của tập phổ biến phải là tập phổ biến) để cắt tỉa.
  • Duyệt theo chiều sâu (DFS): Tiêu biểu với FP-Growth (dùng cấu trúc FP-Tree không cần sinh ứng viên) và ECLAT (dùng định dạng dữ liệu dọc).

Chương 1 đi sâu vào phân tích toán tử đóng Galois và cấu trúc cặp IT-pair ($I \times g(I)$), làm cơ sở cho thuật toán CHARM. Bốn tính chất mở rộng nhánh cơ bản của CHARM được phân tích:

  • Tính chất 1: Nếu $g(I_1) = g(I_2)$ thì thay $I_1$ bằng $I_1 \cup I_2$ và loại $I_2$.
  • Tính chất 2: Nếu $g(I_1) \subset g(I_2)$ thì thay $I_1$ bằng $I_1 \cup I_2$ nhưng vẫn giữ $I_2$.
  • Tính chất 3: Nếu $g(I_1) \supset g(I_2)$ thì thay $I_2$ bằng $I_1 \cup I_2$ và giữ $I_1$.
  • Tính chất 4: Nếu $g(I_1) \neq g(I_2)$ thì giữ cả hai và sinh nhánh $I_1 \cup I_2$.

Chương cũng tổng kết các kỹ thuật khai phá luật có ràng buộc mục dữ liệu, luật có trọng số, luật với độ hỗ trợ nhiều mức (MSApriori, RSAA), các kỹ thuật không sử dụng độ hỗ trợ, phương pháp chuyển đổi CSDL định lượng sang CSDL mờ, và bức tranh phân loại các hướng tiếp cận phát hiện luật hiếm (Sporadic).

Chương 2 - Phát hiện luật kết hợp hiếm trên cơ sở dữ liệu tác vụ

Chương 2 trình bày các đóng góp lý thuyết và thuật toán cốt lõi của tác giả dành cho cơ sở dữ liệu tác vụ thông qua việc tiếp cận bài toán bằng không gian tập hiếm đóng:

  1. Luật kết hợp Sporadic tuyệt đối hai ngưỡng:

    • Định nghĩa: Tập mục $X$ được gọi là Sporadic tuyệt đối hai ngưỡng nếu $minAS \le sup(X) < minSup$ và mọi mục dữ liệu $i \in X$ đều là mục không phổ biến ($sup({i}) < minSup$).
    • Đề xuất thuật toán MCPSI (Mining Closed Perfectly Sporadic Itemsets): Tìm các tập Sporadic tuyệt đối đóng bằng cách áp dụng cấu trúc cây IT-pair và các tính chất cắt tỉa Galois.
    • Kết quả thực nghiệm: Bảng 2.2, 2.3, 2.4 và các Hình 2.3, 2.4 so sánh MCPSI với thuật toán Apriori-Inverse trên CSDL giả định, CSDL thực và tập $T5I1000D10K$, chứng minh MCPSI giảm mạnh thời gian chạy và lượng bộ nhớ tiêu thụ do kích thước tập đóng nhỏ hơn nhiều so với toàn bộ tập mục.

  2. Luật kết hợp Sporadic không tuyệt đối hai ngưỡng:

    • Định nghĩa: Mở rộng trường hợp tập mục hiếm $X$ có $minAS \le sup(X) < minSup$ nhưng chứa cả mục phổ biến lẫn mục không phổ biến.
    • Đề xuất thuật toán MCISI (Mining Closed Imperfectly Sporadic Itemsets): Khai phá không gian tập không tuyệt đối đóng.
    • Thực nghiệm: Bảng 2.5–2.10 và Hình 2.6, 2.7 trên tập dữ liệu chuẩn Mushroom (với $minSup = 0{,}1$ hoặc $maxSup = 0{,}5$) và tập $T5I1000D10K$ chỉ ra số lượng tập sinh ra giảm rõ rệt so với phương pháp vét cạn.

  3. Luật kết hợp với ràng buộc mục dữ liệu âm:

    • Đề xuất thuật toán NC-CHARM (Negative Constraints - CHARM): Khai phá tập phổ biến đóng khi có sự xuất hiện của các mục dữ liệu âm (sự vắng mặt của mục dữ liệu).
    • Thực nghiệm: Bảng 2.13 và Hình 2.10 trên bộ dữ liệu $T30I1000D10K$ khẳng định hiệu năng của thuật toán thông qua việc tích hợp cây tìm kiếm ràng buộc âm.

Chương 3 - Phát hiện luật kết hợp hiếm trên cơ sở dữ liệu định lượng

Chương 3 giải quyết bài toán phát hiện luật kết hợp hiếm trên cơ sở dữ liệu có các thuộc tính liên tục và định lượng:

  • Xử lý điểm biên gãy bằng logic mờ: Thay vì rời rạc hóa cứng các thuộc tính số (dễ làm sai lệch độ hỗ trợ tại các điểm phân cách), luận án mờ hóa các thuộc tính định lượng thành các biến ngôn ngữ với hàm liên thuộc tương ứng.
  • Phát triển hai dạng luật và thuật toán tương ứng:
    1. Luật kết hợp Sporadic tuyệt đối hai ngưỡng mờ: Đề xuất thuật toán MFPSI (Mining Fuzzy Perfectly Sporadic Itemsets) dựa trên tư tưởng của thuật toán Apriori kết hợp tính toán độ hỗ trợ mờ. Quy trình thử nghiệm thể hiện qua Bảng 3.2, 3.3 và Bảng 3.4.
    2. Luật kết hợp Sporadic không tuyệt đối hai ngưỡng mờ: Đề xuất thuật toán MFISI (Mining Fuzzy Imperfectly Sporadic Itemsets) dựa trên tư tưởng mở rộng nhánh không tuyệt đối kết hợp phép tính mờ. Kết quả kiểm thử trên các tập 2-thuộc tính được biểu diễn chi tiết tại Bảng 3.5, 3.6 và Bảng 3.7.

Chương 4 - Ứng dụng luật kết hợp mẫu âm và mô hình hồi quy chuyển tiếp trơn trong phân tích và dự báo kinh tế

Chương 4 hiện thực hóa các kết quả lý thuyết vào phân tích và dự báo kinh tế lượng:

  1. Khung phương pháp kết hợp: Sử dụng luật kết hợp mẫu âm nhằm phát hiện các mối quan hệ biến động nghịch chiều hoặc quan hệ phi tuyến tiềm ẩn giữa các biến đầu vào, sau đó đưa các biến được lựa chọn này vào mô hình Hồi quy Chuyển tiếp Trơn Logistic (LSTR).
  2. Bài toán dự báo chỉ số chứng khoán (HNX-Index):
    • Dữ liệu: Chuỗi thời gian giao dịch của các cổ phiếu niêm yết trên sàn Hà Nội.
    • Quy trình: Phát hiện mối quan hệ giữa biến động của các nhóm cổ phiếu thành phần và chỉ số HNX; ước lượng các tham số phi tuyến của mô hình LSTR (Hình 4.2).
    • Kết quả: Bảng 3.1 và Hình 4.3 đối sánh giá trị tính toán theo mô hình xây dựng với dữ liệu thực tế sàn HNX, cho thấy sai số dự báo được kiểm soát ở mức thấp.
  3. Bài toán dự báo Chỉ số giá tiêu dùng (CPI):
    • Dữ liệu: CSDL giá cả các mặt hàng tiêu dùng thành phần (Hình 4.4).
    • Quy trình: Khai phá mối quan hệ liên kết âm giữa giá các mặt hàng cơ sở với xu hướng biến động CPI; ước lượng mô hình LSTR (Hình 4.5).
    • Kết quả: Bảng 4.2 ghi nhận sự trùng khớp cao giữa chỉ số CPI dự báo theo mô hình và số liệu thống kê thực tế công bố.

Kết quả và những đóng góp mới

Đóng góp về mặt lý thuyết và học thuật

  1. Thiết lập không gian tập hiếm đóng: Luận án chứng minh tính đúng đắn của việc thu hẹp không gian tìm kiếm từ tập không phổ biến về tập không phổ biến đóng dựa trên toán tử đóng Galois. Điều này giúp loại bỏ hoàn toàn các luật hiếm dư thừa mà vẫn bảo toàn đầy đủ các thông tin tri thức cốt lõi.
  2. Hệ thống hóa các thuật toán phát hiện luật hiếm:
    • Trên CSDL tác vụ: Đề xuất thành công 3 thuật toán MCPSI, MCISI và NC-CHARM.
    • Trên CSDL định lượng: Đề xuất 2 thuật toán dựa trên nền tảng tập mờ là MFPSI và MFISI, giải quyết trọn vẹn hiện tượng "điểm biên gãy".
STT Thuật toán đề xuất Loại CSDL xử lý Cơ chế / Tư tưởng chính
1 MCPSI CSDL tác vụ (nhị phân) Khai phá tập Sporadic tuyệt đối đóng hai ngưỡng bằng IT-pair Galois
2 MCISI CSDL tác vụ (nhị phân) Khai phá tập Sporadic không tuyệt đối đóng hai ngưỡng
3 NC-CHARM CSDL tác vụ (nhị phân) Khai phá tập đóng có chứa ràng buộc các mục dữ liệu âm
4 MFPSI CSDL định lượng Khai phá tập Sporadic tuyệt đối mờ (kế thừa tư tưởng Apriori mờ)
5 MFISI CSDL định lượng Khai phá tập Sporadic không tuyệt đối mờ

Đóng góp về mặt thực tiễn và ứng dụng

  • Đề xuất quy trình liên ngành kết hợp giữa kỹ thuật khai phá dữ liệu CNTT (luật kết hợp mẫu âm) và mô hình kinh tế lượng phi tuyến (LSTR).
  • Xây dựng thành công mô hình thực nghiệm có độ chính xác cao trong việc phân tích và dự báo biến động của chỉ số chứng khoán HNX và chỉ số lạm phát/giá tiêu dùng (CPI) tại Việt Nam.

Hạn chế và hướng nghiên cứu tiếp

Căn cứ vào nội dung được tác giả công bố trong phần kết luận và phạm vi nghiên cứu:

  • Hạn chế:
    • Luận án tập trung chủ yếu vào Giai đoạn 1 (phát hiện các tập mục hiếm); việc tối ưu hóa sinh luật ở Giai đoạn 2 trên các cấu trúc dữ liệu cực lớn vẫn còn tiềm năng tiếp tục cải tiến.
    • Các tham số ngưỡng ($minSup, maxSup, minAS, minConf$) và hàm liên thuộc mờ vẫn phụ thuộc một phần vào việc lựa chọn thực nghiệm ban đầu của người phân tích.
  • Hướng nghiên cứu tiếp:
    • Nghiên cứu cơ chế tự động hóa xác định các ngưỡng tối ưu cho từng miền dữ liệu cụ thể.
    • Mở rộng các thuật toán khai phá tập hiếm đóng mờ sang các nguồn dữ liệu dòng (Data Streams) hoặc dữ liệu phân tán quy mô lớn.
    • Ứng dụng mô hình kết hợp luật kết hợp mẫu âm và mô hình phi tuyến vào các bài toán kinh tế lượng vĩ mô phức tạp khác như dự báo GDP, tỷ giá hối đoái hoặc quản trị rủi ro tài chính ngân hàng.

Giá trị tham khảo

Luận án là tài liệu tham khảo có giá trị học thuật và ứng dụng thực tiễn đối với:

  • Nghiên cứu sinh, học viên cao học và giảng viên ngành Khoa học máy tính / Hệ thống thông tin: Cung cấp tài liệu hệ thống hóa sâu sắc về khai phá dữ liệu, các thuật toán biến thể của Apriori, cấu trúc tập đóng Galois (CHARM), và cách thức xử lý dữ liệu định lượng bằng tập mờ.
  • Các nhà phân tích dữ liệu, chuyên gia kinh tế lượng và tài chính: Tham khảo phương pháp luận kết hợp giữa khai phá mẫu dữ liệu và mô hình hồi quy phi tuyến LSTR để ứng dụng vào các bài toán phân tích chuỗi thời gian, dự báo thị trường chứng khoán và chỉ số kinh tế vĩ mô.

Câu hỏi thường gặp

1. Tại sao không thể dùng thuật toán Apriori truyền thống với ngưỡng minSup thật thấp để tìm luật hiếm?

Khi hạ thấp ngưỡng $minSup$ xuống rất nhỏ, số lượng các tập phổ biến ứng viên sinh ra sẽ bùng nổ theo hàm mũ $O(2^{|I|})$. Hầu hết bộ nhớ và thời gian tính toán bị tiêu tốn để duyệt các tập phổ biến không cần thiết, gây quá tải bộ nhớ và sinh ra hàng loạt luật dư thừa.

2. Sự khác biệt cốt lõi giữa luật Sporadic tuyệt đối và Sporadic không tuyệt đối là gì?

  • Sporadic tuyệt đối: Tập mục $X$ có độ hỗ trợ nằm trong khoảng hai ngưỡng [$minAS$, $minSup$) và tất cả các mục thành phần trong $X$ đều là các mục không phổ biến.
  • Sporadic không tuyệt đối: Tập mục $X$ có độ hỗ trợ nằm trong khoảng hai ngưỡng [$minAS$, $minSup$) nhưng được hình thành từ sự kết hợp giữa các mục không phổ biến với các mục phổ biến, hoặc giữa các mục phổ biến với nhau.

3. Ưu điểm của việc tiếp cận tập hiếm đóng qua toán tử Galois là gì?

Số lượng tập mục hiếm đóng luôn nhỏ hơn rất nhiều so với toàn bộ không gian tập mục hiếm. Việc chỉ khai phá các tập hiếm đóng giúp giảm triệt để không gian tìm kiếm, tiết kiệm thời gian xử lý và bộ nhớ, đồng thời loại trừ các luật kết hợp trùng lặp hoặc dư thừa.

4. "Điểm biên gãy" trên CSDL định lượng là gì và luận án giải quyết như thế nào?

"Điểm biên gãy" là hiện tượng xảy ra khi chia các thuộc tính số liên tục thành các khoảng rời rạc cứng (ví dụ: tuổi dưới 35 và trên 35), khiến các giá trị nằm sát đường ranh giới bị phân loại cứng nhắc và làm mất thông tin liên kết. Luận án khắc phục bằng cách áp dụng lý thuyết tập mờ với các hàm liên thuộc để chuyển đổi mềm CSDL định lượng thành CSDL mờ.

5. Luận án ứng dụng luật kết hợp vào mô hình kinh tế nào trong Chương 4?

Luận án sử dụng luật kết hợp mẫu âm để sàng lọc và phát hiện mối quan hệ biến động phi tuyến giữa các biến số, sau đó tích hợp vào mô hình Hồi quy Chuyển tiếp Trơn Logistic (LSTR) để dự báo chỉ số chứng khoán HNX-Index và chỉ số giá tiêu dùng CPI Việt Nam.

Kết luận

Luận án tiến sĩ của NCS. Cù Thu Thủy đã giải quyết trọn vẹn bài toán phát hiện luật kết hợp hiếm – một phân nhánh quan trọng nhưng nhiều thách thức của lĩnh vực khai phá dữ liệu. Bằng việc đề xuất các thuật toán dựa trên không gian tập đóng Galois (MCPSI, MCISI, NC-CHARM) cho dữ liệu tác vụ và tích hợp logic mờ (MFPSI, MFISI) cho dữ liệu định lượng, công trình đã tối ưu hóa hiệu quả tính toán và giảm thiểu luật dư thừa. Đồng thời, việc ứng dụng thành công các kết quả nghiên cứu vào mô hình kinh tế lượng LSTR để dự báo HNX-Index và CPI đã khẳng định tính ứng dụng thực tiễn cao của luận án.