I. Tổng quan luận án phát hiện luật kết hợp và luật chuỗi mờ
Luận án tiến sĩ “Phát hiện luật kết hợp và luật chuỗi mờ trong cơ sở dữ liệu định lượng có yếu tố thời gian” của tác giả Trương Đức Phương là một công trình nghiên cứu khoa học chuyên sâu, giải quyết những thách thức quan trọng trong lĩnh vực khai phá dữ liệu (data mining). Trọng tâm của nghiên cứu này là xử lý các cơ sở dữ liệu định lượng có yếu tố thời gian, một loại dữ liệu phổ biến trong thực tế nhưng lại phức tạp để phân tích. Các phương pháp truyền thống thường gặp khó khăn khi làm việc với các giá trị số liên tục và mối quan hệ thời gian. Để giải quyết vấn đề này, luận án đề xuất một cách tiếp cận đột phá, kết hợp giữa logic mờ (fuzzy logic) và các thuật toán khai phá kinh điển. Thay vì phân chia dữ liệu định lượng thành các khoảng cứng nhắc, phương pháp mờ hóa dữ liệu (data fuzzification) cho phép biểu diễn dữ liệu một cách linh hoạt và tự nhiên hơn thông qua các tập mờ (fuzzy set) và hàm thuộc (membership function). Cách tiếp cận này không chỉ áp dụng cho các thuộc tính định lượng mà còn cho cả khoảng cách thời gian giữa các sự kiện, tạo ra một khuôn khổ phân tích toàn diện. Luận án đã đề xuất các thuật toán mới để phát hiện luật kết hợp và mẫu tuần tự (sequential patterns) mờ, mở ra những khả năng ứng dụng thực tiễn trong nhiều lĩnh vực như phân tích thị trường chứng khoán, dự báo hành vi khách hàng và y tế.
1.1. Giới thiệu về khai phá dữ liệu và luật kết hợp
Khai phá dữ liệu là quá trình khám phá các mẫu, quy luật và tri thức hữu ích từ các tập dữ liệu lớn. Một trong những nhiệm vụ cốt lõi của data mining là phát hiện luật kết hợp (association rules). Một luật kết hợp, ví dụ {Bia} -> {Tã lót}, mô tả mối quan hệ giữa các mục trong một tập dữ liệu. Luật này được đo lường bằng hai chỉ số quan trọng: độ hỗ trợ (support) và độ tin cậy (confidence). Độ hỗ trợ cho biết tần suất xuất hiện của một tập mục, trong khi độ tin cậy thể hiện xác suất có điều kiện của hệ quả khi tiền đề xảy ra. Các thuật toán kinh điển như thuật toán Apriori và thuật toán FP-Growth đã được phát triển để tìm kiếm hiệu quả các luật này trong cơ sở dữ liệu giao dịch.
1.2. Tầm quan trọng của logic mờ trong dữ liệu định lượng
Trong thực tế, dữ liệu thường không chỉ ở dạng giao dịch mà còn là dữ liệu định lượng (quantitative data), ví dụ như giá cổ phiếu, nhiệt độ, hay số lượng sản phẩm. Việc rời rạc hóa dữ liệu này thành các khoảng cứng (ví dụ: Tuổi < 30 là "Trẻ") gây ra "hiện tượng sắc nét" tại biên, làm mất mát thông tin. Logic mờ ra đời để khắc phục nhược điểm này. Bằng cách sử dụng các tập mờ và hàm thuộc, một giá trị định lượng có thể thuộc về nhiều nhóm khác nhau với các mức độ khác nhau (ví dụ: 59 tuổi có thể là 0.1 "Già" và 0.9 "Trung niên"). Kỹ thuật này, gọi là mờ hóa dữ liệu, giúp mô tả dữ liệu một cách tự nhiên và chính xác hơn, là nền tảng cho các phương pháp được đề xuất trong luận án.
II. Thách thức trong khai phá CSDL định lượng có yếu tố thời gian
Việc khai phá cơ sở dữ liệu định lượng có yếu tố thời gian (temporal quantitative database) đặt ra nhiều thách thức đáng kể. Khác với dữ liệu giao dịch tĩnh, loại dữ liệu này chứa đựng hai chiều thông tin phức tạp: giá trị số của các thuộc tính và thời điểm xảy ra của chúng. Thách thức đầu tiên là xử lý tính liên tục của dữ liệu định lượng. Các phương pháp chia khoảng truyền thống không hiệu quả, dẫn đến việc bỏ sót các quy luật tiềm ẩn hoặc tạo ra các quy luật không chính xác do ranh giới phân chia cứng nhắc. Thách thức thứ hai đến từ yếu tố thời gian. Các mối quan hệ không chỉ đơn giản là đồng thời xảy ra mà còn phụ thuộc vào trình tự và khoảng cách thời gian giữa các sự kiện. Ví dụ, việc mua sản phẩm A và sau đó mua sản phẩm B trong vòng 3 ngày có ý nghĩa khác hẳn so với việc mua sau 3 tháng. Các thuật toán khai phá mẫu tuần tự truyền thống thường bỏ qua độ dài chính xác của các khoảng thời gian này. Luận án này đã xác định rõ các "khoảng trống nghiên cứu" này. Cụ thể, chưa có giải pháp toàn diện nào áp dụng logic mờ đồng thời cho cả thuộc tính định lượng và khoảng cách thời gian để phát hiện luật kết hợp và luật chuỗi mờ trong dữ liệu chuỗi thời gian (time-series data), đặc biệt là với các dạng luật tổng quát như luật chuỗi chung.
2.1. Hạn chế của phương pháp rời rạc hóa dữ liệu truyền thống
Phương pháp rời rạc hóa cổ điển chuyển đổi các giá trị số thành các nhãn phân loại bằng cách chia chúng thành các khoảng. Ví dụ, thuộc tính "Nhiệt độ" có thể được chia thành "Lạnh", "Mát", "Nóng". Tuy nhiên, cách tiếp cận này tạo ra "hiện tượng sắc nét" (sharp boundary problem). Một nhiệt độ 24.9°C có thể được phân loại là "Mát", trong khi 25.0°C lại là "Nóng", mặc dù sự khác biệt là không đáng kể. Vấn đề này làm giảm độ chính xác của các quy luật được phát hiện. Luận án chỉ ra rằng việc sử dụng logic mờ để mờ hóa dữ liệu là một giải pháp ưu việt để giải quyết triệt để hạn chế này, giúp mô hình hóa sự chuyển đổi mềm dẻo giữa các trạng thái.
2.2. Vấn đề bỏ qua khoảng cách thời gian trong khai phá mẫu
Nhiều thuật toán khai phá mẫu tuần tự như thuật toán GSP hay thuật toán PrefixSpan chỉ tập trung vào thứ tự xuất hiện của các sự kiện mà không xem xét khoảng cách thời gian cụ thể giữa chúng. Điều này làm mất đi một lượng thông tin quan trọng. Trong nhiều lĩnh vực như tài chính hay marketing, việc biết rằng sự kiện B xảy ra "ngay sau" hay "một thời gian dài sau" sự kiện A là cực kỳ hữu ích. Nghiên cứu này nhận thấy rằng việc tích hợp yếu tố khoảng cách thời gian vào quá trình khai phá, đặc biệt là sử dụng các khoảng thời gian mờ (ví dụ: "Ngắn", "Trung bình", "Dài"), sẽ tạo ra những quy luật có giá trị dự báo và giải thích cao hơn.
III. Phương pháp phát hiện luật kết hợp mờ với khoảng cách thời gian
Để giải quyết vấn đề thứ nhất, luận án đề xuất một phương pháp mới để phát hiện luật kết hợp mờ với khoảng cách thời gian mờ trong cơ sở dữ liệu định lượng có yếu tố thời gian. Cách tiếp cận này là sự tổng quát hóa và cải tiến của các nghiên cứu trước đó. Ý tưởng cốt lõi là áp dụng kỹ thuật mờ hóa dữ liệu một cách toàn diện. Đầu tiên, các giá trị thuộc tính định lượng trong cơ sở dữ liệu được chuyển đổi thành các giá trị mờ thông qua các hàm thuộc được định nghĩa trước. Ví dụ, số lượng mua một mặt hàng có thể được biểu diễn bằng các tập mờ như "Ít", "Trung bình", "Nhiều". Song song đó, khoảng cách thời gian giữa hai giao dịch bất kỳ cũng được mờ hóa thành các khái niệm ngôn ngữ như "Ngắn", "Trung bình", "Dài". Sau quá trình chuyển đổi, một cơ sở dữ liệu mờ có yếu tố thời gian được hình thành. Dựa trên cơ sở dữ liệu này, luận án phát triển thuật toán FTQ (Fuzzy Time-interval in temporal Quantitative database). Thuật toán này được xây dựng dựa trên nguyên lý của thuật toán Apriori nhưng được điều chỉnh để tính toán độ hỗ trợ và độ tin cậy cho các tập mục mờ và các chuỗi sự kiện có khoảng cách thời gian mờ. Kết quả là các luật có dạng "Nếu mặt hàng A được mua với số lượng (Nhiều) thì sau một khoảng thời gian (Ngắn), mặt hàng B sẽ được mua với số lượng (Ít)", mang lại tri thức sâu sắc và linh hoạt hơn.
3.1. Quy trình mờ hóa thuộc tính định lượng và thời gian
Quy trình mờ hóa là bước nền tảng. Đối với mỗi thuộc tính định lượng, một tập các tập mờ (ví dụ: 3 tập mờ "Thấp", "Trung bình", "Cao") được xác định. Mỗi tập mờ này được định nghĩa bởi một hàm thuộc, thường có dạng tam giác hoặc hình thang. Khi một giá trị định lượng được đưa vào, hàm thuộc sẽ trả về một giá trị trong khoảng [0, 1], biểu thị mức độ thuộc về tập mờ đó. Tương tự, khoảng cách thời gian (tính bằng ngày, giờ, v.v.) giữa các giao dịch cũng được ánh xạ vào các tập mờ thời gian như "Ngắn", "Trung bình", "Dài". Quá trình này biến đổi CSDL định lượng có yếu tố thời gian ban đầu thành một CSDL mờ, sẵn sàng cho việc khai phá.
3.2. Giới thiệu thuật toán FTQ và cách tính độ hỗ trợ mờ
Thuật toán FTQ được đề xuất để xử lý CSDL mờ đã được tạo ra. Thuật toán này hoạt động theo từng bước, tương tự thuật toán Apriori: tìm các tập mục-thời gian mờ phổ biến có 1 phần tử, sau đó sử dụng chúng để tạo ra các ứng viên có 2 phần tử, và tiếp tục cho đến khi không thể tạo thêm ứng viên. Điểm khác biệt cốt lõi nằm ở cách tính độ hỗ trợ. Độ hỗ trợ của một tập mục mờ không được đếm một cách nhị phân (có/không) mà được tính bằng tổng các giá trị thuộc của nó trên toàn bộ cơ sở dữ liệu, dựa trên các phép toán của logic mờ. Cách tiếp cận này đảm bảo rằng các quy luật phản ánh đúng bản chất liên tục và không chắc chắn của dữ liệu gốc.
IV. Hướng dẫn khai phá mẫu tuần tự mờ trong dữ liệu chuỗi thời gian
Bên cạnh các luật kết hợp, luận án còn giải quyết bài toán phức tạp hơn là khai phá luật chuỗi thời gian mờ (mining fuzzy temporal sequential patterns). Một mẫu tuần tự biểu diễn một chuỗi các sự kiện xảy ra theo một thứ tự nhất định, ví dụ: 〈(Mua Laptop) -> (Mua Chuột không dây)〉. Nghiên cứu này mở rộng khái niệm này bằng cách tích hợp cả thuộc tính định lượng mờ và khoảng cách thời gian mờ. Mục tiêu là tìm ra các mẫu tuần tự mờ phổ biến, có dạng 〈(A, Nhiều), (B, Ít)〉 với khoảng cách thời gian (Trung bình) giữa A và B. Để thực hiện nhiệm vụ này, luận án đề xuất thuật toán FSPFTIM (Fuzzy Sequential Patterns with Fuzzy Time-Intervals Mining). Thuật toán này là một sự cải tiến, kết hợp các ý tưởng từ các thuật toán khai phá mẫu tuần tự kinh điển như thuật toán GSP và thuật toán PrefixSpan với các nguyên lý của logic mờ. FSPFTIM không chỉ xác định các chuỗi sự kiện phổ biến mà còn tính toán và giữ lại thông tin về khoảng cách thời gian mờ giữa các sự kiện liên tiếp trong chuỗi. Các mẫu tìm được cung cấp cái nhìn chi tiết về động lực học của hệ thống, cho phép dự báo không chỉ cái gì sẽ xảy ra tiếp theo, mà còn khi nào và với mức độ nào.
4.1. Phân biệt luật kết hợp và mẫu tuần tự trong CSDL thời gian
Luật kết hợp thường không quan tâm đến thứ tự thời gian trong một giao dịch hoặc giữa các giao dịch gần nhau. Ví dụ, luật {Sữa, Bánh mì} -> {Bơ} chỉ nói rằng khi Sữa và Bánh mì được mua, Bơ cũng có khả năng được mua. Ngược lại, mẫu tuần tự đặt trọng tâm vào thứ tự xảy ra của các sự kiện theo thời gian. Mẫu 〈(Sữa, Bánh mì), (Bơ)〉 có nghĩa là khách hàng mua {Sữa, Bánh mì} trước, và sau đó mua {Bơ}. Trong bối cảnh cơ sở dữ liệu thời gian, việc khai phá mẫu tuần tự mang lại giá trị lớn hơn vì nó nắm bắt được hành vi theo chuỗi của các đối tượng.
4.2. Mô tả thuật toán FSPFTIM và nguyên lý hoạt động
Thuật toán FSPFTIM hoạt động dựa trên nguyên tắc sinh ứng viên và kiểm tra. Bắt đầu bằng việc quét cơ sở dữ liệu để tìm tất cả các chuỗi mờ có độ dài 1 (một sự kiện) thỏa mãn ngưỡng độ hỗ trợ tối thiểu. Ở các bước tiếp theo, thuật toán sẽ kết hợp các chuỗi phổ biến có độ dài k-1 để tạo ra các chuỗi ứng viên có độ dài k. Trong quá trình này, các khoảng cách thời gian mờ giữa các sự kiện cũng được tính toán và đưa vào mẫu. Một lần quét CSDL nữa được thực hiện để đếm độ hỗ trợ của các chuỗi ứng viên này. Quá trình lặp lại cho đến khi không tìm thấy thêm mẫu phổ biến nào. Thuật toán đảm bảo tính đầy đủ và đúng đắn, tìm ra tất cả các mẫu tuần tự mờ thỏa mãn yêu cầu.
V. Kết quả và ứng dụng thực tiễn của nghiên cứu khoa học này
Tính hiệu quả và khả thi của các thuật toán đề xuất trong luận án đã được kiểm chứng thông qua các thực nghiệm trên cả bộ dữ liệu tổng hợp và dữ liệu thực tế. Một trong những bộ dữ liệu thực được sử dụng là dữ liệu giao dịch chứng khoán (ISTANBUL STOCK EXCHANGE) và dữ liệu bán lẻ trực tuyến. Các kết quả thực nghiệm cho thấy phương pháp mờ hóa dữ liệu vượt trội hơn hẳn so với phương pháp chia khoảng truyền thống. Cụ thể, số lượng luật và mẫu hữu ích tìm được bằng phương pháp mờ hóa nhiều hơn và có ý nghĩa hơn, đồng thời tránh được sự biến động đột ngột về số lượng luật khi thay đổi ngưỡng hỗ trợ. Các thuật toán như FTQ và FSPFTIM đã chứng tỏ khả năng xử lý hiệu quả các cơ sở dữ liệu định lượng có yếu tố thời gian. Về ứng dụng thực tiễn, các kết quả của nghiên cứu khoa học này có tiềm năng rất lớn. Trong lĩnh vực tài chính, các luật tìm được có thể hỗ trợ dự báo xu hướng giá cổ phiếu. Trong thương mại điện tử, việc phân tích mẫu tuần tự mờ giúp xây dựng hệ thống gợi ý sản phẩm cá nhân hóa, dự đoán hành vi mua sắm tiếp theo của khách hàng. Trong y tế, phương pháp này có thể được dùng để phân tích chuỗi sự kiện bệnh lý từ hồ sơ bệnh án, tìm ra các quy luật tiến triển của bệnh tật.
5.1. Phân tích kết quả thực nghiệm trên các bộ dữ liệu
Luận án trình bày chi tiết các kết quả thử nghiệm, bao gồm mối quan hệ giữa số lượng luật tìm được và các ngưỡng độ hỗ trợ và độ tin cậy. Các biểu đồ so sánh cho thấy phương pháp mờ hóa (A) luôn tạo ra một đường cong kết quả mượt mà và ổn định hơn so với phương pháp chia khoảng (B). Điều này chứng tỏ phương pháp mờ hóa không nhạy cảm với những thay đổi nhỏ ở ngưỡng, phản ánh đúng bản chất của dữ liệu. Thời gian thực thi của các thuật toán cũng được đánh giá và cho thấy tính khả thi khi áp dụng trên các bộ dữ liệu có kích thước trung bình và lớn.
5.2. Các ứng dụng tiềm năng trong tài chính và bán lẻ
Trong tài chính, một luật có thể là: "Nếu (Tỷ lệ tăng VN30 ở mức Cao) thì sau một khoảng thời gian (Ngắn), (Tỷ lệ tăng mã chứng khoán X cũng ở mức Cao)". Quy luật này cung cấp thông tin giá trị cho nhà đầu tư. Trong bán lẻ, một mẫu tuần tự mờ như 〈(Mua (Laptop, Số lượng=1)), (Mua (Chuột không dây, Số lượng=1))〉 với khoảng thời gian (Rất Ngắn) có thể giúp doanh nghiệp triển khai các chiến dịch marketing kết hợp sản phẩm (cross-selling) một cách hiệu quả, đúng thời điểm.
VI. Kết luận và tương lai của khai phá luật chuỗi mờ trong CSDL
Luận án “Phát hiện luật kết hợp và luật chuỗi mờ trong cơ sở dữ liệu định lượng có yếu tố thời gian” đã thành công trong việc giải quyết ba khoảng trống nghiên cứu quan trọng trong lĩnh vực khai phá dữ liệu. Công trình này đã đóng góp ba giải pháp thuật toán mới, bao gồm thuật toán phát hiện luật kết hợp mờ, mẫu tuần tự mờ, và luật chuỗi chung mờ có tính đến khoảng cách thời gian. Bằng cách tích hợp sâu sắc logic mờ vào quá trình phân tích, luận án đã khắc phục được những hạn chế cố hữu của các phương pháp rời rạc hóa truyền thống, mang lại các quy luật và mẫu hình chính xác, linh hoạt và giàu ý nghĩa hơn. Các luật được phát hiện không chỉ là trường hợp tổng quát của các nghiên cứu trước đó mà còn mở ra nhiều hướng ứng dụng thực tiễn giá trị. Đây là một luận văn thạc sĩ khai phá dữ liệu (mở rộng lên tiến sĩ) có đóng góp đáng kể về mặt lý thuyết và thực tiễn. Hướng phát triển trong tương lai có thể bao gồm việc tối ưu hóa hiệu năng của các thuật toán để xử lý các bộ dữ liệu cực lớn (Big Data), nghiên cứu các phương pháp tự động xác định hàm thuộc tối ưu thay vì cho trước, và mở rộng áp dụng cho các loại dữ liệu phức tạp khác như dữ liệu không gian-thời gian hoặc dữ liệu dòng (data streams).
6.1. Tóm tắt những đóng góp chính của luận án nghiên cứu
Những đóng góp cốt lõi của luận án bao gồm: 1) Đề xuất và giải quyết bài toán phát hiện luật kết hợp mờ với khoảng cách thời gian mờ trong CSDL định lượng có yếu tố thời gian. 2) Đề xuất và giải quyết bài toán phát hiện mẫu tuần tự mờ với khoảng cách thời gian mờ. 3) Đề xuất và giải quyết bài toán phát hiện luật chuỗi chung mờ, một dạng luật tổng quát hơn, có tính đến yếu tố thời gian mờ. Các thuật toán đi kèm (FTQ, FSPFTIM, IFERMiner) đã được chứng minh tính đúng đắn, đầy đủ và hiệu quả qua thực nghiệm.
6.2. Hướng nghiên cứu và phát triển trong tương lai
Tương lai của lĩnh vực này rất hứa hẹn. Các nghiên cứu tiếp theo có thể tập trung vào việc áp dụng các kỹ thuật học sâu (deep learning) để tự động học các biểu diễn mờ cho dữ liệu. Một hướng khác là phát triển các thuật toán song song và phân tán để tăng tốc độ xử lý trên các hệ thống tính toán hiệu năng cao. Ngoài ra, việc tích hợp các yếu tố khác như lợi ích (utility) hay sự không chắc chắn vào mô hình khai phá luật chuỗi mờ cũng là một lĩnh vực tiềm năng, giúp tạo ra các quy luật không chỉ phổ biến mà còn mang lại giá trị kinh tế cao nhất.
