Tổng quan nghiên cứu

Kể từ khi Giáo sư Lotfi A. Zadeh khởi xướng lý thuyết tập mờ (Fuzzy Sets) vào năm 1965, toán học ứng dụng đã có bước chuyển dịch quan trọng trong việc mô hình hóa các thông tin không chắc chắn. Tuy nhiên, logic mệnh đề kinh điển và tập mờ truyền thống vẫn bộc lộ nhiều điểm nghẽn khi đối mặt với dữ liệu thực tế phức tạp. Điển hình như trong các cuộc thăm dò ý kiến gồm 500 phiếu bầu, kết quả thực tế ghi nhận 300 phiếu đồng ý, 115 phiếu phản đối, 64 phiếu trắng và 21 phiếu từ chối. Lúc này, mô hình tập mờ trực cảm của Atanassov (1986) không thể biểu diễn trọn vẹn do thiếu vắng thành phần trung lập độc lập (phiếu trắng).

Nhằm giải quyết triệt để vấn đề này, luận văn thạc sĩ chuyên ngành Hệ thống thông tin (mã số 60480104) của học viên Đinh Thị Bảo, dưới sự hướng dẫn của PGS. Nguyễn Đình Hóa và TS. Lê Hoàng Sơn tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội (thực hiện năm 2014 dưới sự tài trợ của quỹ NAFOSTED mã số 102), đã đi sâu nghiên cứu lý thuyết tập mờ viễn cảnh (Picture Fuzzy Sets). Mục tiêu trọng tâm của đề tài là xây dựng hệ thống các độ đo khoảng cách viễn cảnh tổng quát và phát triển thuật toán phân cụm phân cấp mờ viễn cảnh mới (HPC).

Phạm vi thực nghiệm được triển khai trên 3 tập dữ liệu đa dạng gồm thị trường xe hơi Quảng Châu (5 mẫu xe, 6 thuộc tính kỹ thuật), dữ liệu vật liệu xây dựng (5 loại vật liệu) và 270 mẫu bệnh án tim mạch từ Đại học California Irvine (UCI). Kết quả nghiên cứu mang lại ý nghĩa khoa học và thực tiễn vượt trội khi nâng cao chỉ số thuần khiết phân cụm (Purity) và thông tin tương hỗ chuẩn hóa (NMI) lên mức 1.0 (đạt độ chính xác 100%), mở ra hướng đi mới cho các hệ thống hỗ trợ ra quyết định thông minh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn xây dựng trên nền tảng tích hợp 3 khung lý thuyết toán học tiến tiến: lý thuyết tập mờ cổ điển (Zadeh, 1965), lý thuyết tập mờ trực cảm (Atanassov, 1986) và lý thuyết tập mờ viễn cảnh do Cuong và Kreinovich đề xuất năm 2013.

Mô hình nghiên cứu chuẩn hóa tập mờ viễn cảnh trên không gian nền thông qua 4 hàm đặc trưng: hàm độ thuộc (biểu diễn mức độ đồng ý), hàm độ trung lập (biểu diễn mức độ trung gian/không thiên lệch), hàm độ không thuộc (biểu diễn mức độ phản đối) và mức độ từ chối. Điều kiện ràng buộc cốt lõi là tổng giá trị của ba hàm độ thuộc, độ trung lập và độ không thuộc phải nằm trong đoạn từ 0 đến 1. Khi độ trung lập bằng 0, mô hình sẽ suy biến tự nhiên về tập mờ trực cảm; và khi cả độ trung lập lẫn độ không thuộc bằng 0, mô hình trở thành tập mờ truyền thống. Bên cạnh đó, luận văn mở rộng lý thuyết sang tập mờ viễn cảnh dạng khoảng, tổ hợp lồi và quan hệ mờ viễn cảnh, tạo nền tảng vững chắc cho các phép toán đại số đa chiều.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu đa tầng gồm: 5 mẫu xe hơi với 6 tiêu chí (tiết kiệm nhiên liệu, đẳng cấp, giá cả, tiện nghi, thiết kế, an toàn); 5 loại vật liệu xây dựng (keo dán, véc ni, sơn tường, thảm, ván sàn PVC) trong không gian 4 chiều; và 270 hồ sơ bệnh nhân tim mạch thu thập từ Cleveland Clinic Foundation thuộc kho lưu trữ UCI với 3 chỉ số lâm sàng thiết yếu (độ tuổi, huyết áp khi nhập viện, nhịp tim tối đa). Phương pháp chọn mẫu tập trung vào việc bao phủ từ các tập kiểm thử mẫu quy mô nhỏ đến bộ dữ liệu thực tế cỡ trung bình nhằm thẩm định toàn diện thuật toán.

Về phương pháp phân tích, tác giả thiết lập các công thức đo khoảng cách viễn cảnh tổng quát mở rộng từ khoảng cách Hamming (với bậc p=1) và Euclidean (với bậc p=2), kết hợp độ đo khoảng cách Hausdorff. Thuật toán phân cụm phân cấp mờ viễn cảnh (HPC) được lựa chọn vì không đòi hỏi phải cố định số lượng cụm ngay từ đầu như thuật toán K-Means hay Fuzzy C-Means, đồng thời cho phép theo dõi trực quan tiến trình gộp cụm qua từng giai đoạn. Nghiên cứu cũng tích hợp kỹ thuật phân tích thành phần chính (PCA) để biến đổi dữ liệu từ không gian 6 chiều về mặt phẳng tọa độ 2 chiều nhằm tối ưu hóa khả năng trực quan hóa phân bố điểm và tâm cụm. Toàn bộ quá trình nghiên cứu và thử nghiệm được hoàn thiện trong giai đoạn 2013–2014.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Nghiên cứu đã chứng minh hiệu năng vượt trội của 4 biến thể thuật toán đề xuất (HPC1, HPC2, HPC3, HPC4) so với các thuật toán tham chiếu của Cuong và Kreinovich (CK1, CK2) và thuật toán phân cụm mờ trực cảm (IHC):

Thứ nhất, trên bộ dữ liệu xe hơi Quảng Châu, tại giai đoạn 2, nhóm thuật toán HPC2, HPC3, HPC4 đạt chỉ số thuần khiết Purity = 1.0 và chỉ số F-Measure = 1.0 (tương đương độ chính xác tuyệt đối 100%). Ngược lại, thuật toán CK1 chỉ đạt chỉ số Purity = 0.8 và F-Measure = 0.833, cho thấy độ đo Hausdorff tổng quát giúp loại bỏ hoàn toàn việc phân loại sai lệch.

Thứ hai, trên tập dữ liệu vật liệu xây dựng, tại giai đoạn 3, các biến thể HPC1, HPC2, HPC3 đạt chỉ số NMI = 1.0, Purity = 1.0 và F-Measure = 1.0. Trong khi đó, thuật toán CK2 và HPC4 chỉ đạt Purity = 0.8 và F-Measure = 0.833 do để vật liệu keo dán (Sealant) bị cô lập thành một cụm ngoại lệ kéo dài.

Thứ ba, trên bộ dữ liệu thực tế gồm 270 bản ghi bệnh tim UCI, các thuật toán HPC chứng minh tính ổn định cao. Tại giai đoạn 2, thuật toán HPC1 và HPC2 đạt chỉ số Purity vượt trội lên đến 0.941 (tức 94.1%), cao hơn đáng kể so với mức 0.902 của CK1 và 0.925 của CK2.

Thảo luận kết quả

Nguyên nhân chính giúp các biến thể HPC đạt chất lượng vượt bậc là nhờ việc tích hợp thành phần độ trung lập vào độ đo khoảng cách Hausdorff tổng quát. Trong các phương pháp cũ như IHC, do không thể xử lý độ trung lập một cách độc lập, hệ thống buộc phải gộp giá trị này vào hàm độ không thuộc, dẫn tới việc làm méo mó bản chất bất định của dữ liệu.

Về mặt biểu diễn dữ liệu, kết quả phân cụm được cấu trúc hóa rõ nét thông qua biểu đồ cây phân cấp (Dendrogram). Cây phân cấp của HPC2 minh họa sinh động tiến trình gom cụm: ban đầu 5 mẫu xe riêng biệt được kết hợp thành 3 cụm ở giai đoạn 2 (Car1 gộp với Car4; Car2 gộp với Car3; Car5 đứng riêng), sau đó tiếp tục gom thành 2 cụm ở giai đoạn 3 và hợp nhất thành 1 cụm duy nhất ở giai đoạn 4. Biểu đồ phân tán 2 chiều ứng dụng PCA đã biểu diễn trực quan tọa độ các tâm cụm (chẳng hạn Car1 có tọa độ X = 0.126 và Y = 0.000) cùng các bảng đối sánh chỉ số NMI, Purity và F-Measure qua từng bước lặp.

Đề xuất và khuyến nghị

Dựa trên kết quả thực nghiệm vững chắc, luận văn đưa ra 4 nhóm giải pháp mang tính hành động cao:

Một là, nâng cấp hệ thống phần mềm HPCS từ ứng dụng Desktop trên nền tảng .NET Framework 3.5 (ngôn ngữ C#) lên kiến trúc điện toán đám mây phân tán trong vòng 6 đến 12 tháng tới. Đội ngũ kỹ sư phần mềm cần tối ưu hóa mã nguồn để xử lý đồng thời hơn 100.000 bản ghi dữ liệu mờ, hướng tới mục tiêu cắt giảm 45% thời gian tính toán ma trận khoảng cách.

Hai là, chuẩn hóa và nhúng thuật toán phân cụm mờ viễn cảnh vào hệ thống hỗ trợ chẩn đoán y tế lâm sàng trong thời gian 9 tháng. Các chuyên gia tin sinh học phối hợp với bệnh viện ứng dụng mô hình này để phân tầng nguy cơ cho bệnh nhân tim mạch, đặt mục tiêu nâng độ chính xác phân loại các ca bệnh phức tạp lên trên 96% dựa trên tập dữ liệu Cleveland.

Ba là, triển khai ứng dụng độ đo khoảng cách Hausdorff-Euclidean viễn cảnh vào các hệ thống khảo sát thị trường và thăm dò dư luận đa lựa chọn trong quý tới. Các doanh nghiệp phân tích dữ liệu thị trường cần áp dụng để phân loại hành vi tiêu dùng, đặt mục tiêu giảm tỷ lệ sai số do các ý kiến trung lập (phiếu trắng) xuống dưới 2%.

Bốn là, tối ưu hóa các thư viện toán học mã nguồn mở cho bộ thuật toán HPC1 đến HPC4 trong vòng 3 tháng, công khai giao diện lập trình ứng dụng (API) chuẩn hóa nhằm hỗ trợ cộng đồng khoa học dữ liệu dễ dàng tích hợp vào các dự án phân tích dữ liệu không chắc chắn.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang giá trị học thuật và ứng dụng cao cho 4 nhóm đối tượng trọng điểm:

Nhóm 1: Giảng viên, nghiên cứu sinh và học viên cao học chuyên ngành Khoa học máy tính và Hệ thống thông tin. Luận văn cung cấp hệ thống chứng minh toán học chặt chẽ về tập mờ viễn cảnh và độ đo khoảng cách tổng quát, phục vụ trực tiếp cho việc phát triển các thuật toán học máy nâng cao.

Nhóm 2: Các chuyên gia phân tích dữ liệu (Data Scientists) và kỹ sư trí tuệ nhân tạo. Tài liệu mang lại công cụ đắc lực để giải quyết các bài toán phân khúc khách hàng, xếp hạng sản phẩm tiêu dùng đa tiêu chí trong điều kiện dữ liệu chứa nhiều yếu tố mờ và thiếu thông tin.

Nhóm 3: Các nhà nghiên cứu tin sinh học và chuyên gia công nghệ y tế. Luận văn cung cấp trường hợp ứng dụng thực tế trên 270 mẫu bệnh án tim mạch UCI, hỗ trợ xây dựng hệ thống chẩn đoán phân tầng nguy cơ bệnh lý chính xác.

Nhóm 4: Lãnh đạo doanh nghiệp và giám đốc công nghệ (CTO). Công trình định hướng cách thức xây dựng hệ thống phần mềm hỗ trợ ra quyết định thông minh (HPCS), giúp doanh nghiệp xử lý hiệu quả các luồng ý kiến đa chiều trong quản trị và điều hành.

Câu hỏi thường gặp

Điểm khác biệt cốt lõi giữa tập mờ viễn cảnh (PFS) và tập mờ trực cảm (IFS) là gì?

Tập mờ viễn cảnh PFS bổ sung thêm hàm độ trung lập bên cạnh hàm độ thuộc và không thuộc, với tổng ba giá trị không vượt quá 1, đồng thời xác định mức độ từ chối. Ví dụ thực tế trong cuộc bầu cử 500 phiếu có 64 phiếu trắng (trung lập), PFS mô hình hóa chính xác nhóm này mà không làm biến dạng dữ liệu như IFS.

Thuật toán phân cụm HPC khắc phục được nhược điểm nào của các phương pháp truyền thống?

Thuật toán HPC khắc phục tình trạng phân cụm cưỡng bức và hiện tượng cô lập điểm ngoại lệ khi dữ liệu chứa thông tin không chắc chắn. Nhờ sử dụng độ đo khoảng cách Hausdorff tổng quát, HPC tự động gom các cụm đặc hiệu quả, giúp chỉ số Purity trên tập vật liệu xây dựng đạt mức tuyệt đối 1.0 thay vì mức 0.8 của phương pháp cũ.

Các chỉ số nào được sử dụng để đánh giá chất lượng phân cụm trong công trình?

Nghiên cứu sử dụng 3 chỉ số định lượng chuẩn quốc tế gồm: NMI (đo lượng thông tin tương hỗ chuẩn hóa giữa các cụm), F-Measure (trung bình điều hòa giữa độ chính xác Precision và độ bao phủ Recall) và Purity (đo độ thuần khiết của từng cụm). Các chỉ số càng tiệm cận 1.0 thì chất lượng phân cụm càng hoàn hảo.

Hệ thống phần mềm HPCS có những tính năng kỹ thuật nổi bật nào?

Hệ thống HPCS được phát triển bằng ngôn ngữ C# trên Visual Studio 2010 (.NET Framework 3.5), tích hợp 7 thuật toán phân cụm gồm IHC, CK1, CK2 và HPC1 đến HPC4. Phần mềm hỗ trợ nhập dữ liệu tự động từ tệp Excel, trực quan hóa cây phân cấp và biểu diễn tọa độ không gian 2 chiều qua thuật toán PCA.

Thuật toán phân cụm mờ viễn cảnh có khả năng mở rộng cho dữ liệu lớn không?

Hoàn toàn khả thi. Thực nghiệm trên 270 hồ sơ bệnh án tim mạch UCI đã chứng minh tính ổn định cao của thuật toán với Purity đạt 0.941. Khi kết hợp với các nền tảng tính toán song song và bộ nhớ phân tán, thuật toán HPC hoàn toàn có thể xử lý hàng triệu bản ghi y tế và thương mại.

Kết luận

  • Hệ thống hóa toàn diện cơ sở lý thuyết về tập mờ viễn cảnh (PFS), tập mờ viễn cảnh dạng khoảng và các phép toán đại số liên quan.
  • Phát triển thành công hệ thống các công thức đo khoảng cách Hausdorff-Hamming và Hausdorff-Euclidean viễn cảnh tổng quát.
  • Đề xuất và cài đặt thành công thuật toán phân cụm phân cấp mờ viễn cảnh HPC với 4 biến thể vượt trội về độ chính xác.
  • Kiểm chứng hiệu năng tối ưu trên 3 tập dữ liệu thực nghiệm (xe hơi Quảng Châu, vật liệu xây dựng, 270 hồ sơ tim mạch UCI) với các chỉ số Purity và NMI đạt tới 1.0.
  • Xây dựng hoàn chỉnh hệ thống phần mềm HPCS hỗ trợ phân tích và trực quan hóa dữ liệu mờ đa chiều trên giao diện người dùng thân thiện.

Đóng góp lớn nhất của luận văn là đã hoàn thiện công cụ toán học và thuật toán phân cụm mờ viễn cảnh, giải quyết trọn vẹn bài toán dữ liệu bất định chứa thông tin trung lập. Kế hoạch tiếp theo trong vòng 12 tháng tới là mở rộng thuật toán trên nền tảng dữ liệu lớn và điện toán đám mây. Hãy áp dụng ngay giải pháp phân cụm mờ viễn cảnh để tối ưu hóa hệ thống ra quyết định thông minh trong tổ chức của bạn.