I. Khám phá giải pháp Entropy Fuzzy Logic cho dữ liệu thưa
Trong kỷ nguyên số, dữ liệu được xem là tài sản quý giá, nhưng không phải lúc nào cũng đầy đủ. Bài toán dữ liệu thưa, tình trạng thiếu hụt thông tin trong các tập dữ liệu lớn, là một thách thức đáng kể trong nhiều lĩnh vực, từ học thuật đến tài chính. Việc xử lý dữ liệu thiếu sót không chỉ ảnh hưởng đến chất lượng phân tích mà còn có thể dẫn đến những kết luận sai lệch. Nghiên cứu này tập trung vào một hướng tiếp cận đột phá, ứng dụng độ đo entropy và fuzzy logic để giải quyết vấn đề này. Cụ thể, nghiên cứu áp dụng các lý thuyết này để khôi phục các điểm thành phần bị mất trong bảng điểm rèn luyện của sinh viên, một dạng dữ liệu đặc thù và quan trọng trong môi trường giáo dục. Độ đo entropy được sử dụng như một công cụ để lượng hóa mức độ bất định hoặc hỗn loạn của dữ liệu, giúp phân nhóm các đối tượng có đặc tính biến thiên tương tự nhau. Trong khi đó, Fuzzy Logic (logic mờ) cung cấp một khung làm việc linh hoạt để xử lý thông tin không chắc chắn và không rõ ràng, vốn là bản chất của nhiều loại dữ liệu trong thực tế. Sự kết hợp này mở ra một phương pháp hiệu quả để suy luận và điền vào các giá trị bị thiếu, đảm bảo tính toàn vẹn của dữ liệu và nâng cao độ tin cậy của các mô hình phân tích.
1.1. Tổng quan về bài toán khôi phục dữ liệu học thuật
Trong môi trường giáo dục đại học, dữ liệu về sinh viên, đặc biệt là điểm rèn luyện, đóng vai trò quan trọng trong việc đánh giá toàn diện năng lực và phẩm chất. Tuy nhiên, do quá trình lưu trữ kéo dài hoặc các sai sót trong nhập liệu, việc một số điểm thành phần bị mất là kịch bản thường gặp, tạo ra một bài toán dữ liệu thưa điển hình. Việc khôi phục dữ liệu này không đơn giản là điền một giá trị trung bình, bởi mỗi đầu điểm đều có mối tương quan với các đầu điểm khác và phản ánh một khía cạnh cụ thể trong quá trình rèn luyện của sinh viên. Luận văn của Nguyễn Việt Thanh Hiền (2019) đã chỉ ra rằng việc mất điểm gây khó khăn cho phòng Quản lý Sinh viên trong việc đánh giá chính xác và công bằng. Do đó, việc xây dựng một mô hình phục hồi dữ liệu đáng tin cậy là yêu cầu cấp thiết, giúp đảm bảo tính toàn vẹn và nhất quán của hồ sơ sinh viên, làm cơ sở cho các quyết định khen thưởng, kỷ luật hay xét tốt nghiệp.
1.2. Vai trò của độ đo entropy và logic mờ trong xử lý thông tin
Độ đo entropy, một khái niệm bắt nguồn từ nhiệt động lực học và được Claude Shannon mở rộng sang lý thuyết thông tin, là một thước đo mức độ hỗn loạn hoặc bất định của một hệ thống. Trong phân tích dữ liệu, entropy giúp xác định lượng thông tin chứa trong một biến. Một biến có entropy cao cho thấy sự phân bổ giá trị đa dạng và khó dự đoán. Ngược lại, Fuzzy Logic giải quyết vấn đề mơ hồ và không chắc chắn vốn có trong ngôn ngữ tự nhiên và quá trình ra quyết định của con người. Thay vì các giá trị đúng/sai tuyệt đối của logic cổ điển, logic mờ cho phép các giá trị chân lý nằm trong khoảng [0, 1]. Sự kết hợp hai công cụ này tạo ra một phương pháp mạnh mẽ: dùng độ đo entropy để phân nhóm dữ liệu có cùng độ bất định, sau đó áp dụng các nguyên tắc của Fuzzy Logic hoặc các phương pháp suy luận tương tự để xử lý các nhóm dữ liệu này, từ đó tìm ra giá trị khôi phục hợp lý nhất cho dữ liệu bị thiếu.
II. Thách thức lớn nhất khi xử lý bài toán dữ liệu thưa
Việc giải quyết bài toán dữ liệu thưa đặt ra nhiều thách thức, đặc biệt khi các phương pháp truyền thống không đủ khả năng nắm bắt các mối quan hệ phức tạp ẩn sau dữ liệu. Một trong những phương pháp phổ biến là thuật toán Bootstrap, dựa trên nguyên lý tái lấy mẫu có hoàn lại để ước tính các tham số thống kê. Mặc dù hữu ích trong nhiều trường hợp, Bootstrap có thể không mang lại độ chính xác cao khi các điểm dữ liệu có sự tương quan mạnh mẽ với nhau, bởi nó có xu hướng bỏ qua cấu trúc phụ thuộc này. Nghiên cứu thực nghiệm trên bộ dữ liệu điểm rèn luyện cho thấy phương pháp Bootstrap chỉ đạt độ chính xác trung bình 72.59%. Thách thức lớn hơn nữa xuất hiện khi cần tính toán độ tương đồng vector giữa hai đối tượng (ví dụ: hai sinh viên) với một số lượng mẫu rất nhỏ (vector ngắn). Các độ đo tương quan chuẩn như hệ số Pearson yêu cầu một lượng dữ liệu đủ lớn để cho kết quả đáng tin cậy. Khi dữ liệu thưa, số lượng các điểm chung để so sánh là rất ít, dẫn đến việc tính toán độ tương đồng trở nên không chắc chắn và thiếu chính xác. Điều này đòi hỏi phải tìm kiếm các kỹ thuật tiên tiến hơn, có khả năng mô hình hóa cấu trúc phụ thuộc của dữ liệu ngay cả khi số mẫu bị hạn chế.
2.1. Hạn chế của phương pháp truyền thống như Bootstrap
Thuật toán Bootstrap là một kỹ thuật thống kê mạnh mẽ, hoạt động bằng cách tạo ra nhiều tập dữ liệu mới từ tập dữ liệu ban đầu thông qua việc lấy mẫu ngẫu nhiên có hoàn lại. Mục tiêu là để ước tính phân phối của một tham số thống kê mà không cần giả định về phân phối của tổng thể. Tuy nhiên, trong bối cảnh khôi phục dữ liệu điểm rèn luyện, phương pháp này bộc lộ hạn chế. Luận văn gốc chỉ ra rằng Bootstrap, khi áp dụng, chỉ đạt độ chính xác 72.59%. Nguyên nhân cốt lõi là Bootstrap xử lý việc tái tạo dữ liệu một cách ngẫu nhiên để giữ các tham số thống kê cơ bản, nhưng lại không khai thác được mối tương quan nội tại giữa các đầu điểm. Ví dụ, ý thức học tập có thể liên quan đến ý thức tham gia hoạt động. Bootstrap bỏ qua mối liên hệ này, dẫn đến kết quả khôi phục chưa tối ưu.
2.2. Khó khăn khi tính độ tương đồng với số mẫu dữ liệu nhỏ
Một hướng tiếp cận trực quan để khôi phục dữ liệu cho sinh viên A là tìm một sinh viên B giống hệt và sao chép điểm. Việc xác định "sự giống nhau" này thường được thực hiện thông qua tính toán độ tương đồng vector giữa hai bộ điểm. Tuy nhiên, khi dữ liệu thưa, tức là nhiều điểm bị thiếu, vector đại diện cho mỗi sinh viên trở nên rất ngắn. Các công thức tính tương quan kinh điển (ví dụ: tính cosin của góc giữa hai vector) trở nên không đáng tin cậy với số chiều dữ liệu nhỏ. Theo Luật số lớn, các phép tính trung bình chỉ hội tụ về kỳ vọng khi số lượng mẫu đủ lớn. Với chỉ vài điểm dữ liệu chung, kết quả tính toán có thể bị nhiễu và không phản ánh đúng mối quan hệ thực sự, dẫn đến việc chọn sai đối tượng tham chiếu và khôi phục điểm không chính xác. Đây chính là rào cản kỹ thuật mà nghiên cứu cần phải vượt qua.
III. Phương pháp tiền xử lý dữ liệu bằng Entropy và C Means
Để giải quyết bài toán hiệu quả, việc giảm không gian tìm kiếm là một bước đi chiến lược. Thay vì so sánh một sinh viên cần khôi phục điểm với toàn bộ danh sách, một phương pháp tiếp cận thông minh hơn là chỉ so sánh trong một nhóm nhỏ các sinh viên có đặc điểm tương đồng nhất. Luận văn đã đề xuất một bước tiền xử lý dữ liệu hiệu quả bằng cách kết hợp độ đo entropy và thuật toán phân cụm Fuzzy C-Means. Hướng tiếp cận này dựa trên một nhận định quan trọng: các sinh viên có kết quả rèn luyện tương đồng thường giống nhau trên cả hai phương diện, đó là độ lớn của điểm và độ biến thiên (bất định) của điểm. Độ đo entropy được sử dụng để tính toán độ bất định cho vector điểm của mỗi sinh viên. Những sinh viên có cùng giá trị entropy sẽ được nhóm lại với nhau. Tiếp theo, thuật toán phân cụm Fuzzy C-Means được áp dụng để phân các sinh viên vào các cụm dựa trên độ lớn trung bình của các điểm số. Bằng cách kết hợp hai tiêu chí này, hệ thống có thể lọc ra một nhóm ứng viên có độ tương đồng cao, giúp cho bước tính toán chi tiết sau đó trở nên nhanh chóng và chính xác hơn, tránh được việc so sánh tràn lan gây tốn kém tài nguyên tính toán.
3.1. Ứng dụng độ đo entropy để nhóm dữ liệu theo độ bất định
Trong lý thuyết thông tin, độ đo entropy phản ánh mức độ ngẫu nhiên hoặc không chắc chắn. Áp dụng vào dữ liệu điểm rèn luyện, entropy của chuỗi điểm của một sinh viên cho biết mức độ biến động trong kết quả rèn luyện của họ. Một sinh viên có điểm số đồng đều ở các mục sẽ có entropy thấp, trong khi một sinh viên có điểm số rất cao ở vài mục và rất thấp ở các mục khác sẽ có entropy cao. Nghiên cứu đã phát hiện ra rằng những sinh viên có các điểm thành phần tương tự nhau thường có cùng mức độ bất định về điểm. Do đó, việc tính toán entropy cho từng vector điểm và nhóm các sinh viên có giá trị entropy gần nhau (ví dụ, sai khác ±0.1) là bước lọc đầu tiên, giúp thu hẹp phạm vi tìm kiếm một cách hiệu quả và có cơ sở khoa học.
3.2. Kỹ thuật phân cụm Fuzzy C Means tối ưu hóa tìm kiếm
Sau khi lọc theo độ bất định, thuật toán Fuzzy C-Means (FCM) được sử dụng để tiếp tục tinh chỉnh việc phân nhóm. Không giống như K-Means (phân cụm cứng), FCM là một thuật toán phân cụm mờ, cho phép mỗi điểm dữ liệu có thể thuộc về nhiều cụm với các mức độ thành viên khác nhau. Trong bài toán này, FCM được dùng để phân loại sinh viên thành các nhóm dựa trên tâm điểm (vector trung bình) của các cụm. Ví dụ, có thể có cụm sinh viên "xuất sắc", cụm "khá", cụm "trung bình", v.v. Việc chọn Fuzzy C-Means không chỉ phục vụ mục đích phân cụm hiện tại mà còn là tiền đề cho hướng phát triển ứng dụng Fuzzy Logic sâu hơn trong tương lai. Kết hợp cả hai bước lọc (entropy và C-Means), hệ thống có thể xác định một nhóm nhỏ các sinh viên có hồ sơ rèn luyện gần như tương đồng để thực hiện bước đối sánh chi tiết.
IV. Bí quyết dùng Copula Gauss để đo độ tương đồng vector
Sau khi đã xác định được một nhóm nhỏ các ứng viên tiềm năng thông qua tiền xử lý, thách thức cốt lõi vẫn là làm thế nào để tính toán độ tương đồng vector một cách chính xác khi số lượng điểm chung là rất ít. Đây là lúc kỹ thuật chuyển đổi Copula Gauss phát huy vai trò quyết định. Copula là một công cụ toán học, có nguồn gốc từ lĩnh vực tài chính, cho phép mô tả cấu trúc phụ thuộc giữa các biến ngẫu nhiên một cách độc lập với phân phối biên của chúng. Nói một cách đơn giản, Copula Gauss giúp xây dựng lại mối quan hệ tương quan giữa các biến mà không bị ảnh hưởng bởi số lượng mẫu nhỏ. Phương pháp này thực hiện việc biến đổi chuỗi dữ liệu gốc sang một không gian mới, nơi các phân phối được chuẩn hóa và cấu trúc phụ thuộc được biểu diễn rõ ràng hơn. Trong không gian này, việc tính toán hệ số tương quan trở nên đáng tin cậy hơn nhiều. Dựa trên hệ số tương quan lớn nhất (rmax) tìm được thông qua Copula Gauss, một công thức phục hồi điểm được đề xuất. Công thức này về cơ bản là một phép nội suy thông minh, kết hợp điểm của sinh viên tương đồng nhất với một hệ số điều chỉnh, đảm bảo điểm khôi phục vừa phản ánh xu hướng của sinh viên tương đồng, vừa giữ được đặc tính riêng của sinh viên cần khôi phục.
4.1. Chuyển đổi Copula Gauss Giải pháp cho vector ngắn
Khi các phương pháp tính tương quan truyền thống thất bại với vector ngắn, Copula Gauss nổi lên như một giải pháp thay thế mạnh mẽ. Kỹ thuật này bao gồm các bước: đầu tiên, ước lượng hàm mật độ xác suất từ chuỗi dữ liệu thực tế; tiếp theo, xây dựng hàm mật độ dưới dạng Copula Gaussian từ tham số tương quan tuyến tính; sau đó, tái tạo lại chuỗi số liệu từ hàm mật độ này. Quá trình này cho phép tính toán kỳ vọng và độ tương quan với sai số chấp nhận được ngay cả khi số mẫu ban đầu rất nhỏ (n < 10). Bằng cách áp dụng Copula Gauss, nghiên cứu đã vượt qua được rào cản lớn nhất trong việc xử lý dữ liệu thưa, đó là tính toán đáng tin cậy trên các mẫu dữ liệu bị hạn chế, mở đường cho việc khôi phục dữ liệu với độ chính xác cao.
4.2. Công thức phục hồi điểm dựa trên hệ số tương quan cao nhất
Sau khi sử dụng Copula Gauss để tính toán và tìm ra được sinh viên có độ tương đồng vector cao nhất (được biểu thị bằng hệ số tương quan rmax), điểm bị thiếu sẽ được khôi phục dựa trên công thức đề xuất: y_khôi_phục = rmax * x_tương_ứng + (1 - rmax) * b. Trong đó, y_khôi_phục là điểm cần tìm, x_tương_ứng là điểm ở cùng vị trí của sinh viên tương đồng nhất, và b là một hệ số điều chỉnh (trong luận văn là 1-a). Công thức này thể hiện một logic thông minh: điểm khôi phục là sự kết hợp có trọng số giữa điểm của mẫu tham chiếu và một giá trị cơ sở. Trọng số chính là rmax, hệ số tương quan cao nhất. Nếu rmax gần bằng 1 (tương quan rất cao), điểm khôi phục sẽ gần như bằng điểm của sinh viên tham chiếu. Ngược lại, nếu tương quan thấp hơn, ảnh hưởng của mẫu tham chiếu sẽ giảm đi. Cách tiếp cận này đảm bảo kết quả hợp lý và chính xác.
V. Kết quả thực nghiệm So sánh Copula Gauss và Bootstrap
Hiệu quả của một phương pháp mới phải được chứng minh bằng các kết quả thực nghiệm thuyết phục. Luận văn đã tiến hành một so sánh chi tiết giữa phương pháp đề xuất (kết hợp độ đo entropy, C-Means và Copula Gauss) và phương pháp thuật toán Bootstrap truyền thống. Thử nghiệm được thực hiện trên bộ dữ liệu thật là bảng điểm rèn luyện của sinh viên khóa D14PM01, Trường Đại học Thủ Dầu Một. Để đánh giá, các nhà nghiên cứu đã chọn những sinh viên có đầy đủ điểm, sau đó giả định làm mất một số điểm một cách ngẫu nhiên. Nhiệm vụ của hai thuật toán là khôi phục dữ liệu đã mất. Độ chính xác được đo bằng cách so sánh điểm được khôi phục với điểm thực tế ban đầu. Kết quả cho thấy sự chênh lệch rõ rệt về hiệu năng. Phương pháp mới, nhờ vào khả năng nắm bắt cấu trúc tương quan phức tạp ngay cả với dữ liệu ít, đã chứng tỏ sự vượt trội đáng kể. Con số không nói dối: độ chính xác trung bình của phương pháp đề xuất đạt 87.41%, cao hơn gần 15% so với con số 72.59% của thuật toán Bootstrap. Điều này khẳng định tính ưu việt và tiềm năng ứng dụng thực tiễn của hướng tiếp cận mới trong việc giải quyết bài toán dữ liệu thưa.
5.1. Phân tích hiệu quả khôi phục điểm rèn luyện sinh viên
Quy trình thực nghiệm được thiết kế chặt chẽ. Dữ liệu điểm rèn luyện được chia thành hai phần để kiểm tra và đánh giá. Trên phần dữ liệu thứ nhất, các điểm được giả định là bị mất. Cả hai phương pháp, Bootstrap và phương pháp đề xuất sử dụng Copula Gauss, được chạy đồng thời để phục hồi các điểm này. Sai số giữa điểm thực và điểm được khôi phục là tiêu chí chính để đánh giá. Kết quả từ bảng so sánh cho thấy phương pháp đề xuất không chỉ có độ chính xác trung bình cao hơn mà còn ổn định hơn trên nhiều trường hợp khác nhau. Ví dụ, trong một trường hợp cụ thể, điểm thực là 15, phương pháp Bootstrap khôi phục ra 13 (độ chính xác 86%), trong khi phương pháp mới có thể đạt được kết quả gần với giá trị thực hơn nhờ việc tìm đúng sinh viên tương đồng nhất.
5.2. Đánh giá độ chính xác vượt trội của phương pháp mới
Sự khác biệt cốt lõi dẫn đến kết quả vượt trội nằm ở cách tiếp cận. Thuật toán Bootstrap tái tạo dữ liệu dựa trên các tham số thống kê chung và tính ngẫu nhiên, không tận dụng được mối quan hệ logic giữa các đầu điểm. Ngược lại, phương pháp mới xem việc khôi phục điểm như bài toán tìm kiếm mẫu tương đồng nhất. Bằng cách sử dụng độ đo entropy và Fuzzy C-Means để khoanh vùng tìm kiếm và Copula Gauss để tính toán độ tương đồng vector một cách chính xác, phương pháp này đã khai thác triệt để thông tin ẩn chứa trong dữ liệu. Kết quả 87.41% so với 72.59% là một minh chứng rõ ràng cho thấy việc mô hình hóa cấu trúc phụ thuộc của dữ liệu là chìa khóa để giải quyết thành công bài toán dữ liệu thưa.
VI. Hướng phát triển tương lai cho bài toán dữ liệu thưa
Nghiên cứu đã trình bày một giải pháp cải tiến và hiệu quả cho bài toán dữ liệu thưa bằng cách tổ hợp các kỹ thuật từ lý thuyết thông tin, phân cụm mờ và thống kê hiện đại. Việc áp dụng thành công độ đo entropy và Copula Gauss để khôi phục điểm rèn luyện không chỉ giải quyết một vấn đề thực tiễn trong quản lý giáo dục mà còn mở ra nhiều hướng phát triển tiềm năng trong tương lai. Hướng đi rõ ràng nhất là tích hợp sâu hơn Fuzzy Logic vào mô hình. Mặc dù trong nghiên cứu này Fuzzy C-Means được dùng để tiền xử lý, tiềm năng của các hệ suy luận mờ trong việc mô hình hóa các quy tắc và mối quan hệ phức tạp vẫn chưa được khai thác hết. Một hệ thống sử dụng luật mờ (Fuzzy Rules) có thể cải thiện hơn nữa độ chính xác của việc khôi phục. Bên cạnh đó, mô hình này hoàn toàn có thể được mở rộng và ứng dụng sang các lĩnh vực khác cũng đang đối mặt với thách thức dữ liệu thưa. Các ngành như tài chính (dự báo rủi ro tín dụng với dữ liệu khách hàng không đầy đủ), y tế (chẩn đoán bệnh dựa trên hồ sơ bệnh án thiếu sót) hay marketing (cá nhân hóa đề xuất) đều có thể hưởng lợi từ phương pháp này.
6.1. Tiềm năng kết hợp sâu hơn Copula Gauss và Fuzzy Logic
Luận văn ban đầu đã tiếp cận theo hướng Fuzzy Logic nhưng gặp bế tắc và chuyển sang Copula Gauss. Tuy nhiên, đây không phải là điểm kết thúc mà là khởi đầu cho một hướng đi mới. Hướng phát triển tiếp theo có thể là xây dựng một hệ thống lai (hybrid system) kết hợp thế mạnh của cả hai. Copula Gauss có thể được dùng để xác định các hệ số tương quan đầu vào, sau đó một hệ suy luận mờ (Fuzzy Inference System) sẽ sử dụng các hệ số này cùng các luật mờ do chuyên gia định nghĩa (ví dụ: "NẾU sinh viên A rất tương đồng với B VÀ B có điểm NCKH cao THÌ điểm NCKH khôi phục của A cũng cao") để đưa ra quyết định cuối cùng. Sự kết hợp này hứa hẹn mang lại kết quả vừa chính xác về mặt toán học, vừa linh hoạt và gần với tư duy của con người.
6.2. Mở rộng ứng dụng sang các lĩnh vực tài chính và y tế
Bản chất của bài toán dữ liệu thưa là phổ biến. Phương pháp được trình bày trong nghiên cứu này có tính tổng quát cao. Trong lĩnh vực tài chính, nơi mà kỹ thuật Copula Gauss ra đời, mô hình này có thể được ứng dụng để ước tính rủi ro cho các danh mục đầu tư khi dữ liệu lịch sử của một số tài sản bị thiếu. Trong y tế, khi một bệnh nhân thiếu một vài kết quả xét nghiệm, mô hình có thể tìm kiếm các bệnh nhân có hồ sơ tương tự nhất (dựa trên các xét nghiệm đã có) để đưa ra dự đoán về kết quả bị thiếu, hỗ trợ bác sĩ trong quá trình chẩn đoán. Khả năng tùy biến và áp dụng cho nhiều loại dữ liệu khác nhau chính là giá trị khoa học và thực tiễn lớn nhất của nghiên cứu.
