Tổng quan luận án
Luận án tiến sĩ toán học với đề tài "Một số đóng góp trong bài toán phân tích chùm" được thực hiện bởi nghiên cứu sinh Nguyễn Trang Thảo, dưới sự hướng dẫn khoa học của PGS. Võ Văn Tài và TS. Lê Thị Xuân Mai, thuộc chuyên ngành Lý thuyết xác suất và thống kê toán học (Mã số chuyên ngành: 62460106) tại Trường Đại học Khoa học Tự nhiên, Đại học Quốc gia Thành phố Hồ Chí Minh, bảo vệ năm 2023.
Tính cấp thiết và khoảng trống nghiên cứu
Trong bối cảnh khối lượng thông tin gia tăng nhanh chóng, ước tính mỗi ngày có $2{,}5 \times 10^{18}$ bit dữ liệu được tạo ra, mạng xã hội Facebook lưu trữ khoảng 50 terabytes dữ liệu mỗi ngày, và Google xử lý 40 petabytes dữ liệu mỗi ngày cùng 2{,}6 petabytes dữ liệu trực tuyến mỗi giờ. Nhu cầu lưu trữ, phân loại và gom nhóm dữ liệu tự động trở thành một bài toán trọng tâm trong thống kê đa biến và khoa học dữ liệu. Phân tích chùm (clustering analysis) là một phương pháp thống kê đa biến nhằm phân chia một tập hợp các đối tượng thành các nhóm (chùm), sao cho các phần tử trong cùng một chùm có độ tương tự cao hơn so với các phần tử thuộc chùm khác.
Tuy nhiên, các nghiên cứu và công cụ hiện tại tồn tại nhiều khoảng trống về lý thuyết và thực tiễn:
- Đối với các phần tử rời rạc (CDE): Hầu hết các thuật toán cổ điển đòi hỏi người dùng phải xác định trước số chùm $k$, phụ thuộc nhiều vào kiến thức tiên nghiệm. Việc đánh giá số chùm tối ưu qua các chỉ số như Xie-Beni, Dunn, hay Davies-Bouldin đòi hỏi chi phí tính toán cao. Phần lớn thuật toán giả định các chùm có dạng hình cầu, kém hiệu quả với các hình dạng bất kỳ. Bên cạnh đó, dữ liệu lớn (big data) có tính biến động và không chắc chắn cao, việc chỉ biểu diễn mỗi đối tượng bằng một điểm rời rạc đơn lẻ không còn phản ánh đầy đủ đặc tính phân phối.
- Đối với các hàm mật độ xác suất (CDF): Tiêu chuẩn "độ rộng chùm" đề xuất năm 2010 bộc lộ hạn chế khi cận trên phụ thuộc trực tiếp vào số lượng hàm mật độ xác suất đang xét ($k-1$), gây sai lệch khi kích thước tập dữ liệu lớn. Chưa có nhiều nghiên cứu tiếp cận bài toán CDF theo hướng mờ (fuzzy clustering), và bài toán xác định số chùm tự động cho CDF vẫn là câu hỏi mở.
- Đối với dữ liệu khoảng (CID): Các thuật toán xác định số chùm trước đây chủ yếu dựa trên khoảng cách Hausdorff, trong khi khoảng cách chồng lấp (overlapping distance) phản ánh cấu trúc khoảng tốt hơn nhưng chưa được phát triển đầy đủ giải thuật tương ứng. Việc xây dựng thuật toán phân tích chùm vững (robust), có khả năng nhận diện và giảm thiểu ảnh hưởng của dữ liệu nhiễu vẫn chưa được giải quyết trọn vẹn ở cả CDF và CID.
Mục đích nghiên cứu
Luận án xác định 3 mục đích nghiên cứu chính:
- Đề xuất một số tiêu chuẩn mới nhằm đánh giá sự tương tự giữa các phần tử rời rạc, các hàm mật độ xác suất và dữ liệu khoảng.
- Đề xuất các thuật toán mới liên quan đến phân tích chùm cho dữ liệu điểm, hàm mật độ xác suất và dữ liệu khoảng dựa trên các tiêu chuẩn mới được đề xuất.
- Ứng dụng các thuật toán phân tích chùm đề nghị vào một số lĩnh vực thực tế bao gồm phân tích số liệu giáo dục và nhận dạng hình ảnh.
Đối tượng và phạm vi nghiên cứu
- Đối tượng nghiên cứu:
- Các tiêu chuẩn đánh giá sự tương tự giữa các phần tử rời rạc, các hàm mật độ xác suất và dữ liệu khoảng.
- Các phương pháp phân tích chùm cho các phần tử rời rạc, các hàm mật độ xác suất và dữ liệu khoảng.
- Các ứng dụng thực nghiệm của các phương pháp phân tích chùm nêu trên.
- Phạm vi nghiên cứu:
- Không gian lý thuyết: Không gian Euclid $\mathbb{R}^n$, không gian các hàm mật độ xác suất trên $\mathbb{R}^n$, và không gian các khoảng dữ liệu $n$ chiều.
- Phạm vi dữ liệu thực nghiệm: Tập dữ liệu mô phỏng từ phân phối chuẩn hai chiều $\mathcal{N}(\mu, \Sigma)$; tập dữ liệu thực tế về tỉ lệ trả lời đúng các câu hỏi thi tuyển sinh (Toán THPT, GMAT, SAT) tại Trường Đại học Tôn Đức Thắng; tập dữ liệu hình ảnh số bị ảnh hưởng bởi nhiễu Gaussian và nhiễu muối tiêu.
Tổng quan tài liệu và vị trí của luận án
Luận án đã hệ thống hóa các công trình nghiên cứu đi trước trên ba nhánh đối tượng chính của bài toán phân tích chùm:
-
Phân tích chùm cho phần tử rời rạc (CDE):
- Các độ đo và khoảng cách: Khoảng cách Euclid, city-block, Chebyshev, Minkowski bậc $m$; khoảng cách nội bộ như đường kính cực đại $d_{\max}(C)$, khoảng cách đường kính trung bình $\delta_a(C)$, khoảng cách đến trọng tâm; khoảng cách liên nhóm cực tiểu và cực đại.
- Các thuật toán cổ điển: Thuật toán $k$-means (MacQueen) dựa trên tối ưu hóa tổng khoảng cách tới trọng tâm; thuật toán DBSCAN (Ester et al.) dựa trên mật độ lân cận $\epsilon$ và số điểm tối thiểu $minpts$ để xác định điểm lõi và tính liên thông trực tiếp; thuật toán cực đại hóa kỳ vọng EM (Dempster, Laird & Rubin) dựa trên mô hình hỗn hợp (mixture model).
- Đánh giá phân vùng: Đánh giá bên ngoài qua chỉ số Rand điều chỉnh (ARI) của Hubert & Arabie; đánh giá bên trong qua chỉ số nén nội bộ ($Intra$) và chỉ số Xie-Beni ($S$).
- Cơ chế tự cập nhật: Ý tưởng cập nhật trọng tâm tự động của Yang & Wu đối với số mờ tam giác.
-
Phân tích chùm cho hàm mật độ xác suất (CDF):
- Độ đo tương tự: Khoảng cách Chernoff, khoảng cách Bhattacharyya, khoảng cách Divergence, khoảng cách $L_p$, khoảng cách Hellinger, Affinity của Toussaint và Affinity của Matusita.
- Tiêu chuẩn độ rộng chùm và thuật toán: Tiêu chuẩn độ rộng chùm $w$ được đề xuất năm 2010 cùng hai thuật toán cơ bản: phân tích chùm không thứ bậc (NCF) và phân tích chùm thứ bậc (HCF).
-
Phân tích chùm cho dữ liệu khoảng (CID):
- Khoảng cách: Khoảng cách Euclid bình phương thích nghi, khoảng cách city-block, khoảng cách Hausdorff, và khoảng cách chồng lấp (overlapping interval distance).
- Thuật toán: Các thuật toán phân tích chùm khoảng với số chùm cố định và thuật toán xác định số chùm dựa trên khoảng cách Hausdorff.
Khoảng trống nghiên cứu luận án lựa chọn giải quyết:
- Xây dựng hệ số tương tự chùm chuẩn hóa (SCD cho CDE và SCC cho CDF) khắc phục tính phụ thuộc vào quy mô dữ liệu và phụ thuộc vào số lượng hàm $k$.
- Thiết lập các thuật toán tự động xác định số chùm và phân vùng tối ưu không cần tham số tiên nghiệm ($k$): thuật toán SU-NSCD cho CDE, thuật toán SUF cho CDF, và thuật toán SUI/ACIG cho CID.
- Phát triển hướng tiếp cận phân tích chùm mờ cho hàm mật độ xác suất (thuật toán FCF).
- Xây dựng thuật toán phân tích chùm vững đối với dữ liệu khoảng có chứa nhiễu (thuật toán ERACI).
Cơ sở lý thuyết và phương pháp nghiên cứu
Khung lý thuyết và khái niệm sử dụng
- Không gian metric và độ đo khoảng cách: Sử dụng các tiên đề metric trên không gian $\mathbb{R}^n$ để xây dựng các độ đo khoảng cách giữa hai điểm rời rạc $x = (x_1, \dots, x_n)$ và $y = (y_1, \dots, y_n)$:
$$\text{Euclid: } d_E(x,y) = \sqrt{\sum_{i=1}^n (x_i - y_i)^2}, \quad \text{City-block: } d_{cb}(x,y) = \sum_{i=1}^n |x_i - y_i|$$
$$\text{Chebyshev: } d_{ch}(x,y) = \max_i |x_i - y_i|, \quad \text{Minkowski: } d_M(x,y) = \left(\sum_{i=1}^n |x_i - y_i|^m\right)^{1/m}$$
- Mô hình hỗn hợp và thuật toán EM: Xây dựng hàm hợp lý (log-likelihood) của tập dữ liệu rời rạc qua mô hình hỗn hợp xác suất:
$$\ln p(X|\mu, \Sigma, \pi) = \sum_{i=1}^N \ln \left(\sum_{j=1}^k \pi_j p(x_i|\mu_j, \Sigma_j)\right)$$
thực hiện lặp qua hai bước kỳ vọng (E-step) và cực đại hóa (M-step) cho đến khi sai phân log-likelihood nhỏ hơn ngưỡng $\epsilon$.
- Lý thuyết tích phân hàm mật độ xác suất: Sử dụng tích phân đa biến trên $\mathbb{R}^n$ để xác định các độ đo phân kỳ và khoảng cách giữa các hàm mật độ $f_1(x), f_2(x)$:
- Khoảng cách Bhattacharyya: $d_B(f_1, f_2) = -\ln \int \sqrt{f_1(x) f_2(x)} dx$
- Khoảng cách Divergence: $d_D(f_1, f_2) = \int [f_1(x) - f_2(x)] \ln \frac{f_1(x)}{f_2(x)} dx$
- Khoảng cách Hellinger: $d_H(f_1, f_2) = \sqrt{\int (\sqrt{f_1(x)} - \sqrt{f_2(x)})^2 dx}$
- Bao lồi (Convex Hull) và lý thuyết hội tụ: Sử dụng tính chất của bao lồi trong không gian $\mathbb{R}^n$ để chứng minh sự hội tụ của dãy trọng tâm tự cập nhật.
Phương pháp nghiên cứu thực tế
- Phương pháp giải tích và chứng minh toán học: Thiết lập các công thức giải tích cho hệ số tương tự chùm; chứng minh các bất đẳng thức chặn giữa độ rộng chùm với khoảng cách $L_1$ và Affinity của Toussaint; chứng minh định lý hội tụ toán học cho Giai đoạn 1 của thuật toán SU-NSCD.
- Phương pháp mô phỏng số (Monte Carlo simulation): Sinh dữ liệu ngẫu nhiên từ phân phối chuẩn đa biến $\mathcal{N}(\mu, \Sigma)$ để kiểm tra khả năng hội tụ, độ chính xác phân nhóm (thông qua chỉ số ARI), và đo lường thời gian thực thi $t$ (giây) qua 10 lần chạy độc lập.
- Phương pháp thống kê phi tham số: Sử dụng kiểm định tổng hạng Wilcoxon / kiểm định Mann-Whitney để kiểm tra ý nghĩa thống kê của sự khác biệt về chỉ số ARI và thời gian tính toán giữa các thuật toán đối sánh.
- Phương pháp phân tích số liệu thực nghiệm: Áp dụng thuật toán phân tích chùm vào dữ liệu khảo thí thực tế nhằm phân loại độ khó câu hỏi đề thi và dữ liệu hình ảnh số.
- Công cụ thực hiện: Sử dụng phần mềm MATLAB để lập trình toàn bộ các thuật toán, mô phỏng dữ liệu và xử lý thống kê.
Nội dung chính theo từng chương
Chương 1: Phân tích chùm các phần tử rời rạc
Chương 1 tập trung vào bài toán CDE, trình bày các độ đo truyền thống, các thuật toán đối chiếu ($k$-means, DBSCAN, EM), các tiêu chuẩn đánh giá phân vùng (ARI, $Intra$, $S$), đồng thời giới thiệu hai đóng góp chính:
-
Hệ số tương tự chùm cho các phần tử rời rạc (SCD):
Cho tập dữ liệu $Z$ và một chùm $C \subset Z$, hệ số SCD được định nghĩa:
$$SCD(C) = 1 - \frac{\delta(C)}{\max{\delta(C), a\delta(Z)}}$$
trong đó $\delta(C), \delta(Z)$ là khoảng cách nội bộ (được tính bằng $d_{\max}$, khoảng cách trung bình $\delta_a$, hoặc khoảng cách đến trọng tâm), $a$ là hằng số dương. Hệ số SCD nhận giá trị trên đoạn $[0, 1]$, đạt giá trị 1 khi các phần tử trong chùm trùng nhau hoàn toàn ($\delta(C) = 0$), và bằng 0 khi $\delta(C) \ge a\delta(Z)$. SCD vừa là tiêu chuẩn đánh giá sự tương tự vừa là chỉ số đo lường chất lượng phân vùng, không bị ảnh hưởng bởi thang đo hay đơn vị của dữ liệu.
-
Thuật toán phân tích chùm tự động, không thứ bậc (SU-NSCD):
Thuật toán gồm hai giai đoạn chính:
- Giai đoạn 1 (Self-Updating - SU): Khởi tạo $N$ điểm dữ liệu làm $N$ trọng tâm ban đầu $v_i^{(0)} = x_i$. Tại mỗi vòng lặp $t$, cập nhật trọng tâm:
$$v_i^{(t+1)} = \frac{\sum_{j=1}^N v_j^{(t)} \exp\left(-\frac{d_E(v_j^{(t)}, v_i^{(t)})}{\lambda}\right)}{\sum_{j=1}^N \exp\left(-\frac{d_E(v_j^{(t)}, v_i^{(t)})}{\lambda}\right)}$$
với $\lambda = d_s / 10$ ($d_s$ là khoảng cách trung bình giữa tất cả các cặp điểm). Quá trình lặp dừng khi $\max_i d_E(v_i^{(t+1)}, v_i^{(t)}) < \epsilon = 10^{-4}$. Sau bước này, các trọng tâm tự động dồn về $k$ vị trí, qua đó xác định số chùm $k$ và phân vùng sơ bộ.
- Chứng minh hội tụ Giai đoạn 1 (Định lý 1.1): Luận án chứng minh rằng bao lồi $\mathcal{C}^{(t+1)} \subset \mathcal{C}^{(t)}$, dãy bao lồi hội tụ về một tập lồi giới hạn $\mathcal{C}_\infty$, và các trọng tâm $v_i^{(t)}$ hội tụ về các đỉnh của bao lồi.
- Giai đoạn 2 (Non-hierarchical based on SCD - NSCD): Áp dụng giải thuật leo đồi (hill-climbing), duyệt từng phần tử $x_i$ và gán lại vào chùm $C_j$ thỏa mãn $j = \arg\max_m SCD(x_i \cup C_m)$ cho đến khi phân vùng không thay đổi.
-
Kết quả mô phỏng và kiểm định:
Thử nghiệm trên tập dữ liệu gồm 150 điểm thuộc 3 nhóm phân phối chuẩn hai chiều:
| Phương pháp |
Thống kê |
ARI |
Thời gian $t$ (giây) |
| SU-NSCD |
Trung bình |
0,9873 |
0,7821 |
| $k$-means ($k=2$) |
Trung bình
Độ lệch chuẩn |
0,5482
0,0245 |
0,0214
0,0300 |
| $k$-means ($k=3$) |
Trung bình
Độ lệch chuẩn |
0,9873
0,0335 |
0,0235
0,0312 |
Kết quả kiểm định phi tham số Mann-Whitney:
- So sánh SU-NSCD và $k$-means ($k=2$): Bác bỏ giả thuyết $H_0$ về sự tương đồng ARI ($p \approx 0$) và thời gian $t$ ($p \approx 0$).
- So sánh SU-NSCD và $k$-means ($k=3$): Chấp nhận giả thuyết $H_0$ về ARI ($p \approx 1$), bác bỏ $H_0$ về thời gian $t$ ($p \approx 0$).
- Ứng dụng phân tích dữ liệu tuyển sinh:
Áp dụng phân tích chùm vào phân loại độ khó (dễ, trung bình, khó với $k=3$) cho ngân hàng câu hỏi thi tuyển sinh của Trường Đại học Tôn Đức Thắng gồm các môn: Toán THPT, GMAT và SAT.
| Tỉ lệ điều chỉnh nhãn |
Môn Toán THPT |
Môn GMAT |
Môn SAT |
| Giữ nguyên nhãn |
78,54% |
81,20% |
79,65% |
| Dễ $\rightarrow$ Trung bình |
4,06% |
3,80% |
4,12% |
| Khó $\rightarrow$ Trung bình |
15,20% |
13,50% |
14,30% |
| Dễ $\rightarrow$ Khó (đột biến) |
1,10% |
0,75% |
0,95% |
| Khó $\rightarrow$ Dễ (đột biến) |
1,10% |
0,75% |
0,98% |
| Tổng cộng |
100% |
100% |
100% |
Chương 2: Phân tích chùm cho các hàm mật độ xác suất
Chương 2 mở rộng bài toán phân tích chùm sang đối tượng là các hàm mật độ xác suất liên tục trên $\mathbb{R}^n$:
-
Khảo sát các độ đo và tiêu chuẩn độ rộng chùm:
- Đánh giá các độ đo 2 hàm: khoảng cách Chernoff, Bhattacharyya, Divergence, khoảng cách $L_p$, Hellinger, Affinity của Toussaint. Thiết lập dạng giải tích của các độ đo khi các hàm mật độ là phân phối chuẩn đa biến $\mathcal{N}(\mu_i, \Sigma_i)$.
- Đánh giá Affinity nhiều hàm mật độ xác suất theo công thức Matusita và Toussaint:
$$d_T(f_1, \dots, f_k) = \int \prod_{i=1}^k [f_i(x)]^{\alpha_i} dx, \quad \alpha_i \in (0,1), \sum_{i=1}^k \alpha_i = 1$$
- Tiêu chuẩn độ rộng chùm: $w(f_1, \dots, f_k) = \int \max_i {f_i(x)} dx - 1$, thỏa mãn $0 \le w \le k-1$. Luận án chứng minh các bất đẳng thức liên hệ:
$$\frac{2}{k} \max_{i<j} |f_i - f_j|{L_1} \le w(f_1, \dots, f_k) \le \frac{1}{2} \sum{i=1}^k \sum_{j=1}^k |f_i - f_j|_{L_1}$$
$$0 \le w + 1 - d_T(f_1, \dots, f_k) \le (k-1) \int \max_j {f_j(x)} dx$$
- Nhược điểm của $w$: Cận trên tăng tuyến tính theo số lượng hàm $k$, làm cho thang đo không chuẩn hóa khi so sánh giữa các tập dữ liệu có quy mô khác nhau.
-
Các đề xuất mới cho bài toán CDF:
- Hệ số tương tự chùm cho hàm mật độ xác suất (SCC): Chuẩn hóa mức độ tương tự của $k$ hàm mật độ xác suất trên đoạn $[0, 1]$, khắc phục sự phụ thuộc vào số lượng hàm $k$.
- Thuật toán phân tích chùm không thứ bậc dựa trên SCC: Tối ưu hóa hàm mục tiêu cực đại hóa tổng hệ số tương tự chùm SCC của các phân vùng.
- Thuật toán tự cập nhật cho hàm mật độ xác suất (SUF): Mở rộng nguyên lý tự cập nhật trọng tâm sang không gian hàm mật độ để xác định số chùm tự động.
- Thuật toán phân tích chùm mờ cho hàm mật độ xác suất (FCF): Cho phép mỗi hàm mật độ xác suất thuộc về nhiều chùm với mức độ phụ thuộc (membership degrees) xác định.
- Thuật toán di truyền (GA) cho bài toán CDF: Tìm kiếm cấu hình phân vùng tối ưu toàn cục.
- Ứng dụng nhận dạng hình ảnh: Ứng dụng CDF vào phân loại ảnh thông qua trích xuất đặc trưng ma trận đồng hiện mức xám (GLCM) và mạng nơ-ron tích chập (CNN) trên các ảnh có chứa nhiễu Gaussian (GN) và nhiễu muối tiêu (SPN).
Chương 3: Phân tích chùm dữ liệu khoảng
Chương 3 giải quyết bài toán phân tích chùm cho dữ liệu khoảng $n$ chiều (CID):
- Khoảng cách chồng lấp cho dữ liệu khoảng (OLID):
Xây dựng thang đo khoảng cách dựa trên diện tích/thể tích chồng lấp thực tế giữa các khoảng dữ liệu, khắc phục nhược điểm của khoảng cách Hausdorff vốn chỉ đo lường vị trí biên cực đại mà bỏ qua mức độ giao nhau nội tại của các khoảng.
- Các thuật toán đề xuất cho dữ liệu khoảng:
- Thuật toán tự động cập nhật dữ liệu khoảng (SUI): Xác định số chùm tự động cho dữ liệu khoảng mà không cần gán trước tham số $k$.
- Thuật toán phân tích chùm tự động cho dữ liệu khoảng bằng giải thuật di truyền (ACIG): Kết hợp giải thuật di truyền để tối ưu hóa việc phân chia chùm khoảng.
- Thuật toán phân tích chùm tự động, vững cho dữ liệu khoảng có chứa nhiễu (ERACI): Thiết lập cơ chế phát hiện các khoảng dữ liệu ngoại lai/nhiễu, đảm bảo thuật toán duy trì tính ổn định cao và không làm lệch trọng tâm của các chùm chính.
Kết quả và những đóng góp mới
Luận án đã đạt được các đóng góp khoa học chính sau:
-
Về mặt lý luận và phương pháp toán học:
- Đề xuất hai thang đo tương tự mới: Hệ số tương tự chùm cho phần tử rời rạc ($SCD$) và Hệ số tương tự chùm cho hàm mật độ xác suất ($SCC$). Cả hai thang đo đều được chuẩn hóa trên đoạn $[0, 1]$, không phụ thuộc vào quy mô dữ liệu hay số lượng hàm mật độ xác suất thành phần.
- Đề xuất độ đo khoảng cách chồng lấp ($OLID$) cho dữ liệu khoảng, phản ánh mức độ tương tự thực tế hơn khoảng cách Hausdorff.
- Xây dựng hệ thống các thuật toán tự động xác định số chùm: thuật toán $SU\text{-}NSCD$ (cho dữ liệu rời rạc), thuật toán $SUF$ (cho hàm mật độ xác suất), và các thuật toán $SUI$, $ACIG$ (cho dữ liệu khoảng).
- Chứng minh toán học giải tích về tính hội tụ của Giai đoạn 1 trong thuật toán $SU\text{-}NSCD$ dựa trên lý thuyết bao lồi lặp.
- Phát triển thuật toán phân tích chùm mờ đầu tiên cho các hàm mật độ xác suất ($FCF$) và thuật toán phân tích chùm vững cho dữ liệu khoảng chứa nhiễu ($ERACI$).
-
Về mặt thực tiễn và ứng dụng:
- Đưa ra giải pháp phân nhóm khách quan ngân hàng câu hỏi trắc nghiệm đánh giá năng lực tại Trường Đại học Tôn Đức Thắng (Toán THPT, GMAT, SAT) dựa trên tỉ lệ làm đúng thực tế, hỗ trợ điều chỉnh các câu hỏi được gán nhãn chưa phù hợp bởi chuyên gia.
- Ứng dụng thành công các thuật toán phân tích chùm hàm mật độ và khoảng vào bài toán phân loại và nhận dạng hình ảnh số có chứa nhiễu (Gaussian và muối tiêu), kết hợp trích xuất đặc trưng qua GLCM và mạng CNN.
-
Kiến nghị và giải pháp:
- Đề xuất sử dụng thuật toán $SU\text{-}NSCD$ khi xử lý các bộ dữ liệu mới chưa có thông tin tiên nghiệm về số chùm $k$.
- Trường hợp đã biết chắc chắn số chùm $k$ và yêu cầu tối ưu hóa tốc độ xử lý, khuyến nghị sử dụng thuật toán $k$-means.
- Đề xuất kết hợp phương pháp phân tích chùm thống kê với mô hình Bayes để tích hợp đồng thời ý kiến chuyên gia và dữ liệu thực nghiệm trong công tác khảo thí giáo dục.
Hạn chế và hướng nghiên cứu tiếp
Giá trị tham khảo
Luận án là tài liệu tham khảo chuyên môn cho các đối tượng:
- Nghiên cứu sinh và học viên cao học chuyên ngành Thống kê toán học, Khoa học dữ liệu: Tham khảo phương pháp xây dựng tiêu chuẩn đánh giá phân vùng chuẩn hóa, kỹ thuật chứng minh hội tụ của dãy trọng tâm lặp qua bao lồi, và các độ đo giải tích trên không gian hàm mật độ xác suất.
- Giảng viên và nhà nghiên cứu giải thuật: Tham khảo hệ thống các thuật toán phân tích chùm mờ ($FCF$), thuật toán di truyền ($ACIG$), và thuật toán xử lý dữ liệu khoảng có nhiễu ($ERACI$).
- Chuyên gia khảo thí và nhà quản lý giáo dục: Tham khảo quy trình thực nghiệm sử dụng phân tích chùm để chuẩn hóa và kiểm định chất lượng phân loại độ khó ngân hàng đề thi trắc nghiệm.
- Kỹ sư xử lý ảnh và thị giác máy tính: Tham khảo phương pháp gom cụm phân phối đặc trưng ảnh (GLCM kết hợp CNN) trong điều kiện dữ liệu ảnh bị suy giảm chất lượng bởi nhiễu Gaussian và nhiễu muối tiêu.
Câu hỏi thường gặp
1. Hệ số tương tự chùm SCD có ưu điểm gì nổi bật so với các chỉ số đánh giá nội bộ truyền thống như Intra hay Xie-Beni?
Chỉ số $Intra$ và chỉ số Xie-Beni ($S$) đánh giá chất lượng phân vùng dựa trên khoảng cách hình học thực tế, do đó giá trị của chúng phụ thuộc vào quy mô và đơn vị đo lường của dữ liệu, khiến việc so sánh kết quả giữa các bộ dữ liệu khác nhau gặp khó khăn. Ngược lại, hệ số $SCD$ chuẩn hóa giá trị về đoạn $[0, 1]$, loại bỏ hoàn toàn ảnh hưởng của đơn vị đo lường, đồng thời được sử dụng nhất quán ở cả hai bước: dẫn dắt thuật toán gán phần tử tạo chùm và đánh giá chất lượng phân vùng cuối cùng.
2. Giai đoạn 1 của thuật toán SU-NSCD tự động tìm số chùm như thế nào và tính hội tụ được bảo đảm ra sao?
Trong Giai đoạn 1, mỗi điểm dữ liệu ban đầu được coi là một trọng tâm riêng biệt. Qua các vòng lặp, mỗi trọng tâm được cập nhật thành trung bình có trọng số của các điểm lân cận với trọng số suy giảm theo hàm mũ của khoảng cách Euclid. Các trọng tâm dần di chuyển và hội tụ về tâm của các mật độ dữ liệu cục bộ. Định lý 1.1 của luận án chứng minh rằng bao lồi của các trọng tâm thu hẹp dần ($\mathcal{C}^{(t+1)} \subset \mathcal{C}^{(t)}$) và các trọng tâm hội tụ về các đỉnh của bao lồi giới hạn, qua đó xác định chính xác số lượng chùm $k$ và ma trận phân vùng khởi tạo.
3. Tại sao tiêu chuẩn độ rộng chùm $w$ cho các hàm mật độ xác suất lại cần được thay thế bởi hệ số SCC?
Tiêu chuẩn độ rộng chùm $w(f_1, \dots, f_k) = \int \max_i {f_i(x)} dx - 1$ có cận trên phụ thuộc trực tiếp vào số lượng hàm mật độ xác suất thành phần ($0 \le w \le k - 1$). Khi số lượng hàm mật độ trong chùm tăng lên, giá trị độ rộng chùm tự động tăng ngay cả khi mức độ tương đồng giữa các hàm không đổi. Điều này dẫn đến sự thiếu chuẩn hóa khi so sánh các chùm có kích thước khác nhau. Hệ số $SCC$ do luận án đề xuất khắc phục triệt để nhược điểm này bằng cách chuẩn hóa thang đo trên đoạn $[0, 1]$ độc lập với $k$.
4. Kết quả kiểm định thống kê Mann-Whitney giữa SU-NSCD và k-means trên dữ liệu mô phỏng phản ánh điều gì?
Kiểm định Mann-Whitney trên 10 lần chạy thử nghiệm cho thấy: khi $k$-means được cung cấp sai số chùm ($k=2$), $SU\text{-}NSCD$ vượt trội có ý nghĩa thống kê về độ chính xác phân vùng $ARI$ ($p \approx 0$). Khi $k$-means được cung cấp đúng số chùm ($k=3$), chất lượng phân vùng của hai phương pháp là tương đương ($p \approx 1$). Tuy nhiên, trong cả hai trường hợp, $SU\text{-}NSCD$ tiêu tốn thời gian tính toán nhiều hơn có ý nghĩa thống kê ($p \approx 0$) do chi phí tính toán khoảng cách từng đôi một.
5. Kết quả phân loại câu hỏi thi tuyển sinh tại Trường Đại học Tôn Đức Thắng bằng phân tích chùm mang lại ý nghĩa gì?
Kết quả phân tích chùm $k$-means với $k=3$ trên dữ liệu tỉ lệ làm đúng câu hỏi thực tế cho thấy sự tương đồng cao với đánh giá chuyên gia khi có khoảng 78,54% đến 81,20% câu hỏi giữ nguyên mức độ. Tỉ lệ điều chỉnh đột biến (từ dễ sang khó hoặc ngược lại) chỉ chiếm khoảng 0,75% đến 1,10%. Dữ liệu phân tích chùm cung cấp bằng chứng định lượng giúp nhà trường nhận diện các câu hỏi trung bình và khó bị chồng lấn (đặc biệt ở môn Toán THPT), làm căn cứ hiệu chỉnh ngân hàng đề thi chính xác hơn.
Kết luận
Luận án tiến sĩ "Một số đóng góp trong bài toán phân tích chùm" của tác giả Nguyễn Trang Thảo là một công trình nghiên cứu hệ thống thuộc chuyên ngành Lý thuyết xác suất và thống kê toán học, giải quyết trọn vẹn bài toán phân tích chùm trên ba dạng đối tượng dữ liệu: phần tử rời rạc, hàm mật độ xác suất và dữ liệu khoảng. Tác giả đã đề xuất các thang đo chuẩn hóa mới ($SCD, SCC, OLID$), phát triển hệ thống thuật toán phân tích chùm tự động, mờ và vững trước nhiễu ($SU\text{-}NSCD, SUF, SUI, FCF, ERACI, ACIG$), đồng thời chứng minh chặt chẽ tính chất hội tụ toán học của thuật toán đề xuất. Các kết quả nghiên cứu đã được kiểm chứng qua mô phỏng thống kê và ứng dụng hiệu quả vào bài toán phân loại dữ liệu khảo thí giáo dục và nhận dạng hình ảnh số.
