Tổng quan luận án
Luận án tiến sĩ với đề tài "Nghiên cứu cải tiến các kỹ thuật rút gọn đặc trưng cho phân lớp dữ liệu" được thực hiện bởi nghiên cứu sinh Hà Văn Sang dưới sự hướng dẫn khoa học của PGS. Nguyễn Hà Nam và PGS. Nguyễn Hải Châu, thuộc chuyên ngành Hệ thống thông tin (Mã số: 62.04), Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội (bảo vệ năm 2018).
Tính cấp thiết và khoảng trống nghiên cứu
Sự gia tăng nhanh chóng về dung lượng và chủng loại của dữ liệu thực tế tạo ra các tập dữ liệu có số chiều lớn, trở thành thách thức kỹ thuật đối với các phương pháp học máy và khai phá dữ liệu. Dữ liệu thô thu thập từ thực tế thường chứa nhiều thông tin dư thừa, không liên quan hoặc chứa nhiễu. Nếu không được tiền xử lý thích hợp, các thuật toán phân lớp và dự báo sẽ suy giảm độ chính xác, tiêu tốn tài nguyên tính toán và kéo dài thời gian thực thi, thậm chí không thể triển khai trên thực tế.
Rút gọn đặc trưng là kỹ thuật thu gọn số chiều của không gian dữ liệu nhằm nâng cao hiệu suất tính toán mà vẫn duy trì hoặc nâng cao độ chính xác phân lớp. Mặc dù các kỹ thuật rút gọn đặc trưng đã được nghiên cứu rộng rãi trên thế giới, nhưng không tồn tại một kỹ thuật đơn lẻ nào đạt hiệu quả tối ưu trên mọi miền dữ liệu. Tại Việt Nam, các nghiên cứu về rút gọn đặc trưng và lựa chọn thuộc tính vào thời điểm thực hiện luận án còn tương đối hạn chế về số lượng và chủ yếu tập trung vào dữ liệu xử lý ảnh. Do đó, việc nghiên cứu cải tiến các kỹ thuật rút gọn đặc trưng thích ứng cho từng miền dữ liệu cụ thể là yêu cầu cấp thiết.
Khoảng trống nghiên cứu chính được luận án xác định bao gồm:
- Trong bài toán lựa chọn đặc trưng: Các phương pháp tiếp cận theo mô hình đóng gói (wrapper) thường có chi phí tính toán rất lớn khi không gian tìm kiếm mở rộng theo cấp số mũ ($2^N$), đồng thời các hàm đánh giá hiện có chưa phản ánh đầy đủ mối quan hệ giữa độ quan trọng đặc trưng, độ chính xác phân lớp và độ ổn định của mô hình.
- Trong bài toán trích xuất đặc trưng: Các kỹ thuật trích xuất phi tuyến dựa trên hàm nhân như Kernel PCA (KPCA) gặp hạn chế khi áp dụng các hàm nhân cơ sở đơn lẻ (như RBF, Đa thức) trên các tập dữ liệu sinh học có số chiều thuộc tính vượt trội so với kích thước mẫu.
Mục tiêu và câu hỏi nghiên cứu
Mục tiêu tổng quát của luận án là nghiên cứu cải tiến một số kỹ thuật rút gọn đặc trưng trong phân lớp dữ liệu đối với các miền ứng dụng cụ thể. Mục tiêu được phân chia theo hai hướng tiếp cận chính:
- Hướng tiếp cận lựa chọn đặc trưng: Xác định tập con đặc trưng tối ưu từ tập đặc trưng ban đầu mà không làm giảm chất lượng phân lớp. Luận án tập trung giải quyết 02 nội dung cụ thể:
- (1.1) Xây dựng hàm đánh giá đặc trưng phù hợp với dữ liệu cần phân tích nhằm nâng cao độ chính xác và tính ổn định.
- (1.2) Áp dụng chiến lược tìm kiếm theo kinh nghiệm kết hợp cơ chế tính toán phân tán nhằm giảm không gian tìm kiếm và rút ngắn thời gian xử lý.
- Hướng tiếp cận trích xuất đặc trưng: Xác định phép biến đổi không gian đặc trưng hiệu quả để tạo ra tập đặc trưng mới phù hợp cho bộ phân lớp. Luận án tập trung giải quyết 02 nội dung cụ thể:
- (2.1) Tìm hiểu kỹ thuật hàm nhân trong việc biến đổi không gian đặc trưng từ phi tuyến sang tuyến tính.
- (2.2) Xây dựng hàm nhân tùy chọn mới dựa trên sự kết hợp có định hướng từ các hàm nhân cơ bản, phù hợp với dữ liệu có số chiều cao.
Đối tượng và phạm vi nghiên cứu
- Đối tượng nghiên cứu: Các kỹ thuật rút gọn đặc trưng phục vụ bài toán phân lớp dữ liệu, bao gồm hướng tiếp cận lựa chọn đặc trưng (Feature Selection) và hướng tiếp cận trích xuất đặc trưng (Feature Extraction).
- Phạm vi nghiên cứu: Luận án giới hạn phạm vi thực nghiệm và ứng dụng vào hai miền bài toán cụ thể:
- Bài toán cho điểm tín dụng (Credit scoring) trong lĩnh vực tài chính - ngân hàng: Dữ liệu có số lượng mẫu tương đối lớn (hàng nghìn đến hàng chục nghìn mẫu) nhưng số lượng thuộc tính ở mức trung bình, tồn tại dữ liệu khuyết và nhiễu.
- Bài toán phân tích dữ liệu biểu hiện gen ung thư (Cancer microarray data) trong tin sinh học: Dữ liệu có số lượng thuộc tính rất lớn (hàng nghìn gen) nhưng số lượng mẫu nghiên cứu rất nhỏ (vài chục đến hơn một trăm mẫu).
Tổng quan tài liệu và vị trí của luận án
Tổng quan các hướng nghiên cứu liên quan
Luận án thực hiện điểm luận có hệ thống các công trình nghiên cứu trong và ngoài nước về lĩnh vực rút gọn đặc trưng, phân loại theo các nhóm phương pháp chính:
| Nhóm tiếp cận |
Hướng nghiên cứu tiêu biểu |
Tác giả và công trình được điểm lại trong văn bản |
| Lựa chọn đặc trưng |
Dựa trên sự tương quan |
- Thuật toán Relief-F, điểm số Fisher, điểm số Laplace.
- Nghiên cứu lai ghép Relief-F với thuật toán di truyền [102]. |
|
Dựa trên thống kê |
- Sử dụng các độ đo: Low Variance, T-score, F-score, Chi-square ($X^2$), chỉ số Gini. |
|
Dựa trên lý thuyết thông tin |
- Độ lợi thông tin (Information Gain - IG).
- Thông tin tương hỗ (Mutual Information).
- Tiêu chí liên quan nhiều nhất - dư thừa ít nhất (mRMR) của Peng và cộng sự [76].
- Thông tin tương hỗ chung (Joint Mutual Information) của Meyer và cộng sự [64]. |
|
Dựa trên học thưa (Sparse learning) |
- Rút gọn theo chuẩn $\ell_p$-norm ($0 \le p \le 1$) [98], [96], [36].
- Rút gọn theo chuẩn $\ell_{p,q}$-norm cho phân lớp đa nhãn và hồi quy đa biến [16], [24], [43], [74], [75]. |
|
Thuật toán heuristic và tối ưu hóa |
- Thuật toán tìm kiếm tiến có thay thế đặc trưng yếu của Nakariyakul và Casasent [66].
- Thuật toán di truyền (GA) kết hợp xử lý song song của Soufan và cộng sự [82].
- Tối ưu hóa bầy đàn (PSO) của Kennedy và Eberhart [48], Bae và cộng sự [9].
- Thuật toán lai GA và PSO của Ghamisi và cộng sự [30].
- Tối ưu hóa rừng (FOA) của Ghaemi Manizheh và cộng sự [29].
- Mô hình đóng gói SVM của Maldonado và Weber [63].
- Phương pháp tập thô (Rough Sets) của Pawlak [73], Chen và cộng sự [18], Jiao và cộng sự [44].
- Lựa chọn đặc trưng sâu (DFS) của Li và cộng sự [54], Roy và cộng sự [79], Zhao và cộng sự [104]. |
| Trích xuất đặc trưng |
Lý thuyết phân tích thống kê |
- Phân tích thành phần chính (PCA) của Karl Pearson, ứng dụng trong phân lớp đa nhãn của Zhang và cộng sự [103].
- Phân tích thành phần độc lập (ICA) của Karhunen và cộng sự [47].
- Phân tích biệt thức tuyến tính (LDA) của Park và Lee [72], mô hình LDA cân bằng lớp của Wang và cộng sự.
- Phân tích giá trị riêng (SVD) và phân tích yếu tố (FA). |
|
Kỹ thuật dựa trên hàm nhân |
- Kernel PCA (KPCA) của Schölkopf và cộng sự [99].
- Probabilistic Kernel PCA (PKPCA) của Zhou [105].
- Kernel Fisher Discriminant Analysis (Kernel FDA) [80], KCCDA. |
| Ứng dụng cụ thể |
Bài toán cho điểm tín dụng |
- Mô hình thống kê truyền thống: Hồi quy Logistic (LR) [93], Phân tích biệt thức tuyến tính (LDA) [65].
- Liu và Schumann [61]: So sánh Relief-F, tương quan, đồng nhất và wrapper trên Decision Tree, Neural Networks, k-NN.
- Yao [100]: So sánh 07 phương pháp lựa chọn đặc trưng kết hợp SVM.
- Wang và cộng sự [94], [95]: Phương pháp FSRT kết hợp tập thô và Tabu search.
- Liang và cộng sự [55]: Đánh giá toàn diện các phương pháp lựa chọn đặc trưng trong dự báo suy thoái.
- Koutanaei và cộng sự [49]: Phương pháp lai 3 giai đoạn kết hợp PCA, GA, IG, Relief-F với SVM.
- Mô hình lai HGA-NN [70] cho rủi ro tín dụng. |
|
Tình hình nghiên cứu tại Việt Nam |
- Hà Đại Dương (2015) [2]: Trích chọn đặc trưng phát hiện đám cháy qua ảnh.
- Vũ Văn Định [1]: Rút gọn thuộc tính trong bảng quyết định không đầy đủ theo tập thô.
- Nguyễn Thị Lan Hương [3]: Rút gọn thuộc tính trong bảng quyết định động theo tập thô. |
Vị trí và khoảng trống luận án lựa chọn giải quyết
Từ việc phân tích tổng quan, luận án xác định vị trí nghiên cứu tập trung vào việc khắc phục các nhược điểm cố hữu của hai nhóm phương pháp rút gọn đặc trưng:
- Đối với lựa chọn đặc trưng dạng đóng gói (Wrapper): Giải quyết bài toán cân bằng giữa chi phí thời gian tính toán và chất lượng tập đặc trưng lựa chọn. Luận án đề xuất thuật toán loại bỏ đặc trưng đệ quy nhanh (FRFE), xây dựng hàm đánh giá đa mục tiêu kết hợp giữa độ quan trọng của đặc trưng, độ chính xác trên tập huấn luyện/kiểm tra và chỉ số diện tích dưới đường cong ROC (AUC), đồng thời tích hợp xử lý song song qua thư viện phân tán H2O.
- Đối với trích xuất đặc trưng phi tuyến bằng hàm nhân: Giải quyết hạn chế về tính linh hoạt của các hàm nhân chuẩn (Standard Kernels) khi ánh xạ dữ liệu vi mảng sinh học có số chiều rất cao. Luận án đề xuất phương pháp C-KPCA, xây dựng một hàm nhân tùy biến từ sự kết hợp có định hướng của các hàm nhân cơ sở nhằm cải thiện khả năng phân tách dữ liệu trong không gian mới.
Cơ sở lý thuyết và phương pháp nghiên cứu
Cơ sở lý thuyết và khung phân tích
Luận án dựa trên khung lý thuyết nền tảng về khai phá dữ liệu và học máy, phân biệt rõ hai cơ chế rút gọn chiều dữ liệu:
- Lý thuyết lựa chọn đặc trưng (Feature Selection): Giữ nguyên giá trị và ý nghĩa vật lý của các đặc trưng ban đầu, chọn ra tập con $S \subset F$ tối ưu.
- Ba thành phần chính theo Liu và Motoda [59]:
- Chiến lược tìm kiếm: Tìm kiếm toàn bộ (vét cạn với độ phức tạp $\mathcal{O}(2^N)$), Tìm kiếm theo kinh nghiệm (Heuristic search), và Tìm kiếm không xác định (Random search).
- Hướng tìm kiếm: Tiến tuần tự (Sequential Forward Generation - SFG), Lùi tuần tự (Sequential Backward Generation - SBG), Hai hướng (Bidirectional Generation - BG), và Ngẫu nhiên (Random Generation - RG).
- Tiêu chí đánh giá: Độ chính xác, độ nhất quán, độ đo khoảng cách, độ đo phụ thuộc/tương quan, độ lợi thông tin.
- Thủ tục 4 bước theo Dash và Liu [86]: Sinh tập con (Subset generation) $\rightarrow$ Đánh giá tập con (Evaluation) $\rightarrow$ Kiểm tra điều kiện dừng (Stopping criterion) $\rightarrow$ Kiểm chứng kết quả (Validation).
- Ba mô hình kiến trúc lựa chọn đặc trưng:
| Tiêu chí |
Mô hình Lọc (Filter) |
Mô hình Đóng gói (Wrapper) |
Mô hình Nhúng (Embedded) |
| Cơ chế đánh giá |
Độc lập với thuật toán học, sử dụng các phép đo thống kê / khoảng cách / entropy. |
Sử dụng trực tiếp hiệu năng (độ chính xác, lỗi) của thuật toán học làm hàm đánh giá. |
Nhúng việc xếp hạng đặc trưng trực tiếp vào cấu trúc của thuật toán học trong quá trình huấn luyện. |
| Chiến lược tìm kiếm |
Sắp xếp theo thứ tự điểm số của các thuộc tính. |
Tìm kiếm trong không gian các tập con đặc trưng. |
Tìm kiếm được dẫn dắt bởi quá trình tối ưu hóa mô hình học. |
| Phương pháp kiểm định |
Kiểm định thống kê độc lập. |
Kiểm chứng chéo (Cross-validation). |
Kiểm chứng chéo kết hợp điều kiện tối ưu hàm mục tiêu. |
| Ưu điểm |
Tốc độ nhanh, chi phí tính toán thấp, không phụ thuộc mô hình học. |
Lựa chọn được tập đặc trưng có độ chính xác cao cho mô hình học cụ thể. |
Chi phí tính toán vừa phải, ít bị quá khớp hơn mô hình đóng gói. |
| Nhược điểm |
Có thể bỏ qua các đặc trưng có tính tương tác, độ chính xác phân lớp thường không tối ưu. |
Chi phí tính toán rất lớn, dễ bị quá khớp (overfitting), phụ thuộc vào mô hình học. |
Phụ thuộc vào kiến trúc của một thuật toán học cụ thể, tính tổng quát không cao. |
- Lý thuyết trích xuất đặc trưng (Feature Extraction): Tạo ra không gian đặc trưng mới $Y = f(X)$ với số chiều $M < N$ thông qua các phép ánh xạ tuyến tính hoặc phi tuyến.
- Phương pháp tuyến tính không giám sát: Phân tích thành phần chính (PCA) chiếu dữ liệu lên các vector trực giao nhằm cực đại hóa phương sai; Phân tích giá trị riêng (SVD) với phân rã ma trận $X = U S V^T$; Phân tích yếu tố (FA).
- Phương pháp tuyến tính có giám sát: Phân tích biệt thức tuyến tính (LDA) tối đa hóa tỷ số phương sai giữa các lớp và phương sai trong nội bộ lớp; Phân tích thành phần độc lập (ICA).
- Kỹ thuật hàm nhân (Kernel trick): Ánh xạ phi tuyến dữ liệu từ không gian đầu vào sang không gian đặc trưng nhiều chiều $\Phi: \mathbb{R}^N \rightarrow \mathcal{H}$, cho phép áp dụng các thuật toán phân tích tuyến tính trên không gian Hilbert thông qua hàm nhân $K(x_i, x_j) = \langle \Phi(x_i), \Phi(x_j) \rangle$.
Phương pháp nghiên cứu thực tế
Luận án kết hợp đồng bộ các phương pháp nghiên cứu:
- Phương pháp phân tích và tổng hợp lý thuyết: Hệ thống hóa các mô hình, độ đo và thuật toán rút gọn đặc trưng hiện có.
- Phương pháp mô hình hóa: Thiết kế quy trình thuật toán FRFE và thuật toán C-KPCA, xây dựng các công thức toán học cho hàm đánh giá đặc trưng và hàm nhân tùy chọn.
- Phương pháp nghiên cứu thực nghiệm:
- Cài đặt thực nghiệm bằng ngôn ngữ R.
- Sử dụng thư viện tính toán phân tán H2O nhằm xử lý song song các tác vụ phân lớp của thuật toán Random Forest.
- Sử dụng các bộ phân lớp chuẩn để kiểm chứng: Rừng ngẫu nhiên (Random Forest - RF), Máy vector hỗ trợ (Support Vector Machine - SVM), Cây quyết định (Decision Tree - DT), k-láng giềng gần nhất (k-NN), Hồi quy Logistic (LR).
- Phương pháp kiểm định: Kiểm chứng chéo 5 lần (5-fold cross-validation).
- Thước đo hiệu năng: Độ chính xác phân lớp (Classification Accuracy) và Diện tích dưới đường cong đặc trưng hoạt động máy thu (Area Under the Curve - AUC).
Dữ liệu thực nghiệm
Nguồn dữ liệu thực nghiệm được thu thập từ các kho dữ liệu chuẩn:
- Dữ liệu bài toán cho điểm tín dụng: Bộ dữ liệu tín dụng Đức (German Credit Dataset - 1.000 mẫu, 20 thuộc tính) và Bộ dữ liệu tín dụng Úc (Australian Credit Dataset - 690 mẫu, 14 thuộc tính) từ kho dữ liệu học máy UCI.
- Dữ liệu bài toán phân tích ung thư: 04 bộ dữ liệu vi mảng gen bao gồm ung thư ruột kết (Colon), ung thư bạch cầu (Leukemia), ung thư hạch bạch huyết (Lymphoma), và ung thư tuyến tiền liệt (Prostate).
Nội dung chính theo từng chương
Chương 1: Tổng quan về rút gọn đặc trưng
Chương 1 thiết lập nền tảng lý thuyết cho toàn bộ luận án, làm rõ các khái niệm, mục tiêu và phân loại các kỹ thuật rút gọn chiều dữ liệu.
Nội dung trọng tâm của chương bao gồm:
- Phân loại kỹ thuật lựa chọn đặc trưng theo sự hiện diện của nhãn lớp (có giám sát, bán giám sát, không giám sát) và phân loại theo 3 mô hình cấu trúc (Lọc, Đóng gói, Nhúng).
- Hệ thống hóa mối quan hệ tương tác giữa 3 chiến lược tìm kiếm và 4 hướng tìm kiếm đặc trưng theo phân loại của Liu và Motoda:
| Hướng tìm kiếm \ Chiến lược tìm kiếm |
Toàn bộ (Vét cạn) |
Theo kinh nghiệm (Heuristic) |
Không xác định (Ngẫu nhiên) |
| Tìm kiếm tiến tuần tự (SFG) |
Khả thi |
Khả thi |
Không khả thi |
| Tìm kiếm lùi tuần tự (SBG) |
Khả thi |
Khả thi |
Không khả thi |
| Tìm kiếm theo hai hướng (BG) |
Khả thi |
Khả thi |
Không khả thi |
| Tìm kiếm ngẫu nhiên (RG) |
Không khả thi |
Khả thi |
Khả thi |
- Phân tích chi tiết quy trình 4 giai đoạn của thủ tục lựa chọn đặc trưng theo Dash và Liu: Sinh tập con $\rightarrow$ Đánh giá $\rightarrow$ Điều kiện dừng $\rightarrow$ Kiểm chứng kết quả.
- Trình bày toán học các kỹ thuật trích xuất đặc trưng tuyến tính không giám sát (PCA, SVD, FA) và có giám sát (LDA, ICA), cũng như các phương pháp phi tuyến dựa trên hàm nhân (KPCA, PKPCA, Kernel FDA).
- Đánh giá ưu nhược điểm của từng trường phái: Phương pháp Lọc có ưu thế tốc độ nhưng dễ bỏ sót tập đặc trưng tối ưu; phương pháp Đóng gói có độ chính xác cao nhưng chi phí tính toán lớn; phương pháp Trích xuất đặc trưng biến đổi toàn diện không gian dữ liệu nhưng làm mất đi ý nghĩa diễn giải gốc của các thuộc tính ban đầu.
Chương 2: Kỹ thuật lựa chọn đặc trưng trong bài toán cho điểm tín dụng
Chương 2 trình bày chi tiết các đề xuất cải tiến kỹ thuật lựa chọn đặc trưng áp dụng cho dữ liệu đánh giá rủi ro và cho điểm tín dụng ngân hàng.
Nội dung trọng tâm và các kết quả nghiên cứu:
- Phân tích đặc trưng bài toán cho điểm tín dụng: Dữ liệu tài chính khách hàng cá nhân thường có số chiều thuộc tính không quá lớn nhưng số lượng bản ghi tăng nhanh theo thời gian, chứa giá trị khuyết và phân bố phức tạp. Mô hình toán học tổng quát biểu diễn quyết định tín dụng $y \in {\text{tốt}, \text{xấu}}$ thông qua hàm $f(x_1, x_2, \dots, x_n)$.
- Đề xuất hai hướng tiếp cận lựa chọn đặc trưng:
- Hướng tiếp cận tìm kiếm tiến: Lựa chọn đặc trưng tuần tự dựa trên các luật xếp hạng kết hợp tiêu chí độ lợi thông tin (IG), Relief-F và độ tương quan.
- Hướng tiếp cận tìm kiếm lùi FRFE (Fast Recursive Feature Elimination): Thuật toán đóng gói thực hiện loại bỏ đặc trưng đệ quy kết hợp với mô hình phân lớp Random Forest.
- Xây dựng hàm đánh giá đặc trưng cải tiến: Kết hợp có trọng số giữa độ quan trọng của đặc trưng trích xuất từ mô hình học, mối quan hệ sai số giữa tập huấn luyện - kiểm tra và chỉ số diện tích dưới đường cong AUC, giúp xác định chính xác tập con đặc trưng tối ưu và tránh rơi vào cực trị địa phương.
- Giải pháp tăng tốc độ xử lý: Tích hợp thư viện tính toán phân tán H2O với thuật toán Random Forest, cho phép tính toán song song các tiến trình đánh giá tập con đặc trưng đệ quy.
- Kết quả thực nghiệm trên hai bộ dữ liệu tín dụng:
- So sánh thứ hạng đặc trưng theo các độ đo đơn lẻ (IG, Relief-F, Tương quan) và phân tích độ chính xác phân lớp theo số lượng đặc trưng giữ lại.
- Kết quả trên bộ dữ liệu tín dụng Đức (German credit) và Úc (Australian credit) cho thấy phương pháp FRFE kết hợp Random Forest trên nền tảng H2O đã rút ngắn thời gian tính toán so với thuật toán RFE truyền thống, đồng thời đạt độ chính xác phân lớp và giá trị AUC vượt trội so với các bộ phân lớp chuẩn khi chưa rút gọn hoặc khi áp dụng các phương pháp lọc đơn lẻ.
Chương 3: Kỹ thuật trích xuất đặc trưng trong bài toán phân tích dữ liệu ung thư
Chương 3 tập trung vào nghiên cứu cải tiến kỹ thuật trích xuất đặc trưng phi tuyến áp dụng cho các bài toán phân lớp dữ liệu biểu hiện gen ung thư.
Nội dung trọng tâm và các kết quả nghiên cứu:
- Phân tích đặc trưng dữ liệu vi mảng ung thư: Dữ liệu có cấu trúc "số chiều lớn, kích thước mẫu nhỏ" ($N \gg M$, với hàng nghìn mức biểu hiện gen nhưng chỉ có vài chục mẫu bệnh phẩm), dẫn đến hiện tượng quá khớp nghiêm trọng đối với các thuật toán phân lớp thông thường.
- Đề xuất phương pháp C-KPCA (Custom-Kernel PCA):
- Kế thừa nguyên lý biến đổi không gian phi tuyến của Kernel PCA.
- Đề xuất quy trình xây dựng hàm nhân tùy biến (Custom Kernel) mới bằng cách kết hợp có định hướng từ các hàm nhân cơ bản (hàm RBF/Gaussian, hàm Đa thức - Polynomial, hàm Sigmoid, hàm Tuyến tính).
- Tối ưu hóa các hệ số kết hợp và tham số hàm nhân trong quá trình huấn luyện nhằm tối đa hóa khả năng phân tách giữa các lớp bệnh lý trong không gian đặc trưng mới.
- Thiết lập thực nghiệm trên 04 bộ dữ liệu ung thư chuẩn:
- Dữ liệu ung thư ruột kết (Colon cancer dataset).
- Dữ liệu ung thư bạch cầu (Leukemia dataset).
- Dữ liệu ung thư hạch bạch huyết (Lymphoma dataset).
- Dữ liệu ung thư tuyến tiền liệt (Prostate cancer dataset).
- Đánh giá và so sánh kết quả thực nghiệm:
- So sánh hiệu năng của hàm nhân tùy biến trong C-KPCA với từng hàm nhân cơ sở đơn lẻ trên từng bộ dữ liệu.
- So sánh phương pháp C-KPCA với các phương pháp lựa chọn đặc trưng phổ biến khác trên các bộ dữ liệu Colon, Leukemia, Lymphoma và Prostate.
- Kết quả thực nghiệm khẳng định C-KPCA đạt độ chính xác phân lớp cao hơn, giảm số chiều dữ liệu hiệu quả và duy trì tính ổn định phân lớp tốt hơn qua các lần kiểm chứng chéo 5 lần.
Kết quả và những đóng góp mới
Đóng góp mới về mặt khoa học và lý luận
- Đề xuất phương pháp lựa chọn đặc trưng FRFE (Fast Recursive Feature Elimination):
- Xây dựng thành công hàm đánh giá đặc trưng cải tiến kết hợp giữa độ quan trọng của biến, sự chênh lệch độ chính xác giữa tập huấn luyện/kiểm tra và độ đo diện tích dưới đường cong AUC.
- Thiết lập thủ tục loại bỏ đặc trưng đệ quy có định hướng, giúp tự động xác định tập con đặc trưng tối ưu mà không làm suy giảm độ chính xác phân lớp.
- Cải tiến hiệu năng tính toán của mô hình đóng gói:
- Đề xuất giải pháp tích hợp thư viện tính toán phân tán H2O và thuật toán phân lớp Random Forest vào quy trình đóng gói, khắc phục hạn chế về chi phí thời gian tính toán lớn của phương pháp RFE truyền thống khi áp dụng trên các tập dữ liệu có quy mô mẫu lớn.
- Đề xuất phương pháp trích xuất đặc trưng C-KPCA (Custom-Kernel PCA):
- Xây dựng khung phương pháp luận kết hợp có định hướng các hàm nhân cơ sở để tạo ra hàm nhân tùy biến mới trong Kernel PCA.
- Cung cấp giải pháp trích xuất đặc trưng phi tuyến hiệu quả cho dạng dữ liệu có số chiều cực lớn và kích thước mẫu nhỏ trong tin sinh học.
Đóng góp về mặt thực tiễn
- Ứng dụng thành công phương pháp FRFE trong bài toán cho điểm tín dụng trên hai bộ dữ liệu thực tế (Đức và Úc), hỗ trợ tự động loại bỏ các thuộc tính khách hàng không liên quan/dư thừa, giảm thiểu khối lượng thu thập dữ liệu và nâng cao độ chính xác dự báo nợ xấu.
- Ứng dụng thành công phương pháp C-KPCA trong bài toán phân loại 04 loại bệnh ung thư (ruột kết, bạch cầu, lymphoma, tiền liệt tuyến), hỗ trợ hiệu quả cho việc phân tích dữ liệu biểu hiện gen y sinh.
Danh mục công trình khoa học công bố
Các kết quả nghiên cứu trong luận án đã được công bố qua 05 công trình khoa học, bao gồm:
- 02 bài báo đăng trên các tạp chí khoa học quốc tế (SANGHV1, SANGHV2).
- 03 bài báo đăng trong kỷ yếu hội thảo khoa học quốc tế có chỉ số Scopus, trong đó có 02 bài do Nhà xuất bản Springer phát hành trong danh mục Lecture Notes in Computer Science (LNCS) (SANGHV3, SANGHV4, SANGHV5).
Hạn chế và hướng nghiên cứu tiếp
Căn cứ trên các nội dung và phạm vi nghiên cứu được trình bày trong văn bản luận án:
Hạn chế của nghiên cứu
- Phạm vi thực nghiệm của luận án mới được giới hạn trên hai miền ứng dụng cụ thể là cho điểm tín dụng và phân tích dữ liệu ung thư, chưa mở rộng kiểm chứng trên các miền dữ liệu phi cấu trúc phức tạp khác như dữ liệu luồng (data streams), văn bản tự nhiên quy mô lớn hoặc thị giác máy tính.
- Quá trình kết hợp và xác định trọng số cho các hàm nhân cơ sở trong phương pháp C-KPCA vẫn đòi hỏi quá trình huấn luyện và tinh chỉnh tham số thử nghiệm đối với từng tập dữ liệu cụ thể.
Hướng nghiên cứu tiếp theo
- Mở rộng ứng dụng và đánh giá phương pháp lựa chọn đặc trưng FRFE và phương pháp trích xuất đặc trưng C-KPCA trên các miền dữ liệu thực tế khác có độ phức tạp cao hơn.
- Nghiên cứu cơ chế tự động hóa hoàn toàn việc tối ưu hóa tham số hàm nhân trong C-KPCA và tối ưu hóa ngưỡng dừng trong thuật toán FRFE.
- Kết hợp kỹ thuật rút gọn đặc trưng đề xuất với các kiến trúc học sâu (Deep Learning) và các giải thuật tính toán tiến hóa đa mục tiêu.
Giá trị tham khảo
Luận án là tài liệu tham khảo chuyên khảo hữu ích cho các nhóm đối tượng:
- Nghiên cứu sinh, học viên cao học và giảng viên chuyên ngành Hệ thống thông tin, Khoa học máy tính và Khoa học dữ liệu: Cung cấp bức tranh tổng quan có hệ thống về lý thuyết rút gọn đặc trưng, các bảng so sánh toàn diện giữa mô hình Lọc, Đóng gói, Nhúng và kỹ thuật Kernel PCA.
- Cán bộ kỹ thuật và chuyên gia phân tích dữ liệu tại các tổ chức tài chính, ngân hàng thương mại: Tham khảo quy trình tiền xử lý dữ liệu, phương pháp đánh giá mức độ quan trọng của các thuộc tính hồ sơ tín dụng và cách triển khai mô hình phân lớp phân tán với thư viện H2O.
- Các nhà nghiên cứu trong lĩnh vực tin sinh học và phân tích dữ liệu y tế: Tham khảo phương pháp xây dựng hàm nhân tùy biến C-KPCA để xử lý và trích xuất đặc trưng từ dữ liệu biểu hiện gen vi mảng có số chiều lớn.
Câu hỏi thường gặp
1. Luận án tiếp cận bài toán rút gọn đặc trưng theo những hướng chính nào?
Luận án tiếp cận bài toán rút gọn đặc trưng theo hai hướng chính:
- Hướng lựa chọn đặc trưng (Feature Selection): Tìm tập con các đặc trưng quan trọng nhất từ tập đặc trưng gốc, giữ nguyên giá trị thuộc tính. Đóng góp cụ thể là phương pháp FRFE áp dụng cho bài toán cho điểm tín dụng.
- Hướng trích xuất đặc trưng (Feature Extraction): Biến đổi không gian dữ liệu ban đầu sang không gian mới có số chiều nhỏ hơn. Đóng góp cụ thể là phương pháp C-KPCA áp dụng cho bài toán phân tích dữ liệu vi mảng ung thư.
2. Phương pháp lựa chọn đặc trưng FRFE đề xuất có điểm cải tiến gì so với phương pháp truyền thống?
Phương pháp FRFE (Fast Recursive Feature Elimination) có hai cải tiến chính:
- Xây dựng một hàm đánh giá đặc trưng cải tiến kết hợp đồng thời giữa độ quan trọng của đặc trưng, mối quan hệ sai số giữa tập huấn luyện - kiểm tra và chỉ số diện tích dưới đường cong ROC (AUC), giúp lựa chọn tập đặc trưng ổn định hơn.
- Sử dụng bộ phân lớp Rừng ngẫu nhiên (Random Forest) kết hợp nền tảng tính toán phân tán của thư viện H2O, cho phép tính toán song song và rút ngắn đáng kể thời gian thực thi của quy trình loại bỏ đặc trưng đệ quy.
3. Phương pháp trích xuất đặc trưng C-KPCA hoạt động dựa trên nguyên lý nào?
Phương pháp C-KPCA (Custom-Kernel PCA) hoạt động dựa trên kỹ thuật Kernel PCA nhưng cải tiến ở việc xây dựng một hàm nhân tùy biến mới. Hàm nhân này được tạo thành từ sự kết hợp có định hướng giữa các hàm nhân cơ bản (như RBF, Đa thức, Tuyến tính, Sigmoid) nhằm ánh xạ dữ liệu vi mảng y sinh sang không gian đặc trưng tuyến tính có khả năng phân tách các lớp bệnh lý tốt hơn.
4. Luận án sử dụng các bộ dữ liệu thực nghiệm nào để đánh giá các phương pháp đề xuất?
Luận án tiến hành thực nghiệm trên 06 bộ dữ liệu chuẩn:
- 02 bộ dữ liệu bài toán cho điểm tín dụng: Bộ dữ liệu tín dụng Đức (German credit) và Bộ dữ liệu tín dụng Úc (Australian credit).
- 04 bộ dữ liệu bài toán phân tích dữ liệu ung thư: Ruột kết (Colon), Bạch cầu (Leukemia), Hạch bạch huyết (Lymphoma), và Tuyến tiền liệt (Prostate).
5. Kết quả nghiên cứu của luận án đã được công bố ở những đâu?
Các kết quả của luận án đã được công bố trong 05 công trình khoa học, bao gồm 02 bài báo trên tạp chí khoa học quốc tế và 03 bài báo tại kỷ yếu các hội thảo quốc tế có chỉ mục Scopus (trong đó có 02 bài được xuất bản bởi Springer trong chuỗi ấn bản LNCS).
Kết luận
Luận án của tác giả Hà Văn Sang đã giải quyết bài toán rút gọn chiều dữ liệu cho các mô hình phân lớp thông qua việc đề xuất hai phương pháp cải tiến: thuật toán lựa chọn đặc trưng đóng gói nhanh FRFE và thuật toán trích xuất đặc trưng phi tuyến C-KPCA. Các đề xuất đã được kiểm chứng thực nghiệm chặt chẽ trên các bộ dữ liệu chuẩn về cho điểm tín dụng và phân tích dữ liệu vi mảng ung thư, chứng minh hiệu quả trong việc cải thiện độ chính xác phân lớp và tối ưu hóa thời gian tính toán. Toàn bộ các kết quả lý thuyết và thực nghiệm cốt lõi của luận án đã được công bố trên các tạp chí và kỷ yếu hội thảo quốc tế chuyên ngành.
