Tổng quan luận án

Luận án tiến sĩ kỹ thuật với đề tài "Nghiên cứu cải tiến các kỹ thuật rút gọn đặc trưng cho phân lớp dữ liệu" được thực hiện bởi nghiên cứu sinh Hà Văn Sang, dưới sự hướng dẫn khoa học của PGS. Nguyễn Hà Nam và PGS. Nguyễn Hải Châu tại Bộ môn Hệ thống Thông tin, Khoa Công nghệ Thông tin, Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội (bảo vệ năm 2018). Luận án thuộc chuyên ngành Hệ thống thông tin, mã số chuyên ngành đào tạo tiến sĩ là 62.04.

Về tính cấp thiết, tác giả phân tích rằng khối lượng dữ liệu thực tế đang gia tăng nhanh chóng cả về dung lượng lẫn chủng loại. Dữ liệu có số chiều lớn tạo ra rào cản kỹ thuật đáng kể đối với các thuật toán phân tích, học máy và khai phá dữ liệu hiện hành. Dữ liệu thô thường chứa nhiều thành phần nhiễu, giá trị thiếu, thuộc tính dư thừa hoặc không liên quan đến nhãn phân lớp, dẫn đến hiện tượng suy giảm độ chính xác mô hình hoặc khiến các thuật toán phân lớp mất nhiều thời gian tính toán, thậm chí không thể thực thi nếu thiếu các bước tiền xử lý thích hợp. Tác giả dẫn chứng số liệu thống kê giai đoạn 2010–2017: trên hệ thống Google Scholar có 88.500 tài liệu liên quan đến lựa chọn đặc trưng ("Feature Selection") và 159.000 tài liệu về trích xuất đặc trưng ("Feature Extraction"); trên cơ sở dữ liệu ScienceDirect có hơn 11.880 bài báo về lựa chọn đặc trưng và hơn 32.980 bài báo về trích chọn đặc trưng. Tuy nhiên, tại Việt Nam, các công bố về lĩnh vực này còn hạn chế (chỉ khoảng vài chục tài liệu trên Google Scholar vào thời điểm khảo sát), chủ yếu tập trung vào bài toán xử lý ảnh. Khoảng trống nghiên cứu cốt lõi được luận án chỉ ra là không tồn tại bất kỳ một kỹ thuật rút gọn đặc trưng đơn lẻ nào đạt hiệu quả đồng nhất trên mọi miền dữ liệu; các kỹ thuật đóng gói thường chịu chi phí tính toán rất lớn, trong khi các hàm nhân truyền thống của trích xuất phi tuyến chưa phản ánh tối ưu cấu trúc của dữ liệu sinh học có số chiều lớn.

Mục tiêu nghiên cứu tổng quát của luận án là nghiên cứu cải tiến một số kỹ thuật rút gọn đặc trưng trong bài toán phân lớp dữ liệu nhằm nâng cao hiệu năng phân lớp trên một số miền ứng dụng cụ thể. Để hiện thực hóa mục tiêu này, luận án xác định các nhiệm vụ kỹ thuật cụ thể theo hai hướng tiếp cận:

  • Đối với hướng tiếp cận lựa chọn đặc trưng:
    1. Xây dựng một hàm đánh giá đặc trưng phù hợp với dữ liệu cần phân tích nhằm phản ánh mức độ quan trọng và độ ổn định của các thuộc tính.
    2. Áp dụng chiến lược tìm kiếm theo kinh nghiệm nhằm làm giảm không gian tìm kiếm trạng thái.
  • Đối với hướng tiếp cận trích xuất đặc trưng:
    1. Tìm hiểu và khảo sát kỹ thuật hàm nhân trong việc biến đổi không gian đặc trưng phi tuyến.
    2. Xây dựng hàm nhân mới phù hợp với dữ liệu cần phân tích thông qua việc kết hợp có định hướng các hàm nhân cơ bản.

Đối tượng nghiên cứu của luận án là các kỹ thuật rút gọn đặc trưng cho bài toán phân lớp dữ liệu, bao gồm cả kỹ thuật lựa chọn đặc trưng (Feature Selection) và kỹ thuật trích xuất đặc trưng (Feature Extraction). Phạm vi nghiên cứu thực nghiệm của luận án được giới hạn trong hai miền ứng dụng thực tế: bài toán cho điểm tín dụng cá nhân (Credit scoring) trong lĩnh vực tài chính - ngân hàng và bài toán phân tích dữ liệu ung thư dựa trên dữ liệu biểu hiện gen (Microarray cancer data) trong y sinh học.

Tổng quan tài liệu và vị trí của luận án

Trong luận án, tác giả thực hiện việc tổng hợp hệ thống tài liệu nghiên cứu quốc tế và trong nước về rút gọn đặc trưng theo các phân nhóm phương pháp cụ thể:

Ở hướng tiếp cận lựa chọn đặc trưng, tác giả điểm lại các nghiên cứu phân loại theo bốn nhóm chính:

  • Hướng tiếp cận dựa trên sự tương quan: Sử dụng các tiêu chí đo lường sự tương quan như điểm số Laplacian (Laplacian Score), điểm số Fisher, thuật toán Relief-F. Nhóm nghiên cứu của tác giả dẫn chứng công trình lai ghép Relief-F với giải thuật di truyền nhằm xác định tập đặc trưng tối ưu [102].
  • Hướng tiếp cận dựa trên thống kê: Sử dụng các phép đo đơn biến độc lập với thuật toán học như phương sai thấp (Low Variance), điểm số T (T-score), điểm số F (F-score), Chi bình phương ($X^2$), chỉ số Gini.
  • Hướng tiếp cận dựa trên lý thuyết thông tin: Điển hình là các công trình về Độ lợi thông tin (Information Gain - IG); Thông tin tương hỗ (Mutual Information); tiêu chuẩn Phù hợp nhiều nhất - dư thừa ít nhất (mRMR) của Peng và cộng sự [76]; điều kiện Thông tin tương hỗ chung (Joint Mutual Information) của Meyer và cộng sự [64]. Luận án cũng điểm lại công trình của Hall [34] về lựa chọn đặc trưng dựa trên tương quan (CFS).
  • Hướng tiếp cận dựa trên học thưa (Sparse learning): Các phương pháp áp dụng chuẩn $\ell_p$ cho phân lớp nhị phân/hồi quy đa biến [98, 96, 36] và quy tắc chuẩn $\ell_{p,q}$ cho phân lớp đa nhãn [16, 24, 43, 74, 75].
  • Các hướng tiếp cận theo chiến lược tìm kiếm và tối ưu: Nakariyakul và Casasent [66] cải tiến thuật toán tìm kiếm tuần tự tiến bằng bước thay thế đặc trưng yếu; Diao và cộng sự [23] ứng dụng tìm kiếm hài hòa (Harmony Search); Othman Soufan và cộng sự [82] áp dụng giải thuật di truyền (GA) phân tán; Bae và cộng sự [9] sử dụng tối ưu hóa bầy đàn (PSO) biến đổi; Pedram Ghamisi và cộng sự [30] phát triển thuật toán lai GA-PSO; Martin Jung và Zscheischler Jakob [46] kết hợp GA được chỉ dẫn bởi Rừng ngẫu nhiên (Random Forest); Ghaemi Manizheh và cộng sự [29] dùng thuật toán tối ưu rừng (FOA); Maldonado và Weber [63] dùng SVM đóng gói với tìm kiếm tuần tự ngược.
  • Kỹ thuật lai và lý thuyết tập thô: Unler và cộng sự [89] lai giữa lọc và đóng gói qua PSO và SVM; Peng và cộng sự [77] kết hợp tiền lựa chọn và đường cong ROC; Lee và Leu [50] kết hợp thuật toán di truyền cài đặt tham số động (GADP) và $X^2$; Xie và Wang [97] đề xuất phương pháp IFSFS kết hợp F-score cải tiến với SFS. Về tập thô, luận án dẫn chứng các công trình nền tảng của Pawlak [73], Swiniarski và Skowron [85], Chen và cộng sự [18] (ma trận bitmap), Jiao và cộng sự [44] (nguyên lý phân rã và tích hợp bảng quyết định).
  • Học sâu trong lựa chọn đặc trưng: Công trình lựa chọn đặc trưng sâu DFS của Li và cộng sự [54], Roy và cộng sự [79], Zhao và cộng sự [104].

Ở hướng tiếp cận trích xuất đặc trưng, tác giả khảo sát:

  • Nhóm phương pháp thống kê: Phân tích thành phần chính (PCA) của Karl Pearson; Zhang và cộng sự [103] kết hợp PCA và thuật toán sinh cho học đa nhãn; Phân tích thành phần độc lập (ICA) [81, 47]; Phân tích biệt thức tuyến tính (LDA) mở rộng của Park và Lee [72], mô hình LDA cân bằng lớp của Wang và cộng sự; Phân tích giá trị riêng (SVD) [6]; Phân tích yếu tố (FA).
  • Nhóm phương pháp dựa trên hàm nhân và phi tuyến: Phân tích thành phần chính dựa trên hàm nhân (KPCA) [99]; Phân tích thành phần chính hàm nhân xác suất (PKPCA) của Zhou [105]; Phân tích khác biệt Fisher hàm nhân (Kernel FDA) [80]; Phân tích khác biệt tương quan tiêu chuẩn (KCCDA); mạng nơ-ron sâu giảm chiều của Hinton và cộng sự (2006).

Các nghiên cứu trong nước được tác giả điểm qua bao gồm: Hà Đại Dương (2015) [2] nghiên cứu trích chọn đặc trưng nhận dạng đám cháy qua ảnh; Vũ Văn Định [1] rút gọn thuộc tính trong bảng quyết định không đầy đủ theo lý thuyết tập thô; Nguyễn Thị Lan Hương [3] rút gọn thuộc tính trong bảng quyết định động theo tập thô.

Vị trí nghiên cứu của luận án: Luận án định vị trọng tâm vào việc giải quyết hạn chế về chi phí tính toán cao và nguy cơ mắc kẹt tại tối ưu cục bộ của mô hình lựa chọn đặc trưng đóng gói (Wrapper) khi xử lý bài toán dữ liệu tín dụng có số lượng bản ghi lớn; đồng thời giải quyết hạn chế của việc áp dụng các hàm nhân đơn lẻ truyền thống trong trích xuất đặc trưng KPCA đối với dữ liệu ung thư có số chiều cực lớn và kích thước mẫu nhỏ.

Cơ sở lý thuyết và phương pháp nghiên cứu

Luận án dựa trên nền tảng lý thuyết phân lớp dữ liệu, học máy và khai phá dữ liệu (KDD). Về mặt lý thuyết, quá trình rút gọn đặc trưng được phân chia thành hai hình thái kỹ thuật cơ bản:

  1. Lựa chọn đặc trưng (Feature Selection): Tìm một tập con gồm $M$ đặc trưng từ tập $N$ đặc trưng gốc ($M < N$) mà không làm thay đổi giá trị gốc của thuộc tính, giữ nguyên ngữ nghĩa vật lý của biến.
  2. Trích xuất đặc trưng (Feature Extraction): Thực hiện phép ánh xạ dữ liệu ban đầu từ không gian $N$ chiều sang không gian mới $M$ chiều ($M \le N$) thông qua một hàm chuyển đổi tuyến tính hoặc phi tuyến $y = f(x)$.

Theo hệ thống lý thuyết của Liu và Motoda [59], quá trình lựa chọn đặc trưng được cấu thành từ ba thành phần chính:

  • Chiến lược tìm kiếm: Bao gồm tìm kiếm toàn bộ (vét cạn với độ phức tạp không gian $\mathcal{O}(2^N)$), tìm kiếm theo kinh nghiệm (heuristic), và tìm kiếm không xác định (ngẫu nhiên).
  • Hướng tìm kiếm: Bao gồm tìm kiếm tiến tuần tự (Sequential Forward Generation - SFG), tìm kiếm lùi tuần tự (Sequential Backward Generation - SBG), tìm kiếm hai hướng (Bidirectional Generation - BG), và tìm kiếm ngẫu nhiên (Random Generation - RG).
  • Tiêu chí đánh giá: Đánh giá độ phù hợp của tập con dựa trên các độ đo chính xác, độ đo nhất quán, độ đo khoảng cách, độ đo phụ thuộc/tương quan, hoặc độ đo lý thuyết thông tin.

Mối quan hệ giữa chiến lược tìm kiếm và hướng tìm kiếm theo Liu và Motoda [59] được tổng hợp trong bảng sau:

Hướng tìm kiếm Chiến lược Toàn bộ Chiến lược Kinh nghiệm Chiến lược Không xác định
Tìm kiếm tiến tuần tự (SFG) Có khả thi Có khả thi Không khả thi
Tìm kiếm lùi tuần tự (SBG) Có khả thi Có khả thi Không khả thi
Tìm kiếm theo hai hướng (BG) Có khả thi Có khả thi Không khả thi
Tìm kiếm ngẫu nhiên (RG) Không khả thi Có khả thi Có khả thi

Về thủ tục thực hiện, tác giả áp dụng khung quy trình bốn khối của Dash và Liu [86]: Sinh tập con $\rightarrow$ Đánh giá tập con $\rightarrow$ Điều kiện dừng $\rightarrow$ Kiểm chứng kết quả.

Về mô hình kiến trúc lựa chọn đặc trưng, luận án đối chiếu ba mô hình nền tảng gồm Lọc (Filter), Đóng gói (Wrapper) và Nhúng (Embedded):

Tiêu chí Mô hình Lọc (Filter) Mô hình Đóng gói (Wrapper) Mô hình Nhúng (Embedded)
Tiêu chuẩn đánh giá Đo lường độ phù hợp của đặc trưng/tập đặc trưng độc lập Đo lường tính hữu ích qua hiệu năng của thuật toán học Đo lường tính hữu ích được dẫn dắt bởi quá trình học
Chiến lược tìm kiếm Thường dựa trên thứ tự xếp hạng các đặc trưng Tìm kiếm trong không gian các tập con đặc trưng Tìm kiếm tích hợp trực tiếp trong cấu trúc thuật toán
Phương thức đánh giá Sử dụng các kiểm định và độ đo thống kê Sử dụng kiểm chứng chéo (Cross-validation) Sử dụng kiểm chứng chéo trong quá trình tối ưu
Ưu điểm Tốc độ nhanh, độc lập thuật toán học, chi phí tính toán thấp Tìm được tập con tối ưu cho bộ phân lớp cụ thể Chi phí tính toán vừa phải, ít bị quá khớp hơn Wrapper
Nhược điểm Có thể bỏ sót các đặc trưng kết hợp, độ chính xác không tối đa Chi phí tính toán rất cao, dễ xảy ra hiện tượng quá khớp Phụ thuộc vào kiến trúc của một thuật toán học nhất định

Đối với kỹ thuật trích xuất đặc trưng, luận án phân tích các mô hình tuyến tính không giám sát gồm PCA (tìm các vector trực giao cực đại hóa phương sai), SVD (phân tích ma trận $X = U S V^T$), Phân tích yếu tố (FA); các mô hình tuyến tính có giám sát gồm LDA (tối đa hóa tỷ số phương sai giữa các lớp và trong lớp), ICA (tách các thành phần độc lập thống kê). Để xử lý bài toán phi tuyến, tác giả sử dụng lý thuyết phân tích thành phần chính hàm nhân (KPCA), ánh xạ các mẫu dữ liệu từ không gian đầu vào sang không gian đặc trưng nhiều chiều thông qua hàm nhân phi tuyến thỏa mãn điều kiện Mercer.

Phương pháp nghiên cứu thực nghiệm:

  • Công cụ và nền tảng: Tác giả lập trình các thuật toán đề xuất bằng ngôn ngữ R; tích hợp thư viện tính toán phân tán H2O (trong tài liệu ghi nhận dạng là H20) nhằm khai thác cơ chế xử lý song song phân tán; sử dụng bộ phân lớp Rừng ngẫu nhiên (Random Forest) và Máy vector hỗ trợ (SVM).
  • Kỹ thuật thẩm định: Áp dụng phương pháp kiểm chứng chéo 5 lần (5-fold cross-validation). Các chỉ số đánh giá hiệu năng gồm độ chính xác phân lớp (Accuracy) và diện tích dưới đường cong ROC (AUC - Area Under Curve).
  • Nguồn tư liệu và dữ liệu thực nghiệm:
    • Dữ liệu bài toán cho điểm tín dụng: Sử dụng 02 bộ dữ liệu chuẩn quốc tế là Bộ dữ liệu tín dụng Đức (German Credit Dataset) và Bộ dữ liệu tín dụng Úc (Australian Credit Dataset).
    • Dữ liệu bài toán phân tích ung thư: Sử dụng 04 bộ dữ liệu biểu hiện gen microarray bao gồm Ung thư ruột kết (Colon Cancer Dataset), Ung thư bạch cầu (Leukemia Dataset), Ung thư máu trắng/U lympho (Lymphoma Dataset), và Ung thư tuyến tiền liệt (Prostate Cancer Dataset).

Nội dung chính theo từng chương

Chương 1: Tổng quan về rút gọn đặc trưng

Chương 1 thiết lập khung lý thuyết hoàn chỉnh về bài toán giảm chiều dữ liệu trong học máy và khai phá tri thức. Nội dung chương phân định ranh giới phương pháp học giữa việc giữ nguyên không gian biến gốc (lựa chọn đặc trưng) và chuyển đổi sang không gian biến mới (trích xuất đặc trưng).

Tác giả đi sâu phân tích cơ chế hoạt động của ba thành phần trong bài toán lựa chọn đặc trưng theo Liu và Motoda [59], đồng thời phân loại chi tiết các kỹ thuật lựa chọn đặc trưng thành có giám sát, bán giám sát và không giám sát. Tiến trình lựa chọn bốn bước của Dash và Liu [86] được phân tích rõ về mặt thuật toán. Tác giả tổng kết ưu nhược điểm của các mô hình Lọc (bao gồm lọc đơn biến và lọc đa biến như CFS, FCFS), mô hình Đóng gói (thuật toán tuần tự như SFS, SBE, Beam Search; thuật toán tiến hóa như SA, GA, PSO, ACO), và mô hình Nhúng.

Đối với trích xuất đặc trưng, chương 1 trình bày chi tiết toán học của các thuật toán phân tích thành phần chính (PCA), phân tích giá trị riêng (SVD), phân tích yếu tố (FA), phân tích biệt thức tuyến tính (LDA), và phân tích thành phần độc lập (ICA). Chương này làm rõ cơ chế của hàm nhân (Kernel trick) cho các bài toán phi tuyến với các dạng hàm nhân cơ bản như đa thức, hàm Gaussian Radial Basis Function (RBF), và nguyên lý của KPCA. Phần tổng quan tài liệu của chương khảo cứu có hệ thống các công trình nghiên cứu trong và ngoài nước, từ các phương pháp tương quan, thống kê, lý thuyết thông tin, học thưa cho đến học sâu. Phần đánh giá cuối chương khẳng định tính phụ thuộc chặt chẽ của hiệu năng thuật toán vào từng miền dữ liệu thực nghiệm cụ thể.

Chương 2: Kỹ thuật lựa chọn đặc trưng trong bài toán cho điểm tín dụng

Chương 2 giải quyết bài toán phân lớp nhị phân trong hệ thống xếp hạng và cho điểm tín dụng cá nhân tại ngân hàng thương mại, nhằm phân loại khách hàng thành hai nhóm tín dụng tốt hoặc xấu: $f(x_1, x_2, \dots, x_n) = y$, trong đó $x_i$ là các thuộc tính hồ sơ và $y \in {\text{tốt}, \text{xấu}}$. Tác giả chỉ ra đặc trưng dữ liệu tín dụng là kích thước mẫu lớn (hàng nghìn đến hàng chục nghìn bản ghi), chứa nhiều thuộc tính dư thừa, phân bố phức tạp và có nhiều giá trị bị thiếu.

Để xử lý bài toán, tác giả đề xuất hai giải pháp lựa chọn đặc trưng:

  • Hướng tiếp cận tiến: Thực hiện thêm tuần tự từng đặc trưng tốt nhất dựa trên luật lựa chọn có tiêu chí xếp hạng cao nhất (công bố trong công trình SANGHV1).
  • Hướng tiếp cận quay lui - Thuật toán FRFE (Fast Recursive Feature Elimination): Kết hợp thủ tục loại bỏ đặc trưng đệ quy tuần tự với bộ phân lớp Rừng ngẫu nhiên (Random Forest). Tác giả đề xuất một hàm đánh giá (ranking function) đặc trưng kết hợp đa chỉ số, tích hợp giữa độ quan trọng của đặc trưng (Variable Importance trong Random Forest), tương quan độ chính xác giữa tập huấn luyện và tập kiểm tra, cùng độ đo diện tích dưới đường cong AUC.

Để khắc phục nhược điểm chi phí tính toán cao của mô hình đóng gói trên tập dữ liệu mẫu lớn, luận án đề xuất kiến trúc tăng tốc xử lý bằng cách tích hợp thư viện tính toán phân tán H2O (trong văn bản viết là H20) kết hợp thuật toán Random Forest hỗ trợ tính toán song song, thực thi trên môi trường ngôn ngữ R.

Thiết lập thực nghiệm được triển khai thông qua kiểm chứng chéo 5 lần trên hai bộ dữ liệu chuẩn:

  • Bộ dữ liệu tín dụng Đức: Tiến hành thực nghiệm so sánh kết quả phân lớp khi sử dụng 5, 10, 15, 20 đặc trưng có thứ hạng cao nhất; đồng thời đối chiếu với các phương pháp xếp hạng đơn lẻ như Độ lợi thông tin (IG), độ đo Relief-F và độ tương quan.
  • Bộ dữ liệu tín dụng Úc: Thực hiện xếp hạng và so sánh kết quả dự đoán với các tập con gồm 5, 7, 10 đặc trưng được lựa chọn.

Kết quả thực nghiệm khẳng định thuật toán đề xuất FRFE giúp giảm đáng kể thời gian chạy so với thuật toán cơ sở nhờ kiến trúc phân tán H2O, đồng thời giữ vững hoặc cải thiện độ chính xác phân lớp và giá trị AUC so với các phương pháp lọc truyền thống và các bộ phân lớp chuẩn được công bố trước đó [55].

Chương 3: Kỹ thuật trích xuất đặc trưng trong bài toán phân tích dữ liệu ung thư

Chương 3 tập trung vào bài toán phân tích dữ liệu biểu hiện gen y sinh (microarray cancer data). Tác giả xác định đặc thù của miền dữ liệu này là số chiều thuộc tính rất lớn (hàng nghìn đến hàng chục nghìn gen) nhưng số lượng mẫu quan sát lại rất nhỏ (thường chỉ vài chục đến hơn một trăm mẫu), dữ liệu có tính chất phi tuyến phức tạp và độ nhiễu cao.

Luận án đề xuất phương pháp trích xuất đặc trưng C-KPCA (Custom-Kernel PCA) dựa trên kỹ thuật phân tích thành phần chính hàm nhân. Đóng góp cốt lõi của phương pháp là xây dựng một cấu trúc hàm nhân tùy chọn mới thông qua việc kết hợp có định hướng từ các hàm nhân cơ bản (kết hợp giữa hàm nhân đa thức và hàm nhân Gaussian RBF) [40, 67]. Quy trình C-KPCA thực hiện việc chiếu dữ liệu ban đầu sang không gian đặc trưng phi tuyến mới có số chiều thấp hơn nhưng phản ánh tốt hơn cấu trúc phân bố của các mẫu bệnh học.

Thực nghiệm được triển khai nghiêm ngặt trên bốn bộ dữ liệu ung thư chuẩn:

  1. Dữ liệu ung thư ruột kết (Colon cancer dataset).
  2. Dữ liệu ung thư bạch cầu (Leukemia dataset).
  3. Dữ liệu u lympho / ung thư máu trắng (Lymphoma dataset).
  4. Dữ liệu ung thư tuyến tiền liệt (Prostate cancer dataset).

Quá trình thực nghiệm được chia thành các bước: huấn luyện lựa chọn tham số tối ưu cho hàm nhân tùy chọn trên từng tập dữ liệu; so sánh hiệu năng phân lớp của hàm nhân tùy chọn mới với các hàm nhân cơ sở (như Linear, Polynomial, RBF); và so sánh đối chuẩn phương pháp C-KPCA với các phương pháp lựa chọn đặc trưng phổ biến khác (bao gồm việc so sánh chéo trên các cặp dữ liệu Colon - Prostate và Lymphoma - Prostate). Kết quả kiểm chứng qua các bảng số liệu thực nghiệm chứng minh thuật toán C-KPCA đạt độ chính xác phân lớp cao hơn và độ ổn định vượt trội hơn các hàm nhân cơ sở và các phương pháp lựa chọn đặc trưng trong nhiều trường hợp thử nghiệm.

Kết quả và những đóng góp mới

Luận án đóng góp các kết quả mới về mặt lý luận khoa học và giải pháp thực tiễn ứng dụng trong lĩnh vực Công nghệ thông tin:

Về mặt lý luận:

  • Đề xuất phương pháp lựa chọn đặc trưng FRFE (Fast Recursive Feature Elimination) theo mô hình đóng gói. Phương pháp này đóng góp một hàm đánh giá (ranking) đặc trưng mới kết hợp giữa độ đo quan trọng của đặc trưng, độ chính xác phân lớp trên tập huấn luyện/kiểm tra và chỉ số diện tích dưới đường cong AUC, cùng thủ tục loại bỏ đặc trưng đệ quy tương ứng giúp tự động tìm tập con đặc trưng tối ưu cho từng tập dữ liệu.
  • Đề xuất phương pháp trích xuất đặc trưng C-KPCA (Custom-Kernel PCA) cho dữ liệu phi tuyến nhiều chiều. Luận án xây dựng thành công hàm nhân tùy chọn mới dựa trên cơ chế kết hợp có định hướng các hàm nhân cơ sở, tăng cường khả năng biểu diễn dữ liệu trong không gian đặc trưng mới phục vụ các thuật toán phân lớp.

Về mặt thực tiễn và công nghệ:

  • Đề xuất và cài đặt thành công kiến trúc xử lý tăng tốc cho mô hình đóng gói bằng cách tích hợp thư viện tính toán phân tán H2O và thuật toán Rừng ngẫu nhiên (Random Forest) xử lý song song trong ngôn ngữ R, giải quyết rào cản chi phí tính toán lớn khi áp dụng mô hình đóng gói trên dữ liệu thực tế.
  • Kiểm chứng thành công các giải pháp đề xuất trên hai miền bài toán ứng dụng có ý nghĩa thực tiễn cao: bài toán cho điểm tín dụng cá nhân (trên 02 bộ dữ liệu chuẩn của Đức và Úc) và bài toán phân loại bệnh học ung thư (trên 04 bộ dữ liệu Colon, Leukemia, Lymphoma, Prostate).
  • Công bố khoa học: Toàn bộ các kết quả cốt lõi của luận án đã được công bố trong 05 công trình khoa học chuyên ngành, bao gồm:
    • 02 bài báo đăng trên các tạp chí khoa học quốc tế (SANGHV1, SANGHV2).
    • 03 bài báo công bố tại các kỷ yếu hội thảo khoa học quốc tế thuộc chỉ mục Scopus, trong đó có 02 bài báo được Nhà xuất bản Springer phát hành trong danh mục Lecture Notes in Computer Science (LNCS) (SANGHV3, SANGHV4, SANGHV5).

Về kiến nghị và giải pháp đề xuất:

  • Đối với lĩnh vực tài chính - ngân hàng: Luận án khuyến nghị các tổ chức tín dụng áp dụng kỹ thuật lựa chọn đặc trưng tự động để sàng lọc dữ liệu khách hàng vay vốn. Quá trình phân tích cho thấy có thể loại bỏ bớt các thuộc tính có mức độ quan trọng thấp hoặc hay bị thiếu như tuổi tác, nơi cư trú, tình trạng hôn nhân trong một số trường hợp, đồng thời tập trung xử lý chuẩn xác các thuộc tính cốt lõi có trọng số cao (như thu nhập, nghề nghiệp, học vấn) nhằm nâng cao độ chính xác dự báo rủi ro nợ xấu và tối ưu hóa thời gian thẩm định tín dụng.
  • Đối với phân tích dữ liệu y sinh: Đề xuất ứng dụng mô hình trích xuất đặc trưng C-KPCA để nén số chiều của các bảng dữ liệu gene microarray từ hàng nghìn chiều xuống không gian thành phần chính kích thước nhỏ, hỗ trợ các bác sĩ và hệ thống y tế gia tăng độ chính xác trong phân loại bệnh lý.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của nghiên cứu:

  • Phạm vi thực nghiệm ứng dụng mới chỉ giới hạn trên hai miền dữ liệu đặc thù là cho điểm tín dụng cá nhân và phân tích dữ liệu ung thư qua microarray; chưa mở rộng kiểm chứng trên các dạng dữ liệu đa phương tiện khác như xử lý tiếng nói, phân tích quan điểm văn bản hoặc luồng dữ liệu thời gian thực.
  • Kỹ thuật xây dựng hàm nhân tùy chọn trong C-KPCA vẫn đòi hỏi quá trình huấn luyện và tinh chỉnh tham số kết hợp theo phương pháp thử nghiệm cụ thể trên từng bộ dữ liệu, chưa xây dựng được cơ chế tự động hóa hoàn toàn việc học trọng số hàm nhân.
  • Phương pháp lựa chọn đặc trưng FRFE dù đã giảm thiểu thời gian chạy qua phân tán H2O nhưng về bản chất vẫn là mô hình đóng gói, do đó kết quả tập con đặc trưng tìm được vẫn mang tính phụ thuộc vào bộ phân lớp cơ sở (Random Forest).

Hướng nghiên cứu tiếp theo được tác giả xác định:

  • Mở rộng việc thử nghiệm và đánh giá các thuật toán FRFE và C-KPCA trên các tập dữ liệu có quy mô lớn hơn ở nhiều lĩnh vực ứng dụng khác nhau.
  • Nghiên cứu cơ chế tự động tối ưu hóa việc lựa chọn và kết hợp các hàm nhân trong phương pháp C-KPCA để loại bỏ các bước tinh chỉnh tham số thủ công.
  • Tiếp tục nghiên cứu các mô hình kết hợp (hybrid) giữa kỹ thuật lựa chọn đặc trưng và trích xuất đặc trưng nhằm tận dụng tối đa ưu điểm giảm chiều và giữ nguyên ngữ nghĩa của từng hướng tiếp cận.

Giá trị tham khảo

Bản luận án mang lại giá trị tham khảo chuyên môn cho nhiều nhóm đối tượng:

  • Đối với nghiên cứu sinh, học viên cao học và giảng viên chuyên ngành Hệ thống thông tin, Khoa học dữ liệu và Trí tuệ nhân tạo: Toàn bộ Chương 1 là tài liệu tham khảo hệ thống về lý thuyết rút gọn đặc trưng, hệ thống hóa chi tiết các chiến lược tìm kiếm, hướng tìm kiếm, tiêu chí đánh giá và bảng so sánh các mô hình Lọc, Đóng gói, Nhúng. Các phần phân tích toán học về PCA, KPCA, SVD, LDA và ICA cung cấp nền tảng lý thuyết cho việc phát triển các thuật toán mới.
  • Đối với chuyên gia phân tích dữ liệu và chuyên viên quản trị rủi ro tại các ngân hàng thương mại, tổ chức tài chính: Toàn bộ nội dung Chương 2 có giá trị ứng dụng trực tiếp, đặc biệt là quy trình áp dụng thuật toán FRFE kết hợp thư viện phân tán H2O và ngôn ngữ R để xử lý tập dữ liệu khách hàng vay vốn quy mô lớn, giúp tối ưu hóa hệ thống cho điểm tín dụng tự động.
  • Đối với các nhà nghiên cứu tin sinh học (Bioinformatics) và phân tích dữ liệu y tế: Nội dung Chương 3 cung cấp giải pháp kỹ thuật cụ thể (C-KPCA) để giải quyết thách thức dữ liệu microarray có số chiều thuộc tính rất lớn nhưng số lượng mẫu nhỏ, hỗ trợ xây dựng các mô hình phân loại bệnh học ung thư có độ tin cậy cao.

Câu hỏi thường gặp

1. Thuật toán FRFE được xây dựng dựa trên nguyên lý nào và giải quyết hạn chế gì của mô hình đóng gói?

Thuật toán FRFE (Fast Recursive Feature Elimination) được xây dựng dựa trên mô hình lựa chọn đặc trưng đóng gói (Wrapper), với cơ chế cốt lõi là thủ tục loại bỏ đặc trưng đệ quy tuần tự kết hợp với bộ phân lớp Rừng ngẫu nhiên (Random Forest). FRFE giải quyết trực tiếp hai hạn chế lớn của mô hình đóng gói truyền thống: thứ nhất, giảm nguy cơ quá khớp và mất ổn định bằng cách thiết lập một hàm đánh giá (ranking) đặc trưng kết hợp giữa độ quan trọng đặc trưng, mối liên hệ độ chính xác huấn luyện/kiểm tra và chỉ số AUC; thứ hai, giải quyết triệt để rào cản chi phí tính toán cao bằng cách tích hợp thư viện tính toán phân tán H2O (trong văn bản viết là H20) hỗ trợ cơ chế chạy song song của Random Forest trên môi trường ngôn ngữ R.

2. Hàm đánh giá đặc trưng đề xuất trong thuật toán FRFE gồm những thành phần nào?

Hàm đánh giá (ranking function) đặc trưng trong FRFE không chỉ dựa đơn thuần vào độ chính xác phân lớp thông thường mà là sự kết hợp đa tiêu chí từ ba thành phần:

  • Độ quan trọng của từng đặc trưng (Variable Importance) được trích xuất từ mô hình Rừng ngẫu nhiên;
  • Mối liên quan và mức độ chênh lệch giữa độ chính xác phân lớp trên tập huấn luyện (training accuracy) và tập kiểm tra (testing accuracy);
  • Độ đo diện tích dưới đường cong ROC (AUC - Area Under Curve). Sự kết hợp này giúp việc xếp hạng và loại bỏ đặc trưng phản ánh khách quan năng lực phân tách lớp và đảm bảo tính ổn định của tập con đặc trưng được lựa chọn.

3. Phương pháp C-KPCA hoạt động theo nguyên lý nào và được kiểm chứng trên những bộ dữ liệu ung thư nào?

Phương pháp C-KPCA (Custom-Kernel PCA) hoạt động dựa trên kỹ thuật phân tích thành phần chính hàm nhân (Kernel PCA) nhằm trích xuất đặc trưng phi tuyến từ dữ liệu nhiều chiều. Cải tiến trọng tâm của phương pháp là xây dựng một hàm nhân tùy chọn mới dựa trên sự kết hợp có định hướng từ các hàm nhân cơ bản (kết hợp giữa hàm nhân đa thức và hàm nhân Gaussian RBF) để ánh xạ tối ưu dữ liệu vào không gian đặc trưng mới. Thuật toán C-KPCA được kiểm chứng thực nghiệm trên 04 bộ dữ liệu biểu hiện gen microarray ung thư chuẩn bao gồm: ung thư ruột kết (Colon), ung thư bạch cầu (Leukemia), ung thư máu trắng/u lympho (Lymphoma), và ung thư tuyến tiền liệt (Prostate).

4. Dữ liệu cho điểm tín dụng được mô tả có những đặc điểm gì và tác giả thực nghiệm trên các bộ dữ liệu nào?

Theo phân tích của tác giả trong Chương 2, dữ liệu cho điểm tín dụng phục vụ việc dự báo khả năng trả nợ của khách hàng thông qua mô hình phân lớp nhị phân ($y \in {\text{tốt}, \text{xấu}}$). Dữ liệu này có đặc điểm là số lượng đặc trưng không quá lớn nhưng số lượng mẫu quan sát rất lớn (từ vài nghìn đến vài chục nghìn bản ghi), dữ liệu chứa nhiều giá trị bị thiếu trong quá trình thu thập hồ sơ, nhiều thuộc tính dư thừa, không liên quan và cấu trúc phân bố phức tạp. Luận án thực nghiệm kiểm chứng thuật toán đề xuất trên 02 bộ dữ liệu tín dụng chuẩn quốc tế là Bộ dữ liệu tín dụng Đức (German credit dataset) và Bộ dữ liệu tín dụng Úc (Australian credit dataset) qua phương pháp kiểm chứng chéo 5 lần.

5. Luận án đã công bố được bao nhiêu công trình khoa học và ở những diễn đàn nào?

Các kết quả nghiên cứu trong luận án đã được công bố trong 05 công trình khoa học chuyên ngành, bao gồm:

  • 02 bài báo khoa học xuất bản trên các tạp chí quốc tế (ký hiệu công trình: SANGHV1, SANGHV2);
  • 03 bài báo khoa học được xuất bản trong kỷ yếu các hội thảo khoa học quốc tế có chỉ mục Scopus, trong đó có 02 bài báo được Nhà xuất bản Springer xuất bản và đưa vào hệ thống danh mục Lecture Notes in Computer Science (LNCS) (ký hiệu công trình: SANGHV3, SANGHV4, SANGHV5).

Kết luận

Luận án tiến sĩ của tác giả Hà Văn Sang đã hoàn thành trọn vẹn mục tiêu nghiên cứu cải tiến các kỹ thuật rút gọn đặc trưng cho bài toán phân lớp dữ liệu thông qua hai hướng tiếp cận độc lập: lựa chọn đặc trưng (với thuật toán FRFE tăng tốc bằng thư viện phân tán H2O cho bài toán cho điểm tín dụng) và trích xuất đặc trưng (với phương pháp C-KPCA kết hợp hàm nhân tùy chọn cho bài toán phân tích ung thư). Toàn bộ quy trình đề xuất đều được mô hình hóa toán học chặt chẽ và kiểm chứng qua thực nghiệm trên 06 bộ dữ liệu chuẩn quốc tế với các chỉ số đo lường hiệu năng khách quan. Kết quả nghiên cứu đã giải quyết hiệu quả bài toán tối ưu chi phí tính toán trong mô hình đóng gói và nâng cao độ chính xác phân loại dữ liệu phi tuyến nhiều chiều, đóng góp 05 công trình khoa học giá trị cho cộng đồng học thuật chuyên ngành Hệ thống thông tin.