Tổng quan luận án

Luận án tiến sĩ với đề tài "Nâng cao hiệu năng các mô hình RBF rút gọn cho bài toán phân lớp", chuyên ngành Khoa học máy tính (Mã số: 9.01), được thực hiện bởi nghiên cứu sinh tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội dưới sự hướng dẫn khoa học của GS.TS Nguyễn Thanh Thủy và PGS.TS Nguyễn Đức Dũng (2024).

Tính cấp thiết và khoảng trống nghiên cứu

Trong bối cảnh sự gia tăng nhanh chóng của dữ liệu số cả về dung lượng lẫn chủng loại, phân lớp đối tượng (classification) đóng vai trò là một trong những nhiệm vụ cốt lõi của học máy và khai phá dữ liệu. Quá trình này được ứng dụng rộng rãi trong nhận dạng ngôn ngữ ký hiệu, cử chỉ hành động, hình ảnh y sinh, sinh trắc học, giám sát video, điều hướng robot và viễn thám.

Mô hình hàm cơ sở bán kính (Radial Basis Function - RBF), được M. Powell giới thiệu năm 1987, là cấu trúc toán học biểu diễn dưới dạng tổ hợp tuyến tính của các hàm cơ sở. Mô hình RBF có khả năng khái quát hóa cao, khả năng xấp xỉ phổ quát và cấu trúc tính toán đơn giản hơn mạng nơ-ron nhiều tầng truyền thống. Hai mô hình phân lớp tiêu biểu sử dụng RBF là Máy vectơ hỗ trợ (Support Vector Machine - SVM) dựa trên nguyên lý lề cực đại (maximum-margin) và Máy vectơ liên quan (Relevance Vector Machine - RVM) dựa trên suy luận xác suất Bayes rút gọn (sparse Bayes learning).

Tuy nhiên, hiệu năng tính toán của mô hình RBF phụ thuộc trực tiếp vào số lượng hàm cơ sở:

  • Đối với SVM, độ phức tạp tính toán trong pha kiểm thử tỷ lệ thuận với số lượng vectơ hỗ trợ ($N_S$), khiến tốc độ dự đoán trên dữ liệu thực tế bị chậm hơn so với các mô hình như cây quyết định hay mạng nơ-ron.
  • Đối với RVM, mặc dù số lượng hàm cơ sở thu được sau huấn luyện ít hơn SVM đáng kể, thuật toán huấn luyện lại đòi hỏi chi phí tính toán nghịch đảo ma trận lớn với độ phức tạp không gian lưu trữ là $O(N^2)$, dẫn đến thời gian huấn luyện kéo dài và khó mở rộng trên các tập dữ liệu có quy mô lớn.

Khoảng trống nghiên cứu được luận án xác định là việc phát triển các kỹ thuật rút gọn số lượng hàm cơ sở nhằm tăng tốc độ kiểm thử của SVM và tối ưu hóa quy trình tính toán để tăng tốc pha huấn luyện của RVM trên các tập dữ liệu lớn, đồng thời duy trì độ chính xác phân lớp.

Mục tiêu nghiên cứu

Luận án tập trung vào ba mục tiêu chính:

  1. Nghiên cứu tổng quan, phân tích và đánh giá so sánh các phương pháp huấn luyện mô hình RBF rút gọn với số lượng ít hàm cơ sở; đưa ra định hướng lựa chọn mô hình phù hợp cho các bài toán thực tế.
  2. Phát triển các phương pháp rút gọn số lượng hàm cơ sở trong mô hình RBF thỏa mãn đồng thời hai tiêu chí: độ chính xác phân lớp và tốc độ thực hiện.
  3. Phát triển các phương pháp cải thiện mô hình RBF rút gọn nhằm nâng cao hiệu năng huấn luyện trên các tập dữ liệu có kích thước lớn.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Các mô hình phân lớp RBF rút gọn, bao gồm mô hình SVM sử dụng hàm nhân RBF (RBF kernel SVM), mô hình RVM dựa trên học xác suất Bayes rút gọn, và mô hình kết hợp lai giữa mạng nơ-ron tích chập (CNN) với mô hình RBF.
  • Phạm vi nội dung: Nghiên cứu cơ sở lý thuyết tối ưu hóa lề cực đại, lý thuyết xấp xỉ không gian đặc trưng, suy luận Bayes phân lớp; xây dựng và cài đặt các thuật toán huấn luyện và rút gọn nghiệm; thực nghiệm trên 8 tập dữ liệu chuẩn UCI (dna, letter, satimage, shuttle, vowel, pendigits, usps, mnist) và 3 bài toán ứng dụng thực tế (nhận dạng ngôn ngữ ký hiệu Auslan, nhận dạng cử chỉ người MSRC-12 qua cảm biến Kinect, phân lớp ảnh hoa Oxford 17/102-Flowers).

Tổng quan tài liệu và vị trí của luận án

Các hướng nghiên cứu trước đây

  1. Mô hình hàm cơ sở bán kính và nền tảng phân lớp: M. Powell (1987) đặt nền móng cho hàm RBF. Cortes và Vapnik (1995) [11] phát triển mô hình SVM phân lớp dựa trên nguyên lý cực đại hóa khoảng cách lề và mở rộng phi tuyến qua hàm nhân thỏa mãn điều kiện Mercer. Tipping (2000, 2001) [75, 76] đề xuất RVM dựa trên khung suy luận Bayes và phân phối tiên nghiệm chuẩn hóa siêu tham số (MacKay, 1992 [44]), giúp tạo ra mô hình có độ thưa cao hơn SVM.
  2. Kỹ thuật rút gọn và tăng tốc SVM:
    • Hướng tiếp cận Top-down: Burges (1996) [8], Burges và Schölkopf (1997) [9], Schölkopf et al. [62, 63] đề xuất phương pháp xây dựng tập vectơ rút gọn (Reduced Set) thông qua việc xấp xỉ nghiệm siêu phẳng ban đầu bằng cách giải bài toán tối ưu phi tuyến lặp. Tang và Mazzoni (2006) [73] mở rộng cho SVM đa lớp bằng thuật toán tiến hóa vi phân, tuy nhiên thuật toán dễ gặp vấn đề hội tụ chậm do bản chất cực tiểu địa phương.
    • Hướng tiếp cận Bottom-up: Downs et al. (2001) [49] phân tích hệ vectơ hỗ trợ theo quan điểm cân bằng lực cơ học, thay thế từng cặp vectơ hỗ trợ bằng một vectơ tổ hợp để giảm dần số lượng, song phương pháp này mới chỉ giới hạn ở bài toán phân hai lớp.
  3. Kỹ thuật tăng tốc RVM:
    • D’Souza, Vijayakumar và Schaal (2004) [15] đề xuất xấp xỉ nghịch đảo ma trận hiệp phương sai để giảm chi phí tính toán xuống $O(N^2)$.
    • Tipping và Faul (2003) [77] xây dựng thuật toán tuần tự, khởi đầu từ một hàm cơ sở và bổ sung dần trong quá trình hội tụ.
    • Yang, Liang, Jenkins, Peterson và Li [88] song song hóa quá trình phân tích Cholesky trên GPU nhằm tính nghịch đảo ma trận nhanh hơn.
    • Ha và Zhang [22] sử dụng phân phối chuẩn ma trận để tăng tốc RVM nhưng chỉ áp dụng cho bài toán hồi quy.
  4. Mô hình lai giữa học sâu và RBF: Niu và Suen (2012) [52] đề xuất mô hình lai CNN-SVM cho nhận dạng chữ viết tay; Omara et al. (2018) [53] kết hợp trích chọn đặc trưng VGG-M, DCA và SVM trong phân lớp sinh trắc học mặt và tai; Shen et al. (2019) [66] sử dụng mô hình RVM-CNN để gia tăng dữ liệu và dự đoán vòng đời pin.

Khoảng trống luận án lựa chọn giải quyết

Các công trình trước đây giải quyết bài toán rút gọn SVM thường đối mặt với hiện tượng rơi vào cực trị địa phương hoặc chưa tối ưu hóa cho bài toán đa lớp. Trong khi đó, các nghiên cứu tăng tốc RVM cho bài toán phân lớp đa lớp vẫn gặp trở ngại lớn về bộ nhớ và thời gian tính toán ma trận trọng số. Luận án lựa chọn giải quyết bài toán rút gọn số lượng vectơ hỗ trợ của SVM thông qua phương pháp phân tích suy biến ma trận (SVD) nhằm tăng tốc pha kiểm thử, phát triển thuật toán FastRVM để rút ngắn thời gian huấn luyện phân lớp RVM trên các tập dữ liệu lớn, và xây dựng khung mô hình lai CNN-RBF tổng quát cho phân lớp ảnh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Lý thuyết, khái niệm và khung phân tích

  • Mô hình hàm cơ sở bán kính: Mô hình RBF có cấu trúc hàm quyết định dạng: $$f(x; w) = \sum_{i=1}^M w_i \phi_i(x) + b$$ trong đó $\phi_i(x) = \exp(-\gamma |x - c_i|^2)$ là hàm nhân Gaussian phụ thuộc vào khoảng cách tới tâm $c_i$ với độ rộng $\gamma$.
  • Mô hình SVM: Dựa trên nguyên lý cực tiểu hóa rủi ro cấu trúc và giới hạn số chiều Vapnik-Chervonenkis (VC). Bài toán tối ưu hóa tìm siêu phẳng phân tách mềm (soft-margin) được chuyển thành bài toán đối ngẫu Lagrange: $$\max_u \theta(u) = \sum_{i=1}^N u_i - \frac{1}{2} \sum_{i=1}^N \sum_{j=1}^N u_i u_j y_i y_j K(x_i, x_j)$$ với các ràng buộc $0 \le u_i \le C$ và $\sum_{i=1}^N u_i y_i = 0$. Hàm quyết định có dạng $f(x) = \text{sign}\left(\sum_{i=1}^{N_S} \alpha_i K(x, x_i) + b\right)$.
  • Mô hình RVM phân lớp: Thiết lập phân phối tiên nghiệm chuẩn trên vectơ trọng số $p(w|\alpha) = \prod_{i=1}^M \mathcal{N}(w_i | 0, \alpha_i^{-1})$ kết hợp với hàm logistic sigmoid $\sigma(y) = 1 / (1 + e^{-y})$ và phân phối nhãn Bernoulli. Việc ước lượng tham số được thực hiện thông qua phương pháp cực đại hóa hàm Likelihood lề loại II và xấp xỉ Laplace của MacKay [44], dẫn đến việc cập nhật ma trận hiệp phương sai $\Sigma = (\Phi^T B \Phi + A)^{-1}$.
  • Khung phân tích mô hình lai CNN-RBF: Mô hình kết hợp mạng CNN đóng vai trò bộ trích chọn đặc trưng tự động mức cao (thay thế cho các đặc trưng thủ công "nông") và tầng phân lớp RBF (SVM hoặc RVM) tiếp nhận đầu ra của tầng ẩn cuối cùng làm đầu vào phân lớp.
Dữ liệu đầu vào (Ảnh/Tín hiệu)
    Nhãn phân lớp

Phương pháp nghiên cứu

  • Nghiên cứu lý thuyết: Phân tích toán học các điều kiện cân bằng cơ học của tập vectơ hỗ trợ, đại số tuyến tính trong phép phân tích suy biến (Singular Value Decomposition - SVD), và cấu trúc tính toán xác suất hậu nghiệm trong học Bayes.
  • Phương pháp thực nghiệm:
    • Cài đặt các thuật toán bằng ngôn ngữ C/C++ và môi trường Matlab.
    • Sử dụng kỹ thuật tìm kiếm trên ô lưới (Grid Search) để lựa chọn tham số tối ưu ($C, \gamma$).
    • Đánh giá mô hình bằng kỹ thuật kiểm tra chéo 5-fold (5-fold cross-validation).
    • Độ đo đánh giá: Độ chính xác phân lớp (Accuracy), điểm F1 (F1-score), số lượng hàm cơ sở/vectơ hỗ trợ ($N_Z, N_S$), thời gian huấn luyện và thời gian kiểm thử.

Nguồn tư liệu và dữ liệu thực nghiệm

  1. Tập dữ liệu chuẩn từ kho dữ liệu UCI Machine Learning Repository và chuẩn mực quốc tế:
    • Dna, Letter, Satimage, Shuttle, Vowel, Pendigits, USPS, MNIST.
  2. Tập dữ liệu cho các miền ứng dụng:
    • Dữ liệu nhận dạng ngôn ngữ ký hiệu Auslan (Australian Sign Language) ghi nhận từ găng tay cảm biến.
    • Dữ liệu cử chỉ người MSRC-12 thu nhận bằng cảm biến Microsoft Kinect.
    • Dữ liệu phân lớp ảnh hoa Oxford 17-Flowers và Oxford 102-Flowers.

Nội dung chính theo từng chương

CHƯƠNG 1. MÔ HÌNH RBF RÚT GỌN TRONG BÀI TOÁN PHÂN LỚP

Chương 1 thiết lập khung lý thuyết tổng quan về hàm cơ sở bán kính, mô hình SVM lề cực đại, mô hình RVM dựa trên suy luận Bayes và đề xuất khung mô hình lai CNN-RBF tổng quát.

Nội dung chi tiết chương trình bày:

  • Cấu trúc toán học của mô hình RBF và các ưu thế về mặt lý thuyết: khả năng xấp xỉ phổ quát, điều chỉnh số chiều VC và cấu trúc tường minh dạng tổ hợp tuyến tính.
  • Xây dựng bài toán tối ưu SVM từ trường hợp phân tách tuyến tính không nhiễu, phân tách tuyến tính có nhiễu (siêu phẳng lề mềm với tham số $C$) đến trường hợp phi tuyến thông qua hàm nhân RBF thỏa mãn điều kiện Mercer.
  • Mở rộng SVM cho bài toán đa lớp bằng chiến lược một-chọi-còn lại ($T$ bộ phân lớp) hoặc một-chọi-một ($T(T-1)/2$ bộ phân lớp).
  • Xây dựng mô hình RVM cho bài toán hồi quy và mở rộng sang phân lớp nhị phân/đa lớp thông qua hàm sigmoid và phân phối Bernoulli; phân tích cơ chế tạo độ thưa (sparsity) tự nhiên của RVM nhờ việc đẩy các siêu tham số $\alpha_i \to \infty$.
  • Phân tích độ phức tạp tính toán:
    • Pha kiểm thử SVM có độ phức tạp $O(N_S)$, phụ thuộc tuyến tính vào số lượng vectơ hỗ trợ.
    • Pha huấn luyện RVM đòi hỏi phép nghịch đảo ma trận $\Sigma = (\Phi^T B \Phi + A)^{-1}$ và chi phí không gian $O(N^2)$, gây cản trở khi xử lý dữ liệu lớn.
  • Khảo sát các mô hình học sâu (CNN, DBN, DDT) và đề xuất mô hình lai CNN-RBF tổng quát: tích hợp tầng trích chọn đặc trưng tự động của CNN với bộ phân lớp RBF ở tầng cuối.

CHƯƠNG 2. CÁC THUẬT TOÂN HUẤN LUYỆN NHANH MÔ HÌNH RBF RÚT GỌN

Chương 2 là chương đóng góp học thuật trọng tâm, trình bày việc phát triển hai thuật toán cải tiến SimpSVM-SVD và FastRVM, kèm theo các thực nghiệm đối sánh trên 8 tập dữ liệu chuẩn UCI.

Nội dung chi tiết chương bao gồm:

  • Khảo sát các kỹ thuật tăng tốc: Phân tích cách tiếp cận top-down (Burges, Tang & Mazzoni) và bottom-up (Downs et al.) cho SVM; các kỹ thuật tính gần đúng nghịch đảo ma trận (D'Souza et al.), thuật toán tuần tự (Tipping & Faul) và tính toán song song trên GPU (Yang et al.) cho RVM.
  • Đề xuất thuật toán SimpSVM-SVD: Sử dụng kỹ thuật phân tích suy biến ma trận (SVD) để rút gọn nghiệm của bài toán SVM gốc. Thuật toán tìm kiếm không gian biểu diễn con với số vectơ mới $N_Z$ nhỏ hơn nhiều so với $N_S$ ban đầu ($N_Z < N_S$), loại bỏ nhu cầu giải bài toán tối ưu phi tuyến phức tạp vốn dễ sa lầy vào cực trị địa phương, từ đó tăng tốc pha kiểm thử mà vẫn bảo toàn độ chính xác.
  • Đề xuất thuật toán FastRVM: Cải tiến quy trình cập nhật siêu tham số và tính toán ma trận trong RVM2, tối ưu hóa các phép toán ma trận trong quá trình xấp xỉ Laplace để rút ngắn thời gian huấn luyện và nâng cao khả năng xử lý trên các tập dữ liệu có quy mô lớn.
  • Thực nghiệm trên 8 tập dữ liệu chuẩn UCI:
Tập dữ liệu Số chiều đặc trưng Số lớp Số mẫu huấn luyện Số mẫu kiểm thử
dna 180 3 1.400 1.186
letter 16 26 10.500 5.000
shuttle 9 7 30.450 14.500
vowel 10 11 528 462
pendigits 16 10 7.494 3.498
mnist 780 (784) 10 60.000 10.000
satimage 36 6 3.104 2.000
usps 256 10 7.291 2.007
  • Kết quả đánh giá thực nghiệm:
    • SimpSVM-SVD cho phép giảm số lượng vectơ cơ sở từ 50% đến hơn 80% so với SVM gốc tùy tập dữ liệu, giúp tăng tốc độ pha kiểm thử tương ứng mà sai số phân lớp suy giảm không đáng kể.
    • FastRVM đạt độ chính xác phân lớp tương đương RVM2 và RVM gốc nhưng giảm thời gian huấn luyện trên toàn bộ các tập kiểm thử.

CHƯƠNG 3. ỨNG DỤNG MÔ HÌNH RBF RÚT GỌN TRONG PHÂN LỚP ĐỐI TƯỢNG

Chương 3 kiểm chứng các thuật toán và mô hình đề xuất trên 3 bài toán phân lớp trong các miền ứng dụng thực tế.

                    Các bài toán ứng dụng (Chương 3)
  1. Phân lớp nhận dạng ngôn ngữ ký hiệu (Auslan):
    • Dữ liệu thu thập từ găng tay cảm biến đo chuyển động và uốn ngón tay qua nhiều kênh thông tin.
    • Thử nghiệm trên 3 kiểu đặc trưng khác nhau; áp dụng kiểm tra chéo 5-fold và tìm kiếm tham số $C, \gamma$ trên lưới.
    • Các thuật toán SimpSVM-GD, SimpSVM-SVD, RVM2 và FastRVM được so sánh với SVM gốc về độ chính xác, điểm F1, số vectơ cơ sở và thời gian huấn luyện. Kết quả khẳng định SimpSVM-SVD giảm mạnh số vectơ cơ sở trong khi FastRVM huấn luyện nhanh hơn RVM2.
  2. Phân lớp nhận dạng cử chỉ người (MSRC-12):
    • Tập dữ liệu gồm 12 cử chỉ hành động thu nhận từ cảm biến Microsoft Kinect.
    • Trích chọn đặc trưng khung xương theo mẫu chiếm dụng cục bộ (Local Occupancy Patterns - LOP).
    • Đánh giá tốc độ pha kiểm thử và hiệu năng phân lớp cho thấy các mô hình RBF rút gọn duy trì độ chính xác cao và tăng tốc độ phân lớp thời gian thực.
  3. Phân lớp nhận dạng ảnh hoa (Oxford 17-Flowers và Oxford 102-Flowers):
    • Triển khai mô hình lai CNN-RBF: sử dụng mạng ResNet18 tinh chỉnh (fine-tuned) để trích chọn đặc trưng tự động từ ảnh hoa, sau đó đưa vào các bộ phân lớp RBF.
    • So sánh hiệu năng giữa CNN nguyên bản, CNN-SVM, CNN-SimpSVM-GD, CNN-SimpSVM-SVD, CNN-RVM2 và CNN-FastRVM.
    • Kết quả chỉ ra mô hình lai CNN-SimpSVM-SVD và CNN-FastRVM đạt độ chính xác và điểm F1 vượt trội so với các mô hình sử dụng đặc trưng thủ công, đồng thời tối ưu hóa thời gian thực thi so với mô hình gốc.

Kết quả và những đóng góp mới

Luận án đạt được các kết quả và đóng góp khoa học cụ thể sau:

  1. Về mặt lý luận và thuật toán:
    • Đề xuất thuật toán SimpSVM-SVD: Giải pháp tăng tốc pha kiểm thử của SVM thông qua việc rút gọn nghiệm và giảm số lượng vectơ hỗ trợ ($N_Z < N_S$) bằng phân tích suy biến ma trận, khắc phục tình trạng mắc kẹt tại cực tiểu địa phương của các phương pháp tối ưu lặp trước đây mà vẫn duy trì độ chính xác phân lớp (công bố tại [CT4, CT5]).
    • Đề xuất thuật toán FastRVM: Thuật toán tăng tốc pha huấn luyện của RVM, cho phép giảm thiểu chi phí tính toán ma trận và mở rộng khả năng làm việc của mô hình Bayes rút gọn trên các tập dữ liệu có quy mô lớn hơn (công bố tại [CT1, CT2]).
    • Đề xuất khung mô hình lai CNN-RBF tổng quát: Kết hợp cơ chế tự động trích chọn đặc trưng mức cao của mạng tích chập sâu với khả năng phân lớp của mô hình RBF rút gọn.
  2. Về mặt thực nghiệm và ứng dụng thực tiễn:
    • Thực hiện khảo sát, phân tích và so sánh có hệ thống về độ chính xác, số lượng hàm cơ sở và thời gian thực thi của các phương pháp huấn luyện mô hình RBF rút gọn trên 8 tập dữ liệu chuẩn UCI.
    • Áp dụng thành công các mô hình RBF rút gọn vào ba bài toán thực tế: nhận dạng ngôn ngữ ký hiệu Auslan từ cảm biến găng tay, nhận dạng 12 cử chỉ người từ dữ liệu khung xương cảm biến Kinect, và phân lớp ảnh hoa trên hai tập dữ liệu chuẩn Oxford 17-Flowers và Oxford 102-Flowers (công bố tại [CT1, CT2, CT3]).

Hạn chế và hướng nghiên cứu tiếp

Dựa trên các nội dung được phân tích trong văn bản luận án, các hạn chế và hướng mở rộng được ghi nhận như sau:

  • Hạn chế:
    • Trong bài toán phân lớp đa lớp ($T > 2$) của mô hình Bayes rút gọn (RVM), kích thước của ma trận hiệp phương sai $\Sigma$ tỷ lệ thuận với số lớp $T$, tạo ra gánh nặng tính toán đáng kể khi số lượng lớp tăng cao.
    • Quá trình ra quyết định của mô hình lai CNN-RBF có độ phức tạp tính toán tăng nhẹ so với việc sử dụng trực tiếp mô hình CNN nguyên bản.
    • Các thuật toán đề xuất chủ yếu được kiểm chứng trên các tập dữ liệu chuẩn có kích thước từ nhỏ đến trung bình và một số tập dữ liệu ảnh/cảm biến chuyên biệt.
  • Hướng nghiên cứu tiếp:
    • Tiếp tục nghiên cứu các giải pháp tối ưu hóa cấu trúc tính toán ma trận để giảm thiểu kích thước ma trận trong bài toán RVM đa lớp với số lượng lớp lớn.
    • Nghiên cứu mở rộng việc kết hợp mô hình RBF rút gọn với các kiến trúc học sâu khác trên các tập dữ liệu có quy mô lớn hơn.

Giá trị tham khảo

Luận án là tài liệu tham khảo có giá trị học thuật và thực tiễn cho các nhóm đối tượng:

  • Nghiên cứu sinh, học viên cao học và giảng viên ngành Khoa học máy tính, Trí tuệ nhân tạo: Có thể tham khảo cơ sở lý thuyết toán học về tối ưu hóa lề cực đại, suy luận Bayes rút gọn (Chương 1) và các kỹ thuật rút gọn nghiệm SVM, xấp xỉ ma trận trong RVM (Chương 2).
  • Kỹ sư và nhà phát triển hệ thống nhúng, hệ thống thời gian thực: Tham khảo thuật toán SimpSVM-SVD và FastRVM để triển khai các mô hình phân lớp trên các thiết bị có tài nguyên tính toán giới hạn hoặc yêu cầu phản hồi nhanh như thiết bị đeo (găng tay cảm biến), hệ thống xử lý tín hiệu cảm biến Kinect (Chương 3).
  • Nhà nghiên cứu thị giác máy tính: Tham khảo quy trình xây dựng mô hình lai CNN-RBF kết hợp mạng nơ-ron tích chập (như ResNet18) với các bộ phân lớp RBF rút gọn trong các bài toán phân loại hình ảnh (Chương 3).

Câu hỏi thường gặp

1. Hàm cơ sở bán kính (RBF) được định nghĩa như thế nào trong luận án và do ai đề xuất?

Hàm cơ sở bán kính (RBF) được M. Powell giới thiệu năm 1987. Trong luận án, hàm RBF thường dùng là hàm Gaussian có dạng: $$\phi_i(x) = \exp(-\gamma |x - c_i|^2)$$ chỉ phụ thuộc vào khoảng cách từ đối số $x$ đến tâm $c_i$ với độ rộng $\gamma$. Mô hình RBF là tổ hợp tuyến tính: $$f(x; w) = \sum_{i=1}^M w_i \phi_i(x) + b$$

2. Điểm nghẽn tính toán chính của SVM và RVM trong bài toán phân lớp là gì?

  • Đối với SVM, điểm nghẽn nằm ở pha kiểm thử với độ phức tạp $O(N_S)$, do mẫu kiểm thử mới phải được so sánh với toàn bộ $N_S$ vectơ hỗ trợ thông qua hàm nhân $K$.
  • Đối với RVM, điểm nghẽn nằm ở pha huấn luyện do phải tính toán nghịch đảo ma trận hiệp phương sai $\Sigma = (\Phi^T B \Phi + A)^{-1}$ với độ phức tạp không gian lưu trữ là $O(N^2)$.

3. Thuật toán SimpSVM-SVD và FastRVM được đề xuất nhằm mục đích gì?

  • SimpSVM-SVD: Rút gọn số lượng vectơ hỗ trợ từ $N_S$ ban đầu xuống một tập nhỏ hơn $N_Z$ ($N_Z < N_S$) bằng phương pháp phân tích suy biến ma trận (SVD), giúp tăng tốc pha kiểm thử của SVM mà không làm thay đổi nhiều độ chính xác phân lớp.
  • FastRVM: Tăng tốc pha huấn luyện của RVM thông qua tối ưu hóa quá trình tính toán ma trận, cho phép mô hình huấn luyện hiệu quả trên các tập dữ liệu có kích thước lớn hơn mà vẫn giữ nguyên độ chính xác.

4. Nguyên lý hoạt động của mô hình lai CNN-RBF tổng quát là gì?

Mô hình lai CNN-RBF thay thế tầng đầu ra cuối cùng của mạng CNN bằng một bộ phân lớp RBF (như SVM hoặc RVM). Khi đó, CNN đóng vai trò là bộ tự động trích chọn các đặc trưng mức cao, trừu tượng từ dữ liệu thô (ảnh), và các giá trị đầu ra ở tầng ẩn cuối cùng của CNN trở thành đặc trưng đầu vào cho bộ phân lớp RBF.

5. Luận án đã sử dụng những tập dữ liệu nào để thực nghiệm kiểm chứng?

  • 8 tập dữ liệu chuẩn UCI: dna (180 chiều, 3 lớp), letter (16 chiều, 26 lớp), satimage (36 chiều, 6 lớp), shuttle (9 chiều, 7 lớp), vowel (10 chiều, 11 lớp), pendigits (16 chiều, 10 lớp), usps (256 chiều, 10 lớp), mnist (780/784 chiều, 10 lớp).
  • 3 tập dữ liệu ứng dụng: Tập Auslan (ngôn ngữ ký hiệu Úc từ găng tay cảm biến), tập MSRC-12 (12 cử chỉ người từ cảm biến Microsoft Kinect), và hai tập dữ liệu ảnh hoa Oxford 17-Flowers, Oxford 102-Flowers.

Kết luận

Luận án tiến sĩ của tác giả đã giải quyết bài toán nâng cao hiệu năng cho các mô hình RBF rút gọn trong bài toán phân lớp thông qua hai hướng tiếp cận: tiếp cận lề cực đại (SVM) và tiếp cận suy luận Bayes rút gọn (RVM). Bằng việc đề xuất hai thuật toán cải tiến là SimpSVM-SVD (tăng tốc pha kiểm thử SVM) và FastRVM (tăng tốc pha huấn luyện RVM), cùng khung mô hình lai CNN-RBF tổng quát, luận án đã rút giảm đáng kể chi phí tính toán mà vẫn đảm bảo độ chính xác phân lớp. Các kết quả nghiên cứu đã được kiểm chứng toàn diện trên 8 tập dữ liệu chuẩn mực quốc tế và 3 bài toán ứng dụng thực tế trong nhận dạng ngôn ngữ ký hiệu, cử chỉ con người và phân loại hình ảnh.