Tổng quan luận án
Luận án tiến sĩ chuyên ngành Khoa học máy tính (mã số: 9.01) của nghiên cứu sinh Phạm Quốc Thắng, thực hiện tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội năm 2022 dưới sự hướng dẫn của GS.TS. Nguyễn Thanh Thủy và PGS.TS. Nguyễn Đức Dũng, tập trung giải quyết bài toán nâng cao hiệu năng tính toán của các mô hình hàm cơ sở bán kính (Radial Basis Function - RBF) rút gọn trong phân lớp dữ liệu.
Tính cấp thiết của đề tài xuất phát từ sự bùng nổ dữ liệu thực tế về dung lượng và chủng loại, đòi hỏi các giải pháp phân tích, phân lớp tự động đạt độ chính xác cao đi cùng thời gian đáp ứng nhanh trong các hệ thống thời gian thực (như xử lý tín hiệu cảm biến, video, thị giác máy). Mô hình RBF có cấu trúc dạng tổ hợp tuyến tính các hàm cơ sở bán kính, sở hữu khả năng khái quát hóa cao, không bị giới hạn số chiều VC (Vapnik-Chervonenkis) và có thể xấp xỉ hàm biến số thực với độ chính xác tùy ý. Tuy nhiên, độ phức tạp tính toán của mô hình phụ thuộc trực tiếp vào số lượng hàm cơ sở. Khi kích thước dữ liệu tăng, số lượng hàm cơ sở tăng cao dẫn đến sự suy giảm tốc độ: Support Vector Machine (SVM) bị chậm ở pha kiểm thử do phải so khớp mẫu mới với toàn bộ các vectơ hỗ trợ ($N_s$), trong khi Relevance Vector Machine (RVM) bị nghẽn ở pha huấn luyện do phép nghịch đảo ma trận kích thước lớn có độ phức tạp thời gian $O(N^3)$ và bộ nhớ $O(N^2)$. Khoảng trống nghiên cứu được xác định là nhu cầu xấp xỉ mô hình RBF bằng số lượng ít hàm cơ sở hơn để tăng tốc độ tính toán nhưng vẫn bảo toàn độ chính xác phân lớp.
Mục tiêu nghiên cứu chính của luận án bao gồm:
- Nghiên cứu tổng quan, đánh giá so sánh các phương pháp huấn luyện mô hình RBF rút gọn với số ít hàm cơ sở; phân tích, gợi ý sử dụng các phương pháp huấn luyện đối với các bài toán thực tế khác nhau.
- Phát triển các phương pháp rút gọn số lượng hàm cơ sở trong mô hình RBF thỏa mãn hai tiêu chí độ chính xác và tốc độ thực hiện.
- Phát triển các phương pháp cải thiện mô hình RBF rút gọn cho phép huấn luyện hiệu quả trên các tập dữ liệu lớn hơn.
Nhiệm vụ cụ thể tương ứng với năm nội dung được xác định rõ:
- Nghiên cứu tổng quan, đánh giá, so sánh phương pháp huấn luyện mô hình RBF rút gọn dựa trên cách tiếp cận hàm quyết định với lề cực đại (RBF kernel Support Vector Machines).
- Nghiên cứu tổng quan, đánh giá, so sánh phương pháp huấn luyện mô hình RBF rút gọn dựa trên học suy luận xác suất Bayes rút gọn (sparse Bayes learning).
- Phát triển các phương pháp rút gọn số lượng hàm cơ sở trong các mô hình RBF rút gọn khi huấn luyện theo các thuật toán khác nhau.
- Phát triển các phương pháp mới cải thiện mô hình RBF rút gọn dựa trên cơ chế học xác suất Bayes nhằm nâng cao hiệu suất tính toán, tăng cường khả năng làm việc với các tập dữ liệu lớn hơn.
- Phân tích, đánh giá hiệu quả của các phương pháp huấn luyện mô hình RBF rút gọn trong các ứng dụng phân lớp đối tượng thực tế.
Đối tượng nghiên cứu của luận án là mô hình RBF rút gọn theo hai hướng tiếp cận: mô hình hàm quyết định lề cực đại (SVM) và mô hình suy luận xác suất Bayes (RVM). Phạm vi nghiên cứu tập trung vào bài toán phân lớp dữ liệu đa lớp trên các bộ dữ liệu chuẩn (benchmark) thuộc kho lưu trữ UCI, cùng ba miền ứng dụng thực nghiệm: nhận dạng ngôn ngữ ký hiệu (bộ dữ liệu Auslan), nhận dạng cử chỉ người dựa trên khung xương 3D (bộ dữ liệu MSRC-12 Kinect), và phân lớp ảnh hoa (bộ dữ liệu Oxford 17-Flowers và Oxford 102-Flowers).
Tổng quan tài liệu và vị trí của luận án
Luận án tổng thuật có hệ thống các công trình nghiên cứu xoay quanh mô hình RBF, các kỹ thuật giảm tải tính toán cho SVM và RVM, cùng các mô hình lai ghép học sâu:
Về hướng tiếp cận lề cực đại (SVM): Cortes và Vapnik (1995) thiết lập nền tảng SVM phân tách siêu phẳng lề tối ưu, sau đó mở rộng sang bài toán phi tuyến thông qua hàm nhân RBF thỏa mãn định lý Mercer. Đối với việc rút gọn số vectơ hỗ trợ (SV) để tăng tốc pha kiểm thử, Burges (1996) cùng Burges và Schölkopf (1997) đề xuất cách tiếp cận từ trên xuống (top-down), xấp xỉ nghiệm gốc bằng cách bổ sung dần các vectơ rút gọn thông qua giải bài toán tối ưu phi tuyến, tuy nhiên giải pháp này dễ rơi vào cực tiểu cục bộ. Tang và Mazzoni (2006) mở rộng tiếp cận top-down cho SVM đa lớp kết hợp thuật toán tiến hóa vi phân nhưng tốc độ hội tụ chậm. Ngược lại, Nguyen và Ho (2005) đề xuất phương pháp từ dưới lên (bottom-up) cho SVM hai lớp bằng cách gộp cặp SV dựa trên nguyên lý cân bằng cơ học. Nguyen, Matsumoto, Hashimoto, Takishima, Takatori, Terabe (2008) mở rộng hướng tiếp cận này cho SVM đa lớp (thuật toán SimpSVM-GD), sử dụng phương pháp giảm bậc gradient để tối ưu hàm mục tiêu điều chỉnh toàn bộ các SV rút gọn.
Về hướng tiếp cận suy luận xác suất Bayes (RVM): Tipping (1999, 2001, 2004) đề xuất mô hình Relevance Vector Machine dựa trên nguyên lý học Bayes rút gọn, sử dụng phân phối tiên nghiệm Gaussian với siêu tham số cho từng trọng số để loại bỏ các hàm cơ sở dư thừa, mang lại nghiệm thưa hơn SVM nhưng gặp trở ngại nghiêm trọng về thời gian huấn luyện. Nhằm giảm độ phức tạp nghịch đảo ma trận $O(N^3)$, D'Souza, Vijayakumar, Schaal (2004) đưa ra phương pháp tính gần đúng với chi phí $O(N^2)$; Tipping và Faul (2003) xây dựng giải thuật tối đa hóa likelihood lề nhanh tuần tự; Yang, Liang, Jenkins, Peterson, Li (2010) song song hóa tính toán RVM trên GPU dựa trên phân tích Cholesky; Ha và Zhang (2006, 2019) đề xuất mô hình RVM nhanh cho bài toán hồi quy.
Về mô hình lai giữa học sâu và bộ phân lớp truyền thống: Niu và Suen (2012) kết hợp mạng tích chập (CNN) với SVM trong nhận dạng chữ viết tay; Omara, Xiao, Amrani, Yan, Zuo (2017) trích xuất đặc trưng từ mạng VGG-M kết hợp DCA và SVM để nhận dạng khuôn mặt và tai; Shen, Nemani, Liu, Hu, Wang (2020) kết hợp RVM và CNN trong dự đoán vòng đời pin Li-ion theo hướng dùng RVM sinh dữ liệu bổ trợ cho CNN.
Khoảng trống học thuật mà luận án xác định và giải quyết bao gồm:
- Thuật toán SimpSVM-GD giải bài toán tối ưu phi tuyến để điều chỉnh vị trí các SV rút gọn bằng phương pháp giảm bậc gradient thông thường, dẫn đến chi phí tính toán huấn luyện mô hình rút gọn còn cao và chưa tối ưu về mặt thuật toán.
- Quá trình huấn luyện RVM cho bài toán phân lớp đa lớp vẫn đòi hỏi chi phí tính toán nghịch đảo ma trận lớn ở mỗi vòng lặp cập nhật tham số, làm hạn chế khả năng áp dụng trên dữ liệu quy mô lớn.
- Thiếu một mô hình lai tổng quát khai thác trực tiếp sức mạnh trích chọn đặc trưng tự động của mạng học sâu kết hợp với các bộ phân lớp RBF rút gọn nhằm tối ưu hóa đồng thời độ chính xác và tốc độ dự đoán trên dữ liệu cảm biến và hình ảnh phức tạp.
Cơ sở lý thuyết và phương pháp nghiên cứu
Luận án xây dựng trên nền tảng lý thuyết tối ưu hóa lồi, suy luận thống kê Bayes và mạng nơ-ron tích chập:
- Mô hình RBF tổng quát: Biểu diễn hàm quyết định dưới dạng tổ hợp tuyến tính $f(x) = \sum_{i=1}^M w_i \phi_i(x) + b$, với hàm nhân cơ sở bán kính $\phi_i(x) = \exp(-\gamma ||x - c_i||^2)$, trong đó $c_i$ là tâm và $\gamma$ là độ rộng hàm nhân.
- Lý thuyết lề cực đại trong SVM: Với tập huấn luyện ${ (x_i, y_i) }{i=1}^N, y_i \in {-1, 1}$, bài toán tối ưu lề mềm giải quyết việc cực tiểu hóa $\frac{1}{2} ||w||^2 + C \sum{i=1}^N \xi_i$ dưới các ràng buộc $y_i (w \cdot x_i + b) \ge 1 - \xi_i, \xi_i \ge 0$. Chuyển sang bài toán đối ngẫu Lagrange, hàm mục tiêu cực đại hóa là $F(u) = \sum_{i=1}^N u_i - \frac{1}{2} \sum_{i=1}^N \sum_{j=1}^N u_i u_j y_i y_j K(x_i, x_j)$ với $0 \le u_i \le C$ và $\sum_{i=1}^N u_i y_i = 0$. Các mẫu có nhân tử Lagrange $u_i > 0$ được giữ lại làm vectơ hỗ trợ ($N_s$). Quy tắc quyết định đa lớp sử dụng tập $T$ bộ phân lớp nhị phân (one-against-all hoặc one-against-one): $f_t(x) = \text{sign}(\sum_{i=1}^{N_s} \alpha_{ti} K(x_i, x) + b_t)$.
- Lý thuyết học Bayes rút gọn trong RVM: Mô hình hóa xác suất với nhiễu Gaussian $y = f(x, w) + \epsilon, \epsilon \sim \mathcal{N}(0, \sigma^2)$. Ràng buộc tiên nghiệm đặt trên các trọng số $p(w|\alpha) = \prod_{i=0}^N \mathcal{N}(w_i | 0, \alpha_i^{-1})$. Đối với bài toán phân lớp, hàm liên kết logistic sigmoid $\sigma(y) = 1 / (1 + e^{-y})$ kết hợp với phân phối Bernoulli được sử dụng. Ước lượng xác suất hậu nghiệm $p(w|y, \alpha)$ thông qua xấp xỉ Laplace tại điểm cực trị, dẫn đến việc tính ma trận hiệp phương sai $\Sigma = (\Phi^T B \Phi + A)^{-1}$, với $B$ là ma trận đường chéo chứa các đại lượng $\beta_i = \sigma(f(x_i))[1 - \sigma(f(x_i))]$ và $A = \text{diag}(\alpha_0, \dots, \alpha_N)$.
- Mô hình lai CNN-RBF tổng quát: Thay thế tầng đầu ra cuối cùng (Softmax/Fully Connected) của mạng nơ-ron tích chập bằng bộ phân lớp RBF (SVM, RVM, SimpSVM, FastRVM). Mạng CNN đóng vai trò bộ trích xuất đặc trưng tự động mức cao, còn mô hình RBF đóng vai trò bộ phân lớp tối ưu.
Phương pháp nghiên cứu kết hợp giữa nghiên cứu lý thuyết giải tích và nghiên cứu thực nghiệm định lượng:
- Nghiên cứu lý thuyết: Phân tích độ phức tạp tính toán của các thuật toán; tái cấu trúc bài toán tối ưu hóa điều chỉnh vị trí các SV rút gọn trong SimpSVM; xây dựng quy trình cập nhật nhanh siêu tham số trong RVM.
- Nghiên cứu thực nghiệm: Cài đặt toàn bộ các thuật toán bằng ngôn ngữ C/C++ và môi trường Matlab. Quá trình đánh giá thực nghiệm sử dụng phương pháp kiểm tra chéo 5-fold (5-fold cross-validation) hoặc phân chia ngẫu nhiên tập huấn luyện/kiểm thử cố định theo tỷ lệ 4:1. Các siêu tham số $(C, \gamma)$ của mô hình SVM và RVM được tinh chỉnh bằng thuật toán tìm kiếm trên lưới (grid search) trong không gian tham số $(2^{-15}, 2^5)$. Hiệu năng được đo lường bằng độ chính xác phân lớp (Accuracy), độ đo F1-score, số lượng hàm cơ sở rút gọn ($N_z$ hoặc $RV$), cùng thời gian huấn luyện và thời gian pha kiểm thử tính bằng giây (s) hoặc mili-giây (ms).
Nguồn dữ liệu thực nghiệm bao gồm:
- Tám tập dữ liệu chuẩn từ kho UCI: dna, letter, shuttle, vowel, pendigits, mnist, satimage, usps.
- Dữ liệu nhận dạng ngôn ngữ ký hiệu Auslan ghi nhận từ găng tay cảm biến.
- Dữ liệu cử chỉ người MSRC-12 Kinect ghi nhận từ cảm biến Microsoft Kinect (tọa độ khung xương 3D).
- Dữ liệu hình ảnh hai loài hoa của Đại học Oxford: Oxford 17-Flowers và Oxford 102-Flowers.
Nội dung chính theo từng chương
CHƯƠNG 1. MÔ HÌNH RBF RÚT GỌN TRONG BÀI TOÁN PHÂN LỚP
Chương 1 thiết lập khung lý thuyết cơ bản cho mô hình RBF và phân tích bản chất hai mô hình đại diện tiêu biểu: SVM (dựa trên lề cực đại) và RVM (dựa trên suy luận xác suất Bayes).
Nội dung chương trình bày chi tiết từ bài toán phân tách tuyến tính lề cứng, lề mềm có biến bù sai số $\xi_i$, điều kiện tối ưu Karush-Kuhn-Tucker (KKT), đến việc áp dụng hàm nhân phi tuyến RBF $K(x, z) = \exp(-\gamma ||x - z||^2)$ để ánh xạ dữ liệu sang không gian đặc trưng nhiều chiều. Trong cấu trúc SVM đa lớp, hàm quyết định yêu cầu tính toán tích vô hướng giữa mẫu kiểm thử và toàn bộ $N_s$ vectơ hỗ trợ. Do $N_s$ có xu hướng tăng tuyến tính theo kích thước dữ liệu huấn luyện, độ phức tạp của pha kiểm thử $O(N_s)$ trở thành rào cản tính toán lớn.
Đối với RVM, chương phân tích mô hình Bayes rút gọn cho bài toán hồi quy và phân lớp. Bằng cách gán cho mỗi trọng số $w_i$ một siêu tham số $\alpha_i$, việc tối đa hóa hàm likelihood lề loại II (marginal likelihood) sẽ đẩy phần lớn các đại lượng $\alpha_i \to \infty$, dẫn đến các trọng số tương ứng triệt tiêu về 0. Kết quả là mô hình RVM tạo ra số lượng vectơ liên quan (Relevance Vector - RV) ít hơn đáng kể so với số SV của SVM. Tuy nhiên, việc tính toán ma trận hiệp phương sai $\Sigma = (\Phi^T B \Phi + A)^{-1}$ chứa phép nghịch đảo ma trận đầy đủ kích thước $N \times N$, gây quá tải bộ nhớ $O(N^2)$ và thời gian huấn luyện $O(N^3)$.
Từ hạn chế của hai mô hình, chương phân tích tiềm năng của các kiến trúc học sâu (Deep Learning) trong việc tự động trích chọn đặc trưng mức cao, loại bỏ sự phụ thuộc vào đặc trưng thủ công ("nông"). Trên cơ sở đó, tác giả đề xuất kiến trúc "Mô hình lai CNN-RBF tổng quát": trích xuất vector đặc trưng tại tầng ẩn cuối cùng của mạng CNN để làm dữ liệu đầu vào cho các bộ phân lớp RBF rút gọn.
CHƯƠNG 2. CÁC THUẬT TOÁN HUẤN LUYỆN NHANH MÔ HÌNH RBF RÚT GỌN
Chương 2 là phần đóng góp thuật toán trọng tâm của luận án, tập trung giải quyết hai nút thắt: giảm số SV để tăng tốc pha kiểm thử của SVM và giảm thời gian nghịch đảo ma trận để tăng tốc pha huấn luyện của RVM.
Phần đầu khảo sát thuật toán SimpSVM-GD theo hướng tiếp cận từ dưới lên: lần lượt gộp hai SV cùng lớp $(x_i, x_j)$ thành một vectơ rút gọn mới $z = \lambda x_i + (1 - \lambda) x_j$ bằng cách cực đại hóa hàm một biến $h(\lambda)$. Sau khi thu được tập $N_z$ vectơ rút gọn, vị trí của chúng được điều chỉnh bằng cách cực tiểu hóa sai lệch chuẩn siêu phẳng:
$$\min \Phi = \sum_{t=1}^T \left| \sum_{i=1}^{N_s} \alpha_{ti} \phi(x_i) - \sum_{i=1}^{N_z} \beta_{ti} \phi(z_i) \right|^2$$
SimpSVM-GD sử dụng phương pháp giảm bậc gradient thông thường, đòi hỏi cập nhật ma trận hàm nhân kích thước lớn liên tục, gây tốn kém thời gian huấn luyện.
Để khắc phục, luận án đề xuất thuật toán SimpSVM-SVD: chuyển đổi bài toán tối ưu hóa tổng thể $\Phi$ sang dạng tổng các hàm thành phần và áp dụng kỹ thuật giảm bậc gradient ngẫu nhiên kết hợp phân rã giá trị suy biến (Singular Value Decomposition - SVD). Giải pháp này giúp cân bằng giữa độ chính xác xấp xỉ ma trận hàm nhân và tốc độ hội tụ, giảm thiểu số phép tính đại số tuyến tính phức tạp.
Đối với mô hình Bayes, luận án đề xuất thuật toán FastRVM: cải tiến quy trình lặp EM và tối đa hóa likelihood lề nhanh, lược bỏ việc tính toán nghịch đảo ma trận kích thước đầy đủ trên toàn bộ tập dữ liệu, tập trung tính toán trên tập các hàm cơ sở tiềm năng được cập nhật tuần tự.
Hiệu năng của các thuật toán được kiểm chứng trên 8 bộ dữ liệu chuẩn UCI có quy mô và số chiều đa dạng:
| Tập dữ liệu |
Số chiều |
Số lớp |
Mẫu huấn luyện |
Mẫu kiểm thử |
| dna |
180 |
3 |
1400 |
1186 |
| letter |
16 |
26 |
10500 |
5000 |
| shuttle |
9 |
7 |
30450 |
14500 |
| vowel |
10 |
11 |
528 |
462 |
| pendigits |
16 |
10 |
7494 |
3498 |
| mnist |
780 |
10 |
60000 |
10000 |
| satimage |
36 |
6 |
3104 |
2000 |
| usps |
256 |
10 |
7291 |
2007 |
Kết quả thực nghiệm trên các tập UCI khẳng định SimpSVM-SVD rút ngắn thời gian huấn luyện mô hình rút gọn nhiều lần so với SimpSVM-GD trong khi bảo toàn độ chính xác dự đoán; FastRVM đẩy nhanh tốc độ hội tụ pha huấn luyện so với RVM gốc và phiên bản RVM2, cho phép mô hình Bayes xử lý được các tập dữ liệu có kích thước mẫu lớn hơn.
CHƯƠNG 3. ỨNG DỤNG MÔ HÌNH RBF RÚT GỌN TRONG PHÂN LỚP ĐỐI TƯỢNG
Chương 3 triển khai kiểm chứng thực nghiệm các mô hình đề xuất trên ba bài toán nhận dạng thực tế:
-
Nhận dạng ngôn ngữ ký hiệu Auslan: Dữ liệu thu thập qua găng tay cảm biến gồm 22 kênh thông tin ghi lại các cử động vị trí và uốn cong ngón tay. Luận án so sánh hiệu năng giữa SVM gốc, SimpSVM-GD, SimpSVM-SVD, RVM2 và FastRVM, chứng minh tính khả thi của mô hình RBF rút gọn trong xử lý tín hiệu cảm biến chuỗi thời gian.
-
Nhận dạng cử chỉ người trên tập MSRC-12 Kinect: Dữ liệu gồm 12 hành động cử chỉ thu nhận từ cảm biến Microsoft Kinect thông qua chuỗi tọa độ khớp xương 3D. Ba kiểu đặc trưng được trích xuất và thực nghiệm gồm: Velopoints (vận tốc điểm), Veloangles (vận tốc góc) và Angles (góc khớp). Luận án áp dụng kiểm tra chéo 5-fold. Kết quả phân lớp và đánh giá tốc độ thể hiện qua các bảng số liệu:
| Phương pháp |
Velopoints Acc (%) |
Veloangles Acc (%) |
Angles Acc (%) |
Số SV / RV (Đặc trưng Velopoints) |
| SVM |
91,60 |
~90,5 |
~89,2 |
2241 SV |
| SimpSVM-GD |
91,40 |
~90,2 |
~88,9 |
452 SV |
| SimpSVM-SVD |
91,40 |
~90,2 |
~88,9 |
452 SV |
| RVM2 |
~85,0 |
~83,5 |
~82,0 |
262 RV |
| FastRVM |
~85,0 |
~83,5 |
~82,0 |
254 RV |
| Phương pháp |
Thời gian pha kiểm thử (ms) |
| SVM |
34,73 |
| SimpSVM-GD, SimpSVM-SVD |
12,50 |
SimpSVM-SVD giảm số lượng SV từ 2241 xuống 452 (giảm gần 5 lần), giúp thời gian kiểm thử giảm từ 34,73 ms xuống 12,50 ms (nhanh hơn gần 3 lần) mà độ chính xác chỉ giảm nhẹ 0,2% (từ 91,60% xuống 91,40%). FastRVM tạo ra mô hình thưa nhất (254 RV), mang lại tốc độ kiểm thử nhanh nhất. So sánh với các nghiên cứu khác trên cùng bộ dữ liệu MSRC-12:
| Nghiên cứu |
Độ chính xác (Accuracy %) |
Ghi chú |
| Li, Zhang, Liao, Jin, Yang [36] |
99,01 |
Chỉ thực nghiệm trên 6/12 cử chỉ |
| Wang, Li, Chuankun, Hou [84] |
93,40 |
Phân lớp đầy đủ 12 cử chỉ |
| Zhu, Yue, Xia, Dong, Qunfei [95] |
96,00 |
Sử dụng phương pháp PFR |
| Peixoto, Pfitscher, Souza Leite Cuadros, Welfer, Gamarra [56] |
92,60 |
Mạng CNN trên tọa độ khớp |
| SimpSVM-SVD (Luận án) |
91,40 |
Phân lớp đầy đủ 12 cử chỉ, mô hình rút gọn tối ưu tốc độ |
- Phân lớp nhận dạng ảnh hoa: Thực nghiệm trên 2 tập dữ liệu Oxford 17-Flowers (1360 ảnh, 17 loài) và Oxford 102-Flowers (7370 ảnh, 102 loài). Luận án áp dụng mạng ResNet18 đã tiền huấn luyện trên ImageNet, loại bỏ các tầng kết nối đầy đủ (FC), giữ lại các tầng tích chập ConvNet để trích xuất đặc trưng tự động. Mạng ResNet18 được tinh chỉnh (fine-tuned) trên tập ảnh hoa với các tham số:
| Tên tham số |
Giá trị thiết lập |
| MiniBatchSize |
10 |
| MaxEpochs |
6 |
| InitialLearnRate |
$10^{-4}$ |
Tìm kiếm lưới xác định tham số tối ưu cho bộ phân lớp RBF là $C = 2^2 = 4$ và $\gamma = 2^{-10}$. Dữ liệu chia tỷ lệ 4:1 (huấn luyện/kiểm thử). Kết quả thực nghiệm phân lớp ảnh hoa:
| Phương pháp |
Oxford 17-Flowers Acc (%) |
Oxford 17-Flowers SVs |
Oxford 17-Flowers Thời gian huấn luyện (s) |
Oxford 102-Flowers Acc (%) |
| CNN thuần |
96,69 |
- |
- |
- |
| CNN-SVM |
97,80 |
Lớn |
Cao |
Cao |
| CNN-SimpSVM-GD |
97,14 |
2295 |
14915 |
Tương đương |
| CNN-SimpSVM-SVD |
97,80 |
2295 |
Nhanh hơn hàng chục lần |
Ổn định cao |
| CNN-RVM2 |
Thấp hơn |
Rất ít (~RV) |
Chậm |
Thấp hơn |
| CNN-FastRVM |
Thấp hơn |
Ít nhất (~RV) |
Nhanh hơn RVM2 nhiều lần |
Thấp hơn |
So sánh đối sánh trên tập Oxford 17-Flowers và Oxford 102-Flowers với các công bố khác:
| Công trình |
17-Flowers Acc (%) |
102-Flowers Acc (%) |
Ghi chú |
| Xia, Xu, Nan [87] |
94,85 |
- |
- |
| Shi, Li, Song [67] |
95,00 |
99,00 |
Sử dụng Inception-V3 |
| Hosseini, Hammer [23] |
93,22 |
- |
- |
| Mete, Ensari [47] |
Cao |
- |
Đo trên tập huấn luyện (không độc lập) |
| CNN-SimpSVM-GD |
97,14 |
- |
Kiểm thử trên tập dữ liệu độc lập |
| CNN-SimpSVM-SVD |
97,80 |
- |
Kiểm thử trên tập dữ liệu độc lập |
Mô hình lai CNN-SimpSVM-SVD đạt độ chính xác 97,80% trên tập Oxford 17-Flowers, vượt trội so với CNN nguyên bản (96,69%) và phần lớn các phương pháp đối sánh, đồng thời giảm thiểu mạnh thời gian huấn luyện so với SimpSVM-GD.
Kết quả và những đóng góp mới
Luận án đã đạt được các kết quả cụ thể và đóng góp mới sau:
-
Về mặt thuật toán và lý thuyết:
- Đề xuất thuật toán SimpSVM-SVD: Cải tiến quá trình tối ưu hóa nghiệm rút gọn của SVM đa lớp thông qua giảm bậc gradient ngẫu nhiên và kỹ thuật SVD, giúp giảm số lượng vectơ hỗ trợ (SV) đáng kể, tăng tốc pha kiểm thử gấp nhiều lần trong khi duy trì độ chính xác phân lớp tương đương mô hình gốc. Thuật toán này khắc phục nhược điểm hội tụ chậm và chi phí tính toán lớn của thuật toán SimpSVM-GD trước đó.
- Đề xuất thuật toán FastRVM: Giảm thiểu độ phức tạp tính toán của thuật toán Relevance Vector Machine bằng cách tối ưu hóa quy trình cực đại hóa likelihood lề, loại bỏ các bước tính ma trận nghịch đảo kích thước đầy đủ lặp đi lặp lại. Kết quả cho phép tăng tốc pha huấn luyện RVM lên hàng chục lần, giữ nguyên độ chính xác phân lớp và mở rộng khả năng làm việc của mô hình Bayes rút gọn trên các tập dữ liệu có quy mô lớn hơn.
- Đề xuất mô hình lai CNN-RBF tổng quát: Tích hợp khả năng tự động học biểu diễn đặc trưng mức cao của mạng tích chập sâu (ResNet18) với các bộ phân lớp RBF rút gọn tối ưu lề hoặc thưa hóa Bayes ở tầng quyết định cuối cùng.
-
Về mặt thực tiễn và ứng dụng:
- Khảo sát, phân tích so sánh toàn diện ưu - nhược điểm của hai trường phái mô hình RBF (lề cực đại và suy luận Bayes), đưa ra các gợi ý lựa chọn mô hình cụ thể theo yêu cầu tính toán thực tế.
- Ứng dụng thành công các mô hình rút gọn SimpSVM-SVD và FastRVM vào ba bài toán nhận dạng thực tế: nhận dạng ngôn ngữ ký hiệu Auslan từ cảm biến đeo, nhận dạng cử chỉ người MSRC-12 từ cảm biến chiều sâu Kinect, và phân loại ảnh hoa Oxford bằng mô hình lai học sâu. Các kết quả thực nghiệm chứng minh mô hình rút gọn hoàn toàn đáp ứng tốt các yêu cầu khắt khe về thời gian phản hồi thời gian thực.
Hạn chế và hướng nghiên cứu tiếp
Theo tự đánh giá của tác giả trong văn bản luận án, công trình vẫn tồn tại một số hạn chế:
- Các thuật toán đề xuất (SimpSVM-SVD và FastRVM) chưa được phân tích và chứng minh toán học một cách đầy đủ ở khía cạnh lý thuyết thuần túy để khẳng định cơ sở hội tụ vững chắc tuyệt đối.
- Chưa tiến hành thử nghiệm các thuật toán trên nhiều loại dữ liệu đa dạng khác nhau trong các lĩnh vực ứng dụng thực tế phong phú hơn.
- Chưa thử nghiệm đầy đủ các thuật toán đề xuất trên các tập cơ sở dữ liệu có kích thước siêu lớn và độ phức tạp cao, do đó chưa đánh giá hết được giới hạn chịu tải của các thuật toán.
Các hướng phát triển tiếp theo được luận án đề ra gồm:
- Tiếp tục phân tích, chứng minh toán học chặt chẽ các thuật toán đề xuất ở khía cạnh lý thuyết.
- Tiếp tục phát triển phương pháp SimpSVM theo hướng nghiên cứu các giải thuật heuristic mới để lựa chọn và điều chỉnh cặp vectơ rút gọn hiệu quả hơn.
- Tiếp tục cải tiến phương pháp FastRVM theo hướng sử dụng các kỹ thuật lấy mẫu tập con dữ liệu (như lấy mẫu theo phân phối xác suất) kết hợp với tiêu chuẩn heuristic nhằm lựa chọn nhanh các ứng viên RV đưa vào mô hình.
- Nghiên cứu mở rộng các cấu trúc mô hình lai khác giữa học sâu và mô hình RBF rút gọn.
- Triển khai ứng dụng mô hình RBF rút gọn vào các bài toán thực tế thuộc các lĩnh vực mới như phân tích mạng xã hội, an toàn và bảo mật thông tin.
Giá trị tham khảo
Luận án có giá trị tham khảo chuyên môn rõ ràng cho nhiều nhóm đối tượng:
- Nghiên cứu sinh, học viên cao học và giảng viên ngành Khoa học máy tính, Trí tuệ nhân tạo: Có thể sử dụng Chương 1 và Chương 2 như tài liệu tham khảo chi tiết về toán học tối ưu trong SVM, suy luận Bayes rút gọn trong RVM, cũng như kỹ thuật rút gọn nghiệm mô hình máy học hạt nhân (kernel methods).
- Kỹ sư phát triển hệ thống thời gian thực và thiết bị nhúng/IoT: Nội dung thiết kế thuật toán SimpSVM-SVD ở Chương 2 và thực nghiệm đo tốc độ kiểm thử ở Chương 3 (Bảng 3.5) cung cấp giải pháp kỹ thuật cụ thể để triển khai các bộ phân lớp SVM với thời gian trễ mili-giây trên phần cứng giới hạn tài nguyên.
- Nhà nghiên cứu xử lý tín hiệu cảm biến và thị giác máy tính: Cấu trúc trích xuất đặc trưng hình học/vận tốc từ khung xương 3D (MSRC-12) và kiến trúc lai ResNet18 - RBF phân lớp ảnh hoa (Chương 3) cung cấp quy trình thực nghiệm chuẩn từ tiền xử lý, cấu hình tham số mạng đến tìm kiếm siêu tham số trên lưới ($C, \gamma$).
Câu hỏi thường gặp
1. Nút thắt tính toán cốt lõi của Support Vector Machine (SVM) mà luận án tập trung giải quyết là gì?
Nút thắt nằm ở pha kiểm thử của SVM. Hàm quyết định của SVM yêu cầu tính toán tích vô hướng qua hàm nhân giữa mẫu kiểm thử mới với toàn bộ các vectơ hỗ trợ ($N_s$). Do $N_s$ thường tăng theo quy mô dữ liệu huấn luyện, chi phí tính toán tỷ lệ tuyến tính $O(N_s)$ làm chậm tốc độ dự đoán, cản trở việc triển khai trong các ứng dụng thời gian thực. Luận án giải quyết vấn đề này bằng cách giảm số lượng $N_s$ xuống một tập rút gọn $N_z$ ($N_z < N_s$) thông qua thuật toán SimpSVM-SVD.
2. Thuật toán SimpSVM-SVD cải tiến khía cạnh nào so với thuật toán SimpSVM-GD của Nguyen và cộng sự (2008)?
SimpSVM-GD sử dụng phương pháp giảm bậc gradient thông thường để điều chỉnh toàn bộ tập vectơ rút gọn nhằm cực tiểu hóa sai lệch siêu phẳng $\Phi$, dẫn đến việc tính toán và cập nhật ma trận hàm nhân rất tốn kém và hội tụ chậm. SimpSVM-SVD cải tiến bằng cách chuyển đổi bài toán sang tối ưu hóa dạng tổng các hàm thành phần, áp dụng kỹ thuật giảm bậc gradient ngẫu nhiên kết hợp phân rã SVD, giúp tăng tốc độ huấn luyện mô hình rút gọn lên nhiều lần mà không làm giảm độ chính xác phân lớp.
3. Tại sao mô hình RVM tạo ra nghiệm thưa hơn SVM nhưng lại ít được ứng dụng trên dữ liệu lớn hơn?
RVM áp dụng cơ chế học xác suất Bayes với phân phối tiên nghiệm Gaussian cho từng trọng số, giúp hầu hết các siêu tham số $\alpha_i$ tiến ra vô cùng và triệt tiêu trọng số tương ứng về 0, mang lại số lượng vectơ liên quan (RV) rất ít (thưa hơn SVM nhiều lần). Tuy nhiên, RVM đòi hỏi phép nghịch đảo ma trận kích thước $N \times N$ ở mỗi bước lặp EM với độ phức tạp tính toán $O(N^3)$ và bộ nhớ $O(N^2)$. Khi tập dữ liệu lớn, phép toán này làm quá tải bộ nhớ và kéo dài thời gian huấn luyện nghiêm trọng.
4. Mô hình lai CNN-RBF tổng quát được thiết kế như thế nào trong bài toán phân lớp ảnh hoa?
Luận án sử dụng mạng tích chập ResNet18 đã tiền huấn luyện trên ImageNet, loại bỏ các tầng kết nối đầy đủ (FC) và Softmax ở đầu ra, chỉ giữ lại các tầng ConvNet để trích xuất đặc trưng sâu tự động. Sau khi tinh chỉnh mạng trên tập ảnh hoa (Oxford 17/102-Flowers) với MiniBatchSize = 10, MaxEpochs = 6, InitialLearnRate = $10^{-4}$, các vector đầu ra từ tầng ẩn cuối cùng được đưa trực tiếp làm đặc trưng đầu vào cho các bộ phân lớp RBF (SVM, SimpSVM-SVD, FastRVM) với tham số tối ưu $C=4, \gamma=2^{-10}$.
5. Kết quả thực nghiệm cụ thể trên bộ dữ liệu nhận dạng cử chỉ người MSRC-12 Kinect thể hiện ưu thế gì của SimpSVM-SVD?
Trên tập đặc trưng Velopoints của MSRC-12 (gồm đầy đủ 12 cử chỉ), SimpSVM-SVD đạt độ chính xác 91,40% (chỉ giảm 0,2% so với 91,60% của SVM gốc), nhưng đã cắt giảm số lượng hàm cơ sở từ 2241 SV xuống còn 452 SV rút gọn. Nhờ đó, thời gian thực thi ở pha kiểm thử giảm từ 34,73 ms xuống 12,50 ms, nhanh hơn gần 3 lần so với mô hình ban đầu.
Kết luận
Luận án tiến sĩ của tác giả Phạm Quốc Thắng đã nghiên cứu một cách toàn diện mô hình RBF rút gọn trong bài toán phân lớp dữ liệu theo hai hướng tiếp cận lề cực đại và suy luận Bayes. Tác giả đã đề xuất thành công hai thuật toán mới là SimpSVM-SVD (giúp giảm mạnh số vectơ hỗ trợ để tăng tốc pha kiểm thử của SVM) và FastRVM (giúp loại bỏ nút thắt nghịch đảo ma trận để tăng tốc pha huấn luyện của RVM), cùng cấu trúc mô hình lai CNN-RBF tổng quát. Các kết quả thực nghiệm trên 8 tập dữ liệu chuẩn UCI và ba miền bài toán thực tế (ngôn ngữ ký hiệu Auslan, cử chỉ MSRC-12 Kinect, ảnh hoa Oxford) đã chứng minh tính hiệu quả của các thuật toán đề xuất trong việc cân bằng tối ưu giữa độ chính xác phân lớp và tốc độ xử lý dữ liệu.
