Tổng quan về luận án

Sự bùng nổ của cuộc Cách mạng Công nghiệp 4.0 cùng với sự gia tăng theo cấp số nhân của các thiết bị di động thông minh và nền tảng mạng xã hội đã đưa dữ liệu ảnh số trở thành nguồn tài nguyên thông tin cốt lõi trong y học, viễn thám, thời trang, giáo dục và phòng chống tội phạm. Trong bối cảnh đó, bài toán tra cứu ảnh nhanh chóng và chính xác từ các cơ sở dữ liệu (CSDL) quy mô lớn đặt ra nhiều thách thức đối với thị giác máy tính. Hai phương pháp tiếp cận chủ đạo là tra cứu ảnh dựa vào văn bản (Text-Based Image Retrieval - TBIR) và tra cứu ảnh dựa vào nội dung (Content-Based Image Retrieval - CBIR). Trong khi TBIR bộc lộ nhược điểm cố hữu do "yêu cầu độ nhân công lớn cho việc chú thích thủ công và độ chính xác của các ảnh được chú thích thủ công có thể bị ảnh hưởng bởi sự chủ quan trong nhận thức của người dùng", CBIR được thiết lập nhằm phân tích trực tiếp các thuộc tính trực quan như màu sắc, hình dạng và kết cấu.

Tuy nhiên, rào cản lớn nhất của CBIR truyền thống là hiện tượng "khoảng trống ngữ nghĩa" (semantic gap) giữa các đặc trưng trực quan mức thấp được trích xuất tự động và các khái niệm ngữ nghĩa trừu tượng mức cao trong nhận thức của con người. Để thu hẹp khoảng cách này, cơ chế phản hồi liên quan (Relevance Feedback - RF) đã được tích hợp nhằm tận dụng sự tương tác của người dùng qua từng vòng lặp tra cứu. Dẫu vậy, các hệ thống CBIR tích hợp RF hiện nay đang đối mặt với ba điểm nghẽn nghiêm trọng (research gaps):

  1. Sự khan hiếm và mất cân bằng mẫu phản hồi (Small Sample & Imbalanced Size Problem): Trong mỗi phiên phản hồi, số lượng mẫu được gán nhãn rất nhỏ so với số chiều của không gian đặc trưng ($N \ll D$), trong đó số mẫu dương (liên quan) luôn ít hơn đáng kể so với số mẫu âm (không liên quan).
  2. Hạn chế về cỡ lớp (Small Class Size Problem): Số lớp phản hồi bị giới hạn nghiêm ngặt ở hai lớp (liên quan và không liên quan), khiến số lượng hướng chiếu phân biệt trong các thuật toán giảm chiều truyền thống như Linear Discriminant Analysis (LDA) bị suy biến và giới hạn tối đa ở mức $C - 1 = 1$ trục chiếu.
  3. Thách thức về chiều dữ liệu và tính phân biệt của đặc trưng: Dữ liệu ảnh thực tế chịu ảnh hưởng nặng nề bởi "Vấn đề của chiều - Curse of dimensionality" với nhiều đặc trưng dư thừa và không liên quan, trong khi các phương pháp học sâu giám sát đòi hỏi tập dữ liệu gán nhãn khổng lồ vốn bất khả thi trong các tác vụ tra cứu tương tác trực tuyến thời gian thực.

Luận án tiến sĩ chuyên ngành Khoa học máy tính (Mã số: 9 48 01 01) của nghiên cứu sinh An Hồng Sơn, dưới sự hướng dẫn khoa học của PGS. Nguyễn Hữu Quỳnh tại Học viện Khoa học và Công nghệ – Viện Hàn lâm Khoa học và Công nghệ Việt Nam (2023), mang tiêu đề "Tra cứu ảnh dựa vào nội dung với học biểu diễn và giảm chiều dữ liệu" đã giải quyết trọn vẹn các thách thức trên.

Luận án đặt ra hai câu hỏi nghiên cứu cốt lõi:

  • RQ1: Làm thế nào để loại bỏ các đặc trưng dư thừa, giải quyết bài toán cỡ lớp nhỏ và nâng cao độ chính xác tra cứu trong cơ chế RF khi số chiều dữ liệu vượt trội so với số lượng mẫu phản hồi?
  • RQ2: Làm thế nào để tự động học biểu diễn đặc trưng phân biệt mức cao trực tiếp từ ảnh thô trên tập dữ liệu không gán nhãn mà vẫn đảm bảo tốc độ hội tụ nhanh và tránh suy thoái gradient?

Tương ứng với hai câu hỏi nghiên cứu, hai giả thuyết khoa học được kiểm chứng:

  • H1: Việc khai thác thuộc tính thưa dòng của ma trận chiếu thông qua tối ưu hóa chuẩn $\ell_{2,1}$ trong phương pháp phân tích phân biệt thưa kết hợp phân lớp sẽ đồng thời thực hiện trích chọn đặc trưng quan trọng và triệt tiêu đặc trưng dư thừa, giúp tăng độ chính xác phân hạng ảnh khi cỡ mẫu và cỡ lớp nhỏ.
  • H2: Kiến trúc mạng nơ-ron tích chập Autoencoder sâu tích hợp các kết nối tắt đối xứng (Symmetric Shortcut Connections) kết hợp phân loại bán giám sát bằng máy véc-tơ hỗ trợ (Support Vector Machine - SVM) trong RF sẽ triệt tiêu hiện tượng biến mất/bùng nổ đạo hàm (vanishing/exploding gradients), nâng cao năng lực biểu diễn không gian ẩn (Latent Space Representation - LSR) từ ảnh chưa gán nhãn.

Khung lý thuyết của luận án tích hợp liên ngành giữa Lý thuyết Phân tích Phân biệt Thưa Tuyến tính Mạnh (Robust Sparse Linear Discriminant Analysis - RSLDA), Lý thuyết Học sâu Biểu diễn Ẩn (Deep Autoencoder Representation Learning), Kiến trúc Mạng Phần dư (Residual Networks - ResNet) và Bộ phân lớp Cực đại hóa Lề SVM.

Phạm vi thực nghiệm của công trình được triển khai toàn diện trên hai bộ cơ sở dữ liệu ảnh chuẩn quốc tế:

  • Tập CIFAR-100: Gồm 60.000 ảnh màu kích thước $32 \times 32$ điểm ảnh, phân bố đồng đều trên 100 lớp (600 ảnh/lớp).
  • Tập COREL: Gồm 10.800 ảnh tự nhiên thuộc 80 chủ đề ngữ nghĩa khác nhau (kích thước $80 \times 120$ hoặc $120 \times 80$), trong đó mỗi ảnh được biểu diễn bởi véc-tơ đặc trưng 190 chiều (102 chiều đặc trưng màu sắc và 88 chiều đặc trưng kết cấu).

Ý nghĩa đột phá của luận án thể hiện ở việc lượng hóa hiệu năng vượt trội: nâng cao rõ rệt độ chính xác trung bình (Average Precision - AP) và độ chính xác trung bình tổng hợp (Mean Average Precision - mAP) qua 3 vòng lặp phản hồi đầu tiên, đồng thời tối ưu hóa thời gian truy vấn trên không gian chiếu so với không gian gốc.

Literature Review và Positioning

Lịch sử phát triển của CBIR ghi nhận sự tiến hóa qua ba giai đoạn phương pháp luận chính:

[Trích xuất đặc trưng thủ công]  -->  [Giảm chiều & Học máy thống kê]  -->  [Học biểu diễn sâu & Autoencoder]
  - Toàn cục: Color, Texture, Shape      - PCA, LDA, Relief-F                   - CNN, ResNet
  - Cục bộ: SIFT, SURF, LBP              - RF phân lớp lặp (SVM)                - Semi-supervised / RF

Luồng nghiên cứu trích xuất đặc trưng thủ công (Hand-crafted Features): Ở cấp độ toàn cục, màu sắc được mô tả qua không gian RGB, HSV, LAB với các bộ mô tả mô-men màu (Color Moments - Stricker & Orengo, 1995), lược đồ màu (Color Histogram), và ma trận tự tương quan màu (Color Correlogram - Huang et al., 1997). Kết cấu bề mặt được trích xuất qua bộ lọc Gabor (Manjunath & Ma, 1996), ma trận đồng xuất hiện mức xám (Gray-Level Co-occurrence Matrix - GLCM - Haralick et al., 1973), và lược đồ cạnh Canny (Canny, 1986). Ở cấp độ cục bộ, các bộ mô tả bất biến nổi tiếng gồm Biến đổi đặc trưng bất biến tỉ lệ (SIFT - David Lowe, 2004), Đặc trưng mạnh và nhanh (SURF - Herbert Bay et al., 2006) và Mẫu nhị phân cục bộ (LBP - Ojala et al., 2002). Mặc dù các đặc trưng cục bộ thể hiện tính bất biến với phép xoay và tỉ lệ, chúng tạo ra véc-tơ đặc trưng số chiều rất cao, đòi hỏi chi phí tính toán và bộ nhớ lớn.

Luồng nghiên cứu lựa chọn và giảm chiều đặc trưng: Để tối ưu hóa không gian biểu diễn, các kỹ thuật lựa chọn đặc trưng như Trọng số Fisher (Fisher score - Duda et al., 2001), Relief và Relief-F (Kira & Rendell, 1992; Kononenko, 1994) đã được khai thác. Về phương diện trích xuất đặc trưng thông qua phép chiếu, Phân tích thành phần chính (PCA - Jolliffe, 2002) tìm kiếm không gian con có phương sai cực đại theo hướng không giám sát, trong khi Phân tích phân biệt tuyến tính (LDA - Belhumeur et al., 1997) tối đa hóa tỉ số giữa ma trận tán xạ giữa các lớp ($S_b$) và ma trận tán xạ trong nội bộ lớp ($S_w$). Tuy nhiên, LDA gặp giới hạn nghiêm trọng khi ma trận $S_w$ bị suy biến do số chiều lớn hơn kích thước mẫu quan sát ($D > N$).

Các tranh luận học thuật (Academic Debates):

  • Tranh luận 1 (Mô hình kết hợp đặc trưng thủ công vs. Học biểu diễn sâu): Jolliffe và cộng sự cùng Latif et al. (2014) chủ trương kết hợp đa đặc trưng tham số và phi tham số (màu sắc, mô-men Hue, DWT, GLCM) phối hợp thuật toán di truyền (Genetic Algorithm) để gán trọng số tối ưu. Ngược lại, Krizhevsky et al. (2012) với kiến trúc AlexNet và Gogul & Kumar (2017) khẳng định các tầng tích chập sâu (CNN) có khả năng tự động học biểu diễn phân cấp mà không cần can thiệp thủ công, loại bỏ hoàn toàn định kiến chủ quan của con người.
  • Tranh luận 2 (Chiếu giảm chiều toàn cục vs. Học chiếu thưa bảo toàn cấu trúc): Các phương pháp chiếu cổ điển (PCA, LDA) giả định mọi đặc trưng gốc đều đóng góp vào không gian mới, dẫn đến việc ma trận chiếu chứa đầy các giá trị khác không (dense matrix), làm mất khả năng giải thích và không loại trừ được nhiễu. Ngược lại, trường phái phân tích thưa (Sparse Learning - Wright et al., 2009; Nie et al., 2010) chứng minh rằng áp đặt chuẩn $\ell_{2,1}$ lên ma trận chiếu sẽ tạo ra tính thưa theo dòng (row-sparsity), cho phép lựa chọn trực tiếp các đặc trưng gốc quan trọng nhất.

Định vị của luận án so với các công trình quốc tế và trong nước:

  • So sánh với nghiên cứu quốc tế:
    1. Gogul & Kumar (2017): Sử dụng CNN trích xuất đặc trưng kết hợp lớp gộp cực đại (max pooling) thay cho lớp kết nối đầy đủ (fully connected) nhằm giữ thông tin không gian. Tuy nhiên, mô hình của họ đòi hỏi dữ liệu đồ sộ và tốn thời gian xây dựng CSDL trường hấp dẫn. Phương pháp AIR của luận án vượt trội nhờ cơ chế học không giám sát trên mạng Autoencoder sâu với kết nối tắt đối xứng, kết hợp phân loại SVM trực tuyến trong RF, giảm mạnh chi phí gán nhãn ban đầu.
    2. Latif et al. (2014): Tích hợp đa đặc trưng trong miền cosin rời rạc (DCT) kết hợp thuật toán di truyền. Dù cải thiện độ chính xác, phương pháp này làm tăng chi phí tính toán theo cấp số mũ. Luận án khắc phục nhược điểm này bằng phương pháp SDAIR, giảm chiều trực tiếp qua ma trận chiếu thưa, tối ưu hóa thời gian thực thi.
  • So sánh với các nghiên cứu trong nước gần đây:
    1. Vũ Văn Hiệu (2017): Ứng dụng tiếp cận tối ưu Pareto để thu hẹp không gian tìm kiếm trên tập Oxford Building và Caltech-101. Hạn chế là giả định vùng liên quan đơn lẻ, không bao quát được sự phân tán đa cụm của dữ liệu và không học ma trận chiếu.
    2. Đào Thị Thúy Quỳnh (2019): Điều chỉnh trọng số hàm khoảng cách cục bộ trên tập COREL. Hạn chế là chưa giải quyết được cấu trúc dữ liệu trên không gian phi metric và bỏ qua thuộc tính thưa dòng của không gian đặc trưng.
    3. Cù Việt Dũng (2022): Phát triển phương pháp học phép chiếu tối ưu cho dữ liệu đa tạp và học bán giám sát dựa trên đồ thị. Mặc dù đã học ma trận chiếu từ mẫu RF, quá trình tra cứu vẫn phải thực hiện trực tiếp trên không gian chiếu đa tạp phức tạp.

Luận án của NCS. An Hồng Sơn định vị sự đột phá tại giao điểm: khai thác thuộc tính thưa dòng của ma trận chiếu bằng chuẩn $\ell_{2,1}$ để chọn lọc đặc trưng mức thấp kết hợp phân lớp giải quyết bài toán cỡ lớp nhỏ (SDAIR), và thiết kế kiến trúc tích chập Autoencoder đối xứng học biểu diễn sâu không giám sát kết hợp phân loại SVM trong RF (AIR).

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án tạo ra những bước tiến quan trọng về mặt lý thuyết học máy và thị giác máy tính:

  1. Mở rộng lý thuyết Phân tích Phân biệt Tuyến tính (Fisher's LDA) sang miền thưa đa chiều: Luận án mở rộng tiêu chuẩn tối ưu hóa Fisher cổ điển bằng việc áp đặt ràng buộc chuẩn $\ell_{2,1}$ lên ma trận biến đổi $P \in \mathbb{R}^{d \times k}$. Ràng buộc này biến đổi bài toán tối ưu phân biệt truyền thống thành bài toán tối ưu lồi với thuộc tính thưa dòng (row-sparsity). Về mặt toán học, chuẩn $\ell_{2,1}$ của ma trận $P$ được định nghĩa: $$|P|{2,1} = \sum{i=1}^{d} \sqrt{\sum_{j=1}^{k} P_{ij}^2} = \sum_{i=1}^{d} |P_{i,:}|2$$ Khi tối thiểu hóa chuẩn này, các dòng $P{i,:}$ tương ứng với các đặc trưng dư thừa hoặc không liên quan sẽ bị triệt tiêu hoàn toàn về 0. Điều này chứng minh định lý toán học: Ma trận chiếu thưa dòng đồng thời thực hiện hai chức năng: biến đổi không gian giảm chiều và đóng vai trò như một bộ trích chọn đặc trưng gốc tối ưu.

  2. Giải quyết bài toán giới hạn bậc tự do của hướng chiếu trong Cỡ lớp nhỏ (Small Class Size Problem): Trong lý thuyết CBIR với RF truyền thống, dữ liệu phản hồi chỉ gồm hai lớp ($C=2$: dương và âm), dẫn đến hạng của ma trận phân tán giữa các lớp $\text{rank}(S_b) \le C - 1 = 1$. Do đó, LDA cổ điển chỉ tìm được duy nhất một trục chiếu ($k=1$). Luận án đề xuất mô hình phân lớp kết hợp với hàm mất mát thưa, cho phép thiết lập số trục chiếu $k$ độc lập với số lượng lớp $C$, vượt qua ranh giới lý thuyết đã tồn tại nhiều năm trong phân loại phân biệt tuyến tính.

  3. Tích hợp nguyên lý Học phần dư (Residual Learning) vào Lý thuyết Mạng Tích chập Autoencoder: Dựa trên nền tảng lý thuyết mạng phần dư của He et al. (2016) với ánh xạ $H(x) = F(x) + x$, luận án tích hợp các kết nối tắt đối xứng (Symmetric Shortcut Connections) nối trực tiếp giữa các tầng tích chập (convolution) ở nhánh Encoder với các tầng giải tích chập (deconvolution) tương ứng ở nhánh Decoder. Đóng góp lý thuyết này chứng minh rằng việc truyền trực tiếp tín hiệu gradient qua các tầng tắt giúp bảo toàn thông tin không gian mức thấp bị suy giảm qua các tầng gộp (pooling), đồng thời ngăn ngừa hiện tượng tiêu biến gradient khi độ sâu mạng tăng lên.

Mô hình cấu trúc đề xuất (Propositions):
- Proposition 1: Nếu một dòng thứ i của ma trận chiếu P đạt giá trị ||P_{i,:}||_2 = 0 dưới ràng buộc chuẩn \ell_{2,1}, thì đặc trưng thứ i trong không gian gốc không đóng góp vào việc phân tách giữa lớp phản hồi dương và âm, và có thể loại bỏ mà không làm giảm mAP.
- Proposition 2: Việc tích hợp các kết nối tắt đối xứng trong mạng tích chập Autoencoder duy trì chuẩn gradient không đổi xuyên suốt 20 epoch huấn luyện, triệt tiêu hiện tượng bùng nổ/tiêu biến đạo hàm trong không gian biểu diễn ẩn LSR.

Khung phân tích độc đáo

Khung phân tích của luận án tích hợp chặt chẽ ba trụ cột lý thuyết:

  • Trụ cột 1 (Lý thuyết Tối ưu hóa Phân biệt Thưa): Sử dụng hàm mục tiêu kết hợp ma trận phân tán trong lớp $S_w$, giữa các lớp $S_b$ và số hạng điều chuẩn thưa dòng $\ell_{2,1}$ để chọn lọc đặc trưng mức thấp quan trọng (Color correlogram, GLCM, HOG).
  • Trụ cột 2 (Lý thuyết Biểu diễn Ẩn Tự giám sát): Sử dụng kiến trúc Autoencoder tích chập đối xứng nén ảnh thô về véc-tơ không gian ẩn $z \in \mathbb{R}^m$ mà không cần nhãn giám sát.
  • Trụ cột 3 (Lý thuyết Phân lớp Tựa Cực đại Lề trong Không gian Phi tuyến): Ứng dụng SVM với hàm nhân Hellinger phân lớp trực tuyến trên tập mẫu phản hồi người dùng, ánh xạ khoảng cách từ siêu phẳng phân tách $f(x) = \text{sign}(w^T \phi(x) + b)$ thành điểm số tương đồng để xếp hạng ảnh.

Điều kiện biên (Boundary Conditions): Mô hình SDAIR phát huy hiệu quả tối đa khi số chiều đặc trưng ban đầu lớn ($d > 100$) và số mẫu phản hồi nhỏ ($N < 50$). Mô hình AIR tối ưu khi CSDL ảnh lớn, không có nhãn ban đầu, và đòi hỏi trích xuất đặc trưng tự động không phụ thuộc vào tri thức chuyên gia thủ công.

Phương pháp nghiên cứu tiên tiến

+---------------------------------------------------------------------------------------------------+
|                                QUY TRÌNH PHƯƠNG PHÁP NGHIÊN CỨU                                    |
+---------------------------------------------------------------------------------------------------+
|  [Dữ liệu chuẩn: CIFAR-100 (60k), COREL (10.8k)]                                                  |
|         |                                                                                         |
|         +--> NHÁNH 1 (SDAIR): Trích xuất Hand-crafted Features (190-dim)                          |
|         |         --> Tối ưu hóa ma trận chiếu P với chuẩn \ell_{2,1} (Loại bỏ đặc trưng thừa)     |
|         |         --> Phân loại RF & Đo khoảng cách trên không gian chiếu                         |
|         |                                                                                         |
|         +--> NHÁNH 2 (AIR): Ảnh thô (Raw pixels)                                                  |
|                   --> Huấn luyện mạng Deep Conv-Autoencoder đối xứng (20 epochs, MSE loss)         |
|                   --> Trích xuất biểu diễn không gian ẩn (LSR)                                    |
|                   --> Phân loại RF trực tuyến với SVM nhân Hellinger & Xếp hạng ảnh               |
|                                                                                                   |
|  [Đánh giá Benchmark: Precision, Recall, AP, mAP qua 3 vòng lặp RF]                               |
+---------------------------------------------------------------------------------------------------+

Thiết kế nghiên cứu

Nghiên cứu tuân thủ chặt chẽ thế giới quan thực chứng (Positivism Paradigm) với phương pháp tiếp cận định lượng thực nghiệm (Quantitative Experimental Design). Quy trình nghiên cứu được thiết kế đa tầng, kết hợp giữa mô hình thống kê phân tích thưa và học sâu nơ-ron:

Positivist Epistemology -> Mathematical Formulation (Optimization/Loss) -> Algorithm Synthesis -> Empirical Benchmark Testing
  • Nhánh phương pháp SDAIR (Sparse Discriminant Analysis for Image Retrieval): Kết hợp thuật toán RSLDA với bộ phân lớp lặp. Quy trình gồm hai giai đoạn: Giai đoạn 1 tối ưu ma trận chiếu $P$ bằng cách giải bài toán quy hoạch toán học chứa chuẩn $\ell_{2,1}$ để đánh giá trọng số độ quan trọng của từng đặc trưng gốc. Giai đoạn 2 chiếu dữ liệu sang không gian con chiều thấp và huấn luyện bộ phân loại nhị phân trên các mẫu phản hồi $RF = {x_i, y_i}_{i=1}^N$ ($y_i \in {+1, -1}$).
  • Nhánh phương pháp AIR (Autoencoders for Image Retrieval): Thiết kế mạng nơ-ron tích chập Autoencoder sâu với cấu trúc đối xứng. Giai đoạn huấn luyện ngoại tuyến (offline) tối ưu hóa trọng số mạng thông qua thuật toán lan truyền ngược với hàm mất mát sai số toàn phương trung bình (Mean Squared Error - MSE) tái tạo ảnh. Giai đoạn trực tuyến (online) trích xuất véc-tơ không gian ẩn (LSR) và áp dụng SVM nhân Hellinger để cập nhật siêu phẳng phân tách dựa trên phản hồi của người dùng.

Quy trình nghiên cứu rigorous

  1. Giao thức thu thập và chuẩn hóa dữ liệu:
    • Tập CIFAR-100 được nạp trực tiếp qua định dạng chuẩn, tiền xử lý chuẩn hóa giá trị pixel về đoạn $[0, 1]$.
    • Tập COREL được trích xuất véc-tơ đặc trưng 190 chiều chuẩn hóa: 6 thành phần mô-men màu (Color Moments), 32 thành phần lược đồ màu (Color Histogram), 64 thành phần tương quan màu (Color Correlogram), cùng 88 thành phần kết cấu từ GLCM và Gabor Filters.
  2. Thiết kế kiến trúc mạng Autoencoder đối xứng:
    • Nhánh Encoder: Gồm các tầng Convolution ($3 \times 3$ filters, stride = 1, padding = 'same') xen kẽ các tầng Max Pooling ($2 \times 2$) để giảm kích thước không gian.
    • Nhánh Decoder: Gồm các tầng Deconvolution (Transposed Convolution) và UpSampling đối xứng tương ứng.
    • Kết nối tắt (Shortcut Connections): Thiết lập đường truyền tắt cộng trực tiếp đặc trưng từ tầng Conv $i$ sang tầng Deconv $n-i$, bảo toàn cấu trúc cạnh và chi tiết đối tượng.
  3. Quy trình tương tác phản hồi liên quan (RF Simulation Protocol):
    • Vòng lặp 0: Người dùng gửi ảnh truy vấn $q$. Hệ thống tính khoảng cách (Euclidean, Manhattan, hoặc Cosine) và trả về Top-$K$ ảnh tương tự nhất.
    • Vòng lặp 1, 2, 3: Hệ thống ghi nhận các nhãn phản hồi từ người dùng (mẫu dương $y_i = +1$, mẫu âm $y_i = -1$). Thuật toán SDAIR/AIR tự động cập nhật lại ma trận chiếu hoặc siêu phẳng SVM, tái phân hạng toàn bộ CSDL và trả về danh sách kết quả mới.

Data và phân tích

Đặc tính mẫu và môi trường thực nghiệm:

  • Môi trường phần cứng: Vi xử lý Intel(R) Core(TM) i7-8550U CPU @ 1.80GHz, bộ nhớ trong 16GB DDR4 RAM.
  • Môi trường phần mềm: Hệ điều hành Windows 11 Professional, nền tảng Microsoft .NET Framework kết hợp ngôn ngữ lập trình C#, Python 3.8 và môi trường tính toán ma trận MATLAB.
  • Công cụ học máy: Thư viện tối ưu hóa lồi, tích hợp SVM nhân Hellinger, framework học sâu với thuật toán tối ưu Stochastic Gradient Descent (SGD) và Adam.

Các thước đo thống kê đánh giá hiệu năng:

  • Độ chính xác (Precision - $P$): $$P = \frac{\text{Số ảnh liên quan được tra cứu}}{\text{Tổng số ảnh được tra cứu trong một lần lặp}} = \frac{\text{Sum}(\text{retrieval_relevant})}{\text{Sum}(\text{retrieval})}$$
  • Độ triệu hồi (Recall - $R$): $$R = \frac{\text{Số ảnh liên quan được tra cứu}}{\text{Tổng số ảnh liên quan trong toàn bộ CSDL}} = \frac{\text{Sum}(\text{retrieval_relevant})}{\text{Sum}(\text{total_relevant})}$$
  • Độ chính xác trung bình (Average Precision - $AP$): $$AP = \frac{1}{R} \sum_{k=1}^{N} P(k) \cdot rel(k)$$ Trong đó $R$ là tổng số ảnh liên quan, $P(k)$ là độ chính xác tại vị trí cắt $k$, và $rel(k) \in {0, 1}$ là hàm chỉ thị liên quan của ảnh thứ $k$.
  • Độ chính xác trung bình tổng hợp (Mean Average Precision - $mAP$): $$mAP = \frac{1}{Q} \sum_{q=1}^{Q} AP(q)$$ với $Q$ là tổng số lượng ảnh truy vấn được thực nghiệm.

Phát hiện đột phá và implications

Những phát hiện then chốt

  1. Hiệu ứng thưa hóa dòng loại bỏ triệt để đặc trưng dư thừa: Thực nghiệm trên tập dữ liệu CIFAR-100 và COREL chứng minh phương pháp SDAIR với ràng buộc chuẩn $\ell_{2,1}$ đã triệt tiêu hơn 40% các trọng số dòng không quan trọng của ma trận chiếu. Các đặc trưng kết cấu nhiễu và thành phần màu sắc có độ tương quan thấp bị loại bỏ hoàn toàn, giúp mô hình tập trung vào các đặc trưng có tính phân biệt cao nhất (Color Auto-correlogram và HOG).

  2. Vượt trội về chỉ số mAP qua các vòng lặp phản hồi: Phương pháp đề xuất đạt mức tăng trưởng mAP ấn tượng qua 3 vòng lặp RF đầu tiên so với các phương pháp cơ sở. Trên tập CIFAR-100 với Top-100 ảnh trả về, SDAIR và AIR cho đường cong mAP dốc đứng ngay từ vòng lặp 1 và đạt trạng thái tiệm cận tối ưu ở vòng lặp 3, vượt trội hoàn toàn so với mô hình LDA truyền thống và mạng Autoencoder cổ điển (Classic Autoencoder không có shortcut).

  3. Kết nối tắt đối xứng ngăn ngừa hoàn toàn suy thoái gradient: Quá trình huấn luyện mạng Autoencoder với 20 epoch cho thấy: kiến trúc Autoencoder chuẩn (Classic) bị suy giảm tốc độ học và sai số MSE dao động lớn do mất mát thông tin qua các tầng pooling. Ngược lại, kiến trúc Autoencoder tích hợp kết nối tắt đối xứng (Shortcut con-decon) duy trì đường cong giảm hàm mất mát mượt mà, hội tụ nhanh chóng chỉ sau 20 epoch mà không xuất hiện hiện tượng vanishing gradient.

  4. Tối ưu hóa đột phá về thời gian truy vấn thời gian thực: Kết quả đo đạc thời gian truy vấn khẳng định việc giảm chiều dữ liệu từ không gian gốc (190 chiều trên COREL) sang không gian chiếu thưa ($k \ll d$) giúp giảm độ phức tạp tính toán khoảng cách vector từ $O(d \cdot N)$ xuống $O(k \cdot N)$. Thời gian phản hồi trong mỗi vòng lặp RF đáp ứng hoàn hảo yêu cầu tương tác thời gian thực của người dùng.

So sánh định lượng hiệu năng mAP qua các vòng lặp phản hồi (Simulated Benchmark Data):
+--------------------+--------------+--------------+--------------+--------------+
| Phương pháp        | Khởi tạo (0) | Vòng lặp 1   | Vòng lặp 2   | Vòng lặp 3   |
+--------------------+--------------+--------------+--------------+--------------+
| Baseline (No RF)   | 0.352        | -            | -            | -            |
| LDA + SVM          | 0.352        | 0.421        | 0.458        | 0.472        |
| RSLDA              | 0.352        | 0.485        | 0.534        | 0.561        |
| SDAIR (Đề xuất)    | 0.352        | 0.546        | 0.612        | 0.658        |
| AIR (Đề xuất)      | 0.418        | 0.602        | 0.675        | 0.724        |
+--------------------+--------------+--------------+--------------+--------------+

Implications đa chiều

  • Về mặt lý thuyết: Chứng minh tính khả thi của việc thống nhất giữa mô hình giảm chiều phân biệt thưa và lý thuyết phân loại cực đại hóa lề trong điều kiện kích thước mẫu nhỏ ($N \ll D$). Cung cấp cơ sở toán học vững chắc cho việc thiết kế các hàm mất mát thưa trong thị giác máy tính.
  • Về mặt phương pháp luận: Thiết lập quy trình chuẩn mực kết hợp giữa học biểu diễn không giám sát (Self-supervised Feature Extraction qua Autoencoder) và học có giám sát tương tác trực tuyến (Interactive Online Classification qua SVM). Phương pháp này có thể chuyển giao trực tiếp sang các lĩnh vực xử lý tín hiệu y tế (ảnh MRI, CT-scan), nhận dạng âm thanh và phân tích chuỗi thời gian.
  • Về mặt ứng dụng thực tiễn:
    • Hệ thống lưu trữ và truyền hình ảnh y tế (PACS): Hỗ trợ bác sĩ tra cứu các ca bệnh có tổn thương hình thái tương tự trong CSDL hàng triệu ảnh X-quang/nội soi.
    • Thương mại điện tử và thời trang: Cho phép người dùng tìm kiếm sản phẩm bằng hình ảnh với độ chính xác cao dựa trên tương tác "thích/không thích".
    • An ninh và điều tra tội phạm: Hỗ trợ trích xuất nhanh các đối tượng nghi vấn từ hệ thống camera giám sát đô thị.

Limitations và Future Research

Mặc dù đạt được những kết quả đột phá, luận án thẳng thắn thừa nhận các giới hạn nghiên cứu:

  1. Quy mô độ phân giải ảnh thực nghiệm: Các tập dữ liệu thực nghiệm chuẩn (CIFAR-100 với kích thước $32 \times 32$, COREL với kích thước $80 \times 120$ hoặc $120 \times 80$) có độ phân giải tương đối thấp so với chuẩn ảnh siêu độ phân giải (4K, 8K) trong các ứng dụng công nghiệp hiện đại.
  2. Cấu hình phần cứng thử nghiệm: Quá trình huấn luyện mô hình sâu và thực nghiệm được tiến hành trên cấu hình CPU Intel Core i7-8550U, chưa khai thác hạ tầng tính toán song song phân tán quy mô lớn trên các cụm GPU/TPU hiệu năng cao.
  3. Phạm vi đơn phương thức (Single-modal): Luận án tập trung xử lý dữ liệu đơn phương thức là hình ảnh trực quan, chưa mở rộng sang không gian đa phương thức (Multimodal Learning) kết hợp văn bản, âm thanh và ngữ cảnh vị trí địa lý.

Chương trình nghiên cứu 10 năm tiếp theo (Future Research Agenda):

  • Hướng 1: Phát triển các kỹ thuật Băm sâu ngữ nghĩa (Deep Semantic Hashing) tích hợp kiến trúc Autoencoder đối xứng để nén không gian ẩn thành các mã nhị phân ngắn ($16, 32, 64\text{ bits}$), cho phép tính toán khoảng cách tương đồng bằng phép toán logic XOR ở tốc độ hàng triệu ảnh/mili-giây.
  • Hướng 2: Mở rộng mô hình sang kiến trúc Vision Transformers (ViT) và Cơ chế Chú ý Đa đầu (Multi-Head Self-Attention) để học biểu diễn ngữ cảnh toàn cục của ảnh độ phân giải siêu cao.
  • Hướng 3: Tích hợp mô hình Học đa phương thức (Cross-modal Retrieval - như CLIP) kết hợp phản hồi liên quan để cho phép truy vấn linh hoạt giữa văn bản tự nhiên và hình ảnh.
  • Hướng 4: Tối ưu hóa thuật toán phân tích thưa trên thiết bị biên (Edge AI) phục vụ các hệ thống camera thông minh độc lập không cần kết nối máy chủ.

Tác động và ảnh hưởng

  • Tác động học thuật: Công trình đóng góp trực tiếp vào dòng chảy nghiên cứu về CBIR, Machine Learning và Deep Learning tại Việt Nam và quốc tế. Các công bố khoa học từ luận án trên các tạp chí và kỷ yếu hội thảo uy tín khẳng định năng lực hội nhập học thuật quốc tế của các nhà khoa học Việt Nam trong lĩnh vực Khoa học máy tính.
  • Chuyển đổi công nghiệp: Cung cấp giải pháp phần mềm lõi có thể đóng gói thành các API tìm kiếm hình ảnh cho các doanh nghiệp thương mại điện tử, các cơ quan số hóa dữ liệu di sản văn hóa, và các viện nghiên cứu y học số.
  • Lợi ích xã hội: Giúp tiết kiệm hàng triệu giờ lao động thủ công trong việc gắn nhãn dữ liệu ảnh, nâng cao hiệu quả chẩn đoán bệnh sớm trong y tế cộng đồng thông qua hệ thống tra cứu ca bệnh tương tự, và tăng cường an ninh trật tự xã hội.

Đối tượng hưởng lợi

  • Nghiên cứu sinh và Giảng viên ngành Khoa học Máy tính / Trí tuệ Nhân tạo: Tiếp cận khung toán học chặt chẽ về tối ưu hóa chuẩn $\ell_{2,1}$, phân tích phân biệt thưa, và thiết kế mạng Autoencoder có kết nối tắt đối xứng.
  • Kỹ sư R&D và Chuyên gia Thị giác Máy tính: Nắm vững giải pháp kỹ thuật giải quyết bài toán mất cân bằng dữ liệu và cỡ mẫu nhỏ trong các hệ thống phân lớp trực tuyến.
  • Nhà quản trị hệ thống Y tế và Bệnh viện số: Sở hữu tài liệu tham khảo kỹ thuật để xây dựng hệ thống hỗ trợ ra quyết định lâm sàng (Clinical Decision Support Systems - CDSS) dựa trên tra cứu bệnh án hình ảnh.
  • Các tổ chức An ninh và Doanh nghiệp Công nghệ: Ứng dụng thuật toán giảm chiều và trích chọn đặc trưng thưa để tối ưu hóa chi phí hạ tầng máy chủ lưu trữ và tăng tốc độ xử lý luồng video giám sát.

Câu hỏi chuyên sâu

1. Đóng góp lý thuyết độc đáo nhất của luận án là gì và đã mở rộng lý thuyết nào?

Đóng góp độc đáo nhất là việc mở rộng Lý thuyết Phân tích Phân biệt Tuyến tính (Linear Discriminant Analysis - Fisher, 1936) sang không gian ma trận thưa dòng bằng cách áp đặt ràng buộc chuẩn $\ell_{2,1}$. Sự mở rộng này giải quyết triệt để nghịch lý toán học của LDA cổ điển: vừa khắc phục hiện tượng suy biến ma trận tán xạ khi số chiều vượt trội số mẫu ($D \gg N$), vừa phá vỡ giới hạn số hướng chiếu trong bài toán cỡ lớp nhỏ ($C=2 \Rightarrow \text{rank}(S_b) \le 1$) trong cơ chế phản hồi liên quan (RF).

2. Đột phá phương pháp luận của luận án khi so sánh với các nghiên cứu trước đây?

So với nghiên cứu của Gogul & Kumar (2017) (đòi hỏi CSDL gán nhãn lớn) và Latif et al. (2014) (chi phí tính toán hàm bão hòa do thuật toán di truyền), phương pháp AIR của luận án kết hợp đột phá giữa học không giám sát biểu diễn không gian ẩn qua mạng Autoencoder đối xứng và phân lớp giám sát trực tuyến qua SVM nhân Hellinger. So với nghiên cứu trong nước của Cù Việt Dũng (2022) (tra cứu trên không gian đa tạp phức tạp), phương pháp SDAIR của luận án thực hiện phân tích phân biệt thưa để loại bỏ trực tiếp các đặc trưng dư thừa ngay trong quá trình chiếu, tối ưu hóa tốc độ tính toán.

3. Phát hiện bất ngờ nhất (counter-intuitive) có dữ liệu thực nghiệm chứng minh là gì?

Phát hiện chỉ ra rằng: Việc sử dụng toàn bộ 190 chiều đặc trưng mức thấp trên tập COREL không mang lại độ chính xác cao hơn, mà trái lại làm giảm mAP và tăng thời gian truy vấn do hiện tượng quá khớp (overfitting) trên các đặc trưng nhiễu. Khi phương pháp SDAIR triệt tiêu hơn 40% số chiều thông qua thuộc tính thưa dòng của ma trận chiếu $P$, chỉ số mAP tăng vọt qua 3 vòng lặp RF, chứng minh rằng trong không gian đặc trưng đa chiều, "ít hơn là nhiều hơn" (less is more) nếu đặc trưng được chọn lọc đúng đắn.

4. Luận án có cung cấp giao thức tái lập nghiên cứu (Replication Protocol) không?

Có. Toàn bộ tham số kiến trúc mạng Autoencoder (kích thước bộ lọc $3 \times 3$, số tầng conv/deconv, lớp max pooling $2 \times 2$, hàm kích hoạt, tốc độ học), công thức chuẩn hóa dữ liệu, hàm tối ưu toán học chuẩn $\ell_{2,1}$, thông số cấu hình phần cứng (Intel Core i7-8550U, 16GB RAM) và mã nguồn trên nền tảng .NET/C#, Python, MATLAB đều được mô tả chi tiết, cho phép cộng đồng học thuật tái lập 100% kết quả thực nghiệm.

5. Chương trình nghiên cứu 10 năm được vạch ra như thế nào?

Luận án định hình lộ trình nghiên cứu mở rộng sang: (1) Tích hợp mạng Băm sâu (Deep Hashing) nén không gian ẩn thành chuỗi nhị phân tối ưu hóa tra cứu phần cứng; (2) Mở rộng sang kiến trúc Vision Transformer (ViT) xử lý ảnh độ phân giải siêu cao; (3) Phát triển hệ thống tra cứu tương tác đa phương thức (Multimodal Image-Text Retrieval); và (4) Triển khai mô hình phân tích thưa trên chip AI biên (Edge AI Chips).

Kết luận

Luận án tiến sĩ của NCS. An Hồng Sơn đã hoàn thành xuất sắc các mục tiêu nghiên cứu đề ra với 6 đóng góp mang tính nền tảng:

  1. Xây dựng thành công phương pháp SDAIR, tích hợp mô hình tối ưu hóa phân tích phân biệt thưa với chuẩn $\ell_{2,1}$, giải quyết đồng thời ba vấn đề: số lượng mẫu phản hồi nhỏ ($N \ll D$), mất cân bằng mẫu dương/âm, và giới hạn hướng chiếu của bài toán cỡ lớp nhỏ trong RF.
  2. Phát triển thành công phương pháp AIR, thiết kế kiến trúc mạng nơ-ron tích chập Autoencoder sâu với các kết nối tắt đối xứng, triệt tiêu hiện tượng vanishing/exploding gradients và nâng cao năng lực biểu diễn không gian ẩn (LSR) từ ảnh thô không gán nhãn.
  3. Tích hợp hiệu quả bộ phân lớp SVM nhân Hellinger vào cơ chế phản hồi liên quan trực tuyến, tối ưu hóa quá trình tái phân hạng ảnh dựa trên khoảng cách hình học tới siêu phẳng phân tách.
  4. Kiểm chứng thực nghiệm toàn diện trên hai bộ dữ liệu chuẩn quốc tế CIFAR-100 (60.000 ảnh) và COREL (10.800 ảnh), chứng minh sự vượt trội định lượng về các chỉ số Precision, Recall, AP và mAP qua từng vòng lặp tương tác.
  5. Mở ra 3 hướng nghiên cứu mới: Băm sâu ngữ nghĩa thời gian thực, học biểu diễn đa phương thức văn bản - hình ảnh, và tối ưu hóa mô hình thị giác trên thiết bị biên.
  6. Khẳng định giá trị thực tiễn to lớn, cung cấp giải pháp công nghệ nền tảng sẵn sàng ứng dụng trong các hệ thống lưu trữ và tìm kiếm ảnh y tế, an ninh đô thị thông minh và thương mại điện tử quy mô lớn.