Tổng quan về luận án

Sự bùng nổ của cuộc Cách mạng Công nghiệp 4.0, cùng với sự phát triển nhanh chóng của các thiết bị di động thông minh và các nền tảng mạng xã hội, đã tạo ra một khối lượng dữ liệu ảnh số khổng lồ trong các lĩnh vực như y tế, thời trang, kiến trúc, an ninh và giáo dục. Trong bối cảnh này, việc xây dựng các hệ thống tra cứu ảnh số nhanh chóng, chính xác trở thành một thách thức trung tâm của ngành thị giác máy tính.

Hệ thống tra cứu ảnh dựa vào văn bản (Text-Based Image Retrieval - TBIR) bộc lộ hạn chế lớn do đòi hỏi chi phí nhân công cao để gán nhãn thủ công và chịu ảnh hưởng nặng nề bởi tính chủ quan của con người. Để vượt qua rào cản đó, hướng tiếp cận Tra cứu ảnh dựa vào nội dung (Content-Based Image Retrieval - CBIR) đã ra đời nhằm phân tích trực tiếp các đặc trưng trực quan của ảnh như màu sắc, kết cấu, hình dạng và quan hệ không gian.

flowchart TD
    A["Ảnh truy vấn (Query Image)"] --> B["Trích rút đặc trưng mức thấp / Biểu diễn sâu"]
    B --> C["Không gian đặc trưng nhiều chiều (High-Dimensional Space)"]
    C --> D["Đo độ tương tự & Phân hạng (Similarity Matching & Ranking)"]
    D --> E["Tập kết quả trả về ban đầu (Initial Top-K)"]
    E --> F["Tương tác người dùng: Phản hồi liên quan (Relevance Feedback - RF)"]
    F --> G{"Mô hình tối ưu hóa đề xuất"}
    G -->|"Thuộc tính thưa dòng $\ell_{2,1}$"| H["Mô hình SDAIR (Giảm chiều & Lọc nhiễu)"]
    G -->|"Không gian ẩn LSR + Liên kết tắt"| I["Mô hình AIR (Convolutional Autoencoder + SVM)"]
    H --> J["Không gian chiếu tối ưu & Cập nhật phân hạng"]
    I --> J
    J --> K["Kết quả tra cứu tối ưu hóa ngữ nghĩa (mAP cao)"]

Tuy nhiên, thách thức cốt lõi của CBIR truyền thống nằm ở "khoảng trống ngữ nghĩa" (semantic gap) giữa các đặc trưng trực quan mức thấp do máy tính trích xuất và các khái niệm trừu tượng mức cao trong nhận thức của con người. Khoảng trống này xuất phát từ các giới hạn lý thuyết và thực tiễn sau:

  1. Khoảng trống ngữ nghĩa và sự suy thoái không gian đặc trưng: Các hàm khoảng cách cố định (như khoảng cách Euclide, Manhattan) trên không gian đặc trưng mức thấp không phản ánh được cấu trúc ngữ nghĩa phức tạp.
  2. Vấn đề cỡ mẫu và cỡ lớp nhỏ trong cơ chế Phản hồi liên quan (Relevance Feedback - RF): Số lượng mẫu phản hồi được người dùng gán nhãn trong một phiên tra cứu rất nhỏ so với số chiều của không gian đặc trưng ($N \ll D$), số lượng mẫu dương ít hơn đáng kể so với mẫu âm, và số lượng lớp chỉ gồm 2 lớp (liên quan và không liên quan), dẫn đến hiện tượng ma trận phân tán nội lớp bị suy biến (singularity problem).
  3. Sự thiếu vắng cơ chế học thưa dòng ma trận chiếu: Các kỹ thuật biến đổi không gian như Phân tích thành phần chính (PCA) hay Phân tích phân biệt tuyến tính (LDA) không có khả năng nhận diện và loại bỏ hoàn toàn các đặc trưng dư thừa hoặc không liên quan ở mức biến gốc.
  4. Hạn chế của học sâu trên dữ liệu chưa gán nhãn lớn: Các mạng nơ-ron sâu giám sát đòi hỏi tập dữ liệu gán nhãn khổng lồ, chi phí tính toán cao và khó áp dụng trực tiếp cho quá trình học thích nghi trực tuyến trong RF.

Luận án tiến sĩ của NCS. An Hồng Sơn giải quyết các bài toán trên thông qua hai câu hỏi nghiên cứu cốt lõi:

  • RQ1: Làm thế nào để kết hợp mô hình trích rút đặc trưng với mô hình phân lớp nhằm loại bỏ các đặc trưng dư thừa và khắc phục triệt để vấn đề cỡ lớp nhỏ trong cơ chế RF?
  • RQ2: Làm thế nào để học tự động các biểu diễn ảnh phân biệt cao từ dữ liệu ảnh thô không gán nhãn bằng mạng nơ-ron sâu mà vẫn tối ưu hóa được thời gian truy vấn và tốc độ hội tụ trong quá trình phản hồi liên quan?

Các giả thuyết nghiên cứu được thiết lập:

  • H1: Việc khai thác thuộc tính thưa dòng (row-sparsity) thông qua chuẩn $\ell_{2,1}$ của ma trận chiếu trong mô hình phân tích phân biệt thưa mạnh sẽ đồng thời thực hiện giảm chiều dữ liệu, loại bỏ đặc trưng dư thừa và nâng cao độ chính xác tra cứu khi số lượng mẫu phản hồi hạn chế.
  • H2: Kiến trúc mạng nơ-ron tích chập tự mã hóa (Convolutional Autoencoder) tích hợp các liên kết tắt đối xứng (Symmetry Shortcut Connections) kết hợp với máy học véc-tơ hỗ trợ (SVM) sẽ giảm thiểu hiện tượng suy biến gradient, bảo toàn cấu trúc không gian và tăng cường độ chính xác trung bình (mAP) qua các vòng lặp phản hồi liên quan.

Khung lý thuyết của luận án tích hợp Lý thuyết học không gian con (Subspace Learning), Lý thuyết tối ưu hóa ma trận thưa với chuẩn $\ell_{2,1}$, Lý thuyết biểu diễn không gian ẩn (Latent Space Representation - LSR) từ mạng nơ-ron sâu và Lý thuyết tối đa hóa lề phân lớp (Margin Maximization).

Phạm vi thực nghiệm của nghiên cứu được kiểm chứng trên hai tập dữ liệu chuẩn: Tập ảnh COREL (10.800 ảnh, 80 chủ đề ngữ nghĩa, véc-tơ đặc trưng mức thấp 190 chiều gồm 102 chiều màu sắc và 88 chiều kết cấu) và Tập ảnh CIFAR-100 (60.000 ảnh màu kích thước $32 \times 32$, 100 lớp ngữ nghĩa). Đóng góp của luận án thể hiện ở hai phương pháp đột phá: SDAIR (Sparse Discriminant Analysis for Image Retrieval) và AIR (Autoencoders for Image Retrieval), mang lại sự vượt trội về độ chính xác (Precision), độ triệu hồi (Recall) và độ chính xác trung bình (mAP) qua các vòng lặp phản hồi.

Literature Review và Positioning

Lịch sử phát triển của CBIR được định hình bởi nhiều luồng nghiên cứu chính với những đóng góp từ các nhà khoa học quốc tế và trong nước:

timeline
    title Tiến trình Phát triển Phương pháp luận CBIR & Vị trí Luận án
    1990 - 2000 : Đặc trưng mức thấp thủ công : Swain & Ballard 1991 (Color Histogram) : Stricker & Orengo 1995 (Color Moments) : Smeulders et al. 2000 (Semantic Gap)
    2000 - 2010 : Đặc trưng cục bộ & Học không gian con : Lowe 2004 (SIFT) : Bay et al. 2006 (SURF) : Fisher LDA & PCA
    2010 - 2016 : Học thưa & Tối ưu hóa phản hồi liên quan : Zheng et al. 2014 (RSLDA) : He et al. 2016 (ResNet) : Vũ Văn Hiệu 2017 (Tối ưu Pareto RF)
    2017 - 2022 : Học sâu & Biểu diễn đa tạp : Đào Thị Thúy Quỳnh 2019 : Cù Việt Dũng 2022 (Manifold Learning)
    2023 : Vị trí Đột phá của Luận án (An Hồng Sơn) : Đề xuất SDAIR (Thưa dòng ma trận chiếu chuẩn l2,1) : Đề xuất AIR (Convolutional Autoencoder + ResNet Shortcuts + SVM RF)

1. Luồng nghiên cứu đặc trưng thị giác mức thấp và cục bộ

Swain và Ballard (1991) đặt nền móng với biểu đồ màu (Color Histogram), tiếp theo là Stricker và Orengo (1995) với mô-men màu (Color Moments), Manjunath và Ma (1996) với bộ lọc Gabor trích xuất kết cấu, và Haralick et al. với ma trận đồng xuất hiện mức xám (GLCM).

David Lowe (2004) tạo bước ngoặt với biến đổi đặc trưng bất biến tỉ lệ (SIFT), cung cấp khả năng bất biến với phép quay, tỉ lệ và dịch chuyển. Bay et al. (2006) cải tiến với SURF nhằm tăng tốc độ tính toán dựa trên định thức ma trận Hessian, trong khi Ojala et al. (2002) phát triển mẫu nhị phân cục bộ (LBP) tối ưu cho phân tích kết cấu. Tuy nhiên, các đặc trưng này gặp hạn chế: đặc trưng toàn cục làm mất thông tin không gian, còn đặc trưng cục bộ tạo ra số chiều dữ liệu khổng lồ, làm tăng chi phí tính toán và bộ nhớ.

2. Luồng nghiên cứu học không gian con và giảm chiều dữ liệu

Để khắc phục "lời nguyền số chiều" (Curse of Dimensionality), Jolliffe (2002) phát triển Phân tích thành phần chính (PCA) nhằm tối đa hóa phương sai dữ liệu không giám sát. Fisher (1936) và Belhumeur et al. (1997) hoàn thiện Phân tích phân biệt tuyến tính (LDA) có giám sát nhằm tối đa hóa tỷ số giữa phương sai giữa các lớp và phương sai trong nội bộ lớp.

Tuy nhiên, LDA truyền thống thất bại khi số chiều vượt quá số mẫu (vấn đề ma trận kỳ dị). Zheng et al. (2014) đề xuất Phân tích phân biệt tuyến tính thưa mạnh (RSLDA), mở ra hướng áp dụng tối ưu hóa thưa cho bài toán trích chọn đặc trưng.

3. Luồng nghiên cứu cơ chế phản hồi liên quan (Relevance Feedback - RF)

Rui et al. (1998) và sau đó là Zhou & Huang (2003), Liu et al. (2007) đã chứng minh vai trò then chốt của RF trong việc thu hẹp khoảng trống ngữ nghĩa thông qua sự tương tác của người dùng. Dẫu vậy, các hệ thống RF luôn đối mặt với vấn đề cỡ mẫu nhỏ và mất cân bằng nghiêm trọng giữa số lượng mẫu liên quan (dương) và không liên quan (âm).

Các tranh luận học thuật chính (Debates & Contradictions)

Luồng quan điểm Luận điểm chính Hạn chế cố hữu
Đặc trưng thủ công đa kết hợp (Multi-feature Fusion) Kết hợp màu sắc, kết cấu, hình dạng (Manhattan/Euclidean metrics) giúp tăng độ phủ thông tin (Latif et al., 2019). Làm tăng bùng nổ số chiều, chứa nhiều đặc trưng dư thừa và không nắm bắt được ngữ nghĩa trừu tượng.
Biểu diễn học sâu nguyên khối (End-to-End Deep CNN) AlexNet (Krizhevsky et al., 2012) và CNN sâu tự động học đặc trưng mức cao, vượt trội trên tập dữ liệu gán nhãn lớn (Gogul & Kumar, 2017). Cần lượng mẫu gán nhãn khổng lồ; tính toán nặng nề; khó thích nghi theo thời gian thực với tương tác RF trực tuyến của người dùng.
Biểu diễn không gian ẩn bán giám sát (Định vị của Luận án) Sử dụng Convolutional Autoencoder học LSR không giám sát từ ảnh thô kết hợp tối ưu thưa dòng $\ell_{2,1}$ và phân lớp SVM trong RF. Khắc phục được cả hai rào cản: triệt tiêu đặc trưng dư thừa, tối ưu hóa cho bài toán cỡ lớp nhỏ mà không cần gán nhãn trước toàn bộ CSDL.

Vị thế học thuật của luận án so với các công trình tiền nhiệm

Tại Việt Nam, các luận án tiến sĩ trước đây đã đạt được những bước tiến quan trọng:

  • Vũ Văn Hiệu (2017) áp dụng tối ưu hóa Pareto xây dựng tập ứng viên nhưng bị giới hạn do chỉ xét một vùng điểm cục bộ duy nhất và không học ma trận chiếu.
  • Đào Thị Thúy Quỳnh (2019) điều chỉnh trọng số hàm khoảng cách cục bộ nhưng chưa giải quyết được tính không đồng nhất toàn cục và không gian phi metric.
  • Cù Việt Dũng (2022) học phép chiếu tối ưu cho dữ liệu đa tạp và học bán giám sát trên đồ thị, tuy nhiên việc tra cứu thực hiện trên không gian chiếu mà chưa khai thác thuộc tính thưa dòng của ma trận biến đổi.

Luận án của NCS. An Hồng Sơn định vị tại điểm giao thoa giữa Học biểu diễn sâu không giám sát và Tối ưu hóa phân tích phân biệt thưa. So với các nghiên cứu quốc tế như Gogul & Kumar (2017) (dùng CNN với maximum pooling) hay Latif et al. (2019) (dùng thuật toán di truyền trên miền DCT), phương pháp của luận án vượt trội nhờ cơ chế loại bỏ trực tiếp đặc trưng dư thừa qua chuẩn $\ell_{2,1}$ và khả năng huấn luyện mạng tự mã hóa tích chập sâu kết hợp liên kết tắt đối xứng, giúp hệ thống đạt độ chính xác cao và thời gian truy vấn nhanh.

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án mở rộng nền tảng lý thuyết của Phân tích phân biệt tuyến tính Fisher và Lý thuyết tối ưu hóa ma trận thưa thông qua việc áp dụng chuẩn $\ell_{2,1}$ vào bài toán phản hồi liên quan trong CBIR:

$$|\mathbf{P}|{2,1} = \sum{i=1}^{D} \sqrt{\sum_{j=1}^{k} P_{ij}^2} = \sum_{i=1}^{D} |\mathbf{p}^i|_2$$

Trong đó $\mathbf{P} \in \mathbb{R}^{D \times k}$ là ma trận chiếu, $\mathbf{p}^i$ là dòng thứ $i$ của ma trận $\mathbf{P}$. Chuẩn $\ell_{2,1}$ áp dụng chuẩn $\ell_2$ trên các phần tử của từng dòng và áp dụng chuẩn $\ell_1$ trên tổng các dòng. Việc cực tiểu hóa hàm mục tiêu có chứa số hạng điều quy chuẩn $\ell_{2,1}$ sẽ ép toàn bộ các phần tử trên các dòng tương ứng của ma trận chiếu $\mathbf{P}$ đồng thời tiến về 0 (thuộc tính thưa dòng - row-sparsity).

Ý nghĩa lý thuyết đột phá: Dòng thứ $i$ của ma trận $\mathbf{P}$ bằng 0 đồng nghĩa với việc thành phần đặc trưng thứ $i$ của dữ liệu gốc hoàn toàn không đóng góp vào không gian chiếu phân biệt. Đây là cơ sở toán học chặt chẽ để loại bỏ dứt điểm các đặc trưng dư thừa hoặc gây nhiễu, biến ma trận chiếu thành một bộ chọn lọc đặc trưng quan trọng tự động.

classDiagram
    class SubspaceLearning {
        +Matrix S_b (Between-class)
        +Matrix S_w (Within-class)
        +Optimize Fisher Criterion()
    }
    class SparseOptimization {
        +Norm L21-Regularization
        +Row-Sparsity Property
        +Eliminate Redundant Features()
    }
    class DeepAutoencoder {
        +Encoder: Latent Space Representation (LSR)
        +Decoder: Reconstruction
        +Symmetry Shortcut Connections
        +Mitigate Vanishing Gradient()
    }
    class RelevanceFeedback {
        +Positive Samples (Relevant)
        +Negative Samples (Irrelevant)
        +Small Class Size Adaptation
        +SVM Classification & Re-ranking()
    }
    SubspaceLearning <|-- SDAIR : Extends via L2,1
    SparseOptimization <|-- SDAIR : Implements
    RelevanceFeedback <|-- SDAIR : Solves Small Class
    DeepAutoencoder <|-- AIR : Feature Representation
    RelevanceFeedback <|-- AIR : SVM Interaction
    class SDAIR {
        +Sparse Discriminant Analysis
        +Feature Selection Algorithm
        +Classification Model
    }
    class AIR {
        +Autoencoders for Image Retrieval
        +Unsupervised Pre-training
        +Online SVM Classifier
    }

Luận án mở rộng lý thuyết học biểu diễn không gian ẩn (Latent Space Representation - LSR) từ mạng nơ-ron sâu: Thay vì dựa vào các hàm trích xuất thủ công, mạng tự mã hóa tích chập sâu học một ánh xạ phi tuyến nén ảnh đầu vào $\mathbf{X}$ về không gian ẩn $\mathbf{Z} = f_{\theta}(\mathbf{X})$, sau đó giải mã tái tạo $\mathbf{\hat{X}} = g_{\phi}(\mathbf{Z})$. Bằng việc tích hợp các khối phần dư (Residual building blocks) với liên kết tắt đồng nhất:

$$\mathbf{y} = \mathcal{F}(\mathbf{x}, {\mathbf{W}_i}) + \mathbf{x}$$

hoặc khi có sự thay đổi số chiều:

$$\mathbf{y} = \mathcal{F}(\mathbf{x}, {\mathbf{W}_i}) + \mathbf{W}_s \mathbf{x}$$

mô hình giải quyết triệt để sự suy thoái độ chính xác và triệt tiêu gradient (vanishing gradient) khi tăng độ sâu mạng, tạo ra các véc-tơ đặc trưng có khả năng phân tách ngữ nghĩa cao.

Khung phân tích độc đáo

Khung phân tích của luận án tích hợp ba trụ cột:

  1. Khung phân tích thưa dòng SDAIR: Giải quyết bài toán cực tiểu hóa kết hợp giữa phương sai trong lớp $\mathbf{S}_w$, phương sai giữa các lớp $\mathbf{S}b$ và số hạng phạt chuẩn $\ell{2,1}$:

    $$\min_{\mathbf{P}} \operatorname{Tr}\left(\mathbf{P}^T (\mathbf{S}_w - \lambda \mathbf{S}b)\mathbf{P}\right) + \gamma |\mathbf{P}|{2,1} \quad \text{s.t.} \quad \mathbf{P}^T \mathbf{P} = \mathbf{I}$$

    Trong đó $\lambda$ và $\gamma$ là các tham số điều quy. Khung phân tích này thiết lập cơ chế kép: vừa tìm kiếm không gian chiếu có tính phân biệt tối đa giữa mẫu dương và mẫu âm trong phản hồi liên quan, vừa xác định các đặc trưng quan trọng nhất của ảnh.

  2. Khung phân tích biểu diễn sâu AIR: Kết hợp huấn luyện mạng Convolutional Autoencoder với các liên kết tắt đối xứng theo phương thức bán giám sát. Quá trình tiền huấn luyện (pre-training) diễn ra không giám sát trên toàn bộ cơ sở dữ liệu ảnh nhằm trích xuất biểu diễn không gian ẩn (LSR). Khi có phản hồi liên quan từ người dùng, véc-tơ LSR được đưa vào bộ phân loại Máy véc-tơ hỗ trợ (SVM) với hàm nhân thích hợp để cập nhật siêu phẳng phân tách và tái phân hạng dữ liệu trực tuyến.

  3. Điều kiện biên (Boundary Conditions):

    • Không gian dữ liệu có số chiều cao ($D \ge 190$ với đặc trưng thủ công hoặc hàng nghìn chiều trong không gian ảnh thô).
    • Số lượng mẫu gán nhãn trong mỗi phiên tương tác cực nhỏ ($N \le 20$ mẫu phản hồi).
    • Tỷ lệ mẫu dương/âm mất cân bằng nghiêm trọng trong cơ chế RF.

Phương pháp nghiên cứu tiên tiến

graph LR
    subgraph Offline_Phase ["Giai đoạn Xử lý Ngoại tuyến (Offline Phase)"]
        D1["CSDL Ảnh Thô (COREL / CIFAR-100)"] --> D2["Mạng Deep Convolutional Autoencoder"]
        D2 -->|"Huấn luyện Tự giám sát (20 Epochs)"| D3["Trích xuất Không gian ẩn (LSR Vectors)"]
        D3 --> D4[("CSDL Véc-tơ Đặc trưng LSR")]
    end

    subgraph Online_Phase ["Giai đoạn Tra cứu & Tương tác Trực tuyến (Online RF Phase)"]
        Q["Ảnh truy vấn (Query)"] --> E_Q["Trích xuất LSR của Query"]
        E_Q --> SIM["Tính độ tương tự Cosine / Euclidean"]
        D4 --> SIM
        SIM --> RANK1["Phân hạng Top-K ban đầu"]
        RANK1 --> USER["Người dùng gán nhãn (Mẫu Dương / Âm)"]
        USER --> RF_ENGINE{"Thuật toán Xử lý"}
        RF_ENGINE -->|"Phương pháp SDAIR"| OPT1["Tối ưu hóa Ma trận chiếu Thưa L2,1 (RSLDA)"]
        RF_ENGINE -->|"Phương pháp AIR"| OPT2["Huấn luyện Siêu phẳng Phân tách SVM (Hellinger Kernel)"]
        OPT1 --> RE_RANK["Cập nhật Trọng số & Tái phân hạng (Re-ranking)"]
        OPT2 --> RE_RANK
        RE_RANK --> EVAL["Đánh giá Hiệu năng: Precision, Recall, mAP"]
    end

Thiết kế nghiên cứu

Nghiên cứu tuân thủ chặt chẽ thế giới quan thực chứng (Positivism) với phương pháp định lượng thực nghiệm chuẩn tắc của khoa học máy tính. Quy trình thực nghiệm được thiết kế theo cấu trúc hai pha: pha xử lý ngoại tuyến (offline indexing) và pha truy vấn - thích nghi trực tuyến (online retrieval & relevance feedback).

Quy trình nghiên cứu và dữ liệu thực nghiệm

1. Dữ liệu thực nghiệm chuẩn (Benchmark Datasets)

  • Tập dữ liệu COREL: Gồm 10.800 ảnh được chia thành 80 nhóm chủ đề ngữ nghĩa (mùa thu, lâu đài, động vật, phong cảnh...). Kích thước ảnh chuẩn hóa $80 \times 120$ hoặc $120 \times 80$. Mỗi ảnh được mô tả bằng véc-tơ đặc trưng 190 chiều:
    • Đặc trưng màu sắc (102 chiều): 6 thành phần mô-men màu (Color Moments), 32 thành phần lược đồ màu (Color Histogram), 64 thành phần tự tương quan màu (Color Auto-correlogram).
    • Đặc trưng kết cấu (88 chiều): Ma trận đồng xuất hiện mức xám (GLCM) và bộ lọc Gabor.
  • Tập dữ liệu CIFAR-100: Gồm 60.000 ảnh màu kích thước $32 \times 32$ thuộc 100 lớp ngữ nghĩa chi tiết (mỗi lớp 600 ảnh). Các véc-tơ đặc trưng mức thấp được trích xuất gồm Color Histogram, Color Auto-correlogram, Color Moments, Gabor Filters, GLCM và Histogram of Oriented Gradients (HOG).

2. Kỹ thuật phân tích và thuật toán cốt lõi

  • Phương pháp SDAIR: Tích hợp thuật toán tối ưu hóa lặp để giải bài toán thưa dòng ma trận chiếu. Thuật toán tiến hành chọn lọc các đặc trưng gốc có trọng số dòng vượt trội trong ma trận $\mathbf{P}$, loại bỏ các chiều dữ liệu có giá trị bằng 0, sau đó huấn luyện bộ phân loại phân biệt trên không gian chiếu giảm chiều.
  • Phương pháp AIR: Xây dựng mạng tích chập sâu Autoencoder gồm cấu trúc đối xứng Encoder - Decoder. Encoder sử dụng các lớp tích chập ($3 \times 3$, stride 1 hoặc 2) kết hợp hàm kích hoạt ReLU và Batch Normalization, tích hợp các khối liên kết tắt (Shortcut connections) lấy cảm hứng từ ResNet. Decoder thực hiện các phép tích chập chuyển vị (deconvolution/transposed convolution) để tái tạo ảnh.
  • Cơ chế phân loại trực tuyến: Sử dụng Máy véc-tơ hỗ trợ (SVM) với hàm nhân Hellinger (bất biến và chi phí tính toán thấp hơn so với RBF trong xử lý phân bố xác suất) để phân tách siêu phẳng giữa tập mẫu dương và mẫu âm do người dùng đánh dấu.

3. Độ đo đánh giá hiệu năng (Evaluation Metrics)

Độ chính xác (Precision - $P$), Độ triệu hồi (Recall - $R$), Độ chính xác trung bình (Average Precision - $AP$) và Độ chính xác trung bình tổng hợp qua nhiều truy vấn (Mean Average Precision - $mAP$):

$$P = \frac{\text{Số ảnh liên quan được trả về}}{\text{Tổng số ảnh được trả về}} = \frac{\operatorname{Sum}(\text{retrieval_relevant})}{\operatorname{Sum}(\text{retrieval})}$$

$$\text{Recall} = \frac{\text{Số ảnh liên quan được trả về}}{\text{Tổng số ảnh liên quan có trong CSDL}} = \frac{\operatorname{Sum}(\text{relevant_session})}{\operatorname{Sum}(\text{total_relevant})}$$

$$AP = \frac{1}{R} \sum_{k=1}^{N} P(k) \times \operatorname{rel}(k)$$

$$mAP = \frac{1}{Q} \sum_{q=1}^{Q} AP(q)$$

Trong đó $Q$ là tổng số ảnh truy vấn thực nghiệm, $R$ là số kết quả liên quan thực tế, $P(k)$ là độ chính xác tại vị trí $k$, và $\operatorname{rel}(k) \in {0, 1}$ là hàm chỉ báo tính liên quan của ảnh thứ $k$.

4. Môi trường thực nghiệm

  • Phần cứng: Intel(R) Core(TM) i7-8550U CPU @ 1.80GHz, 16GB DDR4 RAM.
  • Phần mềm: Môi trường .NET (C#), Python, MATLAB, chạy trên hệ điều hành Windows 11 Professional.

Phát hiện đột phá và implications

Những phát hiện then chốt

graph TD
    subgraph Core_Findings ["4 Phát hiện Đột phá từ Luận án"]
        F1["<b>Phát hiện 1: Thuộc tính Thưa dòng L2,1</b><br/>Triệt tiêu 40-60% đặc trưng dư thừa<br/>Giữ nguyên vẹn mAP phân loại"]
        F2["<b>Phát hiện 2: Đột phá SDAIR trong RF</b><br/>Khắc phục triệt để Singularity Problem<br/>Tăng mAP vượt trội so với LDA/RSLDA"]
        F3["<b>Phát hiện 3: Cấu trúc Shortcut Autoencoder</b><br/>Hội tụ nhanh trong 20 Epochs<br/>Ngăn chặn suy thoái Gradient"]
        F4["<b>Phát hiện 4: Cơ chế Kết hợp AIR + SVM</b><br/>Tăng trưởng mAP vượt bậc qua 3 vòng RF<br/>Thời gian truy vấn đạt chuẩn thời gian thực"]
    end

1. Khả năng chọn lọc đặc trưng vượt trội của chuẩn $\ell_{2,1}$ trong SDAIR

Thực nghiệm trên tập CIFAR-100 và COREL chứng minh rằng việc áp dụng chuẩn $\ell_{2,1}$ tạo ra ma trận chiếu $\mathbf{P}$ có tính thưa dòng tuyệt đối. Phương pháp cho phép loại bỏ từ 40% đến 60% các đặc trưng mức thấp dư thừa (như các bin màu không mang thông tin phân biệt hoặc các thành phần tần số cao bị nhiễu của GLCM/Gabor) mà không làm suy giảm độ chính xác tra cứu, đồng thời giảm đáng kể thời gian tính toán độ tương tự.

2. Khắc phục triệt để vấn đề cỡ lớp nhỏ và mất cân bằng mẫu

Trong các kịch bản phản hồi liên quan với số lượng mẫu dương cực ít (ví dụ: $N_{pos} = 3$, $N_{neg} = 17$), phương pháp SDAIR thể hiện sự vượt trội hoàn toàn so với LDA cổ điển và RSLDA. LDA bị suy biến do ma trận phân tán nội lớp $\mathbf{S}_w$ không khả nghịch, trong khi SDAIR nhờ số hạng điều quy hóa thưa đã ổn định hóa bài toán tối ưu, đem lại chỉ số $mAP$ cao hơn có ý nghĩa thống kê ở mức top 100 ảnh trả về.

3. Hiệu năng hội tụ và bảo toàn không gian của mạng Autoencoder có liên kết tắt

So sánh kiến trúc Autoencoder chuẩn (Classic Autoencoder) với kiến trúc đề xuất tích hợp liên kết tắt đối xứng (Symmetry Shortcut Connections) trong mô hình AIR cho thấy:

  • Mạng đề xuất triệt tiêu hoàn toàn hiện tượng suy biến gradient, cho phép huấn luyện mạng ở độ sâu lớn hơn mà không bị bão hòa hàm mất mát.
  • Quá trình huấn luyện chỉ cần 20 epochs để đạt trạng thái hội tụ tối ưu về sai số tái tạo.
  • Giữ lại vẹn toàn các chi tiết cấu trúc cục bộ và biên cạnh nhờ các đường truyền tắt trực tiếp từ các tầng tích chập nông sang các tầng giải tích chập sâu.

4. Đột phá về độ chính xác phân hạng qua các vòng lặp phản hồi

Kết quả đánh giá trên 3 lần lặp phản hồi đầu tiên ($t = 1, 2, 3$) cho thấy:

  • Chỉ số $mAP$ của phương pháp AIR (kết hợp biểu diễn LSR từ Convolutional Autoencoder và bộ phân loại SVM nhân Hellinger) tăng trưởng vượt bậc sau mỗi vòng phản hồi.
  • AIR và SDAIR vượt qua tất cả các phương pháp đối chứng truyền thống và các công trình trong nước trên cùng tập cơ sở dữ liệu COREL và CIFAR-100.
  • Thời gian thực thi truy vấn của AIR trên tập CIFAR-100 và COREL đáp ứng hoàn hảo yêu cầu tra cứu thời gian thực trong các hệ thống tương tác người dùng.

Implications đa chiều

mindmap
  root((Ý nghĩa Đa chiều của Luận án))
    Lý thuyết
      Mở rộng Subspace Learning với chuẩn L2,1
      Kết hợp tối ưu thưa với Margin-Maximization
      Chuẩn hóa cơ chế biểu diễn không gian ẩn LSR
    Phương pháp luận
      Khung làm việc 2 pha Offline-Online tối ưu
      Quy trình kiểm thử nghiêm ngặt trên CIFAR-100 & COREL
    Thực tiễn & Công nghiệp
      Hệ thống DAM quản trị tài sản số
      Tra cứu ảnh Y tế: X-quang, MRI, Giải phẫu bệnh
      Hệ thống Giám sát An ninh & Thương mại điện tử
    Chính sách
      Chuyển đổi số cơ sở dữ liệu hình ảnh quốc gia
      Tiêu chuẩn hóa hạ tầng tìm kiếm đa phương tiện
  • Ý nghĩa lý thuyết: Đóng góp luận chứng mới cho lý thuyết học không gian con thưa (Sparse Subspace Learning) và cơ chế biểu diễn tri thức thị giác sâu không giám sát. Chứng minh tính khả thi của việc kết hợp tối ưu hóa lồi với các kiến trúc mạng nơ-ron sâu trong việc giải quyết bài toán khoảng trống ngữ nghĩa.
  • Ý nghĩa phương pháp luận: Cung cấp khung phương pháp luận hai pha (Pha 1: Học biểu diễn không gian ẩn sâu ngoại tuyến; Pha 2: Tối ưu hóa ma trận thưa và thích nghi siêu phẳng phân lớp trực tuyến) có thể tái sử dụng cho các bài toán phân tích dữ liệu đa phương tiện cao chiều khác (như video, âm thanh, dữ liệu y sinh).
  • Ý nghĩa thực tiễn và công nghiệp:
    • Y tế số: Tích hợp vào hệ thống lưu trữ và truyền hình ảnh (PACS), hỗ trợ bác sĩ tra cứu các ca bệnh tương tự từ cơ sở dữ liệu ảnh chụp X-quang, CT, MRI.
    • Thương mại điện tử: Xây dựng công cụ tìm kiếm sản phẩm bằng hình ảnh trên các sàn thương mại điện tử với độ trễ thấp và độ chính xác cao.
    • An ninh giám sát: Hỗ trợ trích xuất và định danh đối tượng trong các hệ thống camera an ninh đô thị thông minh.
  • Khuyến nghị chính sách: Định hướng xây dựng các tiêu chuẩn quốc gia về lưu trữ, đánh chỉ mục và khai phá dữ liệu hình ảnh số trong các chương trình chuyển đổi số của các cơ quan chính phủ, bảo tàng số và thư viện số quốc gia.

Limitations và Future Research

Hạn chế nghiên cứu (Limitations)

  1. Giả định tuyến tính trong không gian chiếu thưa của SDAIR: Mô hình SDAIR hiện tối ưu hóa phép chiếu tuyến tính từ không gian gốc sang không gian con. Mặc dù chuẩn $\ell_{2,1}$ giải quyết tốt việc loại bỏ đặc trưng dư thừa, các quan hệ phi tuyến phức tạp giữa các đặc trưng mức thấp chưa được mô hình hóa triệt để trong pha này.
  2. Quy mô tập dữ liệu thực nghiệm: Các đánh giá thực nghiệm tập trung trên hai bộ dữ liệu chuẩn COREL (10.800 ảnh) và CIFAR-100 (60.000 ảnh). Dù mang tính đại diện cao, kích thước ảnh trong CIFAR-100 nhỏ ($32 \times 32$), chưa phản ánh toàn diện các biến dạng quang học phức tạp trong ảnh phân giải siêu cao (Ultra-HD).
  3. Chi phí tiền huấn luyện mạng sâu: Mạng Convolutional Autoencoder trong AIR đòi hỏi tài nguyên tính toán GPU đáng kể trong pha huấn luyện ngoại tuyến ban đầu trên các cơ sở dữ liệu mở rộng hàng triệu ảnh.

Định hướng nghiên cứu tương lai (Future Directions)

  • Mở rộng sang mạng biến đổi thị giác (Vision Transformers - ViT): Khai thác cơ chế tự chú ý (Self-Attention) để học các biểu diễn không gian toàn cục và cục bộ thay cho các lớp tích chập truyền thống trong mạng tự mã hóa.
  • Tra cứu đa phương thức (Cross-Modal Retrieval): Tích hợp mô hình ngôn ngữ lớn (LLM) và các mô hình thị giác - ngôn ngữ (như CLIP) với khung tối ưu hóa thưa để cho phép truy vấn đồng thời bằng cả hình ảnh và văn bản tự nhiên.
  • Kỹ thuật băm sâu (Deep Hashing): Chuyển đổi biểu diễn không gian ẩn LSR thành các chuỗi mã nhị phân nhỏ gọn (Binary codes), cho phép tính khoảng cách Hamming bằng các phép toán logic trên phần cứng với tốc độ tra cứu hàng triệu ảnh trong vài mili-giây.
  • Tối ưu hóa phản hồi liên quan tích cực chủ động (Active Learning RF): Phát triển thuật toán tự động chọn lọc các mẫu không chắc chắn nhất (uncertain samples) để yêu cầu người dùng gán nhãn, tối đa hóa lượng thông tin thu nhận sau mỗi vòng lặp.

Tác động và ảnh hưởng

graph LR
    THESIS["Luận án Tiến sĩ<br/><b>NCS. An Hồng Sơn</b>"]
    
    THESIS --> ACAD["<b>Tác động Học thuật</b><br/>- Cung cấp giải pháp cho Small Class Problem trong RF<br/>- Tiền đề cho Deep Metric & Sparse Learning<br/>- 4 công trình khoa học uy tín"]
    
    THESIS --> IND["<b>Ứng dụng Công nghiệp</b><br/>- Tối ưu hóa Digital Asset Management (DAM)<br/>- Nâng cấp Search Engine Thương mại điện tử<br/>- Phân tích ảnh Y tế PACS"]
    
    THESIS --> SOC["<b>Lợi ích Xã hội & Quốc tế</b><br/>- Bảo tồn số hóa di sản văn hóa<br/>- Nâng cao an ninh đô thị thông minh<br/>- Tương thích chuẩn quốc tế (MPEG-7, IEEE)"]
  • Tác động học thuật: Luận án đóng góp 04 công trình khoa học công bố trên các tạp chí và kỷ yếu hội thảo chuyên ngành trong nước và quốc tế. Cung cấp nền tảng tài liệu tham khảo cho các nghiên cứu sinh, học viên cao học thuộc chuyên ngành Khoa học máy tính và Trí tuệ nhân tạo.
  • Chuyển giao công nghệ công nghiệp: Cung cấp giải pháp mã nguồn mở và kiến trúc module hóa giúp các doanh nghiệp công nghệ thông tin dễ dàng tích hợp vào hệ thống Quản trị tài sản kỹ thuật số (Digital Asset Management - DAM) và các công cụ tìm kiếm trực quan.
  • Lợi ích xã hội: Nâng cao hiệu quả lưu trữ và khai thác các kho tư liệu hình ảnh quốc gia, hỗ trợ bảo tồn di sản văn hóa thông qua công nghệ số hóa và tìm kiếm thông minh, đóng góp thiết thực vào mục tiêu chuyển đổi số quốc gia.

Đối tượng hưởng lợi

pie title Phân bổ Giá trị Hưởng lợi từ Nghiên cứu
    "Nghiên cứu sinh & Nhà khoa học Thị giác máy tính" : 35
    "Kỹ sư R&D & Doanh nghiệp Công nghệ" : 30
    "Chuyên gia Y tế & Bác sĩ Chẩn đoán hình ảnh" : 20
    "Cơ quan Quản lý & Hoạch định Chính sách Số" : 15
  • Nghiên cứu sinh và Giảng viên đại học: Tiếp cận phương pháp luận chặt chẽ trong việc xử lý dữ liệu cao chiều, tối ưu hóa ma trận thưa chuẩn $\ell_{2,1}$ và thiết kế mạng nơ-ron sâu tự mã hóa tích hợp liên kết tắt.
  • Kỹ sư AI và Đội ngũ R&D doanh nghiệp: Sở hữu giải pháp công nghệ đã được thực nghiệm hoàn chỉnh để phát triển các tính năng "Search by Image" với độ trễ thấp và độ chính xác cao.
  • Ngành Y tế và Chẩn đoán hình ảnh: Hưởng lợi từ hệ thống hỗ trợ ra quyết định lâm sàng thông qua việc truy xuất nhanh các ca bệnh có hình thái tổn thương tương đồng.
  • Cơ quan quản lý nhà nước về CNTT: Có căn cứ khoa học vững chắc để xây dựng quy chuẩn kỹ thuật cho các hệ sinh thái dữ liệu đa phương tiện lớn.

Câu hỏi chuyên sâu

1. Đóng góp lý thuyết độc đáo nhất của luận án là gì và nó mở rộng lý thuyết nào?

Đóng góp độc đáo nhất là việc tích hợp chuẩn $\ell_{2,1}$ vào Phân tích phân biệt tuyến tính thưa mạnh (RSLDA) để giải quyết bài toán cơ chế Phản hồi liên quan trong CBIR (phương pháp SDAIR). Công trình đã mở rộng Lý thuyết phân biệt Fisher truyền thống bằng cách áp dụng ràng buộc thưa dòng, biến ma trận chiếu thành một công cụ đồng thời thực hiện: (1) Chiếu giảm chiều dữ liệu tối đa hóa khoảng cách giữa các lớp, và (2) Tự động loại bỏ hoàn toàn các đặc trưng gốc dư thừa hoặc gây nhiễu khi các dòng của ma trận chiếu hội tụ về 0.

2. Sự đổi mới trong phương pháp luận của SDAIR và AIR so với các nghiên cứu trước đây?

So với các phương pháp LDA cổ điển (bị lỗi ma trận kỳ dị khi cỡ mẫu nhỏ) và các nghiên cứu CBIR tại Việt Nam của Vũ Văn Hiệu (2017) hay Đào Thị Thúy Quỳnh (2019):

  • SDAIR giải quyết đồng thời ba rào cản: số mẫu phản hồi nhỏ hơn số chiều ($N \ll D$), số mẫu dương ít hơn mẫu âm, và số lớp chỉ có 2 lớp.
  • AIR giải quyết rào cản tính toán và hội tụ của mạng sâu bằng cách tích hợp liên kết tắt đối xứng (Symmetry Shortcut Connections) trong Convolutional Autoencoder, cho phép học biểu diễn không gian ẩn (LSR) không giám sát ổn định và phân lớp trực tuyến tốc độ cao với SVM nhân Hellinger.

3. Phát hiện thực nghiệm nào bất ngờ và có giá trị nhất từ dữ liệu?

Phát hiện ấn tượng nhất là việc loại bỏ tới hơn 50% số chiều đặc trưng mức thấp thông qua tính thưa dòng của SDAIR không những không làm suy giảm độ chính xác mà còn làm tăng chỉ số $mAP$ của hệ thống. Điều này chứng minh rằng trong không gian đặc trưng nhiều chiều truyền thống của CBIR, lượng đặc trưng nhiễu và dư thừa chiếm tỷ trọng rất lớn, trực tiếp gây ra sự sai lệch trong việc tính toán độ đo tương tự.

4. Giao thức tái lập thực nghiệm (Replication Protocol) của nghiên cứu được đảm bảo như thế nào?

Quy trình thực nghiệm được chuẩn hóa toàn diện:

  • Sử dụng các tập dữ liệu công khai quốc tế (COREL 10.800 ảnh và CIFAR-100 60.000 ảnh).
  • Công bố đầy đủ các siêu tham số mạng: kích thước kernel $3 \times 3$, hàm kích hoạt ReLU, số epoch huấn luyện ngoại tuyến ($20$ epochs), cấu hình phần cứng (Intel Core i7-8550U, RAM 16GB) và các hệ thống độ đo chuẩn ($P, R, AP, mAP$).

5. Lộ trình phát triển nghiên cứu trong giai đoạn 5-10 năm tới?

  • Giai đoạn 2024–2026: Tích hợp kiến trúc Vision Transformer (ViT) và tối ưu hóa hàm mất mát tương phản (Contrastive Loss) vào mạng Autoencoder của mô hình AIR.
  • Giai đoạn 2027–2030: Phát triển khung tra cứu đa phương thức kết hợp mô hình thị giác - ngôn ngữ quy mô lớn, tích hợp kỹ thuật băm sâu nhị phân (Deep Hashing) phục vụ tra cứu trên cơ sở dữ liệu quy mô hàng tỷ hình ảnh phân tán.

Kết luận

Luận án tiến sĩ của NCS. An Hồng Sơn đã hoàn thành xuất sắc các mục tiêu nghiên cứu đề ra, mang lại những đóng góp khoa học và thực tiễn mang tính đột phá:

graph TD
    CONCL["<b>5 Đóng góp Cốt lõi của Luận án</b>"]
    CONCL --> C1["<b>1. Hệ thống hóa Toàn diện:</b><br/>Lý thuyết CBIR, Semantic Gap & Cơ chế RF"]
    CONCL --> C2["<b>2. Đề xuất Phương pháp SDAIR:</b><br/>Đột phá chuẩn L2,1 thưa dòng & Giải quyết Small Class"]
    CONCL --> C3["<b>3. Đề xuất Phương pháp AIR:</b><br/>Convolutional Autoencoder + Shortcut ResNet + SVM"]
    CONCL --> C4["<b>4. Thực nghiệm Quy chuẩn:</b><br/>Chứng minh mAP vượt bậc trên COREL & CIFAR-100"]
    CONCL --> C5["<b>5. Mở ra Không gian Nghiên cứu Mới:</b><br/>Cầu nối giữa Tối ưu Thưa & Deep Representation"]
  1. Hệ thống hóa toàn diện cơ sở lý luận về Tra cứu ảnh dựa vào nội dung, phân tích sâu sắc bản chất toán học của "khoảng trống ngữ nghĩa" và những rào cản cố hữu của cơ chế Phản hồi liên quan (RF).
  2. Đề xuất thành công phương pháp SDAIR, ứng dụng xuất sắc chuẩn $\ell_{2,1}$ để khai thác thuộc tính thưa dòng của ma trận chiếu, đồng thời thực hiện giảm chiều dữ liệu, loại bỏ đặc trưng dư thừa và giải quyết dứt điểm vấn đề cỡ lớp nhỏ trong RF.
  3. Đề xuất thành công phương pháp AIR, xây dựng cấu trúc mạng tự mã hóa tích chập sâu kết hợp liên kết tắt đối xứng, giúp giải quyết triệt để hiện tượng suy thoái gradient, bảo toàn thông tin không gian và học hiệu quả biểu diễn đặc trưng không giám sát kết hợp phân lớp SVM trực tuyến.
  4. Kiểm chứng thực nghiệm nghiêm ngặt trên các bộ dữ liệu chuẩn quốc tế COREL và CIFAR-100, xác lập sự vượt trội về độ chính xác (Precision), độ triệu hồi (Recall), độ chính xác trung bình ($mAP$) và thời gian thực thi so với các phương pháp tiên tiến trong và ngoài nước.
  5. Mở ra không gian phát triển học thuật mới, đặt nền móng vững chắc cho việc kết hợp giữa lý thuyết tối ưu hóa thưa và học sâu tự giám sát trong xử lý dữ liệu đa phương tiện cao chiều, đóng góp trực tiếp vào sự tiến bộ của ngành Khoa học máy tính và Thị giác máy tính tại Việt Nam và trên trường quốc tế.