Tổng quan luận án

Luận án tiến sĩ ngành Khoa học máy tính (mã số: 9 48 01 01) với đề tài "Tra cứu ảnh dựa vào nội dung với học biểu diễn và giảm chiều dữ liệu" do Nghiên cứu sinh An Hồng Sơn thực hiện tại Học viện Khoa học và Công nghệ, Viện Hàn lâm Khoa học và Công nghệ Việt Nam, dưới sự hướng dẫn khoa học của PGS. Nguyễn Hữu Quỳnh (Hà Nội, năm 2023).

Tính cấp thiết và khoảng trống nghiên cứu

Sự gia tăng nhanh chóng của khối lượng ảnh số trong bối cảnh Cách mạng công nghiệp 4.0, thiết bị di động thông minh và mạng xã hội đặt ra yêu cầu cấp thiết về việc tra cứu nhanh và chính xác ảnh trong các cơ sở dữ liệu lớn. Phương pháp tra cứu ảnh dựa vào văn bản (TBIR) tồn tại nhược điểm tốn chi phí nhân công gán nhãn thủ công và mang tính chủ quan của người dùng. Để khắc phục, phương pháp tra cứu ảnh dựa vào nội dung (CBIR) được nghiên cứu nhằm tìm kiếm ảnh dựa trên nội dung trực quan.

Tuy nhiên, CBIR đối mặt với thách thức "khoảng trống ngữ nghĩa" (semantic gap) giữa các đặc trưng mức thấp do máy tính trích xuất và các khái niệm mức cao do con người nhận thức. Bên cạnh đó, dữ liệu ảnh thực tế thường có số chiều rất lớn (curse of dimensionality), chứa nhiều đặc trưng dư thừa hoặc không liên quan. Mặc dù các kỹ thuật học máy và phản hồi liên quan (RF) đã được áp dụng nhằm thu hẹp khoảng trống này, các nghiên cứu trước đây tại Việt Nam và quốc tế vẫn bộc lộ các khoảng trống kỹ thuật cụ thể:

  1. Chưa tập trung xử lý triệt để vấn đề "cỡ lớp nhỏ" trong cơ chế phản hồi liên quan (RF), tức số lượng mẫu phản hồi dương và âm do người dùng cung cấp rất ít và mất cân bằng so với số chiều không gian đặc trưng.
  2. Chưa khai thác triệt để thuộc tính thưa dòng của ma trận chiếu nhằm xác định và loại bỏ các đặc trưng gốc dư thừa hoặc không liên quan.
  3. Tiềm năng của các mô hình học sâu cho bài toán tra cứu ảnh trên các tập dữ liệu lớn, không nhãn và dữ liệu đa chiều chưa được kết hợp tối ưu với cơ chế phản hồi liên quan trực tuyến.

Mục tiêu nghiên cứu

Luận án xác định mục tiêu tổng quát và các mục tiêu cụ thể như sau:

  • Mục tiêu chung: Nghiên cứu, đề xuất một số phương pháp cải tiến độ chính xác và thời gian tra cứu đối với hệ thống tra cứu ảnh dựa vào nội dung kết hợp phản hồi liên quan (RF).
  • Mục tiêu cụ thể:
    1. Kết hợp mô hình trích rút đặc trưng với mô hình phân lớp trong hệ thống CBIR, sử dụng thuộc tính thưa dòng của ma trận chiếu để cải tiến độ chính xác tra cứu và thời gian truy vấn khi cỡ mẫu và cỡ lớp nhỏ.
    2. Huấn luyện bán giám sát bằng mạng nơ-ron tích chập autoencoder, trích rút đặc trưng ảnh và phân lớp bằng máy véc-tơ hỗ trợ (SVM) trong cơ chế RF, giúp tăng cường khả năng học các đặc trưng phân biệt dùng cho tra cứu ảnh.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Hệ thống CBIR và các thành phần cấu thành; khoảng trống ngữ nghĩa và các kỹ thuật thu hẹp khoảng trống ngữ nghĩa; kỹ thuật học máy, học sâu và mạng Autoencoder; các độ đo khoảng cách/độ tương tự ảnh và phương pháp đánh giá hiệu năng; các phương pháp phân tích phân biệt tuyến tính (LDA, RSLDA); mạng phần dư (ResNet) và các kết nối tắt (shortcut connections).
  • Phạm vi nghiên cứu:
    • Học ma trận chiếu khai thác thuộc tính thưa dòng để giải quyết bài toán cỡ lớp nhỏ trong RF.
    • Học biểu diễn ảnh thông qua mạng nơ-ron tích chập sâu trên tập dữ liệu ảnh không nhãn.
    • Tối ưu hóa quá trình tra cứu ảnh tận dụng các mẫu huấn luyện thu thập trực tuyến từ tương tác phản hồi liên quan của người dùng.

Tổng quan tài liệu và vị trí của luận án

Luận án đã tổng thuật hệ thống các công trình nghiên cứu trong và ngoài nước liên quan đến các giai đoạn chính của CBIR: trích xuất đặc trưng, lựa chọn đặc trưng, giảm chiều dữ liệu và phản hồi liên quan.

Các hướng nghiên cứu quốc tế

  • Trích xuất đặc trưng mức thấp kết hợp: Các công trình nghiên cứu sử dụng kết hợp nhiều đặc trưng toàn cục và cục bộ để tăng độ chính xác. Điển hình, nghiên cứu tích hợp biểu đồ tương quan màu, biến đổi Gabor và biến đổi wavelet sử dụng khoảng cách Manhattan; nghiên cứu sử dụng mẫu nhị phân cục bộ (LBP) kết hợp mô-men đa độ phân giải; nghiên cứu kết hợp không gian màu HSV và LBP bất biến xoay; nghiên cứu kết hợp biểu đồ màu với biểu đồ cạnh Canny và biến đổi wavelet Haar; nghiên cứu tích hợp GLCM (Gray-Level Co-occurrence Matrix), biến đổi DWT và thuật toán di truyền. Các phương pháp này cải thiện độ chính xác nhưng thường làm tăng số chiều véc-tơ đặc trưng và độ phức tạp tính toán.
  • Đặc trưng cục bộ bất biến: Phương pháp biến đổi đặc trưng bất biến tỉ lệ (SIFT) của David Lowe (1999, 2004) và đặc trưng mạnh và nhanh (SURF) của Bay và cộng sự (2006) cung cấp khả năng bất biến với phép xoay, co giãn, tuy nhiên chi phí tính toán và bộ nhớ lớn.
  • Lựa chọn và trích rút đặc trưng: Kỹ thuật trọng số Fisher (Fisher score), thuật toán Relief và Relief-F của Kira, Rendell (1992) và Kononenko (1994) được sử dụng để ước lượng lề cục bộ và tính toán độ quan trọng của đặc trưng; phân tích thành phần chính (PCA) của Jolliffe (2002); phân tích phân biệt tuyến tính (LDA) và phân tích phân biệt tuyến tính thưa mạnh (RSLDA).
  • Học máy và học sâu cho CBIR: Ứng dụng phân cụm K-means, K-means++; máy véc-tơ hỗ trợ (SVM) với hàm nhân Hellinger; mạng nơ-ron nhân tạo (ANN); mạng nơ-ron tích chập (CNN) của Krizhevsky và cộng sự (AlexNet); các tiếp cận CNN song tuyến tính, CNN sử dụng lớp gộp cực đại thay cho lớp kết nối đầy đủ của Gogul và Kumar; mạng nơ-ron phần dư (ResNet) của He và cộng sự (2016); mạng Autoencoder học biểu diễn không gian ẩn (LSR); kỹ thuật học kết hợp (Ensemble learning, Bagging, Boosting, Stacking, Super Learner) của Breiman (1996) và van der Laan (2007).

Các hướng nghiên cứu trong nước

Luận án điểm lại các công trình tiêu biểu tại Việt Nam:

  • Nghiên cứu của Lư Minh Phúc và Trần Công Án (2016) về tìm kiếm ảnh theo nội dung dùng CNN kết hợp ontology.
  • Nghiên cứu của Nguyễn Thị Uyên Nhi và Văn Thế Thành (2016) trích xuất đặc trưng màu trội MPEG-7, lọc Sobel, biên LoG và lưu trữ trên cây phân cụm C-Tree.
  • Luận án tiến sĩ của Vũ Văn Hiệu (2017) về kỹ thuật phân hạng trong CBIR sử dụng RF, tiếp cận tối ưu Pareto trên tập dữ liệu Oxford Building và Caltech-101.
  • Luận án tiến sĩ của Đào Thị Thuý Quỳnh (2019) về điều chỉnh trọng số hàm khoảng cách tận dụng tính địa phương của vùng điểm đặc trưng trên tập dữ liệu COREL.
  • Luận án tiến sĩ của Cù Việt Dũng (2022) về học phép chiếu tối ưu cho dữ liệu đa tạp và học bán giám sát dựa trên đồ thị với phản hồi người dùng.

Khoảng trống luận án lựa chọn giải quyết

Từ việc phân tích các công trình trên, luận án định vị giải quyết hai khoảng trống kỹ thuật:

  1. Khi áp dụng kỹ thuật chiếu phân biệt tuyến tính cho phản hồi liên quan, số lượng phản hồi của người dùng nhỏ hơn nhiều so với số chiều đặc trưng và số lớp phản hồi rất nhỏ ($C=2$, gồm lớp liên quan và không liên quan). Luận án lựa chọn khai thác chuẩn $\ell_{2,1}$ trong mô hình RSLDA để tạo ra tính thưa dòng trên ma trận chiếu, giúp vừa giảm chiều vừa trực tiếp loại bỏ các đặc trưng dư thừa.
  2. Khắc phục sự phụ thuộc vào dữ liệu gán nhãn lớn của các mô hình học sâu truyền thống bằng cách xây dựng mạng nơ-ron tích chập Autoencoder có kết nối tắt đối xứng (shortcut connections) để học không giám sát biểu diễn đặc trưng nén, kết hợp huấn luyện bán giám sát với bộ phân lớp SVM trong các vòng lặp phản hồi liên quan.

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết và khung phân tích

Luận án xây dựng trên các nền tảng lý thuyết toán học và học máy:

  1. Khung làm việc CBIR: Gồm tiếp nhận ảnh truy vấn $\rightarrow$ trích rút đặc trưng $\rightarrow$ đo độ tương tự $\rightarrow$ phân hạng kết quả $\rightarrow$ tương tác phản hồi liên quan (RF) $\rightarrow$ cập nhật mô hình phân lớp.
  2. Lý thuyết giảm chiều và trích chọn đặc trưng:
    • Phân tích phân biệt tuyến tính (LDA): Tối ưu hóa tỷ số giữa ma trận phân tán giữa các lớp ($S_b$) và ma trận phân tán trong nội bộ lớp ($S_w$) theo tiêu chuẩn Fisher: $$p = \arg\max \frac{p^T S_b p}{p^T S_w p}$$
    • Phân tích phân biệt tuyến tính thưa mạnh (RSLDA): Ứng dụng chuẩn $\ell_{2,1}$ cho ma trận chiếu $P \in \mathbb{R}^{d \times k}$ nhằm ràng buộc tính thưa theo dòng: $$|P|{2,1} = \sum{i=1}^d \sqrt{\sum_{j=1}^k P_{ij}^2}$$ Ràng buộc này ép toàn bộ các phần tử trên một số dòng của $P$ về $0$, đồng nghĩa với việc loại bỏ hoàn toàn các chiều đặc trưng gốc tương ứng.
  3. Mạng nơ-ron tích chập Autoencoder và Mạng phần dư:
    • Cấu trúc mạng gồm nhánh mã hóa (Encoder) nén ảnh đầu vào thành biểu diễn không gian ẩn (LSR) và nhánh giải mã (Decoder) tái tạo lại ảnh gốc thông qua cực tiểu hóa hàm mất mát tái tạo.
    • Kết nối tắt (Shortcut Connections) theo nguyên lý ResNet: $H(x) = F(x, {W_i}) + x$ hoặc $y = F(x, {W_i}) + W_s x$, giúp giải quyết hiện tượng suy giảm gradient (vanishing/exploding gradients) khi tăng độ sâu mạng.
  4. Máy véc-tơ hỗ trợ (SVM): Sử dụng siêu phẳng phân tách tối ưu lề trên không gian đặc trưng mới; khoảng cách từ mẫu đến siêu phẳng phân lớp được dùng làm điểm số để tái phân hạng ảnh trong vòng lặp RF.

Các độ đo khoảng cách và độ tương tự

Luận án khảo sát và hệ thống hóa các hàm khoảng cách:

  • Họ khoảng cách Minkowski (chuẩn $L_p$): $$L_p(u, v) = \left(\sum_{i=1}^N |u_i - v_i|^p\right)^{1/p}$$ Gồm khoảng cách Manhattan ($L_1$), khoảng cách Euclide ($L_2$), khoảng cách Chebyshev/Chessboard ($L_\infty$) và khoảng cách phân số ($p \in (0, 1)$).
  • Khoảng cách Chi-square: $$\text{Chi-square}(u, v) = \sum_{i=1}^N \frac{(u_i - v_i)^2}{u_i + v_i}$$
  • Khoảng cách giao lược đồ (Histogram Intersection): $$\text{HistogramIntersectionDis}(M, S) = \sum_{i=1}^N \min(m_i, s_i)$$
  • Khoảng cách Mahalanobis: $\text{MahalanobisDis}(v, m) = \sqrt{(v - m)^T C^{-1} (v - m)}$ với $C$ là ma trận hiệp phương sai.
  • Khoảng cách Canberra: $$\text{CanberraDis}(u, v) = \sum_{i=1}^N \frac{|u_i - v_i|}{|u_i + v_i|}$$
  • Khoảng cách Squared Chord: $\text{SquaredChordDis}(u, v) = \sum_{i=1}^N (\sqrt{u_i} - \sqrt{v_i})^2$.
  • Độ tương tự Cosine: $\text{CosineSim}(u, v) = \frac{u \cdot v}{|u| |v|}$.
  • Khoảng cách và độ tương tự Hamming: $\text{HammingDis}(u, v) = \sum_{i=1}^M \delta[u_i \neq v_i]$.
Tên độ đo Phân loại Công thức / Đặc điểm chính trong văn bản
Khoảng cách Manhattan ($L_1$) Bin-by-bin $L_1(u, v) = \sum |u_i - v_i|$, bất biến với phản xạ và dịch chuyển
Khoảng cách Euclide ($L_2$) Bin-by-bin $L_2(u, v) = \sqrt{\sum (u_i - v_i)^2}$, bất biến với phép biến đổi trực giao
Khoảng cách Chi-square Bin-by-bin Dùng tính toán sự khác nhau giữa các hàm lược đồ
Giao lược đồ Bin-by-bin $\sum \min(m_i, s_i)$, mạnh với thay đổi độ phân giải, che lấp
Khoảng cách Mahalanobis Cross-bin Xét ma trận hiệp phương sai $C^{-1}$, chi phí tính toán cao với số chiều lớn
Khoảng cách Canberra Bin-by-bin $\sum \frac{|u_i - v_i|}{|u_i + v_i|}$, nhạy cảm với các giá trị gần 0
Độ tương tự Cosine Đo góc Đo góc giữa 2 véc-tơ, giá trị lớn chỉ mức độ tương tự cao
Khoảng cách Hamming Nhị phân Đếm số lượng bit khác nhau giữa hai chuỗi mã nhị phân

Môi trường thực nghiệm và phương pháp đánh giá

  • Môi trường phần cứng: Vi xử lý Intel Core i7-8550U CPU @ 1.80GHz, bộ nhớ RAM 16GB DDR4.
  • Môi trường phần mềm: Hệ điều hành Windows 11 Professional; nền tảng .NET, ngôn ngữ lập trình C#, Python và Matlab.
  • Tập dữ liệu thực nghiệm:
    1. Tập dữ liệu COREL: Gồm 10.800 ảnh màu phân bố trên 80 chủ đề ngữ nghĩa (mỗi chủ đề có từ 100 ảnh trở lên; kích thước ảnh 80×120 hoặc 120×80). Mỗi ảnh được biểu diễn bởi véc-tơ đặc trưng mức thấp 190 chiều (gồm 102 chiều đặc trưng màu: 6 moment màu, 32 lược đồ màu, 64 tương quan màu; 88 chiều đặc trưng kết cấu).
    2. Tập dữ liệu CIFAR-100: Tập con của Tiny Images, gồm 60.000 ảnh màu kích thước 32×32 phân bố đều trên 100 lớp (600 ảnh/lớp).
  • Độ đo đánh giá hiệu năng:
    • Độ chính xác (Precision - $P$): $P = \frac{\text{Sum}(\text{retrieval_relevant})}{\text{Sum}(\text{retrieval})}$.
    • Độ triệu hồi (Recall - $R$): $R = \frac{\text{Sum}(\text{retrieval_relevant})}{\text{Sum}(\text{relevant_session})}$.
    • Độ chính xác trung bình (Average Precision - $AP$): $$AP = \frac{1}{R} \sum_{k=1}^N P(k) \times rel(k)$$ với $rel(k) = 1$ nếu ảnh thứ $k$ liên quan, ngược lại bằng $0$.
    • Độ chính xác trung bình tổng hợp trên $Q$ truy vấn (Mean Average Precision - $mAP$): $$mAP = \frac{1}{Q} \sum_{q=1}^Q AP(q)$$

Nội dung chính theo từng chương

Chương 1: TỔNG QUAN VỀ TRA CỨU ẢNH DỰA VÀO NỘI DUNG VỚI PHẢN HỒI LIÊN QUAN

Chương 1 thiết lập khung lý luận tổng quan cho toàn bộ luận án, bao gồm:

  • Trình bày kiến trúc chuẩn của một hệ thống CBIR và nguyên lý vận hành của cơ chế phản hồi liên quan (RF) qua 4 bước: (1) Nhận truy vấn và trích xuất đặc trưng; (2) Trả về danh sách xếp hạng sơ bộ; (3) Người dùng gán nhãn liên quan/không liên quan; (4) Cập nhật hàm phân lớp để tái xếp hạng.
  • Phân tích các đặc trưng mức thấp toàn cục (không gian màu RGB, HSV, YCbCr, LAB; mô-men màu, lược đồ màu, ma trận đồng xuất hiện màu; kết cấu qua lọc Gabor, DWT, GLCM; hình dạng qua mô-men Fourier) và đặc trưng cục bộ (SIFT, SURF, LBP).
  • Trình bày các phương pháp lựa chọn đặc trưng (Fisher score, Relief, Relief-F) và trích xuất/giảm chiều đặc trưng (PCA, LDA).
  • Khảo sát ứng dụng của học máy (K-means, SVM nhân Hellinger, ANN) và học sâu (CNN, Autoencoder, ResNet, Stacking Ensemble) trong việc rút ngắn khoảng trống ngữ nghĩa.
  • Tổng kết các thách thức cốt lõi của RF: không trích xuất được ngữ nghĩa mức cao chỉ từ đặc trưng mức thấp; sự khan hiếm và mất cân bằng nghiêm trọng giữa mẫu phản hồi dương và âm; yêu cầu khắt khe về thời gian đáp ứng trực tuyến.

Chương 2: PHƯƠNG PHÁP TRA CỨU ẢNH VỚI PHÂN TÍCH PHÂN BIỆT THƯA

Chương 2 đề xuất phương pháp SDAIR (Sparse Discriminant Analysis for Image Retrieval) kết hợp kỹ thuật phân tích phân biệt thưa mạnh (RSLDA) với mô hình phân lớp nhằm giải quyết triệt để các hạn chế của RF trên không gian dữ liệu nhiều chiều:

  • Mô hình và Thuật toán đề xuất:
    • Phương pháp thiết lập mô hình học ma trận chiếu phân biệt có ràng buộc chuẩn $\ell_{2,1}$. Thuộc tính thưa dòng của ma trận chiếu cho phép nhận diện chính xác các dòng bằng $0$, tương ứng với các đặc trưng gốc dư thừa hoặc không có tính phân biệt để loại bỏ.
    • Xây dựng hai thuật toán thành phần: (1) Thuật toán chọn tập đặc trưng quan trọng qua mô hình học chiếu thưa; (2) Thuật toán xây dựng mô hình phân lớp phục vụ truy vấn ảnh.
  • Trích xuất đặc trưng thực nghiệm trên CIFAR-100:
    • Trích xuất các tập đặc trưng đa dạng bao gồm: Tự tương quan màu (Color auto-correlogram), Lược đồ màu (Color histogram), Mô-men màu (Color moments), Bộ lọc Gabor (Gabor filters), Ma trận đồng xuất hiện mức xám (Gray-level Co-occurrence matrix - GLCM) và Lược đồ gradient có hướng (Histogram of Oriented Gradients - HOG).
  • Kết quả thực nghiệm:
    • Đánh giá hiệu năng mAP trên top 100 ảnh trả về qua các kịch bản thực nghiệm khác nhau.
    • Phân tích thời gian truy vấn ảnh theo số chiều trên không gian gốc so với không gian chiếu rút gọn, chứng minh phương pháp SDAIR vừa giảm thời gian tính toán truy vấn vừa khắc phục hiện tượng suy giảm độ chính xác khi số lượng mẫu phản hồi dương quá nhỏ so với số chiều đặc trưng.

Chương 3: HỌC CÁC BIỂU DIỄN ẢNH VỚI MẠNG NƠ RON TÍCH CHẬP SÂU AUTOENCODER CHO TRA CỨU ẢNH VỚI PHẢN HỒI LIÊN QUAN

Chương 3 đề xuất phương pháp AIR (Autoencoders for Image Retrieval) cho phép tự động học biểu diễn đặc trưng phân biệt trực tiếp từ dữ liệu ảnh thô:

  • Kiến trúc mạng tích chập Autoencoder đề xuất:
    • Xây dựng kiến trúc mạng Autoencoder cải tiến tích hợp các kết nối tắt đối xứng (Symmetric Shortcut Connections giữa các lớp tích chập Convolutional và giải tích chập Deconvolutional) thay vì chỉ sử dụng kiến trúc chuẩn với lớp pooling.
    • Thiết kế này cho phép tín hiệu lan truyền trực tiếp qua các tầng sâu, loại bỏ hiện tượng vanishing gradient và tăng tốc độ hội tụ mô hình trong quá trình huấn luyện (huấn luyện thực nghiệm với 20 epoch).
  • Quy trình tra cứu kết hợp:
    • Giai đoạn ngoại tuyến (Offline): Huấn luyện mạng Autoencoder theo cơ chế không giám sát/tự giám sát trên toàn bộ cơ sở dữ liệu ảnh thô để mạng học ánh xạ nén dữ liệu vào biểu diễn không gian ẩn (LSR). Trích xuất và lưu trữ sẵn véc-tơ LSR cho toàn bộ ảnh.
    • Giai đoạn trực tuyến (Online): Khi người dùng thực hiện truy vấn và tương tác qua cơ chế RF, các nhãn phản hồi được sử dụng để huấn luyện nhanh một bộ phân lớp SVM (Support Vector Machine). Điểm khoảng cách từ siêu phẳng phân lớp SVM đến các véc-tơ LSR được sử dụng để xếp hạng lại danh sách ảnh trả về.
  • Đánh giá thực nghiệm:
    • Kiểm nghiệm trên hai tập dữ liệu CIFAR-100 và COREL qua 3 lần lặp phản hồi liên quan đầu tiên.
    • Khảo sát ảnh hưởng của các độ sâu mạng khác nhau lên hiệu năng tra cứu (đo bằng mAP) và đo lường thời gian thực thi truy vấn chi tiết của mô hình AIR.

Kết quả và những đóng góp mới

Luận án đã công bố 04 công trình khoa học (các bài báo trên tạp chí và kỷ yếu hội thảo chuyên ngành trong nước và quốc tế) và đạt được hai đóng góp mới cốt lõi:

1. Phương pháp SDAIR (Sparse Discriminant Analysis for Image Retrieval)

Phương pháp kết hợp mô hình trích rút đặc trưng quan trọng dựa trên RSLDA với mô hình phân lớp trong hệ thống CBIR sử dụng thuộc tính thưa dòng của ma trận chiếu. SDAIR giải quyết đồng thời ba bài toán hóc búa trong CBIR với RF:

  • Giải quyết mất cân bằng số chiều và cỡ mẫu: Số lượng mẫu phản hồi mà người dùng cung cấp trong mỗi phiên RF rất nhỏ so với số chiều lớn của không gian đặc trưng.
  • Giải quyết mất cân bằng lớp: Số lượng mẫu phản hồi dương thường thấp hơn rất nhiều so với số lượng mẫu phản hồi âm.
  • Giải quyết giới hạn hướng chiếu: Số lượng lớp phản hồi trong RF quá nhỏ ($C=2$), khiến số hướng chiếu bị giới hạn nghiêm trọng theo lý thuyết LDA truyền thống.

2. Phương pháp AIR (Autoencoders for Image Retrieval)

Phương pháp tích hợp ba thành phần: huấn luyện bán giám sát bằng mạng nơ-ron tích chập autoencoder có kết nối tắt đối xứng, trích rút biểu diễn đặc trưng không gian ẩn (LSR) và phân lớp bằng SVM trong các vòng lặp phản hồi liên quan. AIR giải quyết hai hạn chế lớn:

  • Khắc phục năng lực phân biệt kém: Nâng cao khả năng học biểu diễn đặc trưng phân biệt trực tiếp từ ảnh thô mà không phụ thuộc vào các bộ trích xuất đặc trưng thủ công mức thấp.
  • Ổn định huấn luyện mô hình sâu: Kết nối tắt đối xứng giúp giảm thiểu hiện tượng biến mất/bùng nổ đạo hàm (vanishing/exploding gradients), giúp quá trình huấn luyện mạng hội tụ nhanh và tối ưu hóa thời gian phản hồi truy vấn trực tuyến.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của luận án

Theo nội dung công bố trong văn bản, các giới hạn nghiên cứu gồm:

  • Các thực nghiệm đánh giá phương pháp được tập trung triển khai trên hai bộ dữ liệu chuẩn chuyên nghiệp là COREL (10.800 ảnh, 80 lớp) và CIFAR-100 (60.000 ảnh, 100 lớp), chưa mở rộng trên các tập dữ liệu có quy mô hàng triệu ảnh.
  • Việc giải quyết bài toán thời gian thực trong phản hồi liên quan trực tuyến vẫn đòi hỏi cân đối giữa độ sâu kiến trúc mạng và tài nguyên tính toán phần cứng của hệ thống.

Hướng nghiên cứu tiếp theo

Luận án xác định 5 định hướng nghiên cứu tiếp theo:

  1. Tiếp tục nâng cao chất lượng của các biểu diễn đặc trưng được trích rút từ ảnh.
  2. Mở rộng khai thác hiệu quả các tập mẫu dữ liệu không có nhãn quy mô lớn trong huấn luyện mô hình.
  3. Nghiên cứu sâu hơn các kỹ thuật giảm chiều nâng cao cho biểu diễn đặc trưng.
  4. Chuyển đổi các biểu diễn đặc trưng sang các dạng biểu diễn hiệu quả hơn (như mã hóa nhị phân/hashing) để tối ưu hóa lưu trữ và đối sánh.
  5. Nghiên cứu và lựa chọn các độ đo tương tự tối ưu cho từng loại cấu trúc véc-tơ đặc trưng cụ thể.

Giá trị tham khảo

Luận án có giá trị khoa học và ứng dụng thực tiễn rõ ràng trong các lĩnh vực:

  • Nghiên cứu sinh và Giảng viên ngành Khoa học máy tính, Trí tuệ nhân tạo, Thị giác máy tính: Cung cấp tài liệu tổng quan toàn diện về các độ đo khoảng cách, kỹ thuật lựa chọn đặc trưng (Relief-F, Fisher score), phân tích phân biệt thưa ($\ell_{2,1}$-norm RSLDA) và thiết kế mạng tích chập Autoencoder có kết nối tắt đối xứng.
  • Kỹ sư phát triển hệ thống xử lý ảnh và truy vấn đa phương tiện: Cung cấp giải pháp kỹ thuật chi tiết để triển khai hệ thống CBIR hoàn chỉnh có khả năng tương tác phản hồi liên quan (RF) với tốc độ đáp ứng trực tuyến nhanh, tối ưu hóa bộ nhớ nhờ giảm chiều dữ liệu và trích xuất không gian ẩn LSR.
  • Ứng dụng thực tiễn: Các giải pháp của luận án có khả năng áp dụng vào các hệ thống quản trị và tra cứu hình ảnh số chuyên dụng như cơ sở dữ liệu ảnh y tế, quản lý kho tư liệu số, nhận dạng trong an ninh - phòng chống tội phạm và thương mại điện tử.

Câu hỏi thường gặp

1. "Vấn đề cỡ lớp nhỏ" trong cơ chế phản hồi liên quan (RF) được luận án định nghĩa như thế nào?

Trong luận án, khái niệm "cỡ lớp nhỏ" không phải là số lượng chủ đề/khái niệm của toàn bộ cơ sở dữ liệu ảnh, mà được định nghĩa là số lượng mẫu thuộc lớp âm (ảnh không liên quan) và lớp dương (ảnh liên quan) do người dùng gán nhãn trong một phiên tương tác phản hồi liên quan (RF). Số lượng mẫu này rất nhỏ và mất cân bằng (mẫu âm nhiều hơn mẫu dương) so với không gian đặc trưng nhiều chiều.

2. Thuộc tính thưa dòng của ma trận chiếu trong phương pháp SDAIR có vai trò gì?

Thuộc tính thưa dòng của ma trận chiếu (thu được nhờ áp dụng chuẩn $\ell_{2,1}$) là hiện tượng các phần tử trên toàn bộ một dòng của ma trận chiếu đều bằng $0$. Thuộc tính này giúp phương pháp xác định và loại bỏ trực tiếp các đặc trưng gốc không liên quan hoặc dư thừa, từ đó giảm chiều dữ liệu mà vẫn giữ lại các đặc trưng có tính phân biệt cao nhất.

3. Phương pháp AIR kết hợp giữa học không giám sát và có giám sát như thế nào?

Phương pháp AIR sử dụng mạng nơ-ron tích chập Autoencoder được huấn luyện theo cơ chế không giám sát (hoặc tự giám sát) trên dữ liệu ảnh thô để nén ảnh thành biểu diễn không gian ẩn (LSR). Sau đó, trong quá trình tra cứu trực tuyến với phản hồi liên quan (RF), các mẫu được người dùng gán nhãn được sử dụng để huấn luyện có giám sát một bộ phân lớp SVM nhằm xếp hạng lại kết quả tra cứu.

4. Kết nối tắt đối xứng (Symmetric Shortcut Connections) trong kiến trúc Autoencoder của luận án giải quyết vấn đề gì?

Kết nối tắt đối xứng giữa các lớp tích chập (Convolutional) ở nhánh Encoder và các lớp giải tích chập (Deconvolutional) ở nhánh Decoder giúp giảm nhẹ hiện tượng suy giảm/bùng nổ đạo hàm (vanishing/exploding gradients) khi tăng độ sâu mạng, hỗ trợ tín hiệu lan truyền trực tiếp và giúp mô hình hội tụ nhanh hơn trong quá trình huấn luyện.

5. Cơ sở dữ liệu và cấu hình máy tính được tác giả sử dụng trong thực nghiệm gồm những gì?

  • Dữ liệu: Tập COREL (10.800 ảnh, 80 chủ đề, véc-tơ đặc trưng 190 chiều gồm 102 chiều màu và 88 chiều kết cấu) và tập CIFAR-100 (60.000 ảnh màu kích thước 32×32 chia đều cho 100 lớp).
  • Phần cứng: Intel Core i7-8550U CPU @ 1.80GHz, 16GB DDR4 RAM, chạy hệ điều hành Windows 11 Professional.

Kết luận

Luận án tiến sĩ của tác giả An Hồng Sơn đã giải quyết hiệu quả các thách thức cốt lõi về khoảng trống ngữ nghĩa và giảm chiều dữ liệu trong hệ thống tra cứu ảnh dựa vào nội dung kết hợp phản hồi liên quan. Bằng việc đề xuất hai phương pháp mới gồm SDAIR (khai thác phân tích phân biệt thưa với chuẩn $\ell_{2,1}$) và AIR (kết hợp mạng tích chập Autoencoder có kết nối tắt đối xứng với bộ phân lớp SVM), công trình đã khắc phục thành công vấn đề cỡ lớp nhỏ, loại bỏ đặc trưng dư thừa và tăng cường khả năng học biểu diễn phân biệt từ ảnh thô. Các kết quả thực nghiệm trên các bộ dữ liệu chuẩn COREL và CIFAR-100 đã khẳng định tính đúng đắn, nâng cao độ chính xác ($mAP$) và tối ưu hóa thời gian truy vấn của các mô hình đề xuất.