Tổng quan luận án

Tính cấp thiết và khoảng trống nghiên cứu

Sự gia tăng nhanh chóng của các thiết bị thu nhận hình ảnh và các nền tảng mạng xã hội (Facebook, Twitter, Instagram) dẫn đến khối lượng dữ liệu hình ảnh được lưu trữ trong các cơ sở dữ liệu và trên mạng Internet ngày càng lớn. Để tìm kiếm hình ảnh phù hợp với nhu cầu, bài toán tra cứu ảnh trở thành một hướng nghiên cứu quan trọng trong ngành khoa học máy tính.

Hai phương pháp tiếp cận chính trong tra cứu ảnh gồm:

  1. Tra cứu ảnh dựa vào văn bản (Text-Based Image Retrieval - TBIR): Sử dụng siêu dữ liệu (từ khóa, chú thích). Hạn chế của TBIR là chi phí gán nhãn thủ công lớn trên tập dữ liệu lớn, tính không nhất quán do nhận thức chủ quan của người gán nhãn, và khó khăn khi chuyển giao giữa các hệ thống.
  2. Tra cứu ảnh dựa vào nội dung (Content-Based Image Retrieval - CBIR): Trích rút tự động các đặc trưng thị giác trực quan (màu sắc, kết cấu, hình dạng) từ chính bức ảnh.

Thách thức cốt lõi của CBIR là khoảng trống ngữ nghĩa (semantic gap) giữa các đặc trưng mức thấp và nhận thức ngữ nghĩa mức cao của người dùng. Để thu hẹp khoảng trống này, kỹ thuật phản hồi liên quan (Relevance Feedback - RF) đưa người dùng vào vòng lặp tra cứu nhằm cung cấp thông tin về các mẫu liên quan (mẫu dương) và không liên quan (mẫu âm). Tuy nhiên, quá trình áp dụng RF trong CBIR đối mặt với các vấn đề kỹ thuật:

  • Số lượng mẫu phản hồi từ người dùng rất nhỏ so với số chiều của véc tơ đặc trưng biểu diễn ảnh, dẫn đến hiện tượng "lời nguyền về số chiều" (curse of dimensionality) và nguy cơ quá khớp (overfitting) mô hình.
  • Sự mất cân bằng nghiêm trọng giữa số lượng mẫu phản hồi dương (thường rất ít) và mẫu phản hồi âm (chiếm đa số).
  • Các phương pháp giảm chiều truyền thống tuyến tính (như PCA, LDA) chỉ xem xét cấu trúc không gian Euclide toàn cục, bỏ qua cấu trúc đa tạp phi tuyến cục bộ của dữ liệu ảnh.
  • Một số phương pháp học đa tạp hiện có (như ARE, MMP) chỉ xét các mẫu trong cùng một lân cận hoặc gán trọng số ngang bằng giữa mẫu có nhãn và không nhãn, chưa khai thác mối quan hệ giữa các mẫu thuộc các lân cận khác nhau và chưa kết hợp nhiều khía cạnh đặc trưng của đối tượng.

Mục tiêu nghiên cứu

  • Mục tiêu chung: Nâng cao độ chính xác của hệ thống tra cứu ảnh theo nội dung dựa trên tiếp cận học đa tạp để giảm chiều đặc trưng từ thông tin phản hồi của người dùng.
  • Mục tiêu cụ thể:
    1. Đề xuất phương pháp tìm ma trận chiếu tối ưu theo tiếp cận học đa tạp nhằm khai thác cấu trúc phi tuyến và phân biệt tốt các lớp dữ liệu trên không gian con chiều thấp.
    2. Đề xuất phương pháp tự động bổ sung mẫu dương vào tập huấn luyện dựa trên học bán giám sát đồ thị nhằm giải quyết hiện tượng mất cân bằng mẫu phản hồi.
    3. Đề xuất phương pháp kết hợp các bộ phân lớp theo từng khía cạnh đặc trưng nhằm tận dụng tối đa thông tin đa diện của ảnh để tạo ra bộ phân lớp kết hợp.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu:
    • Hệ thống tra cứu ảnh dựa vào nội dung (CBIR) và cơ chế phản hồi liên quan (RF).
    • Các kỹ thuật học máy có giám sát, không giám sát và bán giám sát.
    • Các phương pháp học đa tạp để giảm số chiều không gian đặc trưng dữ liệu.
    • Lý thuyết đồ thị, máy véc tơ hỗ trợ (SVM), các độ đo khoảng cách và phương pháp đánh giá độ chính xác trong CBIR.
  • Phạm vi nghiên cứu:
    • Nghiên cứu thuật toán học ma trận chiếu bán giám sát khai thác thông tin hình học cục bộ của các mẫu thuộc các lân cận khác nhau.
    • Nghiên cứu kỹ thuật cân bằng mẫu bằng cách xác định nhãn tạm thời cho mẫu chưa gán nhãn thông qua đồ thị và phân chia đồ thị Normalized Cut (Ncut).
    • Dữ liệu thực nghiệm: Tập dữ liệu ảnh màu phong cảnh và chủ đề chuẩn Corel 10.800 ảnh (sử dụng 5 bộ đặc trưng tạo véc tơ 190 chiều), tập ảnh SIMPLIcity (1.000 ảnh), cùng việc khảo sát các tập ảnh Oxford Building (5.062 ảnh) và Caltech 101 (8.742 ảnh).

Tổng quan tài liệu và vị trí của luận án

Các hướng nghiên cứu trước đây

Luận án điểm lại các nhóm công trình nghiên cứu chính trong lĩnh vực CBIR và giảm chiều dữ liệu:

  1. Nhóm phương pháp trích rút và kết hợp đặc trưng thủ công (Handcrafted Features):

    • Shrivastava và cộng sự (2014) [23]: Hệ thống CBIR 3 giai đoạn kết hợp màu sắc, bộ lọc Gabor và bộ mô tả Fourier, đạt độ chính xác trung bình trên tập Corel và Cifar.
    • Younus và cộng sự (2015) [24]: Kết hợp mô men màu, lược đồ màu, mô men wavelet, ma trận đồng xuất hiện với K-means và tối ưu bầy đàn (PSO) trên tập Wang 1.000 ảnh.
    • Sajjad và cộng sự (2015) [25]: Kết hợp màu sắc trong không gian HSV và mẫu nhị phân cục bộ (LBP) xoay tạo véc tơ 360 chiều trên tập Corel 1K và Corel 10K.
    • Nazir và cộng sự (2018) [26]: Trích rút lược đồ màu HSV kết hợp biến đổi wavelet rời rạc (DWT) và bộ mô tả hướng biên (EHD).
    • Sharif và cộng sự (2019) [27]: Hợp nhất từ trực quan tạo từ đặc trưng SIFT và BRISK.
    • Yousuf và cộng sự (2015) [28]: Kết hợp SIFT và LIOP nhằm xử lý biến đổi ánh sáng.
    • Herbert và cộng sự (2006) [29]: Đề xuất đặc trưng SURF sử dụng tín hiệu Laplacian để khắc phục chiều cao của SIFT.
    • Jabeen và cộng sự (2018) [30]: Kết hợp SURF và FREAK trên mô hình BoVW với phân cụm K-means trên tập Caltech 256, Corel 1K và Corel 1.5K.

  2. Nhóm phương pháp tiếp cận học sâu (Deep Learning):

    • Trích rút đặc trưng mức cao thông qua mạng tích chập CNN [31] và mô hình VGGNet của Zheng và cộng sự (2017) [32, 33] trên các tập Oxford Paris, Holidays, Caltech 101. Hạn chế là số chiều đặc trưng lớn và tốn kém thời gian tính toán khi xử lý tương tác trực tuyến.

  3. Nhóm phương pháp phản hồi liên quan và phân lớp:

    • Dịch chuyển điểm truy vấn (Query Point Movement - QPM) và tối ưu khoảng cách Mahalanobis [38].
    • Học máy một lớp chỉ dùng mẫu dương [37, 42], SVM hai lớp gán trọng số đều [46], học tích cực với SVM [44], phân hạng theo biên lề cực đại của Guo và cộng sự [45], gom cụm mẫu âm [47].
    • Tại Việt Nam: Vũ Văn Hiệu (2015, 2017, 2019) [48-51] nghiên cứu chuẩn hóa $3\sigma$-FCM, tối ưu Pareto, chọn mẫu chưa gán nhãn cho SVM và truy vấn đa đặc trưng với tích phân Choquet; Đào Thị Thúy Quỳnh và cộng sự (2020) [52] nghiên cứu trọng số ngữ nghĩa cho truy vấn đa đặc trưng.

  4. Nhóm phương pháp giảm chiều và học đa tạp:

    • Tuyến tính/Toàn cục: PCA [53, 54], LDA [55].
    • Học đa tạp không giám sát: LPP (He và cộng sự, 2004) [3, 4], LLE (Roweis và Saul, 2000) [5], NPE (He và cộng sự, 2005) [6], Isomap (Tenenbaum và cộng sự, 2000) [58], Laplacian Eigenmaps (Belkin và Niyogi, 2003) [59], WeightedIso [7], S-Isomap [8].
    • Học đa tạp có giám sát: LDP [10], SoLPP [11], MFA (Yan và cộng sự, 2007) [9, 71], DNE [12], DAG-DNE [72], LRCDP [13], DGLPGE [14].
    • Học đa tạp bán giám sát: ARE (He và cộng sự, 2008) [15], MMP (Lu và cộng sự, 2011) [16], SDA (Cai và cộng sự, 2007) [17], LFGBSE [18], SSDL [19].

Khoảng trống nghiên cứu luận án lựa chọn giải quyết

  • Hạn chế của ARE: Xem xét mức độ quan trọng của các mẫu có nhãn và mẫu chưa có nhãn ngang bằng nhau trong quá trình xây dựng ma trận tối ưu.
  • Hạn chế của MMP: Chỉ tập trung nén và phân tách các điểm thuộc cùng một lân cận, bỏ qua cấu trúc hình học của các điểm có liên quan ngữ nghĩa nhưng nằm ở các lân cận hoặc các nhánh đa tạp con khác nhau.
  • Hạn chế về mất cân bằng dữ liệu phản hồi: Người dùng chỉ đánh dấu một số lượng rất nhỏ mẫu dương trong khi mẫu âm nhiều, khiến các mô hình phân lớp chuẩn (như SVM gốc) bị lệch ranh giới quyết định về phía lớp thiểu số.
  • Hạn chế về tính đơn khía cạnh: Sử dụng một bộ phân lớp duy nhất trên véc tơ đặc trưng ghép nối không phản ánh đầy đủ các khía cạnh trực quan độc lập của ảnh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết và khái niệm

1. Lý thuyết đồ thị vô hướng

Đồ thị $G = (X, S)$ gồm tập đỉnh $X = {x_1, x_2, \dots, x_m}$ và tập cạnh $S = {s_1, s_2, \dots, s_n}$.

  • Ma trận bậc $D(G)$: Ma trận đường chéo kích thước $m \times m$ với các phần tử trên đường chéo $d_i = d(v_i) = \sum_{j=1}^m a_{ij}$.
  • Ma trận liên thuộc $B(G)$: Kích thước $m \times n$ với phần tử $b_{ij} = 1$ nếu đỉnh $x_i$ thuộc cạnh $s_j$, ngược lại $b_{ij} = 0$.
  • Ma trận kề $A(G)$: Kích thước $m \times m$ với $a_{ij} = 1$ nếu ${x_i, x_j} \in S$, ngược lại $a_{ij} = 0$.
  • Ma trận trọng số $W$: Ma trận đối xứng $m \times m$ với $w_{ij} \ge 0$ biểu thị độ tương tự giữa đỉnh $x_i$ và $x_j$, trong đó $w_{ii} = 0$.

2. Máy véc tơ hỗ trợ (Support Vector Machine - SVM)

Mục tiêu là tìm siêu phẳng phân tách tối ưu: $$f(x) = w \cdot x + b = 0$$ thỏa mãn điều kiện cực tiểu hóa $|w|^2$ với ràng buộc: $$y_i(w \cdot x_i + b) \ge 1, \quad \forall i=1, \dots, n$$

Thông qua các nhân tử Lagrange $\alpha_i \ge 0$ và bài toán đối ngẫu, véc tơ trọng số được xác định bởi: $$w = \sum_{i=1}^n \alpha_i y_i x_i$$ Hàm quyết định phân lớp cho mẫu mới $z$: $$\text{class}(z) = \text{sign}(f(z)) = \text{sign}\left(\sum_{i=1}^n \alpha_i y_i x_i \cdot z + b\right)$$

Khi dữ liệu phân tách phi tuyến, SVM sử dụng hàm nhân RBF (Radial Basis Function / Gaussian): $$K(x, y) = \exp\left(-|x - y|^2\right)$$ Khoảng cách đại số từ một điểm $z$ đến siêu phẳng quyết định $H$: $$\psi(z) = d(z, H) = \left|\sum_{i=1}^k \alpha_i y_i x_i \cdot z + b\right|$$

3. Các độ đo khoảng cách

  • Khoảng cách Manhattan ($L_1$): $$KC(x, y) = \sum_{i=1}^n |x_i - y_i|$$
  • Khoảng cách Euclid ($L_2$ - được sử dụng trong pha tra cứu khởi tạo): $$KC(x, y) = \sqrt{\sum_{i=1}^n (x_i - y_i)^2}$$
  • Khoảng cách Minkowski ($L_p$): $$KC(x, y) = \left(\sum_{i=1}^n |x_i - y_i|^p\right)^{\frac{1}{p}}$$

Phương pháp nghiên cứu thực nghiệm

1. Trích rút đặc trưng ảnh (Tổng cộng 190 chiều)

Luận án xây dựng véc tơ đặc trưng 190 chiều kết hợp 5 loại đặc trưng trực quan:

STT Tên loại đặc trưng Phương pháp trích rút và tham số Số chiều
1 Lược đồ màu (Color Histogram) Chuyển sang không gian màu HSV; lượng tử hóa kênh H, S, V lần lượt thành 8, 2, 2 bins 32
2 Tương quan màu (Color Correlogram) Không gian RGB; lượng tử hóa 4 bins cho mỗi kênh R, G, B 64
3 Mô men màu (Color Moments) Tính giá trị trung bình (mean) và độ lệch chuẩn (standard deviation) trên 3 kênh R, G, B 6
4 Đặc trưng Gabor Wavelet Tính meanSquaredEnergy và meanAmplitude trên ảnh đa cấp xám qua 4 tỷ lệ 48
5 Biến đổi Wavelet (DWT) Phân tách Wavelet 3 mức; lấy giá trị trung bình và độ lệch chuẩn của các hệ số 40
Tổng Véc tơ đặc trưng kết hợp Ghép nối tuần tự các véc tơ thành phần 190

2. Kịch bản phản hồi liên quan và đánh giá

  • Giao thức kiểm chứng: Sử dụng kiểm chứng chéo 4 phần (4-fold cross-validation). Cơ sở dữ liệu ảnh được chia theo chủ đề thành 4 tập con bằng nhau; mỗi lần chạy chọn 1 tập làm tập truy vấn, 3 tập còn lại làm cơ sở dữ liệu tra cứu.
  • Mô phỏng phản hồi: Hệ thống tự động mô phỏng phản hồi của người dùng dựa trên tập tin cậy nền (ground truth). Trong $K$ ảnh trả về ở lần tra cứu khởi tạo, các ảnh cùng chủ đề được gán nhãn dương ($+1$), các ảnh khác chủ đề gán nhãn âm ($-1$), và lấy thêm $K/2$ ảnh xếp hạng liền kề phía sau làm tập mẫu chưa có nhãn. Quá trình thực hiện qua 2 vòng lặp phản hồi.
  • Thước đo đánh giá:
    • Độ chính xác tại phạm vi $K$ (Precision@K): $$\text{Precision} = \frac{TP}{TP + FP}$$
    • Độ chính xác trung bình (Average Precision - AP) trên $N$ ảnh truy vấn: $$\text{AP} = \frac{\sum_{i=1}^N \text{precision}(i)}{N}$$
    • Đồ thị đường cong độ chính xác - phạm vi (Precision - Scope curve).

3. Nguồn tư liệu và dữ liệu

  • Tập dữ liệu thử nghiệm chính: Corel 10.800 ảnh gồm 80 chủ đề (mỗi chủ đề chứa khoảng 100 ảnh kích thước $120 \times 80$ hoặc $80 \times 120$ điểm ảnh).
  • Tập dữ liệu minh họa: SIMPLIcity (1.000 ảnh, 10 chủ đề, kích thước $256 \times 384$ hoặc $384 \times 256$).
  • Các tập dữ liệu đối sánh khảo sát: Oxford Building (5.062 ảnh, 11 địa danh), Caltech 101 (8.742 ảnh, 101 chủ đề).

Nội dung chính theo từng chương

Chương 1: Tổng quan về tra cứu ảnh dựa vào nội dung

Chương 1 thiết lập bức tranh tổng thể về lý thuyết và kiến trúc của hệ thống CBIR truyền thống và hệ thống CBIR có tích hợp phản hồi liên quan.

Pha ngoại tuyến (Offline):
[Cơ sở dữ liệu ảnh] --> [Trích rút đặc trưng] --> [CSDL véc tơ đặc trưng]

Pha trực tuyến (Online):
[Ảnh truy vấn] --> [Trích rút đặc trưng] --> [Véc tơ truy vấn]
                                                   |
                                                   v
[Tập kết quả tra cứu] <-- [Phân hạng khoảng cách] <-- [Tính khoảng cách Euclid]
        |
        v (Người dùng đánh giá)
[Mẫu phản hồi (+)/(-)] --> [Thuật toán Học máy] --> [Mô hình cập nhật / Chiếu đa tạp]
                                                            |
                                                            v
[Tập kết quả cải thiện] <------------------------- [Phân hạng lại bằng SVM]

Nội dung trọng tâm của chương gồm:

  • Phân tích chi tiết quy trình trích rút đặc trưng ngoại tuyến (offline) và đối sánh khoảng cách trực tuyến (online).
  • Phân tích nguyên nhân hình thành khoảng trống ngữ nghĩa và cơ chế phản hồi liên quan nhằm cập nhật không gian đặc trưng hoặc dịch chuyển ranh giới quyết định.
  • Cơ sở toán học của các phép chiếu tuyến tính (PCA, LDA) và chỉ ra hạn chế khi dữ liệu phân bố trên các đa tạp con phi tuyến.
  • Thiết lập hệ thống công thức toán học về lý thuyết đồ thị vô hướng, ma trận kề, ma trận bậc, ma trận liên thuộc làm nền tảng cho việc biểu diễn hình học dữ liệu.
  • Thiết lập mô hình toán học của SVM sử dụng hàm nhân RBF, nguyên lý tối ưu lề cực đại $2/|w|$ và cơ chế phân hạng lại danh sách ảnh dựa trên khoảng cách hình học tới siêu phẳng tách.
  • Chuẩn hóa quy trình thực nghiệm với véc tơ 190 chiều trên tập Corel 10.800 ảnh và quy trình kiểm chứng chéo 4 phần.

Chương 2: Phương pháp học chiếu phân biệt lớp ngữ nghĩa cho tra cứu ảnh với phản hồi liên quan

Chương 2 giải quyết bài toán giảm số chiều đặc trưng khi số lượng mẫu phản hồi từ người dùng rất nhỏ so với số chiều ban đầu ($d = 190$).

Nội dung và giải pháp đề xuất:

  • Thuật toán SCDPIR (Semantic Class Discriminant Projection for Image Retrieval):
    • Khác với LDA (chỉ xét cấu trúc toàn cục) và MMP (chỉ xét cấu trúc trong cùng một lân cận), SCDPIR xây dựng đồ thị lân cận gần nhất $G^F$, đồ thị quan hệ liên quan $G^R$ và đồ thị không liên quan $G^{IR}$.
    • Thuật toán xem xét cấu trúc cục bộ của các mẫu dương và mẫu âm thuộc hai hay nhiều lân cận khác nhau trên không gian đa tạp.
    • Thiết lập hàm mục tiêu tối ưu nhằm tìm ma trận biến đổi chiếu $W$ sao cho: trong không gian chiếu mới, các mẫu có quan hệ ngữ nghĩa liên quan thuộc các lân cận khác nhau được kéo lại gần nhau (nén phân tán nội lớp trên đa tạp), trong khi các mẫu không liên quan bị đẩy ra xa nhau (mở rộng phân tán liên lớp).
  • Quy trình thực hiện thuật toán SCDPIR:
    1. Xây dựng đồ thị lân cận $k$-NN trên tập mẫu phản hồi và các mẫu lân cận chưa gán nhãn.
    2. Thiết lập các ma trận liên kết nội lớp và liên lớp phản ánh quan hệ đa lân cận.
    3. Giải bài toán quy nạp trị riêng tổng quát để xác định ma trận chiếu tối ưu $W$.
    4. Chiếu toàn bộ cơ sở dữ liệu ảnh sang không gian con chiều thấp.
    5. Áp dụng SVM trên không gian chiếu để phân hạng lại tập kết quả.
  • Kết quả thực nghiệm:
    • Đánh giá trên tập Corel 10.800 ảnh và trực quan hóa phân bố mẫu trên tập SIMPLIcity.
    • So sánh độ chính xác tại phạm vi 20 ảnh trả về ($P@20$) sau vòng lặp phản hồi đầu tiên: SCDPIR đạt hiệu năng vượt trội so với phương pháp cơ sở (Baseline), phương pháp MMP, DSSA và DAG-DNE.
    • Phân tích sự biến thiên của độ chính xác theo số chiều của không gian chiếu nhằm xác định ngưỡng số chiều tối ưu.
    • Đo đạc thời gian thực thi: Đánh giá chi tiết thời gian tính toán của từng bước trong SCDPIR, chứng minh thuật toán đáp ứng yêu cầu tương tác thời gian thực trong phản hồi liên quan.

Chương 3: Cân bằng tập mẫu phản hồi và kết hợp tra cứu ảnh đa khía cạnh

Chương 3 giải quyết hai vấn đề cốt lõi còn tồn tại: sự mất cân bằng giữa số lượng mẫu dương và mẫu âm trong tập phản hồi, và việc khai thác chưa triệt để các khía cạnh đặc trưng thị giác riêng biệt.

Nội dung và kỹ thuật đề xuất:

  1. Kỹ thuật cân bằng tập mẫu phản hồi sử dụng học bán giám sát đồ thị (BSFG - Balanced Sample Feedback based on Graph):
    • Xây dựng đồ thị lân cận gần nhất $G$ với các trọng số trên $k$-NN.
    • Gán nhãn cho các đỉnh: nhãn dương ($+$), nhãn âm ($-$) hoặc chưa gán nhãn.
    • Cập nhật trọng số đồ thị thành $G^{label}$ dựa trên sự tương đồng ngữ nghĩa và cấu trúc lân cận.
    • Sử dụng tiêu chí cắt đồ thị chuẩn hóa (Normalized Cut - Ncut) để phân chia đồ thị $G^{label}$, từ đó xác định nhãn tạm thời cho các mẫu chưa có nhãn có độ tin cậy cao và bổ sung vào nhóm mẫu dương.
  2. Kỹ thuật kết hợp các bộ phân lớp theo khía cạnh (CMAC - Combining Multiple Aspect Classifier):
    • Thay vì gộp chung các đặc trưng thành một véc tơ duy nhất, CMAC huấn luyện các bộ phân lớp thành phần độc lập trên từng khía cạnh đặc trưng riêng biệt (màu sắc, kết cấu, hình dạng).
    • Kết hợp đầu ra khoảng cách của các bộ phân lớp thành phần để tạo thành bộ phân lớp kết hợp có độ phân biệt mạnh hơn.
  3. Phương pháp tích hợp tổng thể:
    • Kết hợp kỹ thuật cân bằng mẫu BSFG, kỹ thuật học chiếu SCDPIR và bộ phân lớp kết hợp đa khía cạnh CMAC.
  • Kết quả đánh giá thực nghiệm:
    • So sánh hiệu năng cân bằng mẫu: Thuật toán SVM-BSFG cho độ chính xác cao hơn rõ rệt so với SVM gốc (O-SVM) và phương pháp sinh mẫu SVM-MSMOTE.
    • So sánh hiệu năng kết hợp bộ phân lớp: SVM-CMAC đạt độ chính xác vượt trội so với O-SVM.
    • Đánh giá tổng thể 5 phương pháp trên tập Corel 10.800 ảnh khẳng định phương pháp tích hợp đạt độ chính xác cao nhất qua các vòng phản hồi.
    • Xây dựng giao diện hệ thống tra cứu ảnh học bán giám sát dựa vào đồ thị và thực nghiệm kiểm chứng trên tập ảnh truy vấn sưu tầm thực tế (ví dụ: truy vấn ảnh Hồ Hoàn Kiếm, ảnh công trình kiến trúc Building id 243).

Kết quả và những đóng góp mới

Đóng góp mới về mặt lý luận khoa học

  1. Mô hình học chiếu phân biệt lớp ngữ nghĩa (SCDPIR): Đề xuất giải pháp học đa tạp bán giám sát mới cho phép đồng thời bảo toàn cấu trúc hình học cục bộ và khai thác mối quan hệ phân biệt giữa các mẫu thuộc các lân cận khác nhau, khắc phục hạn chế chỉ nén cục bộ đơn lẻ của các phương pháp MMP và ARE.
  2. Mô hình tự động cân bằng tập mẫu phản hồi (BSFG): Đề xuất giải pháp bổ sung mẫu dương dựa trên đồ thị bán giám sát và phân đoạn đồ thị Ncut, giải quyết hiệu quả bài toán mất cân bằng dữ liệu trong không gian mẫu nhỏ của phản hồi liên quan.
  3. Khung kết hợp bộ phân lớp đa khía cạnh (CMAC): Xây dựng mô hình tích hợp quyết định từ nhiều không gian đặc trưng độc lập, nâng cao khả năng phân loại của siêu phẳng SVM.

Đóng góp mới về mặt thực tiễn và ứng dụng

  1. Khung quy trình tra cứu ảnh hoàn chỉnh: Xây dựng hệ thống CBIR tích hợp từ khâu trích rút véc tơ đặc trưng 190 chiều, giảm chiều đa tạp thích nghi, cân bằng dữ liệu tự động đến phân hạng lại bằng SVM kết hợp.
  2. Giao diện tra cứu trực quan: Thiết kế và triển khai giao diện tương tác hỗ trợ người dùng phản hồi liên quan theo thời gian thực, minh chứng tính khả thi của hệ thống trên tập dữ liệu chuẩn và tập ảnh thực tế.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của luận án

  • Véc tơ đặc trưng đầu vào vẫn chủ yếu dựa trên các đặc trưng thị giác thủ công (màu sắc, kết cấu wavelet/Gabor) với 190 chiều; chưa tích hợp sâu các véc tơ đặc trưng ngữ nghĩa tự động từ các mô hình học sâu hiện đại do hạn chế về chi phí tính toán trong pha phản hồi tức thời.
  • Phạm vi thực nghiệm đánh giá định lượng tập trung chính trên tập dữ liệu Corel 10.800 ảnh phong cảnh và một số tập đối sánh chuẩn; chưa mở rộng kiểm thử trên các tập dữ liệu ảnh quy mô hàng triệu ảnh không đồng nhất trên môi trường Internet.
  • Quá trình phản hồi liên quan mới được tối ưu hóa và đánh giá trong phạm vi 2 vòng lặp phản hồi đầu tiên.

Hướng nghiên cứu tiếp theo

  • Nghiên cứu kết hợp tiếp cận học đa tạp với các kiến trúc mạng nơ-ron tích chập (CNN) và mạng Transformer trong học sâu để trích rút đặc trưng ngữ nghĩa mức cao.
  • Mở rộng thuật toán phân chia đồ thị và học ma trận chiếu nhằm giảm thiểu độ phức tạp tính toán, hướng tới xử lý các cơ sở dữ liệu ảnh quy mô lớn (Large-scale CBIR).
  • Nghiên cứu cơ chế phản hồi liên quan đa phương thức kết hợp giữa hình ảnh, văn bản và tương tác ngữ cảnh người dùng.

Giá trị tham khảo

  • Đối với nghiên cứu sinh và học viên cao học ngành Khoa học máy tính / Công nghệ thông tin: Luận án cung cấp cơ sở lý thuyết hệ thống về học đa tạp, các phương pháp giảm chiều có giám sát/bán giám sát, cùng kỹ thuật mô hình hóa dữ liệu ảnh bằng lý thuyết đồ thị và SVM. Các công thức toán học về ma trận Laplacian, ma trận liên thuộc, ma trận kề và bài toán quy nạp trị riêng tổng quát là tài liệu tham khảo giá trị.
  • Đối với giảng viên và các nhà nghiên cứu thị giác máy tính: Cung cấp phương pháp luận thực nghiệm chuẩn mực cho bài toán CBIR, bao gồm quy trình trích rút đặc trưng đa diện (190 chiều), kịch bản mô phỏng kiểm chứng chéo 4 phần, và các thước đo đánh giá độ chính xác trung bình (AP, Precision@K).
  • Đối với kỹ sư phát triển hệ thống tra cứu thông tin đa phương tiện: Các giải pháp xử lý mất cân bằng mẫu (BSFG) và kết hợp phân lớp đa khía cạnh (CMAC) có thể được ứng dụng trực tiếp để giải quyết bài toán dữ liệu gán nhãn ít và lệch lớp trong các hệ thống phân loại, nhận dạng và tìm kiếm ảnh thực tế.

Câu hỏi thường gặp

1. Thuật toán SCDPIR giải quyết hạn chế cụ thể nào của phương pháp MMP và ARE?

Phương pháp ARE gán mức độ quan trọng giữa mẫu có nhãn và không nhãn ngang bằng nhau, trong khi phương pháp MMP chỉ quan tâm đến việc nén và tách biệt các điểm dữ liệu trong cùng một lân cận cục bộ đơn lẻ. SCDPIR khắc phục triệt để điều này bằng cách xây dựng đồ thị liên kết đa lân cận, cho phép nén các mẫu dương có liên quan ngữ nghĩa dù chúng nằm ở các lân cận khác nhau, đồng thời đẩy xa các mẫu âm ở các lân cận khác nhau trên không gian đa tạp.

2. Véc tơ đặc trưng 190 chiều trong thực nghiệm của luận án được cấu tạo từ những thành phần nào?

Véc tơ đặc trưng 190 chiều là sự kết hợp tuần tự của 5 nhóm đặc trưng thị giác:

  1. Lược đồ màu HSV (32 chiều).
  2. Tương quan màu RGB (64 chiều).
  3. Mô men màu RGB (6 chiều gồm trung bình và độ lệch chuẩn trên 3 kênh).
  4. Đặc trưng Gabor Wavelet trên 4 tỷ lệ (48 chiều).
  5. Biến đổi Wavelet DWT 3 mức phân tách (40 chiều).

3. Kỹ thuật BSFG thực hiện việc cân bằng mẫu phản hồi bằng cơ chế nào?

Kỹ thuật BSFG xây dựng đồ thị lân cận $k$-NN chứa cả mẫu dương, mẫu âm và mẫu chưa gán nhãn. Sau khi cập nhật trọng số thành đồ thị $G^{label}$, thuật toán áp dụng tiêu chuẩn cắt đồ thị chuẩn hóa (Normalized Cut - Ncut) để phân chia cấu trúc đồ thị. Các mẫu chưa có nhãn rơi vào phân vùng có độ tương đồng cao với nhóm mẫu dương sẽ được gán nhãn tạm thời và bổ sung vào tập huấn luyện, giúp cân bằng tỷ lệ mẫu giữa hai lớp.

4. Vì sao luận án chỉ tập trung tối ưu hóa và đánh giá kết quả tra cứu ở 2 vòng lặp phản hồi đầu tiên?

Trong các ứng dụng tra cứu thực tế, người dùng có xu hướng muốn nhận được kết quả chính xác ngay lập tức và không đủ kiên nhẫn để thực hiện phản hồi qua nhiều vòng lặp. Do đó, việc cải thiện độ chính xác tại vòng lặp thứ nhất và thứ hai mang tính quyết định đến trải nghiệm người dùng và hiệu quả thực tế của hệ thống CBIR.

5. Tại sao luận án lựa chọn tập ảnh Corel 10.800 ảnh làm tập dữ liệu thực nghiệm chính thay vì Oxford Building hay Caltech 101?

Tập Oxford Building có kích thước nhỏ (5.062 ảnh), số lượng chủ đề ít (11 địa danh) và tồn tại nhiều ảnh bị chú thích sai hoặc góc chụp bị che khuất quá mức. Tập Caltech 101 có số lượng ảnh giữa các chủ đề chênh lệch quá lớn (từ 40 đến 800 ảnh) và chứa nhiều ảnh có phông nền đồng nhất nhân tạo. Tập Corel 10.800 ảnh có cấu trúc cân bằng (80 chủ đề, mỗi chủ đề ~100 ảnh), kích thước chuẩn hóa và phản ánh đa dạng các khung cảnh tự nhiên thực tế, phù hợp cho việc đánh giá khách quan các thuật toán tra cứu.

Kết luận

Luận án tiến sĩ của tác giả Cù Việt Dũng đã giải quyết bài toán nâng cao độ chính xác tra cứu ảnh dựa vào nội dung thông qua tiếp cận học đa tạp bán giám sát kết hợp phản hồi liên quan. Ba đóng góp trọng tâm của công trình bao gồm phương pháp học chiếu phân biệt lớp ngữ nghĩa (SCDPIR), kỹ thuật cân bằng mẫu phản hồi qua đồ thị (BSFG) và mô hình kết hợp bộ phân lớp đa khía cạnh (CMAC). Các kết quả thực nghiệm trên tập dữ liệu chuẩn Corel 10.800 ảnh đã chứng minh tính hiệu quả của các giải pháp đề xuất trong việc thu hẹp khoảng trống ngữ nghĩa và cải thiện độ chính xác tra cứu.