Tổng quan luận án

Luận án tiến sĩ kỹ thuật chuyên ngành Công nghệ thông tin (mã số 9480201) của nghiên cứu sinh Hoàng Văn Quý, thực hiện tại Trường Đại học Điện lực dưới sự hướng dẫn khoa học của TS. Ngô Hoàng Huy và TS. Nguyễn Thế Cường (năm 2023), tập trung giải quyết bài toán nâng cao chất lượng tra cứu ảnh dựa vào nội dung (Content-Based Image Retrieval - CBIR) thông qua việc cải tiến thuật toán xếp hạng đa tạp.

Về tính cấp thiết và khoảng trống nghiên cứu, sự phát triển nhanh chóng của công nghệ mạng và thiết bị số dẫn đến sự gia tăng mạnh mẽ của dữ liệu hình ảnh trong nhiều lĩnh vực như y tế, thương mại điện tử, nhận dạng sinh trắc học và kỹ thuật hình sự. Độ chính xác của một hệ thống CBIR phụ thuộc vào hai yếu tố cốt lõi: phương pháp biểu diễn đặc trưng ảnh (pha ngoại tuyến) và phương pháp đối sánh, xếp hạng kết quả (pha trực tuyến). Tuy nhiên, các kỹ thuật CBIR hiện tại bộc lộ hai rào cản chính:

  1. Khoảng cách ngữ nghĩa giữa các đặc trưng mức thấp rút trích thủ công và cảm nhận thị giác của con người chưa được thu hẹp hiệu quả nếu chỉ dùng các đặc trưng truyền thống. Việc ứng dụng mạng học sâu giúp tăng cường biểu diễn ngữ nghĩa nhưng lại làm tăng số chiều của vector đặc trưng.
  2. Các hệ thống CBIR sử dụng mạng nơ-ron tích chập (CNN) đa phần vẫn sử dụng các độ đo khoảng cách truyền thống trong không gian Euclide (như khoảng cách Euclide, Cosine), vốn chỉ đo đạc sự tương đồng cục bộ mà bỏ qua cấu trúc hình học phi tuyến tính của dữ liệu phân bố trên các không gian đa tạp con.

Mặc dù phương pháp xếp hạng đa tạp (Manifold Ranking - MR) và xếp hạng đa tạp hiệu quả (Efficient Manifold Ranking - EMR) đã được đề xuất để khai thác cấu trúc đa tạp, các phương pháp này vẫn tồn tại các giới hạn:

  • Xây dựng đồ thị K-láng giềng gần nhất ($K$-NN) có độ phức tạp tính toán $O(n^2 \log k)$ và chi phí lưu trữ ma trận thưa $O(kn)$, không khả thi với cơ sở dữ liệu quy mô lớn.
  • Phương pháp EMR sử dụng thuật toán phân cụm $K$-means để chọn điểm neo (Anchor points) gặp hạn chế do $K$-means không biểu diễn được trường hợp một vector đặc trưng có nhiều điểm neo đại diện, đồng thời chất lượng điểm neo giảm sút trên dữ liệu nhiều chiều.
  • EMR chưa kết hợp tối ưu với các thuật toán tìm kiếm xấp xỉ láng giềng gần nhất (Approximate Nearest Neighbor - ANN) và chưa khai thác hiệu quả việc tích hợp đặc trưng mức cao từ mạng CNN với đặc trưng mức thấp khi số chiều tăng cao.

Mục tiêu nghiên cứu của luận án được xác định rõ:

  • Mục tiêu chung: Nâng cao độ chính xác của bài toán tra cứu ảnh dựa trên việc cải tiến thuật toán xếp hạng đa tạp.
  • Mục tiêu cụ thể:
    1. Nghiên cứu cải tiến nội tại thuật toán EMR thông qua kỹ thuật lựa chọn điểm neo mới bằng thuật toán phân cụm mờ.
    2. Xây dựng giải pháp kết hợp đặc trưng mức thấp và đặc trưng mức cao trích xuất từ mạng CNN để tăng cường độ chính xác tra cứu.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Các mô hình CBIR; phương pháp xếp hạng đa tạp MR và EMR; các kỹ thuật trích rút đặc trưng mức thấp (màu sắc, kết cấu, hình dạng) và đặc trưng học sâu CNN; kỹ thuật lập trình song song trên GPU cho phân cụm mờ và xếp hạng đa tạp; các độ đo đánh giá chất lượng phân cụm và tra cứu.
  • Phạm vi nghiên cứu: Luận án tập trung vào cải tiến thuật toán EMR bằng thuật toán phân cụm mờ cải tiến lvdc-FCM; tinh chỉnh mạng EfficientNetB7 thành EfficientNetB7+ để trích xuất đặc trưng mức cao kết hợp với đặc trưng mức thấp tạo vector 3369 chiều; phát triển thuật toán LDM-FCM kết hợp ANN trên nền tảng GPU và mô hình HD-EMR cho dữ liệu chiều rất cao; trọng tâm đánh giá là độ chính xác tra cứu trên các tập dữ liệu chuẩn Corel30K, Logo-2K+ và VGGFACE2-S.

Tổng quan tài liệu và vị trí của luận án

Tổng quan tài liệu trong luận án điểm lại các hướng tiếp cận chính trong lịch sử phát triển của CBIR và xếp hạng đa tạp:

  1. Kỹ thuật biểu diễn đặc trưng ảnh:
  • Đặc trưng mức thấp thủ công: Liang Zheng và cộng sự [129] chỉ ra rằng việc tối ưu hóa biểu diễn đặc trưng giúp tăng độ chính xác tìm kiếm từ 2% đến 51,3%. Các nghiên cứu trích rút cục bộ tiêu biểu gồm SIFT kết hợp BRISK của Sharif và cộng sự [86], SIFT kết hợp LIOP của Yousuf và cộng sự [120], SURF của Herbert và cộng sự [7], và mô hình kết hợp SURF, FREAK trên nền Bag of Visual Words (BoVW) của Jabeen và cộng sự [49]. Về màu sắc, các nghiên cứu sử dụng không gian YCbCr kết hợp Canny và biến đổi Wavelet rời rạc [5], biểu đồ chênh lệch màu CDH trong không gian HSV [72], lược đồ màu [16], và mô men màu [53, 102]. Về kết cấu và hình dạng, các công trình sử dụng ma trận đồng hiện mức xám GLCM [34], HOG và LBP [72], bộ lọc LoG/DoG [15], biến đổi Fourier/Gabor/Wavelet [74], đường cong Bezier/B-spline, mô men Zernike và Pseudo-Zernike [15].
  • Đặc trưng mức cao từ mạng học sâu: Smeulders và cộng sự [89] đặt nền móng về khoảng cách ngữ nghĩa. Gần đây, các mô hình CNN như VGG, ResNet, Inception, EfficientNet được áp dụng rộng rãi [26, 36, 124]. Desai và cộng sự [24] đề xuất kết hợp VGG16 với bộ phân lớp SVM trên tập Corel10K. Các nghiên cứu tổng quan [35, 84] đánh giá hiệu năng của MobileNet, Xception, DenseNet, InceptionResNet và EfficientNet-B1 trên tập dữ liệu Inria Holidays và Corel.
  1. Xếp hạng đa tạp trong CBIR:
  • Thuật toán xếp hạng đa tạp cơ bản (ROM / MR) do Zhou và cộng sự [125, 126] đề xuất thuộc mô hình học bán giám sát dựa trên đồ thị, khám phá cấu trúc đa tạp nội tại thay vì chỉ dựa vào khoảng cách cặp điểm. He và cộng sự [39, 114, 115] đã đưa MR vào bài toán CBIR.
  • Các biến thể cải tiến của MR: Fast Manifold Ranking (FMR) [41], Scaling Manifold Ranking (SMR) [33], Heterogeneous Manifold Ranking (HMR) [114], Scalable Sub-graph Regularization (SGR) [122], và Efficient Manifold Ranking (EMR) của Bin Xu và cộng sự [115, 116].
  • Ứng dụng mở rộng của MR trong các bài toán khác: Tái nhận dạng người [6], tìm kiếm văn bản tương đồng [105], xếp hạng trang web [104], xác định quan hệ định lượng cấu trúc - hoạt tính hóa học QSAR [87], phát hiện vùng nổi trội [51, 92, 110] và đồng phân đoạn đối tượng [77].
  • Học cấu trúc đa tạp và đồ thị điểm neo: Các kỹ thuật giảm chiều không giám sát gồm LPP [42], Isomap [94], t-SNE [22], LLE [82]. Về tối ưu hóa đồ thị neo, Roweis [64] đề xuất bài toán ước lượng trọng số cục bộ bằng quy hoạch toàn phương; Liu và cộng sự [63] xây dựng nguyên tắc tính ma trận trọng số $Z$ và ma trận kề $W = Z D^{-1} Z^T$.

Vị trí của luận án: Luận án định vị nghiên cứu vào việc khắc phục điểm nghẽn của EMR khi xử lý vector đặc trưng kết hợp có số chiều rất cao (High-Dimensional Feature). Tác giả lựa chọn giải quyết khoảng trống về phương pháp xác định điểm neo chất lượng cao bằng logic mờ (lvdc-FCM), kết hợp kỹ thuật xấp xỉ lân cận gần nhất (ANN), tinh chỉnh kiến trúc EfficientNetB7 và hiện thực hóa tính toán song song trên phần cứng GPU (LDM-FCM và HD-EMR).

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết và khung phân tích

  1. Không gian đa tạp và Bổ đề toán học: Đa tạp tôpô $n$ chiều là không gian tôpô tách được mà mỗi điểm có một lân cận đồng phôi với một tập con mở trong không gian Euclide $\mathbb{R}^n$ [8, 56]. Dựa trên Định lý nhúng Whitney (mọi đa tạp vi phân thực trơn $m$ chiều đều có thể nhúng trơn vào không gian $\mathbb{R}^{2m}$) [73], luận án phát biểu và chứng minh Bổ đề 1:
  • Bổ đề 1: Mọi tập hữu hạn $n$ vector $m$ chiều $M = {x_i = (x_{i,j}){j=1}^m}{i=1}^n \subset \mathbb{R}^m$ ($m \ge 1$), với mọi số nguyên dương $d$ thỏa mãn $1 \le d \le \frac{m}{2}$ và $x_{i,k} \ne x_{j,k}$ ($\forall i \ne j, 1 \le k \le d$), luôn tồn tại một đa tạp $d$ chiều $D \subset \mathbb{R}^m$ sao cho $x_i \in D, \forall i = 1, \dots, n$.
  • Phương pháp chứng minh: Sử dụng hệ $(m - d)$ đa thức nội suy Lagrange bậc $n-1$ để xây dựng các đa tạp con một chiều $D_k$ và $D_d$, từ đó chứng minh sự tồn tại của đa tạp $D = D_1 \times \dots \times D_d$. Kết quả này thiết lập nền tảng lý thuyết khẳng định các tập hữu hạn vector đặc trưng ảnh thực tế luôn nằm trên các cấu trúc đa tạp con.

  1. Mô hình toán học của Xếp hạng đa tạp (MR): Cho tập dữ liệu $X = {x_1, \dots, x_n} \subset \mathbb{R}^m$, điểm truy vấn $x_q$ có nhãn $y_q = 1$ ($y_i = 0$ với $i \ne q$). Hàm chi phí xếp hạng $O(r)$ được tối ưu hóa: $$O(r) = \frac{1}{2} \sum_{i,j=1}^n w_{ij} \left| \frac{r_i}{\sqrt{D_{ii}}} - \frac{r_j}{\sqrt{D_{jj}}} \right|^2 + \frac{\mu}{2} \sum_{i=1}^n |r_i - y_i|^2$$ Phương trình lặp hội tụ về nghiệm dạng đóng: $$r^* = (1 - \alpha)(I_n - \alpha S)^{-1} y$$ Trong đó $S = D^{-1/2} W D^{-1/2}$ là ma trận chuẩn hóa đối xứng của ma trận Laplace, $D_{ii} = \sum_j w_{ij}$, $\alpha = \frac{1}{1 + \mu} \in (0, 1)$.

  2. Mô hình Xếp hạng đa tạp hiệu quả (EMR): EMR thay thế đồ thị $K$-NN bằng đồ thị điểm neo $U = {u_1, \dots, u_C} \subset \mathbb{R}^{C \times m}$ ($C \ll n$). Mối quan hệ giữa dữ liệu và điểm neo được mô tả qua ma trận trọng số $Z \in \mathbb{R}^{n \times C}$ với ràng buộc $\sum_{k=1}^C z_{ik} = 1$ và $z_{ik} \ge 0$. Ma trận kề $W$ được xác định gián tiếp qua: $$W = Z D^{-1} Z^T$$ với $D_{kk} = \sum_{i=1}^n z_{ik}$.

Phương pháp nghiên cứu thực nghiệm

Luận án áp dụng phương pháp nghiên cứu định lượng kết hợp thiết kế giải thuật và kiểm chứng thực nghiệm:

  • Xây dựng giải thuật: Phát triển thuật toán phân cụm mờ lvdc-FCM để tìm điểm neo tối ưu; thiết kế quy trình hồi quy ma trận $Z$; xây dựng thuật toán LDM-FCM kết hợp ANN; lập trình song song hóa trên kiến trúc NVIDIA CUDA / GPU; tinh chỉnh kiến trúc mạng nơ-ron tích chập EfficientNetB7+ cắt bỏ các lớp phân loại cuối và bổ sung các khối tích hợp đặc trưng.
  • Các độ đo khoảng cách đối sánh:
Tên độ đo Công thức toán học
Manhattan ($L_1$) $d(x, y) = \sum_{i=1}^k |x_i - y_i|$
Chebyshev $d(x, y) = \max_i (|x_i - y_i|)$
Minkowski ($L_p$) $d(x, y) = \left( \sum_{i=1}^D |x_i - y_i|^p \right)^{1/p}$
Mahalanobis $d(X, Y) = \left( \sum_{i=1}^D |x_i - y_i|^r S^{-1} \right)^{1/r}$
Euclide có trọng số $d_{L_2}(x, y) = \sum_{i=1}^D w_i (x_i - y_i)^2$
  • Chỉ số đánh giá chất lượng phân cụm: Chỉ số Xie-Beni index và chỉ số IFVIndex.
  • Chỉ số đánh giá hiệu năng tra cứu CBIR:
    • Độ chính xác (Precision): $Pr = \frac{EQ}{DQ}$ (với $EQ$ là số ảnh liên quan được truy vấn, $DQ$ là tổng số ảnh được trả về).
    • Độ triệu hồi (Recall): $Re = \frac{EQ}{AQ}$ (với $AQ$ là tổng số ảnh liên quan thực tế trong cơ sở dữ liệu).
    • Độ chính xác trung bình (Average Retrieval Precision - ARP): $ARP = \text{average}(\sum P_i)$.
    • Độ chính xác trung bình trung bình (Mean Average Precision - MAP).

Nguồn dữ liệu thực nghiệm

  1. Dữ liệu nhân tạo 20D: Tập dữ liệu mô phỏng gồm 3000 điểm dữ liệu trong không gian 20 chiều, tạo thành từ tích của 5 đa tạp con: Swiss-roll, 2-moon, S-curve, friedman3, Gaussian_quantiles.
  2. Tập dữ liệu Corel30K: Gồm 30.000 ảnh thuộc nhiều danh mục ngữ nghĩa đa dạng.
  3. Tập dữ liệu Logo-2K+ (Flickr-Logo): Tập ảnh các biểu trưng thương hiệu thực tế trong các điều kiện chụp phức tạp.
  4. Tập dữ liệu VGGFACE2-S: Tập ảnh khuôn mặt người trích xuất từ tập VGGFACE2 với sự thay đổi về góc nhìn, biểu cảm và ánh sáng.

Nội dung chính theo từng chương

Chương 1: Tra cứu ảnh dựa vào nội dung và xếp hạng đa tạp trong CBIR

Chương 1 hệ thống hóa các khái niệm nền tảng về hệ thống CBIR hai pha (pha trích rút đặc trưng ngoại tuyến và pha đối sánh, xếp hạng trực tuyến). Tác giả phân tích chi tiết các kỹ thuật biểu diễn ảnh qua vector đặc trưng mức thấp và mức cao.

Tập đặc trưng mức thấp (Low-level Features - LF) được tổng hợp và sử dụng xuyên suốt luận án có tổng số chiều là 809 chiều ($809D$):

Ký hiệu đặc trưng Loại thuộc tính Số chiều vector
GCM Màu sắc (Color) 81
LBP Kết cấu (Texture) 59
GWT Kết cấu (Texture) 120
EDH Hình dạng (Shape) 37
GIST Hình dạng (Shape) 512

Chương này trình bày chi tiết cơ sở toán học của dữ liệu đa tạp, phân tích Định lý nhúng Whitney và phát biểu, chứng minh Bổ đề 1. Tiếp đó, chương phân tích cấu trúc giải thuật của phương pháp xếp hạng đa tạp chuẩn (MR) với đồ thị $K$-NN, làm rõ các hạn chế về độ phức tạp tính toán và bộ nhớ dẫn đến sự ra đời của mô hình xếp hạng đa tạp hiệu quả (EMR). Các nguyên lý về đồ thị điểm neo, phương pháp tìm kiếm xấp xỉ lân cận gần nhất (ANN), các hệ đo khoảng cách và các chỉ số đo lường hiệu năng CBIR ($Pr$, $Re$, $ARP$, $MAP$) được thiết lập làm chuẩn đánh giá cho các chương kế tiếp.

Chương 2: Nâng cao độ chính xác tra cứu ảnh với xếp hạng đa tạp cải tiến

Chương 2 tập trung giải quyết bài toán cải tiến nội tại của thuật toán EMR bằng cách thay thế phương pháp chọn điểm neo truyền thống (dựa trên $K$-means) bằng thuật toán phân cụm mờ lvdc-FCM.

Nội dung giải pháp và quy trình thuật toán EMR-(lvdc-FCM):

  1. Tìm điểm neo: Thuật toán lvdc-FCM tính toán ma trận độ thuộc mờ $\mu_{ij}$ và xác định tọa độ $C$ điểm neo $A = {A_1, \dots, A_C}$ làm tâm các cụm mờ.
  2. Xác định lân cận neo: Với mỗi điểm dữ liệu $LF_i$, tìm $s$ điểm neo gần nhất ($s \ll C$).
  3. Tính toán trọng số hồi quy: Xây dựng ma trận trọng số thưa $Z$ thông qua hồi quy hàm nhân (Kernel Regression) dựa trên khoảng cách giữa điểm dữ liệu và $s$ điểm neo lân cận.
  4. Xây dựng ma trận kề: Thiết lập ma trận quan hệ $W = Z D^{-1} Z^T$.
  5. Mở rộng ma trận Z cho truy vấn mới: Khi có ảnh truy vấn ngoài cơ sở dữ liệu, ma trận $Z$ được mở rộng thành vector $z_q$ bằng cách chiếu lên $s$ điểm neo gần nhất mà không cần tính toán lại toàn bộ đồ thị.

Kết quả thực nghiệm của Chương 2:

  • Trên tập dữ liệu nhân tạo 20D (3000 điểm, 30 cụm, 150 vòng lặp), chất lượng phân cụm của lvdc-FCM vượt trội so với $K$-means và FCM truyền thống thông qua việc đánh giá chỉ số Xie-Beni và IFVIndex.
  • Trên tập đặc trưng mức thấp LF809 của tập dữ liệu Corel30K (5000 cụm, 100 vòng lặp), lvdc-FCM đạt chỉ số phân cụm tối ưu, tạo ra các điểm neo có tính đại diện cao.
  • Đánh giá độ chính xác tra cứu trung bình ($ARP$) với số ảnh trả về ($K$-top) lần lượt là 10, 20, 30, 40, 50 trên 3 tập dữ liệu Corel30K, Logo-2K+ và VGGFACE2-S. Phương pháp EMR-(lvdc-FCM) cho kết quả chính xác cao hơn rõ rệt so với EMR gốc tại mọi ngưỡng ảnh trả về.
  • Về thời gian thực thi: Thử nghiệm trên tập Corel30K với 5000 điểm neo và trả về 20 ảnh cho thấy thời gian xử lý một truy vấn của EMR-(lvdc-FCM) ở mức thời gian thực, đáp ứng yêu cầu vận hành thực tế.

Chương 3: Nâng cao hiệu quả tra cứu ảnh theo tiếp cận kết hợp đặc trưng mức thấp và đặc trưng mức cao

Chương 3 đề xuất giải pháp toàn diện kết hợp đặc trưng mức thấp với đặc trưng mức cao trích xuất từ mạng học sâu được tinh chỉnh, đồng thời phát triển mô hình xếp hạng đa tạp cho dữ liệu chiều rất cao dựa trên nền tảng tính toán song song GPU.

Các thành phần kỹ thuật chính:

  1. Mạng trích xuất đặc trưng EfficientNetB7+: Luận án tinh chỉnh kiến trúc mạng EfficientNetB7 chuẩn bằng cách giữ lại các khối tích chập đảo ngược MBConv (Mobile Inverted Bottleneck Convolution), loại bỏ các lớp phân loại cuối cùng và bổ sung các lớp tiềm ẩn để trích xuất vector đặc trưng mức cao ($HF$) gồm 2560 chiều ($2560D$).
  2. Biểu diễn ảnh bằng vector đặc trưng kết hợp: Kết hợp vector đặc trưng mức thấp $LF$ ($809D$) và đặc trưng mức cao $HF$ ($2560D$) tạo thành vector đặc trưng kết hợp có số chiều rất cao: $D = 809 + 2560 = 3369D$.
  3. Thuật toán phân cụm song song LDM-FCM: Để giải quyết bài toán phân cụm mờ tìm điểm neo trên tập dữ liệu lớn với vector 3369 chiều, tác giả xây dựng thuật toán LDM-FCM tích hợp kỹ thuật tìm kiếm xấp xỉ láng giềng gần nhất (ANN) và tối ưu hóa trên nền tảng GPU (kiến trúc NVIDIA CUDA / GPGPU).
  4. Mô hình xếp hạng đa tạp HD-EMR: Xây dựng đồ thị neo trực tiếp trên không gian đặc trưng 3369 chiều mà không cần áp dụng các phép biến đổi giảm chiều dữ liệu (như PCA hay t-SNE), giúp bảo toàn toàn bộ cấu trúc và thông tin phân biệt của dữ liệu.

Kết quả thực nghiệm của Chương 3:

  • Quá trình huấn luyện chuyển giao học (Transfer Learning) mạng EfficientNetB7+ đạt sự hội tụ ổn định: tập VGGFACE2-S với 40 epoch, tập Corel30K với 20 epoch, tập Logo-2K+ với 30 epoch. Bản đồ nhiệt (Heatmap) trực quan hóa cho thấy mạng trích xuất chính xác các vùng đối tượng trọng tâm.
  • Thử nghiệm so sánh 5 loại đặc trưng mạng CNN khác nhau kết hợp trong mô hình HD-EMR khẳng định cấu hình EfficientNetB7+ đạt độ chính xác tra cứu cao nhất trên cả 3 tập dữ liệu.
  • So sánh hiệu năng tra cứu tại ngưỡng 20 ảnh trả về ($K=20$): Mô hình HD-EMR (kết hợp đặc trưng 3369D) đạt độ chính xác vượt trội so với thuật toán EMR truyền thống trên cả 3 tập dữ liệu kiểm chứng: Corel30K, Logo-2K+ và VGGFACE2-S.

Kết quả và những đóng góp mới

Luận án đã đạt được các kết quả khoa học và đóng góp mới cụ thể như sau:

  1. Về mặt lý thuyết:
  • Phát biểu và chứng minh hoàn chỉnh Bổ đề 1 về tính tồn tại của đa tạp $d$ chiều chứa một tập hữu hạn bất kỳ các vector trong không gian thực $\mathbb{R}^m$ bằng phương pháp nội suy đa thức Lagrange. Bổ đề này cung cấp cơ sở toán học cho việc áp dụng các phương pháp học đa tạp và xếp hạng đa tạp trong bài toán xử lý dữ liệu ảnh số.
  1. Về mặt phương pháp và giải thuật:
  • Đề xuất thuật toán phân cụm mờ lvdc-FCM để xác định tập điểm neo tối ưu thay thế cho $K$-means, từ đó phát triển thuật toán xếp hạng đa tạp cải tiến EMR-(lvdc-FCM) giúp tăng độ chính xác tra cứu ảnh trong hệ thống CBIR (công bố trong các công trình [CT1, CT2, CT4]).
  • Đề xuất mô hình mạng nơ-ron tích chập tinh chỉnh EfficientNetB7+ nhằm trích xuất vector đặc trưng mức cao ($2560D$) phản ánh đầy đủ ngữ nghĩa của ảnh.
  • Đề xuất kỹ thuật kết hợp đa đặc trưng mức thấp ($809D$) và mức cao ($2560D$) thành vector biểu diễn $3369D$, đồng thời phát triển thuật toán LDM-FCM (kết hợp phân cụm mờ và ANN) được tối ưu hóa thực thi song song trên nền tảng GPU.
  • Xây dựng mô hình xếp hạng đa tạp HD-EMR cho phép xây dựng đồ thị và tra cứu trực tiếp trên không gian đặc trưng chiều rất cao mà không làm suy hao thông tin do giảm chiều (công bố trong các công trình [CT3, CT5, CT6]).
  1. Kiến nghị và giải pháp đề xuất:
  • Khuyến nghị ứng dụng mô hình HD-EMR kết hợp kiến trúc tính toán phần cứng GPU cho các hệ thống tra cứu ảnh quy mô lớn đòi hỏi độ chính xác cao trong các bài toán thực tế như quản lý cơ sở dữ liệu ảnh thương mại, nhận diện logo và tìm kiếm khuôn mặt.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của nghiên cứu:

  • Luận án tập trung chủ yếu vào mục tiêu nâng cao độ chính xác tra cứu ảnh; mặc dù thời gian xử lý một truy vấn trực tuyến đã được xem xét ở mức chấp nhận được, chi phí tính toán trong pha ngoại tuyến (xây dựng đồ thị neo và phân cụm mờ trên không gian vector chiều rất cao) vẫn đòi hỏi tài nguyên phần cứng chuyên dụng (GPU).
  • Phạm vi thực nghiệm tập trung trên 3 tập dữ liệu tiêu chuẩn (Corel30K, Logo-2K+, VGGFACE2-S), chưa mở rộng kiểm thử trên các cơ sở dữ liệu ảnh đa phương thức hoặc dữ liệu ảnh y tế phức tạp.

Hướng nghiên cứu tiếp theo:

  • Tiếp tục nghiên cứu tối ưu hóa hiệu năng tính toán song song của thuật toán LDM-FCM trên các hệ thống GPU phân tán để xử lý các cơ sở dữ liệu quy mô hàng triệu ảnh.
  • Nghiên cứu mở rộng mô hình xếp hạng đa tạp kết hợp đặc trưng học sâu cho bài toán tra cứu ảnh đa phương thức (kết hợp văn bản và hình ảnh) và các dạng dữ liệu không gian ba chiều.

Giá trị tham khảo

Luận án là tài liệu tham khảo chuyên sâu và hữu ích đối với:

  • Nghiên cứu sinh, học viên cao học và giảng viên ngành Công nghệ thông tin, Khoa học dữ liệu, Thị giác máy tính: Cung cấp khung lý thuyết toán học về dữ liệu đa tạp (chứng minh Bổ đề 1), thuật toán xếp hạng đa tạp MR/EMR và các kỹ thuật kết hợp đặc trưng đa tầng.
  • Kỹ sư phát triển phần mềm và hệ thống thông tin: Tham khảo phương pháp kiến trúc hệ thống CBIR hoàn chỉnh, kỹ thuật tinh chỉnh mạng EfficientNetB7+, phương pháp lập trình tính toán song song CUDA/GPU cho phân cụm mờ và xử lý dữ liệu lớn chiều cao (LDM-FCM, HD-EMR).
  • Các đơn vị ứng dụng thực tế: Cung cấp giải pháp kỹ thuật có thể ứng dụng trong các hệ thống tìm kiếm ảnh khuôn mặt, giám sát an ninh và tra cứu nhãn hiệu hàng hóa.

Câu hỏi thường gặp

1. Bổ đề 1 do tác giả phát biểu và chứng minh có ý nghĩa lý luận như thế nào đối với bài toán CBIR? Bổ đề 1 sử dụng đa thức nội suy Lagrange để chứng minh rằng mọi tập hữu hạn $n$ vector phân biệt trong không gian $\mathbb{R}^m$ luôn nằm trên một đa tạp con $d$ chiều ($1 \le d \le m/2$). Kết quả này chứng minh về mặt toán học rằng dữ liệu biểu diễn ảnh thực tế luôn tồn tại cấu trúc đa tạp nội tại, từ đó khẳng định tính đúng đắn và sự cần thiết của việc sử dụng các độ đo khoảng cách trên đa tạp (như xếp hạng đa tạp MR/EMR) thay cho các độ đo Euclide thông thường.

2. Thuật toán phân cụm mờ lvdc-FCM khắc phục nhược điểm gì của thuật toán $K$-means trong mô hình EMR? Thuật toán $K$-means gán cứng mỗi điểm dữ liệu vào một tâm cụm duy nhất và hoạt động kém hiệu quả trên dữ liệu đa tạp phi tuyến tính hoặc dữ liệu nhiều chiều. lvdc-FCM sử dụng logic mờ để xác định mức độ thuộc cụm của từng điểm, cho phép một điểm dữ liệu có thể liên kết với nhiều điểm neo đại diện với các trọng số khác nhau, từ đó phản ánh chính xác cấu trúc hình học và bảo toàn thông tin lân cận của không gian dữ liệu.

3. Vector biểu diễn ảnh trong mô hình đề xuất ở Chương 3 gồm những thành phần nào và có tổng số chiều là bao nhiêu? Vector biểu diễn ảnh kết hợp có tổng số chiều là 3369 chiều ($3369D$), được ghép nối từ hai thành phần:

  • Đặc trưng mức thấp ($LF$ - Low-level Features): Gồm 809 chiều ($809D$), tổng hợp từ GCM ($81D$, màu sắc), LBP ($59D$, kết cấu), GWT ($120D$, kết cấu), EDH ($37D$, hình dạng) và GIST ($512D$, hình dạng).
  • Đặc trưng mức cao ($HF$ - High-level Features): Gồm 2560 chiều ($2560D$), được trích xuất từ mạng nơ-ron tích chập EfficientNetB7+ sau khi đã tinh chỉnh cấu trúc.

4. Mô hình HD-EMR giải quyết bài toán dữ liệu đặc trưng chiều rất cao bằng cách nào? Thay vì sử dụng các kỹ thuật giảm chiều dữ liệu (như PCA, t-SNE) vốn có nguy cơ làm mất mát thông tin phân biệt, mô hình HD-EMR xử lý trực tiếp vector 3369 chiều bằng cách: (1) Ứng dụng thuật toán LDM-FCM kết hợp phân cụm mờ với tìm kiếm xấp xỉ lân cận gần nhất (ANN); (2) Tối ưu hóa toàn bộ quá trình tính toán ma trận trọng số và điểm neo trên kiến trúc tính toán song song GPU.

5. Luận án sử dụng những tập dữ liệu nào để thực nghiệm và đánh giá chất lượng hệ thống? Luận án sử dụng 4 tập dữ liệu chính: tập dữ liệu nhân tạo 20D (3000 điểm mô phỏng 5 dạng đa tạp con); tập cơ sở dữ liệu ảnh chuẩn Corel30K (30.000 ảnh); tập ảnh biểu trưng Logo-2K+; và tập ảnh khuôn mặt VGGFACE2-S. Hiệu năng được đo lường định lượng qua chỉ số phân cụm Xie-Beni, IFVIndex và các chỉ số tra cứu $Pr$, $Re$, $ARP$, $MAP$.

Kết luận

Luận án tiến sĩ của tác giả Hoàng Văn Quý đã giải quyết bài toán nâng cao độ chính xác tra cứu ảnh dựa vào nội dung thông qua việc cải tiến thuật toán xếp hạng đa tạp và tối ưu hóa biểu diễn đặc trưng. Tác giả đã chứng minh toán học tính tổng quát của dữ liệu đa tạp trên tập hữu hạn vector, đồng thời đề xuất thành công thuật toán EMR-(lvdc-FCM) và mô hình HD-EMR kết hợp đặc trưng đa tầng 3369 chiều trên nền tảng GPU. Các kết quả thực nghiệm trên các tập dữ liệu Corel30K, Logo-2K+ và VGGFACE2-S khẳng định tính đúng đắn và hiệu quả của các giải pháp đề xuất, đóng góp cả về mặt lý luận toán học lẫn kỹ thuật ứng dụng trong lĩnh vực thị giác máy tính và tra cứu đa phương tiện.