Tổng quan luận án

Sự bùng nổ của mạng Internet và công nghệ số hóa đã tạo ra các kho dữ liệu đa phương tiện quy mô lớn như Flickr, YouTube, Facebook, Twitter. Việc quản trị và khai thác hiệu quả nguồn dữ liệu trực quan này đặt ra nhiều thách thức đối với các hệ thống tìm kiếm truyền thống. Phương pháp tra cứu ảnh dựa trên từ khóa (text-based image retrieval) bộc lộ hạn chế lớn khi dữ liệu mở rộng: chi phí gán nhãn thủ công tốn kém, phụ thuộc chủ quan vào người gán và không bao quát được toàn bộ nội dung thị giác phức tạp.

Để giải quyết vấn đề trên, hướng nghiên cứu Tra cứu ảnh dựa vào nội dung (Content-Based Image Retrieval - CBIR) đã được phát triển từ những năm 1980. Hệ thống CBIR trích rút các đặc trưng thị giác mức thấp (màu sắc, kết cấu, hình dạng) để so khớp độ tương tự giữa ảnh truy vấn và ảnh trong cơ sở dữ liệu. Tuy nhiên, hiệu năng của CBIR gặp rào cản từ "khoảng trống ngữ nghĩa" (semantic gap) — sự sai lệch giữa các biểu diễn toán học mức thấp do máy tính tính toán với các khái niệm ngữ nghĩa mức cao trong nhận thức của người dùng. Bên cạnh đó, việc kết hợp đồng thời nhiều bộ đặc trưng (đa đặc trưng) nhằm tăng cường độ chính xác thường dẫn đến sự bùng nổ chiều dữ liệu, dữ liệu phân bố không đồng nhất làm suy giảm hiệu quả của các phép đo khoảng cách, và không gian tìm kiếm mở rộng gây khó khăn cho các thuật toán phân lớp.

Luận án tiến sĩ toán học của nghiên cứu sinh Vũ Văn Hiệu, chuyên ngành Cơ sở Toán học cho Tin học (mã số: 62 46 01 10), với đề tài "Nghiên cứu một số kỹ thuật phân hạng trong tra cứu ảnh dựa vào nội dung" tập trung giải quyết các bài toán cơ bản trong chu trình phân hạng và nâng cao độ chính xác của hệ thống CBIR.

Luận án xác định 3 mục tiêu nghiên cứu cụ thể:

  1. So sánh độ tương tự: Nghiên cứu và đề xuất phương pháp chuẩn hóa đặc trưng và chuẩn hóa khoảng cách phù hợp với dữ liệu phi chuẩn, nhằm nâng cao hiệu quả đo đạc độ tương tự khi kết hợp đa đặc trưng.
  2. Phản hồi liên quan: Nghiên cứu và đề xuất kỹ thuật hiệu chỉnh trọng số đặc trưng kết hợp dịch chuyển điểm truy vấn dựa trên thông tin tương tác của người dùng.
  3. Đánh chỉ số và tra cứu: Xây dựng cơ chế rút gọn không gian tìm kiếm dựa trên tiếp cận tối ưu Pareto để chọn lọc tập ứng viên tiềm năng, làm đầu vào cho các thuật toán học máy phân lớp nhằm cải thiện độ chính xác xếp hạng đầu ra.

Đối tượng và phạm vi nghiên cứu của luận án bao gồm:

  • Đối tượng nghiên cứu: Các cấu trúc biểu diễn vector đặc trưng thị giác mức thấp (màu sắc, kết cấu, hình dạng, đặc trưng toàn cảnh GIST, biến đổi Wavelet), các hàm khoảng cách ($L_1, L_2$, Canberra), kỹ thuật phân cụm mờ Fuzzy C-Means (FCM), cơ chế tối ưu đa mục tiêu Pareto, và các mô hình học máy phân lớp (Support Vector Machine - SVM, AdaBoost).
  • Phạm vi dữ liệu: Các tập dữ liệu ảnh chuẩn được công nhận rộng rãi trong cộng đồng nghiên cứu CBIR quốc tế, bao gồm: tập Wang (1.000 ảnh, 10 chủ đề), Caltech 101 (101 danh mục đối tượng), Oxford Buildings (5.062 ảnh công trình kiến trúc kèm 55 truy vấn ground truth), và tập Corel tổng quát.

Tổng quan tài liệu và vị trí của luận án

Luận án đã tổng thuật hệ thống các công trình nghiên cứu tiêu biểu trong hơn ba thập kỷ phát triển của lĩnh vực CBIR:

  • Các hệ thống CBIR kinh điển và khung kiến trúc: Hệ thống QBIC của IBM (Niblack et al., 1993; Flickner et al., 1996) tích hợp màu sắc, kết cấu và hình dạng; hệ thống Photobook (Pentland et al., 1996) tại MIT Media Lab; hệ thống MARS (Rui, Huang, Mehrotra, Ortega, 1997–1998) đặt nền tảng cho phản hồi liên quan đa tầng; PicHunter (Cox et al., 2000) tiếp cận theo xác suất Bayes; VisualSEEK (Smith & Chang, 1996) tra cứu không gian màu; Blobworld (Carson et al., 2002) phân đoạn ảnh dựa trên thuật toán EM; SIMPLIcity (Wang, Li, Wiederhold, 2001) so khớp ngữ nghĩa phân đoạn; và hệ thống FIRE (Deselaers, Keysers, Ney, 2004).
  • Kỹ thuật trích rút đặc trưng: Trích rút màu sắc qua lược đồ màu (Swain & Ballard, 1991), mô men màu (Stricker & Orengo, 1995), tương quan màu Color Correlogram (Huang et al., 1997; Ojala et al., 2002); đặc trưng kết cấu Tamura (Tamura, Mori, Yamawaki, 1978), ma trận đồng mức Haralick (Haralick et al., 1973), bộ lọc Gabor (Grigorescu et al., 2002), biến đổi Gabor Wavelet (Zhang et al., 2000) và Haar Wavelet (Kekre et al., 2010); đặc trưng hình dạng qua mô men bất biến Hu (Hu, 1962), bất biến Zernike (Khotanzad & Hong, 1990), Fourier Descriptors (Zahn & Roskies, 1972); đặc trưng toàn cảnh không gian GIST (Oliva & Torralba, 2001, 2006); và các đặc trưng điểm bất biến cục bộ SIFT (Lowe, 2004), SURF (Bay et al., 2008).
  • Chuẩn hóa dữ liệu trong CBIR: Phương pháp chuẩn hóa Min-Max (Bai et al., 2012; Jose & Joseph, 2014) và chuẩn hóa phân bố chuẩn Gauss $3\sigma$ (Mood et al., 1997; Ciocca & Schettini, 1999; Rui et al., 1998).
  • Kỹ thuật phản hồi liên quan (Relevance Feedback - RF): Kỹ thuật dịch chuyển truy vấn gốc từ Rocchio (1971); hiệu chỉnh trọng số elip trong MindReader (Ishikawa et al., 1998); công cụ PowerTool trong MARS (Rui et al., 1998); cơ chế trọng số dựa trên độ lệch chuẩn của Das (2000); tỷ số phân biệt của Wu & Zhang (2002); mở rộng truy vấn qua phân cụm thích nghi Qcluster (Kim & Chung, 2003, 2005); các mô hình học manifold (He et al., 2004; Xu et al., 2011) và Isolation Forest (Liu, Ting, Zhou, 2008; Zhou et al., 2010).
  • Học máy và phân lớp trong CBIR: Máy vector hỗ trợ tích cực SVM-AL (Tong & Chang, 2001; Zhang, Lin, Zhang, 2001; Wang et al., 2015); giải thuật tăng cường AdaBoost (Freund & Schapire, 1996, 1999; Tieu & Viola, 2004; Yu et al., 2007; Korytkowski et al., 2014).
  • Tiếp cận tối ưu Pareto: Khái niệm toán tử chân trời Skyline (Borzsony, Kossmann, Stocker, 2001); ứng dụng Pareto lọc ứng viên k-láng giềng (Ortega et al., 2013); và phương pháp Pareto-depth đa truy vấn (Hsiao, Calder, Hero, 2015).

Khoảng trống nghiên cứu được luận án định vị và lựa chọn giải quyết:

  1. Hạn chế của phép chuẩn hóa truyền thống: Chuẩn hóa Min-Max dễ bị nén dữ liệu vào dải hẹp khi xuất hiện giá trị ngoại lai lớn; chuẩn hóa Gauss $3\sigma$ áp đặt giả thiết dữ liệu tuân theo phân bố chuẩn, trong khi vector đặc trưng ảnh thực tế thường có phân bố lệch, dẫn đến nhiều thành phần vượt ra ngoài khoảng $[-1, 1]$.
  2. Bất cập trong phân bổ trọng số đa đặc trưng: Các mô hình phân cấp trọng số truyền thống chưa phản ánh công bằng sự đóng góp độc lập của từng bộ đặc trưng, dễ rơi vào cực trị địa phương khi không gian trực quan bị phân tán.
  3. Sự bùng nổ không gian tìm kiếm và thiếu hụt mẫu huấn luyện: Khi kết hợp đa đặc trưng, số chiều tăng cao khiến các mô hình học máy (SVM, AdaBoost) khó huấn luyện do số lượng ảnh phản hồi từ người dùng trong một vòng lặp rất ít (thường chỉ 20 ảnh). Các phương pháp Pareto trước đây hoặc chỉ lấy một lớp Pareto đầu tiên (Skyline) bỏ sót nhiều ảnh liên quan, hoặc lấy toàn bộ các lớp dẫn đến không gian tìm kiếm quá lớn.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết và khái niệm sử dụng

  • Mô hình không gian tổ hợp đa đặc trưng: Không gian đặc trưng mức thấp được định nghĩa là tập các kiểu đặc trưng $F = {f_i}$ (màu sắc, kết cấu, hình dạng) và tập các bộ biểu diễn $T = {t_j}$, trong đó mỗi bộ đặc trưng tương ứng với một vector nhiều chiều $t_{ij} = [t_{ij1}, t_{ij2}, \dots, t_{ijM}]$. Độ tương tự tổng thể giữa ảnh truy vấn $Q$ và ảnh cơ sở dữ liệu $I$ được biểu diễn qua tích hợp tuyến tính có trọng số: $$S = \sum_i w_i S(f_i) = \sum_i w_i \left( \sum_j w_{ij} S(t_{ij}) \right)$$
  • Phân cụm mờ (Fuzzy C-Means - FCM): Thuật toán phân cụm mờ của Bezdek và Dunn được sử dụng để xác định mức độ thuộc cụm $p_{t,c,i}$ của phần tử thứ $i$ đối với cụm $c$, hỗ trợ mô hình hóa các phân bố đặc trưng phức tạp không tuân theo quy luật Gauss đơn lẻ.
  • Lý thuyết tập tối ưu Pareto và Pareto Front: Trong bài toán tối ưu đa mục tiêu (với các hàm mục tiêu là khoảng cách theo từng bộ đặc trưng $D^t(Q, I)$), một giải pháp $I_1$ được gọi là trội hơn (dominate) giải pháp $I_2$ nếu $I_1$ không kém hơn $I_2$ trên mọi mục tiêu và tốt hơn ít nhất trên một mục tiêu. Tập các phần tử không bị trội tạo thành Pareto front đầu tiên ($PF_1$). Luận án mở rộng khái niệm này sang không gian Pareto front đa mức sâu ($PF_1, PF_2, \dots, PF_k$).
  • Mô hình máy học phân lớp:
    • Support Vector Machine (SVM): Xây dựng siêu phẳng phân tách $f(x) = \text{sign}(wx + b)$ sao cho lề phân tách là cực đại thông qua tối ưu hóa bậc hai.
    • AdaBoost: Kết hợp tuyến tính các bộ phân loại yếu $h_l(x)$ thành bộ phân loại mạnh $F(x) = \sum_{l=1}^L \alpha_l h_l(x)$ dựa trên cơ chế cập nhật phân bố trọng số mẫu $D_l(i)$ qua từng vòng lặp.

Phương pháp nghiên cứu

Luận án kết hợp chặt chẽ giữa phương pháp nghiên cứu lý thuyết toán học và phương pháp thực nghiệm mô phỏng trên máy tính:

  • Phương pháp lý thuyết: Thiết lập các định lý, tính chất hình thức toán học của tập Pareto đa mức sâu trong không gian khoảng cách đa đặc trưng; chứng minh tính bảo toàn thứ tự của phép chuẩn hóa $3\sigma$-FCM.
  • Phương pháp thực nghiệm: Xây dựng phần mềm thử nghiệm CBIR hoàn chỉnh; thiết lập các kịch bản tra cứu tự động và tương tác người dùng qua nhiều vòng lặp phản hồi liên quan; đo lường hiệu năng bằng các chỉ số định lượng chuẩn mực.

Nguồn tư liệu và dữ liệu thực nghiệm

Luận án sử dụng 4 bộ dữ liệu ảnh số chuẩn:

  1. Corel Database: Cơ sở dữ liệu quy mô lớn (dao động từ 30.000 đến 200.000 ảnh kích thước $384 \times 256$ hoặc $256 \times 384$), chứa 184.988 từ ghi chú với 13.811 từ khác nhau (trung bình 6,27 từ/ảnh).
  2. Wang Database: Tập con gồm 1.000 ảnh từ Corel, chia đều thành 10 lớp ngữ nghĩa (mỗi lớp 100 ảnh): Biển, Châu Phi, Hoa hồng, Khủng long, Ngựa, Núi, Thực phẩm, Di tích, Voi, Xe buýt.
  3. Caltech 101: Tập dữ liệu gồm 101 chủ đề đối tượng (kích thước xấp xỉ $300 \times 200$ điểm ảnh), mỗi chủ đề chứa từ 40 đến 800 ảnh.
  4. Oxford Buildings: Gồm 5.062 ảnh độ phân giải cao ($1024 \times 768$) thu thập từ Flickr cho 11 địa danh kiến trúc tại Oxford; sử dụng 55 ảnh truy vấn chuẩn kèm nhãn ground truth phân loại theo 4 mức: Good, OK, Junk, Absent.

Nội dung chính theo từng chương

Chương 1: Tổng quan về Tra cứu ảnh dựa vào nội dung

Chương 1 hệ thống hóa cơ sở lý thuyết tổng quan của một hệ thống CBIR chuẩn, bao gồm các công đoạn: trích rút đặc trưng, chuẩn hóa dữ liệu, xác định độ tương tự, xử lý khoảng trống ngữ nghĩa và đánh giá hiệu năng.

Chương này đi sâu phân tích các biểu diễn đặc trưng thị giác phổ biến:

  • Đặc trưng toàn cục: Lược đồ màu HSV; mô men màu (bậc 1, bậc 2, bậc 3); ma trận tự tương quan màu (Color Correlogram); đặc trưng kết cấu ma trận đồng mức xám (GLCM); năng lượng lọc Gabor; biến đổi sóng Haar Wavelet; hệ mô men bất biến hình dạng Hu; và đặc trưng phong bì không gian GIST.
  • Đặc trưng cục bộ: Các phương pháp dò điểm bất biến Harris-Laplace, DoG, giải thuật SIFT (Scale-Invariant Feature Transform) và SURF (Speeded Up Robust Features), cùng trích xuất dựa trên vùng thuần nhất.

Nội dung trọng tâm của chương là phân tích toán học các điểm nghẽn của hệ thống CBIR:

  1. Phép chuẩn hóa Min-Max và Gauss: Công thức chuẩn hóa Min-Max (Phương trình 1.2 và 1.3) đưa dữ liệu về khoảng $[0, 1]$ nhưng dễ bị suy biến khi xuất hiện giá trị cực trị lớn. Phép chuẩn hóa Gauss $3\sigma$ (Phương trình 1.4 – 1.7) đưa dữ liệu về khoảng $[-1, 1]$ dựa trên giả thiết phân bố chuẩn. Luận án kiểm chứng thực nghiệm trên thành phần thứ 1 của mô men màu và thành phần thứ 5 của lược đồ HSV trên các tập Wang, Caltech 101, chỉ ra rằng dữ liệu thực tế không tuân theo phân bố Gauss (chỉ có 97,4555% rơi vào $[-1, 1]$), chứng minh giả thiết áp đặt $3\sigma$ truyền thống là chưa phù hợp.
  2. Khoảng trống ngữ nghĩa: Minh họa trường hợp ảnh truy vấn "mandolin" trên tập Caltech 101 trả về kết quả top-20 ban đầu có độ tương đồng lược đồ màu mức thấp nhưng hoàn toàn sai lệch về ngữ nghĩa đối tượng mức cao.
  3. Cơ chế phản hồi liên quan: Phân tích các mô hình cập nhật trọng số elip (MindReader), phân bố trọng số dựa trên độ lệch chuẩn (Das, Wu & Zhang), và phân lớp học máy (SVM-AL, AdaBoost).
  4. Phương pháp đánh giá hiệu năng: Định nghĩa toán học của Độ chính xác (Precision - $Pr$) và Độ hồi tưởng (Recall - $Re$): $$Pr = \frac{E}{D}, \quad Re = \frac{E}{A}$$ Trong đó $E$ là số ảnh liên quan được tra cứu, $D$ là tổng số ảnh được tra cứu, và $A$ là tổng số ảnh liên quan thực tế có trong cơ sở dữ liệu.
+---------------------------------------------------------------------------------------+
| Sơ đồ quy trình tổng quát của hệ thống CBIR đề xuất trong luận án                    |
+---------------------------------------------------------------------------------------+
|  [Ảnh truy vấn Q & Cơ sở dữ liệu ảnh]                                                |
|  (1) Trích rút đa đặc trưng & Chuẩn hóa 3σ-FCM (Chương 2)                            |
|  (2) Tính khoảng cách tổ hợp & Trả về kết quả ban đầu top-k                          |
|  (3) Người dùng phản hồi liên quan (Đánh dấu tập NB+ và NB-)                         |
|  (4) Hiệu chỉnh trọng số wt & Dịch chuyển điểm truy vấn (Chương 2)                   |
|  (5) Rút gọn không gian tìm kiếm qua Pareto Front đa mức sâu PF_k (Chương 3)         |
|  (6) Huấn luyện máy phân lớp (SVM / AdaBoost) trên tập ứng viên Pareto                |
|  (7) Xếp hạng lại theo điểm số dự báo phân lớp & Hiển thị kết quả top-k mới          |
+---------------------------------------------------------------------------------------+

Chương 2: Đề xuất chuẩn hoá đặc trưng và hiệu chỉnh trọng số trong tổ hợp đặc trưng

Chương 2 trình bày hai đóng góp kỹ thuật quan trọng nhằm tối ưu hóa giai đoạn so khớp độ tương tự và thích nghi với phản hồi người dùng.

1. Đề xuất kỹ thuật chuẩn hóa đặc trưng và khoảng cách $3\sigma$-FCM

Để giải quyết tính phi chuẩn của dữ liệu đặc trưng ảnh, tác giả đề xuất tích hợp luật $3\sigma$ với phân cụm mờ FCM ($3\sigma$-FCM).

  • Chuẩn hóa đặc trưng: Sử dụng FCM để phân chia chuỗi giá trị thành phần đặc trưng thành các cụm mờ với tâm cụm $V_{t,c,j}$ và độ lệch chuẩn $\sigma_{t,c,j}$. Phép biến đổi chuẩn hóa được ánh xạ dựa trên trọng số mức độ thuộc cụm $p_{t,c,\eta_i}$, bảo toàn thứ tự tương đối giữa các phần tử nhưng nén chặt phân bố dữ liệu vào dải tiêu chuẩn.
  • Chuẩn hóa khoảng cách: Áp dụng phân cụm khoảng cách tương tự để xác định tâm cụm khoảng cách $V_t^{(D)}$ và độ lệch chuẩn $\sigma_t^{(D)}$, loại bỏ hiện tượng một bộ đặc trưng có thang đo lớn lấn át các bộ đặc trưng khác khi tính khoảng cách tổng hợp.

2. Đề xuất kỹ thuật hiệu chỉnh trọng số và dịch chuyển truy vấn

Dựa trên tập ảnh phản hồi tích cực ($NB^+$) và tập phản hồi tiêu cực ($NB^-$) do người dùng đánh dấu tại mỗi vòng lặp $l$, luận án xây dựng hàm cập nhật trọng số cho từng bộ đặc trưng $w_t^{(l+1)}$:

  • Trọng số $w_t$ tỷ lệ nghịch với độ lệch chuẩn khoảng cách $\sigma_{t,D}^{(l),NB^+}$ và độ lệch chuẩn độ dài vector đặc trưng $\sigma_{t,|I|}^{(l),NB^+}$ của các ảnh trong tập $NB^+$.
  • Đồng thời, điểm truy vấn $Q_t$ được dịch chuyển trong không gian đặc trưng về phía trọng tâm của tập $NB^+$ và rời xa tập $NB^-$ theo nguyên lý mở rộng từ thuật toán Rocchio.

3. Kết quả thực nghiệm Chương 2

Thực nghiệm được triển khai trên tập dữ liệu Wang (1.000 ảnh), kết hợp 6 bộ đặc trưng: Lược đồ màu HSV, Tự tương quan màu, Mô men màu, Kết cấu Gabor, Mô men Wavelet và GIST. So sánh trực tiếp với phương pháp PowerTool của hệ thống MARS qua 10 vòng lặp phản hồi liên quan:

Vòng lặp phản hồi Precision top-20 đề xuất (%) Recall top-20 đề xuất (%) Precision top-20 PowerTool (%) Recall top-20 PowerTool (%)
Khởi tạo ($l=0$) 52,35 10,47 45,10 9,02
Vòng 1 ($l=1$) 68,40 13,68 56,20 11,24
Vòng 2 ($l=2$) 76,85 15,37 64,50 12,90
Vòng 3 ($l=3$) 82,10 16,42 70,15 14,03
Vòng 5 ($l=5$) 88,60 17,72 76,80 15,36
Vòng 10 ($l=10$) 93,25 18,65 81,40 16,28

Kết quả thực nghiệm khẳng định phương pháp chuẩn hóa $3\sigma$-FCM kết hợp hiệu chỉnh trọng số thích nghi giúp nâng cao độ chính xác trung bình (Precision) trên top-20 ảnh trả về vượt trội so với mô hình PowerTool (MARS) từ 7,25% ở bước khởi tạo lên đến 11,85% sau 10 vòng lặp phản hồi.

Chương 3: Đề xuất kỹ thuật Pareto front đa mức sâu nâng cao hiệu quả phân lớp ảnh

Chương 3 tập trung giải quyết bài toán phân lớp và tái xếp hạng ảnh trên không gian tổ hợp đa đặc trưng bằng cách kết hợp lý thuyết tối ưu Pareto với các thuật toán học máy giám sát.

1. Xây dựng tính chất hình thức của Pareto front đa mức sâu

Luận án mô hình hóa không gian tìm kiếm của ảnh truy vấn $E_Q$ dưới dạng bài toán tối ưu đa mục tiêu với $T$ tiêu chí khoảng cách ${D^1(Q, I), D^2(Q, I), \dots, D^T(Q, I)}$.

  • Tác giả định nghĩa cấu trúc Pareto front đa mức sâu: mức $PF_1$ là tập các điểm không bị trội trong $E_Q$; mức $PF_2$ là tập các điểm không bị trội trong tập $E_Q \setminus PF_1$; tổng quát mức $PF_k$ được trích xuất tuần tự sau khi loại bỏ $k-1$ mức trước đó.
  • Luận án chứng minh định lý toán học: Đường trỗi dài nhất từ một điểm trong không gian tìm kiếm xác định mức độ sâu Pareto của điểm đó. Việc lấy hợp các mức sâu $PF_1 \cup PF_2 \cup \dots \cup PF_k$ tạo ra một không gian ứng viên thu gọn, bao bọc chặt chẽ các ảnh có liên quan ngữ nghĩa mà không cần duyệt toàn bộ cơ sở dữ liệu.

2. Mô hình phân lớp kết hợp Pareto-SVM và Pareto-AdaBoost

Thay vì áp dụng thuật toán học máy trên toàn bộ không gian dữ liệu bị mất cân bằng lớp nghiêm trọng, quy trình đề xuất được thực hiện như sau:

  1. Xác định tập ứng viên Pareto đa mức sâu làm tập kiểm tra (test set).
  2. Sử dụng tập các ảnh do người dùng gán nhãn qua phản hồi liên quan ($NB^+$ làm mẫu dương, $NB^-$ làm mẫu âm) làm tập huấn luyện (training set).
  3. Huấn luyện máy phân lớp:
    • Pareto-SVM: Tìm siêu phẳng phân tách tối ưu trên không gian vector đặc trưng kết hợp để tính khoảng cách đại số từ mỗi điểm ứng viên đến siêu phẳng làm điểm số xếp hạng.
    • Pareto-AdaBoost: Tích hợp các bộ phân loại yếu theo phân bố trọng số mẫu lỗi để tính toán điểm số nhãn dự báo.
  4. Xếp hạng lại tập ứng viên theo điểm số phân lớp giảm dần và hiển thị top-$k$ kết quả có độ tin cậy cao nhất.
+------------------------------------------------------------------------------------+
| Kiến trúc phân lớp nâng cao dựa trên Pareto Front đa mức sâu                       |
+------------------------------------------------------------------------------------+
|  Không gian cơ sở dữ liệu ảnh (N phần tử)                                          |
|  Tập ứng viên Pareto đa mức sâu: PF_1 U PF_2 U ... U PF_k (Rút gọn không gian)     |
|  | Mô hình Pareto-SVM      |    HOẶC    | Mô hình Pareto-AdaBoost  |               |
|  | (Huấn luyện từ NB+/NB-) |            | (Huấn luyện từ NB+/NB-)  |               |
|  Danh sách xếp hạng top-k có độ chính xác cao                                      |
+------------------------------------------------------------------------------------+

3. Kết quả thực nghiệm Chương 3

Thực nghiệm kiểm chứng được tiến hành trên 3 tập dữ liệu (ký hiệu Db1: Wang, Db2: Caltech 101, Db3: Oxford Buildings) qua 5 vòng lặp phản hồi liên quan:

Tập dữ liệu Phương pháp Top-20 Vòng 1 ($Pr%$) Top-20 Vòng 3 ($Pr%$) Top-20 Vòng 5 ($Pr%$)
Db1 (Wang) MARS cơ sở 56,20 70,15 76,80
SVM truyền thống 64,15 77,30 83,50
AdaBoost truyền thống 62,80 75,90 82,10
Pareto-SVM (Đề xuất) 78,50 89,40 94,65
Pareto-AdaBoost (Đề xuất) 76,20 87,85 93,10
Db2 (Caltech 101) SVM truyền thống 48,20 61,50 69,40
Pareto-SVM (Đề xuất) 63,75 76,80 83,20
Pareto-AdaBoost (Đề xuất) 61,90 74,30 81,55
Db3 (Oxford) SVM truyền thống 42,10 55,60 63,80
Pareto-SVM (Đề xuất) 58,40 71,20 78,90
Pareto-AdaBoost (Đề xuất) 56,70 69,50 77,15

Thực nghiệm cho thấy mô hình kết hợp Pareto-SVM và Pareto-AdaBoost đạt độ chính xác phân hạng cao hơn rõ rệt so với các mô hình máy học thuần túy và hệ thống MARS trên cả 3 bộ dữ liệu, khẳng định tính hiệu quả của việc rút gọn không gian tìm kiếm bằng tập Pareto đa mức sâu.

Kết quả và những đóng góp mới

Luận án đã đạt được các đóng góp khoa học mới cả về mặt lý luận giải thuật và thực tiễn ứng dụng:

  1. Đóng góp lý thuyết về chuẩn hóa dữ liệu: Đề xuất kỹ thuật chuẩn hóa đặc trưng và chuẩn hóa khoảng cách $3\sigma$-FCM. Phương pháp này khắc phục nhược điểm áp đặt phân bố chuẩn Gauss của luật $3\sigma$ truyền thống, xử lý hiệu quả tính bất đồng nhất và phân tán của các vector đặc trưng đa chiều, bảo đảm tính công bằng khi tích hợp nhiều bộ đặc trưng thị giác.
  2. Đóng góp giải thuật thích nghi phản hồi: Xây dựng quy trình hiệu chỉnh trọng số đặc trưng động kết hợp dịch chuyển điểm truy vấn tối ưu. Hàm cập nhật trọng số khai thác đồng thời độ phân tán khoảng cách và độ lệch chuẩn độ dài vector của tập mẫu phản hồi tích cực/tiêu cực, giúp quỹ đạo dịch chuyển truy vấn hội tụ nhanh về vùng không gian ngữ nghĩa mong muốn.
  3. Đóng góp lý thuyết rút gọn không gian tìm kiếm: Khái quát hóa và chứng minh các tính chất hình thức toán học của Pareto front đa mức sâu trong không gian tổ hợp đa đặc trưng. Đề xuất giải pháp sử dụng hợp các mức Pareto front làm tập ứng viên thu gọn phục vụ phân lớp học máy, khắc phục hiện tượng mất cân bằng mẫu nghiêm trọng và triệt tiêu nguy cơ tắc nghẽn cực trị địa phương.
  4. Đóng góp về mặt giải pháp công nghệ: Phát triển các mô hình phân lớp lai ghép Pareto-SVM và Pareto-AdaBoost trong CBIR; xây dựng phần mềm thử nghiệm hoàn chỉnh cho phép tương tác trực quan qua nhiều vòng lặp phản hồi, chứng minh tính khả thi và hiệu năng vượt trội qua các thực nghiệm định lượng trên các tập ảnh chuẩn quốc tế.

Hạn chế và hướng nghiên cứu tiếp

Căn cứ trên các nội dung được tác giả trình bày tại phần kết luận của luận án, công trình tồn tại các hạn chế và định hướng phát triển sau:

  • Hạn chế:
    • Quy mô cơ sở dữ liệu thực nghiệm: Các thử nghiệm mới dừng lại ở các tập dữ liệu chuẩn học thuật quy mô nhỏ và trung bình (tập Wang 1.000 ảnh, Oxford Buildings 5.062 ảnh). Luận án chưa tiến hành kiểm thử trên các tập dữ liệu ảnh quy mô siêu lớn (hàng triệu ảnh) của môi trường Internet thực tế.
    • Đánh giá hiệu năng thời gian: Luận án chủ yếu tập trung phân tích và tối ưu hóa độ chính xác ($Pr$) và độ hồi tưởng ($Re$), chưa thực hiện các đo đạc chi tiết về độ phức tạp tính toán thời gian thực (thời gian trễ, tốc độ phản hồi trên giao diện) khi thực hiện trích xuất Pareto front đa mức sâu trong môi trường cơ sở dữ liệu động.
  • Hướng nghiên cứu tiếp:
    • Mở rộng quy mô thực nghiệm trên các kho dữ liệu lớn phân tán.
    • Nghiên cứu tối ưu hóa thuật toán tính toán Pareto front đa mức sâu nhằm giảm chi phí tính toán trong pha xử lý trực tuyến (on-line).
    • Khảo sát khả năng tích hợp các biểu diễn đặc trưng ngữ nghĩa sâu học được từ các mạng nơ-ron tích chập (CNN) vào khung phân hạng Pareto đề xuất.

Giá trị tham khảo

Luận án mang lại giá trị học thuật và thực tiễn cụ thể cho các nhóm đối tượng:

  • Nghiên cứu sinh và học viên cao học: Cung cấp tài liệu tham khảo chuyên sâu về các phương pháp toán học ứng dụng trong xử lý ảnh, kỹ thuật trích rút đặc trưng thị giác cổ điển, lý thuyết phân cụm mờ, và cách tiếp cận bài toán tối ưu đa mục tiêu Pareto trong hệ thống tìm kiếm thông tin.
  • Giảng viên và nhà nghiên cứu ngành Khoa học máy tính / Thị giác máy tính: Cung cấp khung phương pháp luận hoàn chỉnh về thiết lập thử nghiệm CBIR chuẩn mực, cách xây dựng ground truth trên các bộ dữ liệu Wang, Caltech 101, Oxford Buildings, cùng hệ thống công thức đánh giá định lượng Precision-Recall qua các vòng lặp phản hồi.
  • Kỹ sư phát triển hệ thống tìm kiếm và xử lý dữ liệu đa phương tiện: Cung cấp giải thuật thực tế để giải quyết vấn đề mất cân bằng mẫu khi huấn luyện mô hình phân lớp on-line và giải pháp chuẩn hóa dữ liệu đa nguồn không đồng nhất.

Câu hỏi thường gặp

1. Phép chuẩn hóa $3\sigma$-FCM do luận án đề xuất giải quyết được hạn chế cụ thể nào của chuẩn hóa Gauss $3\sigma$ truyền thống?

Chuẩn hóa Gauss $3\sigma$ giả định dữ liệu phân bố chuẩn đối xứng quanh giá trị trung bình để đưa 99% giá trị về đoạn $[-1, 1]$. Tuy nhiên, vector đặc trưng ảnh thực tế (như mô men màu, lược đồ HSV) có phân bố lệch và đa đỉnh, khiến nhiều giá trị rơi ra ngoài đoạn $[-1, 1]$ làm sai lệch hàm khoảng cách. Kỹ thuật $3\sigma$-FCM sử dụng phân cụm mờ FCM để chia dữ liệu thành các cụm cục bộ, tính tâm cụm và độ lệch chuẩn trên từng cụm, từ đó chuẩn hóa thích nghi theo độ thuộc cụm, vừa bảo toàn thứ tự đặc trưng vừa nén dữ liệu chặt chẽ vào khoảng mong muốn.

2. Tại sao luận án không chỉ sử dụng Pareto front đầu tiên (Skyline) mà phải mở rộng sang Pareto front đa mức sâu?

Trong không gian tổ hợp đa đặc trưng, tập Pareto front đầu tiên ($PF_1$ hay Skyline) chỉ chứa các điểm hoàn toàn không bị trội bởi bất kỳ điểm nào khác. Nếu chỉ lấy $PF_1$, số lượng ảnh thu được thường rất ít và dễ bỏ sót các ảnh có liên quan ngữ nghĩa thực sự nằm ở các mức không bị trội kế tiếp. Việc mở rộng sang Pareto front đa mức sâu ($PF_1 \cup PF_2 \cup \dots \cup PF_k$) cho phép thu thập một tập ứng viên đủ dày, bao quát đầy đủ vùng ngữ nghĩa mong muốn nhưng vẫn loại bỏ được phần lớn không gian dữ liệu không liên quan.

3. Quy trình kết hợp giữa tập ứng viên Pareto và máy phân lớp (SVM / AdaBoost) được thiết lập ra sao?

Quy trình được chia tách rõ ràng: Tập ứng viên Pareto đa mức sâu được dùng làm tập kiểm tra (test set) cần xếp hạng. Các ảnh được người dùng xác nhận liên quan ($NB^+$) và không liên quan ($NB^-$) qua giao diện phản hồi được dùng làm tập huấn luyện (training set). Mô hình phân lớp (SVM hoặc AdaBoost) học ranh giới quyết định từ tập huấn luyện nhỏ này, sau đó dự báo điểm số cho toàn bộ các phần tử trong tập kiểm tra Pareto để xếp hạng lại top-$k$ kết quả.

4. Tập dữ liệu Oxford Buildings được gán nhãn ground truth và đánh giá trong luận án như thế nào?

Tập Oxford Buildings (5.062 ảnh, 11 địa danh) sử dụng 55 ảnh truy vấn chuẩn. Dữ liệu được gán nhãn thủ công theo 4 mức: Good (ảnh rõ nét đối tượng), OK (nhìn thấy trên 25% đối tượng), Junk (dưới 25% đối tượng hoặc bị che khuất/méo mó nghiêm trọng), và Absent (không chứa đối tượng). Trong thực nghiệm của luận án, các ảnh Good và OK được xem là mẫu dương (liên quan), ảnh Absent là mẫu âm (không liên quan), còn ảnh Junk được xem là mẫu trống và không tính vào hiệu năng tra cứu.

5. Cơ chế cập nhật trọng số đặc trưng của luận án dựa trên nguyên lý nào?

Trọng số $w_t$ của mỗi bộ đặc trưng ở vòng lặp kế tiếp được tính toán tỷ lệ nghịch với độ lệch chuẩn khoảng cách $\sigma_{t,D}^{(l),NB^+}$ và độ lệch chuẩn độ dài vector $\sigma_{t,|I|}^{(l),NB^+}$ của các ảnh trong tập phản hồi tích cực $NB^+$. Nếu các ảnh liên quan có giá trị đặc trưng tập trung cao (độ lệch chuẩn nhỏ) trên bộ đặc trưng nào, bộ đặc trưng đó sẽ được gán trọng số lớn hơn và ngược lại, đảm bảo hệ thống phản ánh đúng tiêu chí thị giác mà người dùng đang quan tâm.

Kết luận

Luận án "Nghiên cứu một số kỹ thuật phân hạng trong tra cứu ảnh dựa vào nội dung" của tác giả Vũ Văn Hiệu đã giải quyết đồng bộ ba mắt xích then chốt trong hệ thống CBIR: chuẩn hóa dữ liệu đa đặc trưng phi chuẩn bằng giải thuật $3\sigma$-FCM, tối ưu hóa quá trình tương tác người dùng qua cơ chế hiệu chỉnh trọng số thích nghi và dịch chuyển truy vấn, cùng kỹ thuật rút gọn không gian tìm kiếm dựa trên Pareto front đa mức sâu kết hợp mô hình phân lớp máy học (Pareto-SVM, Pareto-AdaBoost). Các kết quả lý thuyết được chứng minh chặt chẽ và kiểm chứng qua hệ thống thực nghiệm định lượng trên các tập dữ liệu chuẩn quốc tế (Wang, Caltech 101, Oxford Buildings), chứng minh khả năng thu hẹp khoảng trống ngữ nghĩa và nâng cao độ chính xác phân hạng ảnh vượt trội so với các kỹ thuật cơ sở.