Tổng quan luận án

Trong bối cảnh dữ liệu số hóa phát triển nhanh chóng, khối lượng hình ảnh kỹ thuật số trên mạng Internet và trong các cơ sở dữ liệu chuyên ngành gia tăng với tốc độ cao. Nhu cầu quản lý, khai thác và tìm kiếm thông tin hình ảnh từ các kho lưu trữ lớn trở thành một bài toán cấp thiết trong lĩnh vực thị giác máy tính và cơ sở dữ liệu đa phương tiện.

Hai phương pháp tra cứu ảnh cơ bản được áp dụng phổ biến gồm: tra cứu dựa trên văn bản/từ khóa và tra cứu ảnh dựa trên nội dung (Content-Based Image Retrieval - CBIR). Phương pháp tra cứu dựa trên từ khóa bộc lộ các hạn chế: đòi hỏi khối lượng lao động thủ công lớn để gán nhãn, phụ thuộc vào nhận thức chủ quan của người gán nhãn, và các kỹ thuật tự động gán nhãn gặp khó khăn khi mô hình phụ thuộc chặt chẽ vào chất lượng cũng như sự cân bằng của tập dữ liệu huấn luyện. Ngược lại, hệ thống CBIR biểu diễn hình ảnh thông qua các đặc trưng thị giác mức thấp được trích chọn tự động như màu sắc, kết cấu và hình dạng.

Khoảng trống nghiên cứu chính mà luận án xác định là "khoảng cách ngữ nghĩa" (semantic gap) giữa các đặc trưng thị giác mức thấp trích xuất từ điểm ảnh và các khái niệm ngữ nghĩa mức cao trong nhận thức của con người. Để giải quyết khoảng cách này, luận án tập trung vào hai vấn đề kỹ thuật cốt lõi:

  1. Xây dựng độ đo tương tự phù hợp cho các đặc trưng thị giác đơn lẻ (đặc biệt là hình dạng) và mô hình tích hợp nhiều loại đặc trưng có tính đến tương tác tương hỗ.
  2. Ứng dụng kỹ thuật phản hồi liên quan (Relevance Feedback - RF) kết hợp học máy để tinh chỉnh kết quả truy vấn theo đánh giá của người dùng với số vòng lặp ít nhất.

Mục tiêu nghiên cứu tổng quát của luận án là cải tiến một số phương pháp CBIR nhằm nâng cao hiệu quả tra cứu ảnh dựa trên việc hiệu chỉnh độ đo tương tự và tối ưu hóa phản hồi liên quan. Cụ thể, luận án đặt ra hai mục tiêu nghiên cứu:

  • Mục tiêu 1: Nghiên cứu xây dựng độ đo tương tự hiệu quả, bao gồm việc cải tiến phương pháp tính toán độ đo tương tự hình dạng dựa trên đối sánh đồ thị xương và thiết lập mô hình kết hợp nhiều đặc trưng thị giác.
  • Mục tiêu 2: Nghiên cứu phương pháp khai thác thông tin phản hồi từ người dùng thông qua học chủ động để tối ưu hóa quá trình phân lớp, giúp hệ thống đạt độ chính xác cao sau ít vòng lặp phản hồi nhất.

Đối tượng và phạm vi nghiên cứu của luận án:

  • Đối tượng nghiên cứu: Các thuật toán biểu diễn và trích chọn đặc trưng mức thấp (màu sắc, kết cấu, hình dạng); các mô hình biểu diễn hình học bằng đồ thị xương và siêu đồ thị; lý thuyết độ đo mờ và tích phân Choquet trong bài toán ra quyết định; các thuật toán học máy có giám sát và bán giám sát, đặc biệt là máy véc-tơ hỗ trợ (Support Vector Machine - SVM) và kỹ thuật học chủ động (Active Learning).
  • Phạm vi dữ liệu và thực nghiệm: Các tập dữ liệu ảnh chuẩn phục vụ nghiên cứu CBIR gồm Corel Photo Gallery (Corel15K), Caltech101, Oliva, Kimia's 99, Kimia's 216 và MPEG-7 CE-Shape-1.
  • Thời gian và địa điểm thực hiện: Nghiên cứu sinh thực hiện công trình tại Học viện Khoa học và Công nghệ thuộc Viện Hàn lâm Khoa học và Công nghệ Việt Nam, hoàn thành luận án chuyên ngành Cơ sở Toán học cho Tin học (mã số 62 46 01 10) năm 2016 và bảo vệ năm 2017.

Tổng quan tài liệu và vị trí của luận án

Luận án tiến hành tổng hợp lịch sử phát triển của hệ thống CBIR từ đầu thập niên 1990. Thuật ngữ CBIR xuất hiện từ nghiên cứu của Kato (1992). Tiếp đó, các hệ thống tra cứu thương mại và thử nghiệm đầu tiên được phát triển như QBIC của Niblack và cộng sự (1995), Virage của Bach và cộng sự (1997), NEC AMORE của Mukherjea và cộng sự (1999), MIT Photobook của Pentland và cộng sự (1996), Columbia VisualSEEK và WebSEEK của Smith và Chang (1996), UCSB Netra của Ma và Manjunath (1997), và Stanford WBIIS của Wang và cộng sự (1998).

Về mặt kỹ thuật, luận án phân loại các hướng nghiên cứu CBIR thành bốn nhóm: phương pháp dựa trên đặc trưng toàn cục, đặc trưng mức vùng, đặc trưng mức đối tượng, và phương pháp phản hồi liên quan:

  • Trích chọn đặc trưng mức thấp: Các nghiên cứu biểu diễn màu sắc như không gian HSV của Smith và cộng sự, mô men màu bậc 1, 2, 3 của Stricker và Orengo (1995); biểu đồ hướng cạnh Sobel; đặc trưng kết cấu như mẫu nhị phân cục bộ (LBP) của Ojala và cộng sự (2002), biến đổi Gabor wavelet 2D của Daugman (1988); và đặc trưng không gian tổng thể GIST của Oliva và Torralba (2001).
  • Độ đo khoảng cách và độ đo tương tự: Các độ đo kinh điển gồm khoảng cách Minkowski, Ơ-cơ-lit có trọng số trong hệ thống MARS (Rui và cộng sự, 1998), khoảng cách Manhattan trong chuẩn MPEG-7, khoảng cách Hausdorff cho tập điểm (Byun và cộng sự), phân kỳ Kullback-Leibler (K-L) cho phân phối kết cấu (Do và Vetterli, 2002), và khoảng cách dịch chuyển trái đất EMD (Rubner và cộng sự, 2000).
  • Kết hợp đa đặc trưng: Các công trình tích hợp bằng toán tử cố định Min, Max, Sum (Kittler và cộng sự), kết hợp tuyến tính có trọng số (Rui và cộng sự, 1998), toán tử logic mờ (Ferecatu và cộng sự, 2004), và thuật toán di truyền (Cho và cộng sự).
  • Phản hồi liên quan (Relevance Feedback - RF):
    • Kỹ thuật cập nhật truy vấn: Cập nhật trọng số đặc trưng (Ishikawa và cộng sự, 1998), dịch chuyển và mở rộng không gian truy vấn (Muneesawang và Guan, 2004; Widyantoro và cộng sự).
    • Kỹ thuật học thống kê: Học quy nạp sử dụng mạng nơ-ron, cây quyết định (MacArthur và cộng sự, 2000), mạng Bayes Pichunter (Cox và cộng sự, 2000), Boosting (Tieu và Viola, 2004), SVM (Tong và Chang, 2001), và Fuzzy SVM (Wu và Zhou, 2006). Học truyền dẫn qua xếp hạng đa tạp (Manifold Ranking - MR) của He và cộng sự (2004), Wang và cộng sự (2008), Wan và cộng sự.
    • Học chủ động SVM: Phương pháp Active SVM của Tong và Chang (2001); mô hình bán giám sát tối ưu hóa min-max của Hoi và cộng sự (2006, 2009); SVM tích hợp tham số kỳ vọng cực đại (EM) của Wang và cộng sự (2011); và mô hình chọn mẫu động của Zhang và cộng sự (2012).

Khoảng trống nghiên cứu mà luận án lựa chọn giải quyết bao gồm:

  1. Đối sánh hình dạng dựa trên đồ thị xương truyền thống thường chỉ so sánh từng cặp đỉnh cục bộ, dễ mất ổn định khi cấu trúc xương bị nhiễu hoặc thay đổi tô-pô.
  2. Các mô hình kết hợp đặc trưng hiện tại giả định các đặc trưng độc lập với nhau, chưa xử lý được mối quan hệ tương tác phụ thuộc hoặc dư thừa giữa các nhóm đặc trưng.
  3. Kỹ thuật học chủ động SVM truyền thống chọn mẫu hoàn toàn dựa vào khoảng cách tới siêu phẳng phân tách, dẫn đến việc chọn mẫu sai lệch ở các vòng lặp đầu do thiếu dữ liệu huấn luyện và mất cân bằng mẫu.

Cơ sở lý thuyết và phương pháp nghiên cứu

Luận án kết hợp các cơ sở lý thuyết toán học và mô hình hóa tính toán:

  • Lý thuyết biểu diễn hình học và trục trung vị (Medial Axis/Skeleton): Biểu diễn hình dạng 2D thông qua cấu trúc xương và đồ thị xương; mở rộng sang siêu đồ thị xương (Skeleton Hyper-Graph - SHG) nhằm nhúng các liên kết không gian bậc cao giữa các nhóm ba đỉnh ($\delta = 3$).
  • Lý thuyết độ đo mờ và tích phân Choquet: Sử dụng tích phân Choquet như một toán tử gộp phi tuyến thay thế cho trung bình cộng có trọng số. Độ đo mờ (fuzzy measure) cho phép xác định trọng số cho từng tập hợp con của các đặc trưng, mô tả mức độ tương tác (tương hỗ hoặc triệt tiêu) giữa các đặc trưng.
  • Lý thuyết học máy thống kê và Tối ưu hóa: Thuật toán Support Vector Machine (SVM) tìm siêu phẳng phân tách tối ưu; lý thuyết học chủ động (Active Learning) hướng đến việc cực tiểu hóa hàm rủi ro phân lớp $risk(f, S, \mathcal{L}, \mathcal{U})$. Phương pháp quy hoạch tuyến tính đa mục tiêu có ràng buộc được áp dụng để học độ đo mờ từ phản hồi người dùng.

Phương pháp nghiên cứu thực nghiệm định lượng:

  • Thiết lập quy trình đánh giá thực nghiệm dựa trên mô hình truy vấn theo ví dụ (Query By Example - QBE).
  • Các chỉ số định lượng đánh giá hiệu năng gồm: Độ chính xác (Precision), Độ triệu hồi (Recall), Độ chính xác trung bình (Average Precision - AP), và Trung bình của các độ chính xác trung bình (Mean Average Precision - MAP).
  • Mô phỏng tương tác người dùng có giám sát qua các vòng phản hồi liên quan (từ 1 đến 4 vòng lặp), gán nhãn tự động dựa trên thông tin lớp ngữ nghĩa thực tế.

Nguồn dữ liệu thực nghiệm chuẩn được sử dụng:

  • Tập dữ liệu Corel Photo Gallery (Corel15K): 15.000 ảnh màu thuộc 150 lớp ngữ nghĩa (mỗi lớp 100 ảnh).
  • Tập dữ liệu Caltech101: 9.144 ảnh thuộc 101 nhóm đối tượng, kích thước từ 40 đến 800 ảnh mỗi lớp.
  • Tập dữ liệu Oliva: 2.600 ảnh phong cảnh và kiến trúc chia thành 8 lớp (Coast & Beach, open country, forest, Mountain, highway street, city center, Tall building).
  • Tập dữ liệu Kimia's 99: 99 ảnh hình dạng chia thành 9 lớp (11 ảnh/lớp) với các biến dạng cắt khuyết và thừa chi tiết.
  • Tập dữ liệu Kimia's 216: 216 ảnh hình dạng chia thành 18 lớp (12 ảnh/lớp) với hiện tượng che khuất một phần.
  • Tập dữ liệu MPEG-7 CE-Shape-1: 1.400 ảnh hình dạng nhị phân thuộc 70 lớp đối tượng (20 ảnh/lớp).

Nội dung chính theo từng chương

Chương 1: Tra cứu ảnh dựa trên nội dung

Chương 1 cung cấp tổng quan về cấu trúc hệ thống CBIR, phân tích các thành phần xử lý ngoại tuyến (offline) và trực tuyến (online), cùng các phương thức truy vấn QBE, QBF và truy vấn theo thuộc tính.

Chương này trình bày chi tiết công thức toán học trích chọn đặc trưng mức thấp:

  • Mô men phân bố màu: Bậc một ($\mu_i$), bậc hai ($\sigma_i$), và bậc ba ($s_i$) trên từng kênh màu: $$\mu_i = \frac{1}{N}\sum_{j=1}^N p_{ij}, \quad \sigma_i = \left(\frac{1}{N}\sum_{j=1}^N (p_{ij} - \mu_i)^2\right)^{\frac{1}{2}}, \quad s_i = \left(\frac{1}{N}\sum_{j=1}^N (p_{ij} - \mu_i)^3\right)^{\frac{1}{3}}$$
  • Biểu đồ hướng cạnh Sobel: Tính $G_x, G_y$ qua phép nhân chập hai chiều, tính góc hướng $\theta = \arctan(G_y / G_x)$, lượng tử hóa thành 36 khoảng và chuẩn hóa theo tổng số điểm ảnh $N$.
  • Mẫu nhị phân cục bộ (LBP): Tính toán toán tử $LBP_{P,R}$ dựa trên ngưỡng giá trị điểm ảnh tâm $g_c$ và $P$ điểm lân cận trên bán kính $R$, tính giá trị chuyển đổi bit $U(LBP_{P,R})$.
  • Biến đổi Gabor wavelet 2D: Sử dụng hàm lọc $g_{sk}(x,y)$ với các thông số tỷ lệ $s$ và hướng $k$, tính kỳ vọng $\mu_{sk}$ và độ lệch chuẩn $\sigma_{sk}$ của độ lớn hệ số biến đổi.
  • Đặc trưng không gian GIST: Tích chập với 32 bộ lọc Gabor (4 tỷ lệ, 8 hướng), phân chia lưới $4 \times 4$ tạo véc-tơ 512 chiều.

Chương 1 cũng phân tích các độ đo khoảng cách (Minkowski, Hausdorff, K-L, EMD), các chỉ số đánh giá (Precision, Recall, MAP), và khảo sát các phương pháp phản hồi liên quan (cập nhật truy vấn, học quy nạp, học truyền dẫn trên đồ thị).

+-------------------------------------------------------------------------------+
|                      TỔNG HỢP CÁC TẬP DỮ LIỆU THỰC NGHIỆM                    |
+-------------------+---------------+---------------+---------------------------+
| Tên tập dữ liệu   | Tổng số ảnh   | Số lượng lớp  | Đặc điểm dữ liệu          |
+-------------------+---------------+---------------+---------------------------+
| Corel15K          | 15.000        | 150           | Ảnh tự nhiên đa chủ đề    |
| Caltech101        | 9.144         | 101           | Đối tượng đa dạng         |
| Oliva             | 2.600         | 8             | Cảnh quan và công trình   |
| Kimia's 99        | 99            | 9             | Hình dạng biến dạng/khuyết|
| Kimia's 216       | 216           | 18            | Hình dạng bị che khuất    |
| MPEG-7            | 1.400         | 70            | Hình dạng nhị phân chuẩn  |
+-------------------+---------------+---------------+---------------------------+

Chương 2: Độ đo tương tự hình dạng dựa trên đối sánh đồ thị xương

Chương 2 giải quyết bài toán đối sánh hình dạng đối tượng khi cấu trúc bị biến dạng không cứng (non-rigid), nhiễu đường biên hoặc thay đổi tỷ lệ. Luận án phân tích hạn chế của các phương pháp cắt tỉa xương và đối sánh từng cặp cạnh thông thường.

Tác giả đề xuất mô hình siêu đồ thị xương (Skeleton Hyper-Graph - SHG):

  • Biểu diễn cấu trúc xương bằng siêu đồ thị với các đỉnh là điểm cuối (end points) và điểm giao (junction points), các siêu cạnh kết nối bộ ba đỉnh.
  • Xây dựng độ tương tự bậc cao ($\delta = 3$) dựa trên mối quan hệ góc (tính qua hàm sin) giữa ba đỉnh của tam giác, đảm bảo tính bất biến dưới các phép biến đổi affine và thay đổi tỷ lệ.
  • Thiết lập siêu đồ thị kết hợp biểu diễn các cặp tương quan giữa hai hình dạng, sau đó áp dụng thuật toán bước ngẫu nhiên có trọng số (Reweighted Random Walks) để tìm lời giải đối sánh tối ưu.

Thực nghiệm trên các tập dữ liệu Kimia's 99, Kimia's 216 và MPEG-7 cho thấy giải pháp đề xuất đạt độ chính xác phân loại và tra cứu cao tại các vị trí láng giềng gần nhất so với các thuật toán đối sánh đồ thị truyền thống.

+-------------------------------------------------------------------------------+
|           SỐ LƯỢNG ẢNH TRA CỨU ĐÚNG TRÊN TẬP DỮ LIỆU KIMIA'S 99 VÀ 216        |
+-------------------+-----------------------------+-----------------------------+
| Vị trí xếp hạng   | Tập Kimia's 99 (Tối đa: 99) | Tập Kimia's 216 (Tối đa:216)|
+-------------------+-----------------------------+-----------------------------+
| 1st               | 99                          | 216                         |
| 2nd               | 99                          | 214                         |
| 3rd               | 99                          | 210                         |
| 4th               | 98                          | 207                         |
| 5th               | 97                          | 201                         |
| 6th               | 97                          | 194                         |
| 7th               | 96                          | 189                         |
+-------------------+-----------------------------+-----------------------------+

Chương 3: Tích hợp đặc trưng trong phản hồi liên quan

Chương 3 tập trung vào bài toán tích hợp nhiều loại đặc trưng thị giác (màu sắc, kết cấu, hình dạng) để xây dựng một độ đo tương tự tổng hợp. Luận án chỉ ra rằng các mô hình kết hợp tuyến tính truyền thống coi các đặc trưng là độc lập, không phản ánh được tính tương tác tương hỗ.

Luận án đề xuất mô hình tích hợp dựa trên lý thuyết độ đo mờ và tích phân Choquet:

  • Thông tin phản hồi của người dùng được mô hình hóa thành tập mờ.
  • Trọng số tương quan của các tổ hợp đặc trưng được thiết lập dưới dạng bài toán tối ưu hóa đa mục tiêu tuyến tính có ràng buộc, phản ánh mức độ quan trọng và mức độ tương tác giữa các nhóm đặc trưng.
  • Tích phân Choquet đóng vai trò hàm gộp phi tuyến, tổng hợp các khoảng cách thành phần dựa trên hàm mật độ mờ đã học.

Đánh giá thực nghiệm trên hai tập dữ liệu quy mô lớn Caltech101 và Corel15K cho thấy việc sử dụng tích phân Choquet mang lại giá trị MAP vượt trội so với các phép hợp nhất cố định (Min, Max, Sum) và mô hình kết hợp tuyến tính thông thường.

Chương 4: Học chủ động SVM dựa trên phản hồi liên quan

Chương 4 giải quyết vấn đề mất cân bằng dữ liệu và thiếu mẫu huấn luyện ở các vòng phản hồi ban đầu khi áp dụng SVM trong CBIR. Trong các phương pháp học chủ động SVM truyền thống, các mẫu gần siêu phẳng phân tách nhất ($DE(x) = |f(x)|$) được chọn để gán nhãn. Tuy nhiên, khi số lượng mẫu phản hồi còn ít, siêu phẳng phân tách chưa chính xác dẫn đến việc chọn mẫu không tối ưu.

Tác giả đề xuất hàm lựa chọn mẫu kết hợp $D_{SE}(x)$ dung hòa giữa khoảng cách tới siêu phẳng SVM và khoảng cách không gian đặc trưng mức thấp tới ảnh truy vấn: $$DE(x_i) = |f(x_i)| = |w^T x_i + b|$$ $$DS(x_i) = \begin{cases} |x_i - x_c| & \text{nếu } f(x_i) \ge 0 \ \infty & \text{ngược lại} \end{cases}$$ $$D_{SE}(x_i) = \frac{N_{rel}}{N_{rel} + N_{nonrel}} DE(x_i) + \left(1 - \frac{N_{rel}}{N_{rel} + N_{nonrel}}\right) DS(x_i)$$ Trong đó:

  • $x_c$ là véc-tơ đặc trưng của ảnh truy vấn.
  • $N_{rel}$ và $N_{nonrel}$ lần lượt là tổng số ảnh liên quan (mẫu dương) và không liên quan (mẫu âm) được gán nhãn trong vòng lặp hiện tại.
  • Mẫu chưa gán nhãn tối ưu được chọn theo quy tắc: $x^* = \arg\min_{x \in \mathcal{U}} D_{SE}(x)$.

Quy trình lựa chọn được chuẩn hóa theo Thuật toán 4.6 (Học chủ động với SVM).

Thiết lập thực nghiệm tại Chương 4 sử dụng véc-tơ đặc trưng 36 chiều từ tập Corel Photo Gallery:

  • 9 chiều mô men màu HSV (trung bình, phương sai, độ lệch chuẩn trên 3 kênh).
  • 9 chiều kết cấu từ biến đổi Wavelet rời rạc 3 mức trên ảnh xám (trích chọn từ 9 ảnh con).
  • 18 chiều biểu đồ hướng cạnh Canny (lượng tử hóa 18 khối, mỗi khối 20 độ).

Luận án tiến hành so sánh phương pháp đề xuất với ba phương pháp: Active SVM [107], SSL batch [43], và Dynamic batch [121]. Kết quả cho thấy phương pháp đề xuất cải thiện độ chính xác trung bình (MAP) ngay từ vòng phản hồi thứ nhất, thứ hai và thứ ba. Khi số vòng lặp tăng lên (vòng 4), số lượng mẫu gán nhãn đủ lớn khiến kết quả giữa các phương pháp dần tiệm cận nhau.

Kết quả và những đóng góp mới

Luận án tổng kết ba đóng góp khoa học chính:

  1. Đóng góp về đối sánh hình dạng: Đề xuất kỹ thuật đối sánh hình dạng dựa trên siêu đồ thị xương (SHG) nhúng thông tin cấu trúc không gian bậc ba giữa các đỉnh. Kỹ thuật này giúp độ đo tương tự đạt tính bất biến với phép biến đổi affine và thay đổi tỷ lệ, nâng cao độ chính xác nhận dạng khi hình dạng bị biến dạng không cứng hoặc che khuất.
  2. Đóng góp về tích hợp đa đặc trưng: Xây dựng mô hình kết hợp nhiều đặc trưng thị giác sử dụng độ đo mờ và tích phân Choquet. Mô hình cho phép học trọng số tương tác giữa các tổ hợp đặc trưng thông qua bài toán quy hoạch tuyến tính đa mục tiêu có ràng buộc từ phản hồi người dùng, khắc phục giả định đặc trưng độc lập của các phương pháp kết hợp tuyến tính trước đây.
  3. Đóng góp về học chủ động trong phản hồi liên quan: Đề xuất hàm lựa chọn tập huấn luyện $D_{SE}(x)$ kết hợp giữa hàm quyết định SVM và khoảng cách láng giềng gần nhất tới ảnh truy vấn. Đề xuất này giải quyết sự thiếu hụt mẫu huấn luyện ở các vòng phản hồi đầu tiên, giúp hệ thống CBIR đạt độ chính xác cao chỉ sau ít vòng tương tác.

Về công bố khoa học, các kết quả nghiên cứu trong luận án đã được công bố trong 7 công trình khoa học (danh mục CT1 đến CT7), bao gồm 2 báo cáo kỷ yếu hội thảo quốc gia (FAIR 2013, Hội nghị Quốc gia CNTT-TT 2012), 2 bài báo tại các hội nghị quốc tế IEEE (IEEE ICICS 2013, IEEE ISM 2014), và 3 bài báo trên các tạp chí chuyên ngành quốc tế và trong nước (International Journal of Electrical and Computer Engineering, Journal of Information Hiding and Multimedia Signal Processing, và Tạp chí Tin học và Điều khiển học).

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của nghiên cứu được tác giả nêu trong luận án:

  • Việc biểu diễn và giải bài toán đối sánh siêu đồ thị xương đòi hỏi chi phí tính toán lớn, làm giảm tốc độ đáp ứng khi kích thước tập dữ liệu hình ảnh tăng lên quy mô lớn.
  • Mô hình tích hợp đặc trưng và học chủ động SVM vẫn đòi hỏi sự tham gia tương tác trực tiếp của người dùng qua các vòng lặp, điều này phụ thuộc vào mức độ hợp tác của người sử dụng trong thực tế.
  • Các thực nghiệm chủ yếu thực hiện trên các tập dữ liệu ảnh chuẩn (Corel, Caltech101, MPEG-7, Kimia) với các đặc trưng trích chọn truyền thống (hand-crafted features), chưa mở rộng trên các tập dữ liệu ảnh quy mô siêu lớn (hàng triệu ảnh).

Hướng nghiên cứu tiếp theo:

  • Cải tiến thuật toán đối sánh siêu đồ thị xương nhằm giảm độ phức tạp tính toán, tối ưu hóa thời gian tra cứu cho các ứng dụng thời gian thực.
  • Mở rộng các mô hình học độ đo mờ và kỹ thuật học chủ động trên các tập dữ liệu phân tán quy mô lớn.
  • Khảo sát khả năng kết hợp các mô hình đề xuất với các phương pháp biểu diễn đặc trưng ngữ nghĩa mới.

Giá trị tham khảo

Luận án là tài liệu tham khảo chuyên khảo trong các lĩnh vực:

  • Nghiên cứu sinh, học viên cao học và giảng viên chuyên ngành Cơ sở Toán học cho Tin học, Khoa học Máy tính, Xử lý ảnh và Thị giác máy tính: Có thể tham khảo phương pháp luận kết hợp giữa mô hình hình học vi phân/tô-pô (đồ thị xương) với các mô hình tối ưu hóa thống kê.
  • Kỹ sư phát triển hệ thống tra cứu đa phương tiện: Có thể ứng dụng trực tiếp thuật toán học chủ động SVM (Thuật toán 4.6) và công thức hàm chọn mẫu $D_{SE}(x)$ để cải thiện tốc độ hội tụ trong các hệ thống tìm kiếm có tương tác người dùng.
  • Các nhà nghiên cứu về lý thuyết quyết định mờ: Có thể tham khảo mô hình áp dụng tích phân Choquet và bài toán quy hoạch tuyến tính đa mục tiêu để giải quyết bài toán dung hòa đa tiêu chuẩn có tương tác trong xử lý dữ liệu thực nghiệm.

Câu hỏi thường gặp

1. Tại sao việc chọn mẫu trong học chủ động SVM chỉ dựa trên khoảng cách tới siêu phẳng phân tách lại không hiệu quả ở các vòng lặp đầu?

Ở các vòng lặp đầu tiên, số lượng mẫu được người dùng gán nhãn rất ít và có sự mất cân bằng lớn giữa mẫu dương (liên quan) và mẫu âm (không liên quan). Do đó, siêu phẳng phân tách của SVM chưa phản ánh đúng phân bố ngữ nghĩa thực tế. Nếu chỉ chọn các mẫu nằm gần siêu phẳng ($DE(x) = |f(x)|$), hệ thống dễ chọn phải các mẫu gây nhiễu, làm sai lệch mô hình phân lớp ở các vòng lặp tiếp theo.

2. Ý nghĩa toán học của hàm lựa chọn mẫu $D_{SE}(x)$ trong Chương 4 là gì?

Hàm $D_{SE}(x)$ là sự kết hợp lồi có trọng số thích nghi giữa khoảng cách tới siêu phẳng SVM ($DE(x)$) và khoảng cách Ơ-cơ-lit tới ảnh truy vấn ($DS(x)$). Trọng số thích nghi $\frac{N_{rel}}{N_{rel} + N_{nonrel}}$ tự động điều chỉnh theo tỷ lệ mẫu liên quan thu được: khi số mẫu liên quan còn ít, hệ thống ưu tiên chọn mẫu gần ảnh truy vấn trong không gian đặc trưng mức thấp; khi số mẫu liên quan tăng lên, hệ thống chuyển dần trọng tâm sang khai thác đường biên quyết định của SVM.

3. Ưu điểm của việc sử dụng tích phân Choquet thay thế cho phép kết hợp tuyến tính trong tích hợp đặc trưng là gì?

Phép kết hợp tuyến tính giả định các đặc trưng hoàn toàn độc lập và chỉ gán trọng số cố định cho từng đặc trưng riêng rẽ. Tích phân Choquet kết hợp với độ đo mờ cho phép gán trọng số cho từng tổ hợp đặc trưng con, từ đó mô hình hóa được sự tương tác phi tuyến (tương hỗ tích cực hoặc dư thừa thông tin) giữa các đặc trưng khi chúng xuất hiện đồng thời.

4. Véc-tơ đặc trưng 36 chiều trong thực nghiệm Chương 4 được xây dựng như thế nào?

Véc-tơ đặc trưng 36 chiều được ghép từ ba loại đặc trưng mức thấp chuẩn hóa:

  • 9 chiều mô men màu HSV (3 mô men: trung bình, phương sai, độ lệch chuẩn trên 3 kênh màu H, S, V).
  • 9 chiều kết cấu từ phân tích biến đổi Wavelet rời rạc 3 mức (trích xuất từ 9 ảnh con).
  • 18 chiều biểu đồ hướng cạnh từ thuật toán phát hiện biên Canny (lượng tử hóa 18 khoảng, mỗi khoảng 20 độ).

5. Siêu đồ thị xương (SHG) trong Chương 2 đạt được tính bất biến với các phép biến đổi nào?

Thông qua việc xây dựng độ tương tự bậc cao ($\delta = 3$) dựa trên mối quan hệ góc (tính qua hàm sin) giữa các bộ ba đỉnh xương, mô hình siêu đồ thị xương đạt được tính bất biến đối với các phép biến đổi affine và phép co giãn tỷ lệ (scale-invariant).

Kết luận

Luận án tiến sĩ toán học của tác giả Ngô Trường Giang đã giải quyết bài toán nâng cao hiệu quả tra cứu ảnh dựa trên nội dung thông qua hai hướng tiếp cận chính: hiệu chỉnh độ đo tương tự và tối ưu hóa phản hồi liên quan. Tác giả đã đề xuất thành công mô hình đối sánh siêu đồ thị xương bất biến affine cho dữ liệu hình dạng, mô hình tích hợp đa đặc trưng sử dụng tích phân Choquet có tính đến tương tác tương hỗ, và thuật toán chọn mẫu thích nghi $D_{SE}(x)$ trong học chủ động SVM. Các kết quả thực nghiệm định lượng trên các tập dữ liệu chuẩn đã chứng minh tính hiệu quả của các giải pháp đề xuất, đóng góp cả về mặt lý thuyết mô hình hóa toán học lẫn kỹ thuật thực thi trong hệ thống CBIR.