Tổng quan luận án

Công trình "Truy vấn ảnh theo nội dung sử dụng trích đặc trưng trên nền wavelets" được tác giả Nguyễn Đức Hoàng thực hiện tại Trường Đại học Bách khoa – Đại học Quốc gia Thành phố Hồ Chí Minh, dưới sự hướng dẫn khoa học của PGS. Lê Tiến Thường và TS. Đỗ Hồng Tuấn. Luận án thuộc chuyên ngành Kỹ thuật điện tử, mã số chuyên ngành 62527001, hoàn thành và bảo vệ năm 2013.

Tính cấp thiết và khoảng trống nghiên cứu

Sự gia tăng nhanh chóng của các bộ sưu tập hình ảnh số trong các lĩnh vực chuyên biệt như y khoa, thiên văn học, viễn thông và internet đặt ra yêu cầu cấp thiết về các công cụ tìm kiếm dữ liệu ảnh hiệu quả. Phương thức truy vấn dựa trên văn bản (Text-based) phụ thuộc nhiều vào siêu dữ liệu (metadata) và các thẻ gán thủ công (human tags), thường bộc lộ hạn chế do sự thiếu hụt thông tin mô tả, bất đồng ngôn ngữ và chi phí nhân công lớn. Hệ thống truy vấn ảnh dựa trên nội dung (CBIR – Content-Based Image Retrieval) giải quyết bài toán này bằng cách trực tiếp trích xuất các đặc trưng thị giác của ảnh mà không cần từ khóa.

Tuy nhiên, thách thức trọng tâm của CBIR là mô tả chính xác nội dung ảnh tương thích với hệ thống thị giác con người (HVS) và giảm thiểu khoảng cách ngữ nghĩa. Trước năm 2000, các hệ thống CBIR chủ yếu dựa vào các đặc trưng mức thấp cơ bản (màu sắc, kết cấu, hình dạng) hoặc biến đổi wavelet cổ điển (như Daubechies). Các kỹ thuật này bộc lộ nhiều hạn chế về tính định hướng và khả năng bất biến dịch khi biểu diễn tín hiệu hai chiều (2-D). Khoảng trống nghiên cứu được luận án xác định là việc ứng dụng các thế hệ wavelet cải tiến (Contourlet, Wavelet phức, Nonsubsampled Contourlet) kết hợp với các toán tử không gian và mô hình toán học nhằm xây dựng các bộ mô tả đặc trưng có tính phân biệt cao, tối ưu hóa giải thuật truy vấn và mở rộng sang bài toán phân loại ảnh.

Mục tiêu và nội dung nghiên cứu

Luận án tập trung vào việc nghiên cứu ứng dụng biến đổi wavelets vào thiết kế hệ thống CBIR, cụ thể là xây dựng các thuật toán rút trích đặc trưng ảnh dùng biến đổi wavelets, thiết kế giải thuật truy vấn tương ứng và khảo sát khả năng ứng dụng mở rộng trong phân loại ảnh. Các nội dung nghiên cứu được đánh số và triển khai theo văn bản bao gồm:

  1. Nghiên cứu khả năng kết hợp của các đặc trưng ảnh được tạo ra dựa trên biến đổi wavelets và các đặc trưng phổ biến khác như đặc trưng màu, đặc trưng texture.
  2. Nghiên cứu xây dựng đặc trưng ảnh dựa trên các wavelets công bố gần đây.
  3. Nghiên cứu kết hợp biến đổi wavelets và các công cụ toán học khác để mô tả đặc trưng ảnh.
  4. Thiết kế hệ thống CBIR sử dụng các đặc trưng ảnh đề xuất.
  5. Đánh giá, nhận xét, và đưa ra các kết luận thông qua thực nghiệm.
  6. Nghiên cứu khả năng ứng dụng mở rộng của các đặc trưng đề xuất.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Các phương pháp rút trích đặc trưng ảnh số trong miền wavelets và các giải thuật tìm kiếm, truy vấn và phân loại hình ảnh dựa trên nội dung.
  • Phạm vi nghiên cứu:
    • Về phương diện thuật toán: Tập trung vào các biến đổi Contourlet, Wavelet phức (Complex Wavelets / Steerable Pyramid), Nonsubsampled Contourlet Transform (NSCT), phối hợp với ma trận đồng xuất mức xám (GLCM), toán tử mẫu nhị phân cục bộ (LBP), bộ dò góc Harris, mô hình Bag-of-Words (BoW) và máy học vector hỗ trợ đa nhân (MKL-SVM). Luận án không tập trung vào việc phát triển lý thuyết toán học thuần túy của các hệ wavelet mới hay các mô hình thống kê tham số phức tạp (ML, EM).
    • Về dữ liệu thực nghiệm: Khảo sát trên các tập dữ liệu ảnh chuẩn quốc tế gồm WANG (Corel 1.000 ảnh), UIUC Texture Database, Brodatz Texture Database, 15 Scenes và Caltech 101.

Tổng quan tài liệu và vị trí của luận án

Các hướng nghiên cứu trước được điểm lại trong văn bản

Tác giả hệ thống hóa các hướng tiếp cận chính trong lịch sử phát triển của hệ thống CBIR và xử lý ảnh:

  • Hệ thống CBIR kinh điển dựa trên Wavelet: Hệ thống WBIIS của Wang và cộng sự (1997) sử dụng biến đổi Daubechies wavelets để lập chỉ mục và tìm kiếm ảnh; hệ thống SIMPLIcity của Wang, Li và Wiederhold (2001) ứng dụng phân đoạn ảnh thành các vùng, trích đặc trưng kết cấu/màu sắc trên từng vùng và so sánh thông qua phép đo vùng tích hợp IRM; hệ thống ALIP/ALIPR tích hợp mô hình thống kê Markov ẩn 2D đa phân giải để tự động gán nhãn ngữ nghĩa; các nghiên cứu trích đặc trưng Wavelet Correlogram (WC).
  • Trích xuất đặc trưng kết cấu (Texture): Ma trận đồng xuất mức xám GLCM của Haralick và cộng sự (1973) với 14 thông số thống kê không gian; phương pháp trích xuất đặc trưng kết cấu dùng bộ lọc Gabor Wavelet đa kênh của Manjunath và Ma (1996); các bộ mô tả kết cấu trong chuẩn đa phương tiện MPEG-7; mô hình cây Markov ẩn trong miền wavelet (Wavelet Domain Hidden Markov Tree - HMT).
  • Đặc trưng cục bộ và bất biến: Toán tử Local Binary Pattern (LBP) của Ojala và cộng sự (2002) cùng các cải tiến Multiresolution LBP, LBP bất biến quay ($LBP^{riu2}_{P,R}$); bộ mô tả biến đổi đặc trưng bất biến tỷ lệ SIFT của Lowe (2004); thuật toán dò góc Harris (Harris & Stephens); kỹ thuật so sánh đặc trưng cục bộ bằng khoảng cách dịch chuyển EMD (Earth Mover’s Distance) của Rubner và cộng sự.
  • Biến đổi đa phân giải đa hướng: Biến đổi Wavelet rời rạc (Mallat, 1989); Steerable Pyramid (Simoncelli và Freeman, 1995); Contourlet Transform (Do và Vetterli, 2002, 2005); Dual-Tree Complex Wavelet Transform (Kingsbury, 2001); Nonsubsampled Contourlet Transform (NSCT); Curvelet Transform.
  • Mô hình phân loại và biểu diễn nâng cao: Mô hình Bag-of-Words (BoW) và kỹ thuật Spatial Pyramid Matching (SPM) của Lazebnik và cộng sự (2006); các báo cáo tổng quan từ hội nghị ImageCLEF về dò tìm đối tượng và khái niệm trực quan.

Khoảng trống luận án lựa chọn giải quyết

Mặc dù biến đổi wavelet rời rạc phân tách (Separable DWT) đã được ứng dụng rộng rãi, công cụ này bộc lộ nhược điểm cơ bản khi xử lý dữ liệu ảnh 2 chiều: chỉ phân tích được 3 hướng (ngang, dọc, chéo), không thỏa mãn tính bất biến dịch và không nắm bắt tốt các cấu trúc đường biên cong trơn (smooth contours). Trong khi đó, các mô hình thống kê tham số (GGD, GMM, Copula, Markov ẩn) đòi hỏi thuật toán ước lượng lặp (EM, ML) có độ phức tạp tính toán rất lớn, làm chậm tốc độ truy vấn trên các cơ sở dữ liệu quy mô lớn và chỉ thích hợp cho ảnh thuần texture.

Luận án giải quyết khoảng trống này bằng cách kết hợp có chọn lọc các biến đổi đa hướng cải tiến (Contourlet, NSCT, Wavelet phức) với các công cụ toán học không gian (GLCM, LBP, bộ dò Harris) để thiết kế các bộ trích đặc trưng có kích thước vector cố định, độ phức tạp tính toán vừa phải nhưng vẫn giữ được thông tin hình học và định hướng cục bộ.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung phân tích và khái niệm lý thuyết

  • Biểu diễn đa hướng trong miền tần số:
    • Biến đổi Contourlet: Sử dụng cấu trúc lọc gồm tháp Laplacian (LP) để phân rã đa tỷ lệ và dãy bộ lọc định hướng (DFB) để phân rã các dải tần theo nhiều hướng linh hoạt, cho phép biểu diễn các đường biên 2-D sắc nét.
    • Biến đổi NSCT (Nonsubsampled Contourlet Transform): Kết hợp tháp không giảm mẫu (NSP) và bộ lọc hướng không giảm mẫu (NSDFB), loại bỏ hoàn toàn quá trình giảm mẫu nhằm đảm bảo tính bất biến dịch (shift-invariance).
    • Wavelet phức (Complex Wavelets) và Steerable Pyramid: Tách biệt thông tin biên độ (magnitude) và pha (phase) của các hệ số biến đổi tại các băng con định hướng.
  • Toán tử không gian và thống kê:
    • Ma trận GLCM (Grey Level Cooccurrence Matrix): Biểu diễn phân bố xác suất đồng xuất mức xám $P_{i,j,\theta}$ giữa cặp pixel cách nhau khoảng cách $\delta$ theo 4 hướng $\theta \in {0^\circ, 45^\circ, 90^\circ, 135^\circ}$, từ đó tính toán các đại lượng đặc trưng (Contrast, Energy, Entropy, Homogeneity, Correlation...).
    • Toán tử LBP bất biến quay ($LBP^{riu2}_{P,R}$): Mã hóa mối quan hệ mức xám giữa pixel trung tâm và $P$ pixel lân cận trên vòng tròn bán kính $R$, gom nhóm các mẫu uniform ($U \le 2$).
    • Bộ dò góc Harris: Dựa trên ma trận tự tương quan của đạo hàm cục bộ để tìm kiếm các điểm đặc thù (interest points) bất biến với quay và tỷ lệ.
  • Đo lường độ tương tự và phân loại:
    • Khoảng cách vector: Manhattan ($L_1$), Euclidean ($L_2$), khoảng cách Kullback-Leibler (KLD).
    • Phân loại học máy: Mô hình Bag-of-Words kết hợp phân chia không gian đa mức SPM ($1 \times 1, 2 \times 2, 4 \times 4$), bộ phân loại SVM và giải thuật Multiple Kernel Learning (MKL) với các hàm nhân $\chi^2$, Histogram Intersection và $L_1$.

Phương pháp nghiên cứu thực nghiệm

Luận án hoàn toàn theo phương pháp định lượng thực nghiệm mô phỏng trên máy tính. Dữ liệu đặc trưng được trích xuất dưới dạng các vector $N$-chiều, sau đó thực hiện so sánh khoảng cách tương tự để trả về các tập ảnh kết quả. Hiệu năng của các giải thuật được định lượng qua hệ thống tiêu chí chuẩn:

  • Đường cong biểu diễn mối quan hệ giữa độ chính xác và độ phủ (Precision-Recall curve – PR).
  • Độ chính xác trung bình (Average Precision – AP) và giá trị trung bình của AP trên toàn bộ các lớp ảnh (Mean Average Precision – MAP).
  • Độ chính xác tại ngưỡng $R = R_n$ ($R\text{-precision}$).
  • Điểm đo điều hòa $F\text{-measure}$.
  • Thứ hạng trung bình chuẩn hóa (Normalized Average Rank – Rank).
  • Các thông số chuẩn từ hội nghị TREC.
+-----------------------------------------------------------------------------------+
| TẬP DỮ LIỆU ĐƯỢC SỬ DỤNG TRONG LUẬN ÁN                                           |
+----------------------+--------------------+---------------------------------------+
| Tên tập dữ liệu      | Quy mô / Cấu trúc  | Mục đích sử dụng                      |
+----------------------+--------------------+---------------------------------------+
| WANG (Corel Dataset) | 1.000 ảnh màu      | Đánh giá truy vấn đặc trưng toàn cục, |
|                      | (10 nhóm chủ đề)   | giải thuật matching, CC và CH         |
| UIUC Texture Database| 25 lớp kết cấu     | Khảo sát định lượng toàn diện MAP,    |
|                      | (40 ảnh/lớp)       | PR, Rank của 9 giải thuật đối chứng   |
| Brodatz Texture      | Các ảnh kết cấu    | Đánh giá độ chính xác truy vấn cho    |
| Database             | chuẩn có biến đổi  | đặc trưng pbLBP và các giải thuật     |
| 15 Scenes            | 15 lớp cảnh quang  | Thực nghiệm phân loại ảnh (MKL-SVM)   |
| Caltech 101          | 101 lớp đối tượng  | Đánh giá ứng dụng mở rộng phân loại   |
+----------------------+--------------------+---------------------------------------+

Nội dung chính theo từng chương

Chương 1: Giới thiệu

Chương mở đầu đặt vấn đề về sự bùng nổ dữ liệu đa phương tiện và nhu cầu tổ chức tìm kiếm ảnh. Tác giả phân tích các phương thức truy vấn phổ biến (từ khóa, nhóm từ, ảnh mẫu, ảnh đồ họa, tổng hợp) và làm rõ sự khác biệt giữa hai trường phái: truy vấn dựa trên văn bản (Text-based) và truy vấn dựa trên nội dung (Content-based). Bài toán CBIR được quy về hai nội dung cốt lõi: mô tả toán học của bức ảnh thông qua vector đặc trưng và nhận biết mức độ tương tự giữa các vector.

Chương này trình bày tổng quan các công trình liên quan đến hệ thống CBIR, phân loại đặc trưng mức thấp và mức cao, đồng thời giải thích lý do lựa chọn hướng nghiên cứu khai thác các biến đổi wavelet cải tiến thay vì đi sâu vào lý thuyết toán học thuần túy hay các mô hình thống kê phức tạp. Cuối chương, tác giả xác định mục tiêu nghiên cứu, nêu tóm tắt 6 đóng góp chính và cấu trúc 6 chương kèm 4 phụ lục (A, B, C, D) của luận án.

Chương 2: Các kỹ thuật thiết kế, đánh giá hệ thống truy vấn ảnh và các mô hình nghiên cứu

Chương 2 đóng vai trò là nền tảng lý thuyết và tổng quan kỹ thuật cho toàn bộ luận án. Tác giả hệ thống hóa các phương pháp biểu diễn ảnh bao gồm:

  • Đặc trưng màu: Không gian màu RGB, HSV, $L^*a^b^$ và các bộ mô tả histogram theo chuẩn MPEG-7.
  • Đặc trưng kết cấu: Phương pháp không gian (ma trận GLCM của Haralick) và phương pháp miền tần số (Gabor wavelet, DWT, MPEG-7 texture descriptor).
  • Đặc trưng hình dạng và điểm đặc thù: Biểu diễn đường bao (contour-based), biểu diễn vùng (region-based qua moment), các điểm corner point, interest point, salient point, keypoint (SIFT, Harris).

Phần tiếp theo phân tích các phép đo độ tương tự (khoảng cách Minkowski, Euclidean, Manhattan, KLD, EMD) và xác lập bộ thông số đánh giá hiệu năng truy vấn (Precision, Recall, F-measure, AP, MAP, R-precision, Rank, TREC).

Cuối chương, tác giả đề xuất 3 mô hình nghiên cứu tổng quát:

  1. Mô hình phối hợp đặc trưng: Kết hợp nhiều vector đặc trưng wavelet và phi wavelet qua hàm khoảng cách tổng hợp có trọng số $D^{\text{matching}} = \text{Matching}{\alpha D^{w1}, \beta D^{w2}, \gamma D^{\text{other}}}$.
  2. Mô hình kết hợp công cụ toán học: Chứng minh sự tương đồng cấu trúc giữa các toán tử $L_\theta, H_\theta$ trong GLCM với các bộ lọc thông thấp/thông cao của Haar wavelet, từ đó xây dựng cơ sở tính toán GLCM trên các băng con định hướng của Contourlet; đồng thời phát triển giải pháp multiresolution LBP trên các băng con wavelet phức.
  3. Mô hình điểm đặc thù: Trích xuất các điểm đặc trưng hình học bằng bộ dò góc Harris áp dụng trên các băng con phân rã của NSCT.

Chương 3: Đề xuất các phương pháp trích đặc trưng ảnh và giải thuật truy vấn

Chương 3 trình bày chi tiết các giải pháp đề xuất cốt lõi của luận án gồm 3 bộ mô tả đặc trưng mới và 4 giải thuật truy vấn tương ứng:

+-----------------------------------------------------------------------------------+
| 4 GIẢI THUẬT VÀ 3 BỘ MÔ TẢ ĐẶC TRƯNG ĐỀ XUẤT TRONG CHƯƠNG 3                      |
+-----------------------+-----------------------------+-----------------------------+
| Tên giải thuật        | Bộ mô tả đặc trưng sử dụng  | Nguyên lý trích xuất        |
+-----------------------+-----------------------------+-----------------------------+
| 1. Matching           | Histogram màu + Gabor       | Phối hợp vector đặc trưng   |
| (Phối hợp toàn cục)   | wavelets + Contourlet       | màu sắc và kết cấu toàn cục |
| 2. CC                 | Contourlet Cooccurrence     | Tính ma trận GLCM trên các  |
|                       | (Đặc trưng mới CC)          | băng con định hướng         |
| 3. pbLBP              | Phase-based LBP             | Áp dụng toán tử LBP trên    |
|                       | (Đặc trưng mới pbLBP)       | thông tin pha Wavelet phức  |
| 4. CH                 | Contourlet Harris           | Dò góc Harris trên các      |
|                       | (Đặc trưng mới CH)          | băng con không giảm mẫu NSCT|
+-----------------------+-----------------------------+-----------------------------+
  • Giải thuật phối hợp các đặc trưng toàn cục (matching): Sử dụng kết hợp vector histogram màu, Gabor wavelets và Contourlets. Thực nghiệm trên 5 thể loại ảnh thuộc cơ sở dữ liệu WANG (Beaches, Buses, Dinosaurs, Flowers, Horses) cho thấy việc trả về 30 ảnh có giá trị đo tương tự tốt nhất mang lại độ chính xác cao hơn so với hệ thống SIMPLIcity.
  • Giải thuật truy vấn dùng đặc trưng Contourlet Cooccurrence (CC): Ảnh được biến đổi qua Contourlet, sau đó lượng tử hóa mức xám trên các băng con định hướng và tính toán ma trận GLCM một hướng tương ứng. Thực nghiệm trên tập WANG khẳng định phương pháp CC đạt độ chính xác truy vấn vượt trội so với việc sử dụng đơn lẻ Contourlet hoặc GLCM.
  • Giải thuật truy vấn dùng đặc trưng Phase-Based LBP (pbLBP): Tác giả trích xuất thành phần pha từ biến đổi Wavelet phức (Steerable Pyramid và Gabor Wavelet phức) rồi áp dụng toán tử $LBP^{riu2}_{P,R}$. Kết quả thực nghiệm trên tập ảnh kết cấu Brodatz xoay chuẩn chứng minh đặc trưng pha (Phase-based) có tính phân biệt và độ ổn định cao hơn đáng kể so với thông tin biên độ (Magnitude-based).
  • Giải thuật truy vấn dùng đặc trưng Contourlet Harris (CH): Biến đổi NSCT với các mức phân tích $[0, 1, 3]$ được kết hợp với bộ dò góc Harris để xác định các điểm đặc thù bất biến. Vector đặc trưng được tính dựa trên 3 moment thống kê và khoảng cách Euclidean trên 8 băng con mức 4. Thực nghiệm so sánh trên tập ảnh WANG cho kết quả phân loại vượt trội so với Contourlet, NSCT và GLCM truyền thống.
  • Cuối chương, tác giả tổng hợp đánh giá chỉ số MAP của 4 giải thuật đề xuất đối chiếu với các kết quả công bố trong tài liệu tham khảo [8].

Chương 4: Thực nghiệm khảo sát mức độ hiệu quả của các giải thuật truy vấn đề xuất

Chương 4 mở rộng phạm vi đánh giá định lượng 4 giải thuật đề xuất (matching, CC, pbLBP, CH) thông qua việc so sánh đối sánh với 5 giải thuật chuẩn đã công bố:

  • GGD&KLD (Generalized Gaussian Density & Kullback-Leibler Distance)
  • Gabor wavelets
  • Contourlet thuần túy
  • HMT (Hidden Markov Tree)
  • Curvelet

Thực nghiệm được thực hiện trên 2 tập dữ liệu ảnh chuẩn quy mô lớn:

  • Tập dữ liệu kết cấu UIUC: Đánh giá thông qua các biểu đồ bậc thang (stairstep), biểu đồ cột xếp hạng Rank, giá trị MAP, so sánh cặp R-precision ($A/B$) và hệ đường cong Precision-Recall (PR).
  • Tập dữ liệu kết cấu Brodatz: Đánh giá tương tự trên các nhóm ảnh kết cấu, tính toán chi tiết thứ hạng MAP, Rank và đường cong PR trung bình.

Các bảng tổng hợp số liệu (Bảng 4.1 cho UIUC, Bảng 4.2 cho Brodatz, Bảng 4.5 cho kết quả tổng hợp) cung cấp minh chứng thực nghiệm xác thực rằng 4 giải thuật đề xuất của luận án đều đạt được các chỉ số MAP và R-precision cao hơn, đồng thời giảm thứ hạng trung bình chuẩn hóa (Rank) so với các giải thuật đối chứng.

Chương 5: Ứng dụng mở rộng

Chương 5 mở rộng phạm vi nghiên cứu của các đặc trưng đề xuất sang bài toán phân loại ảnh (Image Classification). Quy trình xử lý dựa trên mô hình Bag-of-Words (BoW) kết hợp cơ chế phân chia kim tự tháp không gian Spatial Pyramid Matching (SPM) gồm 3 mức:

  • Mức 1 ($1 \times 1$): Tính 1 histogram toàn ảnh.
  • Mức 2 ($2 \times 2$): Tính 4 histogram cho 4 vùng.
  • Mức 3 ($4 \times 4$): Tính 16 histogram cho 16 vùng.

Tác giả đề xuất phương pháp học đa nhân (Multiple Kernel Learning – MKL) và phương pháp tích hợp (Integrated Method) kết hợp nhiều bộ phân loại SVM sử dụng các hàm kernel khác nhau: nhân Chi-square ($\chi^2$), nhân Histogram Intersection, và nhân $L_1$.

Kết quả thực nghiệm:

  • Thực nghiệm 1: Đánh giá hiệu quả phân loại của đặc trưng denseSBP.
  • Thực nghiệm 2: Khảo sát độ chính xác phân loại trên tập dữ liệu chuẩn 15 Scenes (Bảng 5.2) và Caltech 101 (Bảng 5.3). Các kết quả chứng minh phương pháp MKL và Integrated Method khi kết hợp các đặc trưng đề xuất đạt độ chính xác phân loại cạnh tranh và có thể so sánh trực tiếp với các công bố quốc tế cùng thời điểm.

Chương 6: Tổng kết

Chương cuối cùng tổng kết các kết quả chính của luận án, khẳng định việc hoàn thành các mục tiêu nghiên cứu đề ra về cả phương diện xây dựng bộ mô tả đặc trưng, thiết kế giải thuật truy vấn và ứng dụng mở rộng phân loại ảnh. Tác giả cũng chỉ ra các định hướng nghiên cứu tiếp theo để hoàn thiện hệ thống.

Kết quả và những đóng góp mới

Đóng góp mới về mặt lý luận và học thuật

  1. Làm rõ mối liên hệ giữa ma trận GLCM và các băng con Wavelet: Thiết lập cơ sở lý thuyết chứng minh các toán tử lọc của ma trận đồng xuất mức xám GLCM có cấu trúc tương đương với các bộ lọc thông thấp và thông cao trong phân tích đa phân giải, từ đó mở ra hướng tính toán ma trận đồng xuất trực tiếp trên các băng con định hướng của Contourlet.
  2. Khẳng định ưu thế của thông tin pha trong Wavelet phức: Chứng minh thực nghiệm rằng thành phần pha của các hệ số Wavelet phức (Steerable Pyramid, Complex Gabor) khi kết hợp với toán tử LBP mang lại độ ổn định cao đối với các biến đổi xoay, vượt trội hơn so với việc chỉ sử dụng thông tin biên độ hoặc phần thực.
  3. Phát triển cơ chế trích điểm đặc thù trên nền NSCT: Đề xuất phương pháp tích hợp bộ dò góc Harris trên các băng con không giảm mẫu của biến đổi NSCT, khắc phục nhược điểm nhạy cảm với dịch chuyển của DWT truyền thống và khai thác tốt thông tin hình học đa hướng.

Đóng góp mới về mặt thực tiễn và kỹ thuật

  1. Đề xuất 3 bộ mô tả đặc trưng ảnh mới:
    • Đặc trưng Contourlet Cooccurrence (CC).
    • Đặc trưng Phase-based LBP (pbLBP).
    • Đặc trưng Contourlet Harris (CH).
  2. Xây dựng 4 giải thuật truy vấn ảnh CBIR:
    • Giải thuật phối hợp đặc trưng toàn cục (matching).
    • Giải thuật truy vấn dùng đặc trưng Contourlet Cooccurrence (CC).
    • Giải thuật truy vấn dùng đặc trưng Phase-based LBP (pbLBP).
    • Giải thuật truy vấn dùng đặc trưng Contourlet Harris (CH).
  3. Đề xuất giải pháp phân loại ảnh đa nhân: Xây dựng mô hình Bags of Multi-Features kết hợp Spatial Pyramid Matching (SPM) và phương pháp Multiple Kernel Learning (MKL) / Integrated Method trên SVM đa nhân, cải thiện độ chính xác phân loại trên các tập ảnh 15 Scenes và Caltech 101.
  4. Công bố khoa học: Các kết quả của luận án đã được công bố qua 6 công trình khoa học chính (2 bài báo trên tạp chí chuyên ngành trong nước và 4 bài báo tại các kỷ yếu hội nghị quốc tế như ATC 2010, ISSPA 2010, VIIP 2012, ATC 2013).

Kiến nghị và giải pháp đề xuất từ tác giả

  • Trong thiết kế hệ thống CBIR thực tế, cần linh hoạt lựa chọn bộ mô tả đặc trưng phù hợp với đặc thù dữ liệu: giải thuật matching phù hợp cho ảnh tổng quát có thông tin màu rõ nét; giải thuật pbLBP phù hợp cho ảnh kết cấu có yếu tố xoay; giải thuật CH thích hợp cho ảnh đòi hỏi phân biệt hình học và đối tượng sắc nét.
  • Cần ưu tiên các phép đo khoảng cách có độ phức tạp thấp (như Manhattan $L_1$ hoặc Euclidean $L_2$) trong các hệ thống đòi hỏi tốc độ đáp ứng thời gian thực.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được ghi nhận từ văn bản

  • Luận án định hướng nghiên cứu ứng dụng kỹ thuật, không đi sâu vào việc xây dựng cơ sở lý thuyết toán học cho các họ wavelet hoàn toàn mới.
  • Luận án chủ động không khảo sát đặc trưng hình dạng (shape) dựa trên kỹ thuật phân đoạn vùng (segmentation) do quy trình phân đoạn làm tăng mạnh độ phức tạp tính toán và thời gian xử lý, không phù hợp cho ảnh thực tế đa dạng.
  • Không tiếp cận theo hướng mô hình hóa thống kê tham số (GMM, Copula, MPE...) do các thuật toán ước lượng lặp (EM, ML) có độ phức tạp tính toán cao, làm chậm tốc độ tìm kiếm.
  • Các thực nghiệm mới dừng lại ở việc mô phỏng trên các cơ sở dữ liệu ảnh chuẩn tĩnh (WANG, UIUC, Brodatz, 15 Scenes, Caltech 101), chưa triển khai thử nghiệm trên môi trường phân tán quy mô Web thực tế.

Hướng nghiên cứu tiếp

  • Nghiên cứu tối ưu hóa cấu trúc cơ sở dữ liệu và chỉ mục (indexing) để tăng tốc độ truy vấn đối với các vector đặc trưng đề xuất.
  • Khảo sát mở rộng khả năng ứng dụng của các thế hệ biến đổi đa hướng khác (như Bandelets, Surfacelets) cho dữ liệu hình ảnh 3-D và video.
  • Tích hợp thêm các kỹ thuật phản hồi liên quan (relevance feedback) đa mức nhằm nâng cao hơn nữa mức độ tương tác giữa người dùng và hệ thống.

Giá trị tham khảo

Đối tượng thụ hưởng

  • Nghiên cứu sinh và học viên cao học: Thuộc các chuyên ngành Kỹ thuật Điện tử, Kỹ thuật Viễn thông, Khoa học Máy tính và Công nghệ Thông tin theo định hướng Xử lý ảnh số, Thị giác máy tính (Computer Vision) và Truy vấn dữ liệu đa phương tiện.
  • Giảng viên đại học: Sử dụng làm tài liệu tham khảo cho các môn học chuyên đề về Xử lý tín hiệu số đa phân giải, Nhận dạng mẫu và Xử lý ảnh nâng cao.
  • Kỹ sư và nhà phát triển hệ thống: Các chuyên viên kỹ thuật tại các đài truyền hình, viện nghiên cứu truyền thông và trung tâm lưu trữ dữ liệu (như BRAC - VTV) cần xây dựng các module trích chọn đặc trưng và tìm kiếm hình ảnh tự động.

Các phần nội dung đáng tham khảo

  • Chương 2 và Phụ lục A: Cung cấp tài liệu tổng quan cô đọng, có hệ thống về các biến đổi Wavelet đa hướng (Contourlet, NSCT, Steerable Pyramid) và bộ tiêu chí đánh giá định lượng chuẩn xác trong CBIR.
  • Chương 3: Cung cấp chi tiết các thuật toán kết hợp giữa biến đổi tần số và toán tử không gian (GLCM, LBP, Harris).
  • Chương 4 và Phụ lục D: Cung cấp phương pháp luận thiết kế thực nghiệm so sánh định lượng đa chiều trên nhiều tập dữ liệu chuẩn.
  • Chương 5: Cung cấp giải pháp triển khai mô hình Bag-of-Words kết hợp phân chia SPM và kỹ thuật học đa nhân MKL-SVM.

Câu hỏi thường gặp

1. Ba bộ mô tả đặc trưng ảnh mới được đề xuất trong luận án là gì và dựa trên nguyên lý nào?

Tác giả đề xuất 3 bộ mô tả mới:

  • Contourlet Cooccurrence (CC): Kết hợp biến đổi Contourlet và ma trận đồng xuất mức xám GLCM tính trên các băng con định hướng.
  • Phase-based LBP (pbLBP): Kết hợp thông tin pha của các hệ số Wavelet phức (Steerable Pyramid, Complex Gabor) với toán tử mẫu nhị phân cục bộ $LBP^{riu2}_{P,R}$.
  • Contourlet Harris (CH): Kết hợp biến đổi Nonsubsampled Contourlet Transform (NSCT) với bộ dò góc Harris để xác định các điểm đặc thù bất biến.

2. Vì sao luận án chọn hướng tiếp cận biến đổi Wavelet cải tiến thay vì Wavelet rời rạc truyền thống (DWT)?

Biến đổi DWT phân tách cổ điển có hai hạn chế lớn khi xử lý ảnh 2-D: thiếu tính bất biến dịch và tính định hướng nghèo nàn (chỉ có 3 hướng: ngang, dọc, chéo), không mô tả tốt các đường biên cong trơn và góc cạnh sắc nét. Các biến đổi cải tiến (Contourlet, NSCT, Wavelet phức) cho phép phân tích đa tỷ lệ và đa hướng linh hoạt, thu nhận đầy đủ hơn các đặc trưng hình học của bức ảnh.

3. Ưu thế của đặc trưng Phase-Based LBP (pbLBP) so với các phương pháp Wavelet truyền thống là gì?

Trong bài toán truy vấn ảnh kết cấu (thực nghiệm trên tập Brodatz xoay chuẩn), thông tin pha của các hệ số Wavelet phức thể hiện tính ổn định cao trước các biến đổi góc xoay. Khi kết hợp với toán tử $LBP^{riu2}_{P,R}$, đặc trưng pbLBP mang lại độ chính xác trung bình cao hơn và ổn định hơn so với các phương pháp chỉ khai thác thông tin biên độ (Magnitude-based) hoặc phần thực của hệ số wavelet.

4. Luận án đã mở rộng ứng dụng các đặc trưng đề xuất sang lĩnh vực phân loại ảnh như thế nào?

Trong Chương 5, tác giả tích hợp các đặc trưng đề xuất vào mô hình Bag-of-Words (BoW) kết hợp phân chia không gian đa mức Spatial Pyramid Matching (SPM). Quá trình phân loại sử dụng phương pháp học đa nhân (Multiple Kernel Learning – MKL) và phương pháp tích hợp (Integrated Method) kết hợp các hàm kernel ($\chi^2$, Intersection, $L_1$) trên bộ phân loại SVM, đạt độ chính xác phân loại tốt trên tập 15 Scenes và Caltech 101.

5. Những thông số định lượng nào được sử dụng để đánh giá hiệu quả của các giải thuật truy vấn?

Luận án sử dụng hệ thống tiêu chuẩn gồm: đường cong Precision-Recall (PR), giá trị $F\text{-measure}$, độ chính xác trung bình (AP), trung bình của AP trên toàn bộ các lớp (MAP), độ chính xác tại ngưỡng $R = R_n$ ($R\text{-precision}$), thứ hạng trung bình chuẩn hóa (Rank) và các thông số đo lường chuẩn của hội nghị TREC.

Kết luận

Luận án tiến sĩ kỹ thuật của tác giả Nguyễn Đức Hoàng đã giải quyết bài toán truy vấn ảnh dựa trên nội dung (CBIR) thông qua việc khai thác các biến đổi wavelet đa hướng thế hệ mới kết hợp với các toán tử không gian và mô hình học máy. Công trình đã đề xuất thành công 3 bộ mô tả đặc trưng ảnh mới (CC, pbLBP, CH), xây dựng 4 giải thuật truy vấn tương ứng và mở rộng ứng dụng sang mô hình phân loại ảnh BoW/SPM đa nhân. Toàn bộ các đề xuất đều được kiểm chứng định lượng thông qua hệ thống thực nghiệm mô phỏng trên các tập dữ liệu chuẩn (WANG, UIUC, Brodatz, 15 Scenes, Caltech 101), minh chứng cho sự cải thiện về độ chính xác và tính ổn định so với nhiều giải thuật công bố trước đó.