Tổng quan luận án

Luận án tiến sĩ "Nâng cao độ chính xác tra cứu ảnh dựa vào nội dung sử dụng kỹ thuật điều chỉnh trọng số hàm khoảng cách" được thực hiện bởi nghiên cứu sinh Đào Thị Thúy Quỳnh, chuyên ngành Khoa học máy tính (mã số: 62 48 01 01), dưới sự hướng dẫn khoa học của PGS. Ngô Quốc Tạo và PGS. Nguyễn Hữu Quỳnh tại Học viện Khoa học và Công nghệ, Viện Hàn lâm Khoa học và Công nghệ Việt Nam vào năm 2019.

Tính cấp thiết và khoảng trống nghiên cứu

Cơ sở dữ liệu ảnh phát triển nhanh chóng về số lượng và quy mô trong các lĩnh vực như y học, viễn thám, thời trang, phòng chống tội phạm, xuất bản và kiến trúc. Các phương pháp tra cứu ảnh truyền thống ban đầu dựa trên các thuộc tính độc lập nội dung (tên tệp, kích cỡ, định dạng, ngày tạo) hoặc dựa trên từ khóa chú thích thủ công bộc lộ nhiều điểm hạn chế: tốn kém nhân lực, mang tính chủ quan và thiếu sự nhất quán giữa những người gán nhãn.

Từ đầu thập niên 1990, phương pháp tra cứu ảnh dựa vào nội dung (Content-Based Image Retrieval - CBIR) ra đời nhằm khai thác các đặc trưng trực quan mức thấp gồm màu sắc, kết cấu và hình dạng. Tuy nhiên, các đặc trưng mức thấp thường không thể mô tả tương đương các khái niệm ngữ nghĩa mức cao, dẫn tới "khoảng cách ngữ nghĩa" (semantic gap) giữa hệ thống tính toán và nhận thức của con người. Để giảm khoảng cách ngữ nghĩa, kỹ thuật phản hồi liên quan (Relevance Feedback - RF) đưa người dùng vào vòng lặp tương tác để cập nhật truy vấn và điều chỉnh hàm khoảng cách. Dù vậy, các nghiên cứu phản hồi liên quan hiện hành vẫn tồn tại bốn hạn chế kỹ thuật:

  1. Yêu cầu người dùng cung cấp đồng thời nhiều ảnh truy vấn đa dạng cho cùng một chủ đề, tạo thêm gánh nặng cho người dùng.
  2. Chưa tận dụng thông tin phản hồi của người dùng để xác định độ quan trọng ngữ nghĩa của từng truy vấn và độ quan trọng của từng chiều đặc trưng.
  3. Mỗi lần lặp phản hồi, hệ thống phải thực hiện phân cụm lại toàn bộ các ảnh từ đầu, gây suy giảm hiệu năng thời gian.
  4. Sử dụng chung một véc-tơ trọng số ma trận khoảng cách cho tất cả các điểm truy vấn tối ưu mà không tính đến cấu trúc địa phương riêng biệt của từng vùng dữ liệu.

Do đó, việc nghiên cứu các kỹ thuật điều chỉnh trọng số hàm khoảng cách và tối ưu hóa phản hồi liên quan là yêu cầu kỹ thuật trực tiếp để nâng cao độ chính xác tra cứu.

Mục tiêu nghiên cứu

  • Mục tiêu chung: Đề xuất phương pháp tra cứu ảnh nhằm nâng cao độ chính xác tra cứu.
  • Mục tiêu cụ thể:
    1. Đề xuất phương pháp tra cứu các ảnh liên quan ngữ nghĩa nằm rải rác trong không gian đặc trưng để nâng cao độ chính xác mà không làm tăng thời gian thực hiện tra cứu.
    2. Tận dụng thông tin phản hồi của người dùng để xác định độ quan trọng ngữ nghĩa của mỗi truy vấn và độ quan trọng của từng đặc trưng nhằm xây dựng phương pháp tra cứu ảnh hiệu quả.
    3. Đề xuất phương pháp khai thác mức độ phản hồi của người dùng và tính chất địa phương của mỗi vùng chứa điểm truy vấn điều chỉnh để nâng cao độ chính xác tra cứu.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Các phương pháp tra cứu ảnh dựa vào nội dung (CBIR), cơ chế phản hồi liên quan (RF), hàm khoảng cách và kỹ thuật điều chỉnh trọng số hàm khoảng cách.
  • Phạm vi nghiên cứu: Giới hạn trong bài toán tìm kiếm các ảnh đa dạng cùng chủ đề với ảnh truy vấn khi các ảnh này có đặc trưng mức thấp khác nhau và phân bố rải rác ở nhiều vùng trong không gian đặc trưng (ví dụ: tìm kiếm chủ đề hoa hồng bao gồm các ảnh hoa hồng màu đỏ, hoa hồng màu vàng và hoa hồng màu trắng). Dữ liệu thực nghiệm sử dụng tập ảnh chuẩn Corel.

Tổng quan tài liệu và vị trí của luận án

Các hướng nghiên cứu được điểm lại trong văn bản

Tác giả đã tổng hợp các công trình tiêu biểu trong lĩnh vực CBIR và phản hồi liên quan:

  • Các hệ thống CBIR nguyên mẫu và thương mại: Hệ thống QBIC (Flickner et al., 1995) [71], hệ thống MARS (Rui et al., 1997) [85], MindReader (Ishikawa et al., 1998) [47].
  • Kỹ thuật trích rút đặc trưng màu sắc: Mô men màu (Xiaoyin, 2003) [34], mô men Pseudo-Zernike bất biến quay (Haddadnia et al., 2003) [10], tương quan màu sắc (Huang et al., 1997) [43], ma trận đồng hiện màu CCM (Chang & Krumm, 1999) [105], MCM dựa trên lưới motif (Jhanwar et al., 2004) [79], kỹ thuật mã cắt khối BTC với hai đặc trưng BCCM và BPH (Guoping, 2000) [37], bộ mô tả màu trội MPEG-7 DCD với tám màu cố định (Hong et al., 2006) [72], véc-tơ gắn kết khoảng cách đa tỉ lệ (Zeng et al., 2003) [58].
  • Kỹ thuật trích rút đặc trưng kết cấu: Biến đổi lọc Gabor và khảo sát mặt nạ lọc (Lianping et al., 2009) [67], biến đổi wavelet rời rạc DWT, ma trận đồng hiện mức xám GLCM (Haralick et al., 1973) [95], trường ngẫu nhiên Markov (Cross & Jain, 1983) [38], lược đồ thành phần cấu trúc 72 bin trong không gian HSV (Xingyuan & Zongyu, 2009) [120], bộ mô tả cấu trúc nhỏ micro-structures 72 bin (Liu et al., 2011) [40], lược đồ kết cấu và màu mờ FCTH 72 byte (Chatzichristofis et al., 2008) [100], mô hình copula Gaussian kết hợp phân rã wavelet (Kwitt et al., 2010) [96], đồng hiện màu 4 hướng trên vùng liên thông (Wang et al., 2006) [115], thuật toán di truyền tương tác (Lai et al., 2011) [26].
  • Kỹ thuật trích rút đặc trưng hình dạng và không gian: Lược đồ multi-texton dựa trên lý thuyết của Julesz (Liu et al., 2010) [39], mô hình Shape Google trên toán tử Laplace-Beltrami (Bronstein et al., 2011) [73], kết hợp bộ mô tả mầu trội, lọc ổn định và mô men pseudo-Zernike (Xiang-Yang et al., 2011) [116], lược đồ phân bố điểm bao với khoảng cách EMD (Shu et al., 2011) [117], bộ mô tả rolling penetrate (Chen & Xu, 2006) [124], mô hình phân khối và nhận diện vị trí tương đối (Lee & Nang, 2011) [59], kỹ thuật mã vùng (Shrivastava & Tyagi, 2014) [80], biểu diễn đồ thị không gian trong y học (Kumar et al., 2012) [11], cây cấu trúc hình học (Alajlan et al., 2008) [82].
  • Các phương pháp giảm khoảng cách ngữ nghĩa:
    • Tiếp cận học có giám sát: Máy véc-tơ hỗ trợ SVM (Guo et al., 2002 [27]; Zhang et al., 2001 [120]), phân lớp Bayes (Vailaya et al., 2001 [75]; Szummer & Picard, 1998 [7]; Serrano et al., 2004 [53]), mạng nơ-ron với 11 nhóm khái niệm (Town & Sinclair, 2001) [21], kỹ thuật bán giám sát bootstrapping kết hợp hai bộ phân lớp thống kê cải thiện 10% độ chính xác so với SVM (He et al., 2004) [42], cây quyết định ID3, C4.5, CART (Quinlan, 1986) [102].
    • Tiếp cận học không giám sát: Phân cụm K-means (MacQueen, 1967) [106], mô hình hỗn hợp Gaussian GMM với giải thuật cực đại kỳ vọng EM (Dempster et al., 1977) [18], phân cụm mờ fuzzy c-means, phân cụm bán giám sát ràng buộc cặp MPCK-means (Bilenko et al., 2004) [19], bộ phát hiện khái niệm (Papagiannopoulou et al., 2012) [8], phân cụm phổ Normalized Cut (Shi & Malik, 2000) [48], phương pháp CLUE (Chen et al., 2005) [122].
    • Tiếp cận phản hồi liên quan đa điểm: Phương pháp dịch chuyển điểm truy vấn FQPM (Porkaew et al., 1999) [29], phương pháp JF của Jin & French (2003) [49] xử lý truy vấn lõm/đa điểm.

Khoảng trống nghiên cứu được lựa chọn giải quyết

Các công trình phản hồi liên quan trước đây, tiêu biểu là phương pháp JF, yêu cầu người dùng phải tự cung cấp nhiều ảnh truy vấn ban đầu thuộc các biến thể khác nhau để hệ thống tìm kiếm trong các vùng rải rác. Nếu người dùng chỉ nhập một ảnh, kết quả ban đầu chỉ thu về các ảnh nằm cục bộ trong cùng một vùng đặc trưng mức thấp. Đồng thời, số điểm truy vấn ở các bước sau phụ thuộc trực tiếp vào số ảnh người dùng chọn (chọn quá ít thì không bao phủ hết các cụm, chọn quá nhiều thì làm tăng chi phí tính toán khi gộp danh sách). Các phương pháp này cũng coi trọng số của các truy vấn và các chiều đặc trưng là ngang nhau, đồng thời áp dụng chung một ma trận trọng số cho toàn bộ không gian mà không phân hóa tính chất địa phương của từng cụm truy vấn tối ưu. Luận án lựa chọn giải quyết trực tiếp các thiếu sót này.

Cơ sở lý thuyết và phương pháp nghiên cứu

Lý thuyết, khái niệm và khung phân tích

Luận án vận hành trên mô hình CBIR hai pha: trích rút đặc trưng ngoại tuyến và tra cứu, phân hạng kèm phản hồi liên quan trực tuyến. Hệ thống biểu diễn dữ liệu trong không gian đặc trưng đa chiều:

  • Tập đặc trưng $F$ gồm $N$ bộ đặc trưng, mỗi bộ gồm $m$ thành phần giá trị thực.
  • Không gian đặc trưng $FS$ có $m$ chiều, tương ứng với mỗi điểm $p_t$ đại diện cho một bộ đặc trưng. Không gian thành phần thứ $i$ ($F_i$) gồm $n$ chiều với các điểm $x_t^i$.
  • Các độ đo khoảng cách toán học được khảo sát:
    • Khoảng cách Minkowski bậc $r$: $D(X,Y) = (\sum_{i=1}^n |x_i - y_i|^r)^{1/r}$ (với $r=1$ là Manhattan, $r=2$ là Euclid, $r=\infty$ là Chebyshev).
    • Khoảng cách Mahalanobis: $D(X,Y) = \sqrt{(X-Y)^T S^{-1} (X-Y)}$ với $S$ là ma trận hiệp phương sai.
    • Khoảng cách Cosine: $D(X,Y) = 1 - \frac{X \cdot Y}{|X| |Y|}$.
    • Khoảng cách Hamming và khoảng cách Hamming mờ điều chỉnh bởi tham số $\alpha > 0$.
    • Khoảng cách Earth Mover's Distance (EMD) giải bài toán tối ưu vận chuyển tuyến tính: $$\min \sum_{i=1}^m \sum_{j=1}^n d_{ij} f_{ij} \quad \text{với các ràng buộc về nguồn cung và dung lượng luồng}$$
    • Phân kỳ Kullback-Leibler (K-L) và phân kỳ Jeffrey đối xứng.

Phương pháp nghiên cứu thực tế

Nghiên cứu áp dụng phương pháp thực nghiệm định lượng kết hợp tương tác người dùng:

  • Phương pháp đa biểu diễn ảnh (Multi-representation): Một ảnh gốc được biến đổi thành bốn biểu diễn kỹ thuật số gồm: biểu diễn màu gốc ($C^+$), biểu diễn âm bản của ảnh màu ($C^-$), biểu diễn ảnh xám ($G^+$) và biểu diễn âm bản của ảnh xám ($G^-$). Mỗi biểu diễn được ánh xạ vào một không gian đặc trưng riêng biệt nhằm loại trừ sự chi phối của màu sắc lên hình dạng và kết cấu.
  • Phương pháp phân cụm gia tăng (Incremental Clustering - INC): Nhóm các mẫu phản hồi của người dùng vào các cụm mà không cần chạy lại thuật toán phân cụm trên toàn bộ dữ liệu từ đầu.
  • Điều chỉnh trọng số hàm khoảng cách: Tính toán độ quan trọng đặc trưng (Importance of Feature - IF), xác định độ quan trọng ngữ nghĩa của truy vấn và xác định ma trận trọng số thích nghi (Adaptive Weights) phản ánh hình elip cục bộ sinh bởi các mẫu phản hồi dương.
  • Môi trường và công cụ đo lường: Thử nghiệm trên cơ sở dữ liệu ảnh Corel; đo lường hiệu năng bằng Độ chính xác (Precision), Độ triệu hồi (Recall), đường cong PR và Độ chính xác trung bình (Average Retrieval Precision - ARP): $$ARP = \frac{1}{Q} \sum_{q=1}^Q P_q$$ trong đó $P_q$ là độ chính xác của truy vấn thứ $q$, $Q$ là tổng số truy vấn. Hệ thống tiến hành kiểm chứng qua cả tập dữ liệu thực sự (ground truth) và nhận thức trực quan của người dùng (sinh viên).
Thành phần kỹ thuật Chi tiết trong luận án
Không gian biểu diễn 4 không gian: Màu gốc ($C^+$), Âm bản màu ($C^-$), Ảnh xám ($G^+$), Âm bản xám ($G^-$)
Giải thuật phân cụm Phân cụm gia tăng (INC), K-means, GMM/EM, Phân cụm mờ
Độ đo so sánh Minkowski (Manhattan, Euclid, Chebyshev), Mahalanobis, Cosine, Hamming, EMD, Jeffrey
Độ đo đánh giá Độ chính xác (Precision), Triệu hồi (Recall), Độ chính xác trung bình (ARP), Độ lệch chuẩn
Dữ liệu thực nghiệm Tập ảnh chuẩn Corel (ví dụ nhóm chủ đề hoa hồng: đỏ, vàng, trắng)

Nội dung chính theo từng chương

Chương 1: Tổng quan về tra cứu ảnh dựa vào nội dung

Chương 1 hệ thống hóa cơ sở lý thuyết tổng quan về tra cứu ảnh từ phương pháp dựa trên văn bản đến CBIR. Tác giả phân tích cấu trúc hệ thống CBIR hai pha và đi sâu vào các nhóm kỹ thuật trích rút đặc trưng mức thấp:

  • Đặc trưng màu sắc: phân tích không gian màu tuyến tính (RGB) và phi tuyến (HSV, YCbCr, L*a*b*); các phương pháp trích rút như mô men màu, mô men Pseudo-Zernike, ma trận đồng hiện màu CCM, MCM, mã cắt khối BTC và bộ mô tả màu trội MPEG-7 DCD.
  • Đặc trưng kết cấu: lọc Gabor, biến đổi Wavelet (DWT), ma trận đồng hiện mức xám GLCM, mô tả thành phần cấu trúc 72 bin, bộ mô tả cấu trúc nhỏ micro-structures 72 bin, lược đồ FCTH 72 byte và mô hình copula Gaussian đa biến.
  • Đặc trưng hình dạng và quan hệ không gian: phân loại phương pháp theo đường bao và theo vùng; các kỹ thuật như Fourier, mô men bất biến, multi-texton, Shape Google, rolling penetrate; các biểu diễn không gian thông qua vùng quan tâm (ROI), phân chia khối ảnh và mô hình đồ thị/cây.
  • Phân tích các độ đo khoảng cách (Minkowski, Mahalanobis, Cosine, Hamming, EMD, K-L, Jeffrey) và các giải thuật phân cụm (K-means, GMM, MPCK-means).

Chương 1 đánh giá các hướng tiếp cận thu hẹp khoảng cách ngữ nghĩa: học có giám sát (SVM, Bayes, mạng nơ-ron, bootstrapping, cây quyết định) có nhược điểm đòi hỏi tập mẫu huấn luyện có nhãn lớn và tính toán phức tạp; học không giám sát (K-means, phân cụm phổ, CLUE) không khai thác phản hồi người dùng nên độ chính xác bị giới hạn. Từ đó, chương kết luận sự cần thiết phải phát triển phương pháp phản hồi liên quan mới có khả năng truy vấn đa điểm, giảm tải thao tác người dùng và thích nghi trọng số địa phương.

Chương 2: Phương pháp tra cứu ảnh liên quan ngữ nghĩa

Chương 2 đề xuất phương pháp tra cứu ảnh liên quan ngữ nghĩa có tên gọi là SRIR (Semantic–Related Image Retrieval) nhằm giải quyết tình huống các ảnh có cùng ngữ nghĩa nhưng nằm phân tán ở các cụm khác nhau trong không gian đặc trưng.

Tác giả phân tích hạn chế của phương pháp JF (Jin & French, 2003): JF đòi hỏi người dùng phải tự cung cấp cùng lúc nhiều ảnh truy vấn đa dạng; số lượng điểm truy vấn bị lệ thuộc vào số ảnh phản hồi; gán trọng số các truy vấn và các chiều đặc trưng bằng nhau. Để khắc phục, phương pháp SRIR đưa ra các giải pháp:

  1. Tiếp cận đa biểu diễn để khởi tạo đa dạng từ một truy vấn: Thay vì đặt ảnh trong một không gian đặc trưng duy nhất, ảnh truy vấn ban đầu được biến đổi thành bốn biểu diễn $C^+$, $C^-$, $G^+$, $G^-$. Trong không gian ảnh xám $G^+$, đặc trưng kết cấu và hình dạng không bị màu sắc lấn át, do đó các ảnh cùng chủ đề nhưng khác màu (ví dụ hoa hồng vàng, hoa hồng đỏ, hoa hồng trắng như ảnh mẫu 476043.jpg) sẽ nằm gần nhau. Quá trình tra cứu được thực hiện độc lập trên 4 không gian, sau đó gộp danh sách kết quả để tạo ra tập kết quả khởi tạo đa dạng chỉ từ một ảnh đầu vào.
  2. Thuật toán phân cụm gia tăng (INC): Phân cụm tập ảnh người dùng phản hồi liên quan nhằm giảm chi phí tính toán, tránh việc phân cụm lại toàn bộ từ đầu ở mỗi vòng lặp.
  3. Công thức tính trọng số ngữ nghĩa của truy vấn: Điều chỉnh khoảng cách dựa trên mật độ lân cận; điểm truy vấn nào có lân cận chứa nhiều ảnh liên quan hơn sẽ được gán trọng số ngữ nghĩa cao hơn.
  4. Thuật toán tính độ quan trọng đặc trưng (IF): Xác định trọng số cho từng chiều đặc trưng dựa trên độ phân tán của các mẫu phản hồi trong không gian.
  5. Thuật toán gộp danh sách kết quả và quy trình chung: Kết hợp các danh sách kết quả từ các điểm truy vấn tối ưu đã điều chỉnh trọng số.

Thực nghiệm ở Chương 2 được tiến hành trên cơ sở dữ liệu ảnh Corel với 34 loại truy vấn qua một lần lặp phản hồi, so sánh hiệu năng phân cụm và độ chính xác của SRIR với phương pháp JF và các thuật toán phân cụm liên quan.

Chương 3: Phương pháp tra cứu ảnh sử dụng trọng số thích nghi

Chương 3 đề xuất phương pháp AWEIGHT (An efficient image retrieval method using adaptive weights) nhằm giải quyết bài toán tối ưu hóa hàm khoảng cách theo cấu trúc địa phương.

Các phương pháp trước đây thường dùng chung một véc-tơ hoặc ma trận trọng số khoảng cách cho tất cả các điểm truy vấn tối ưu. Tuy nhiên, các vùng chứa điểm truy vấn tối ưu khác nhau có sự phân bố dữ liệu rất khác biệt; tập hợp các mẫu phản hồi dương trong mỗi vùng tạo thành một hình elip riêng biệt. Phương pháp AWEIGHT triển khai các đóng góp kỹ thuật:

  1. Thuật toán xác định điểm truy vấn tối ưu và bộ trọng số thích nghi: Tính toán tọa độ điểm truy vấn tối ưu và thiết lập ma trận trọng số riêng biệt cho từng vùng địa phương dựa trên mức độ phản hồi của người dùng, giúp hàm khoảng cách co giãn phù hợp theo hình dạng elip của từng cụm.
  2. Thuật toán tra cứu lặp thích nghi: Quy trình lặp phản hồi được thực hiện qua các bước: nhận phản hồi người dùng, phân cụm cục bộ, cập nhật điểm truy vấn tối ưu, cập nhật bộ trọng số thích nghi tương ứng cho mỗi cụm, tính toán khoảng cách cải tiến và trả về danh sách ảnh đã xếp hạng.
  3. Đánh giá thực nghiệm: Thực nghiệm được tiến hành trên 80 loại truy vấn với 3 lần lặp phản hồi:
    • So sánh độ chính xác trung bình (ARP) và độ lệch chuẩn giữa 5 phương pháp: AWEIGHT, Aweight_WLNR, Aweight_WIDF, FGSSH và phương pháp gốc.
    • Kiểm chứng sự tương đồng về độ chính xác của AWEIGHT khi đánh giá trên tập dữ liệu thực sự (ground truth) so với đánh giá dựa trên nhận thức trực quan của người dùng (sinh viên).
    • Đo lường và đánh giá thời gian thực thi tra cứu của hệ thống qua các lần lặp.
    • Minh họa hệ thống giao diện phần mềm hoàn chỉnh gồm các module: frm_Class_Images, frm_Type_of_Features, frm_Images_Database, frm_Upload_Images, frm_Trainning, frm_Features, các giao diện tra cứu đa biểu diễn, gộp danh sách, phân cụm và hiển thị kết quả qua lần lặp 1, lần lặp 2 và lần lặp 3.

Kết quả và những đóng góp mới

Đóng góp về mặt lý luận khoa học

  1. Xây dựng giải pháp tra cứu đa không gian biểu diễn: Giải quyết được bài toán khởi tạo danh sách kết quả đa dạng từ một ảnh truy vấn duy nhất thông qua cơ chế chuyển đổi 4 biểu diễn ($C^+$, $C^-$, $G^+$, $G^-$), loại bỏ yêu cầu người dùng phải nhập đồng thời nhiều ảnh mẫu ban đầu.
  2. Cơ chế phân cụm gia tăng trong phản hồi liên quan: Giảm thiểu độ phức tạp tính toán thông qua việc phân cụm gia tăng trên tập phản hồi, không phải phân cụm lại toàn bộ cơ sở dữ liệu ảnh ở mỗi vòng lặp.
  3. Định lượng độ quan trọng ngữ nghĩa và độ quan trọng đặc trưng: Đề xuất công thức xác định trọng số ngữ nghĩa của từng truy vấn dựa trên mật độ lân cận mẫu liên quan và công thức tính độ quan trọng cho từng chiều đặc trưng (IF).
  4. Xác định bộ trọng số thích nghi theo tính chất địa phương: Phát triển thuật toán AWEIGHT cho phép thiết lập ma trận trọng số hàm khoảng cách thích nghi riêng biệt cho từng vùng điểm truy vấn tối ưu, mô hình hóa chính xác phân bố hình elip của các mẫu phản hồi dương tại từng cụm.

Đóng góp về mặt thực tiễn và giải pháp đề xuất

  • Xây dựng hệ thống phần mềm CBIR hoàn chỉnh: Thiết kế và cài đặt hệ thống phần mềm với các chức năng phân định rõ ràng trên giao diện: quản lý lớp ảnh, nạp cơ sở dữ liệu ảnh, trích rút đặc trưng mức thấp, huấn luyện dữ liệu, phân cụm ảnh phản hồi, tìm kiếm đa biểu diễn và thực thi tra cứu thích nghi qua các chu kỳ phản hồi liên quan (lần lặp 1, lần lặp 2, lần lặp 3).
  • Kiểm chứng định lượng trên tập dữ liệu chuẩn: Cung cấp các kết quả thực nghiệm chi tiết trên cơ sở dữ liệu ảnh Corel gồm bảng kết quả phân cụm, bảng kết quả theo số lượng truy vấn, bảng so sánh ARP của 34 loại truy vấn qua 1 lần lặp (Chương 2) và 80 loại truy vấn qua 3 lần lặp (Chương 3) trên 5 phương pháp so sánh. Kết quả khẳng định việc nâng cao độ chính xác tra cứu đồng thời kiểm soát thời gian tính toán.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế

Căn cứ theo phạm vi được công bố trong văn bản luận án:

  • Phạm vi nghiên cứu của các phương pháp đề xuất mới tập trung vào bài toán tìm kiếm các ảnh đa dạng thuộc cùng một chủ đề ngữ nghĩa (như các biến thể màu sắc khác nhau của hoa hồng) nằm rải rác trong không gian đặc trưng.
  • Hệ thống thực nghiệm dựa trên cơ sở dữ liệu ảnh Corel với các đặc trưng trực quan mức thấp truyền thống (màu sắc, kết cấu, hình dạng) kết hợp phản hồi liên quan có giám sát.
  • Số lượng vòng lặp phản hồi liên quan trong các kịch bản thực nghiệm được giới hạn đánh giá từ 1 đến 3 lần lặp.

Hướng nghiên cứu tiếp

  • Mở rộng đánh giá các phương pháp trên các cơ sở dữ liệu ảnh có quy mô lớn hơn, độ phức tạp nội dung cao hơn và đa dạng lĩnh vực ứng dụng.
  • Nghiên cứu tối ưu hóa hơn nữa thời gian tính toán và chi phí xử lý khi số lượng các điểm truy vấn tối ưu và số lượng cụm địa phương gia tăng.
  • Tiếp tục nghiên cứu hoàn thiện các kỹ thuật trích rút đặc trưng để thu hẹp sâu hơn nữa khoảng cách ngữ nghĩa giữa đặc trưng tính toán và nhận thức người dùng.

Giá trị tham khảo

Luận án cung cấp tài liệu tham khảo cho các đối tượng và mục đích cụ thể:

  • Nghiên cứu sinh và học viên cao học ngành Khoa học máy tính, Công nghệ thông tin: Tham khảo phương pháp luận kết hợp giữa học máy, phản hồi liên quan và điều chỉnh trọng số hàm khoảng cách để giải quyết bài toán khoảng cách ngữ nghĩa trong CBIR.
  • Giảng viên và nhà nghiên cứu thị giác máy tính: Sử dụng làm tài liệu tham khảo chi tiết về hệ thống hóa các đặc trưng mức thấp (màu, kết cấu, hình dạng, không gian) và các công thức toán học đo khoảng cách (Minkowski, Mahalanobis, Cosine, Hamming, EMD, K-L, Jeffrey).
  • Kỹ sư phần mềm phát triển hệ thống tra cứu đa phương tiện: Tham khảo giải thuật tra cứu đa biểu diễn để xử lý bài toán khởi tạo truy vấn, giải thuật phân cụm gia tăng để giảm tải tính toán vòng lặp, cùng thiết kế kiến trúc giao diện tương tác phản hồi người dùng từng bước.

Câu hỏi thường gặp

1. Khoảng cách ngữ nghĩa trong luận án được định nghĩa như thế nào và nguyên nhân từ đâu?

Khoảng cách ngữ nghĩa (semantic gap) là sự khác nhau giữa máy tính và con người trong việc mô tả cùng một ảnh. Máy tính xử lý các đặc trưng trực quan mức thấp (màu sắc, hình dạng, kết cấu) được trích rút tự động từ các điểm ảnh, trong khi con người nhận thức và diễn giải nội dung ảnh bằng các khái niệm ngữ nghĩa mức cao. Do đó, hai ảnh có véc-tơ đặc trưng mức thấp tương tự nhau vẫn có thể mang nội dung ngữ nghĩa hoàn toàn khác nhau (ví dụ: lược đồ đặc trưng của ảnh cây trong rừng và ảnh bông hoa hồng có thể giống nhau nhưng ngữ nghĩa khác nhau).

2. Phương pháp SRIR giải quyết bài toán người dùng chỉ nhập một ảnh truy vấn ban đầu bằng cách nào?

Phương pháp SRIR chuyển đổi ảnh truy vấn ban đầu thành bốn biểu diễn kỹ thuật số khác nhau gồm: ảnh màu gốc ($C^+$), âm bản màu ($C^-$), ảnh xám ($G^+$) và âm bản xám ($G^-$). Trong không gian ảnh xám $G^+$, đặc trưng hình dạng và kết cấu không bị màu sắc lấn át, giúp các ảnh có cùng chủ đề nhưng khác màu sắc (như hoa hồng vàng, đỏ, trắng) nằm gần nhau. Bằng cách tra cứu độc lập trên 4 không gian này rồi gộp danh sách kết quả, hệ thống thu được tập kết quả khởi tạo đa dạng bao phủ nhiều vùng đặc trưng mà chỉ yêu cầu người dùng cung cấp một ảnh duy nhất.

3. Tại sao phương pháp AWEIGHT lại sử dụng bộ trọng số thích nghi riêng cho từng cụm thay vì dùng chung một ma trận trọng số?

Các ảnh liên quan về mặt ngữ nghĩa thường phân bố rải rác ở nhiều vùng tách rời trong không gian đặc trưng. Mỗi vùng chứa một điểm truy vấn tối ưu và có cấu trúc phân bố dữ liệu riêng biệt; tập hợp các mẫu phản hồi dương trong mỗi vùng tạo thành một hình elip có phương hướng và độ dẹt khác nhau. Việc dùng chung một ma trận trọng số không phản ánh được tính chất địa phương này. Phương pháp AWEIGHT thiết lập bộ trọng số thích nghi riêng cho từng vùng để hàm khoảng cách co giãn phù hợp với hình elip của từng cụm cụ thể, từ đó nâng cao độ chính xác phân hạng.

4. Hiệu năng của các phương pháp trong luận án được đánh giá qua những chỉ số và tập dữ liệu nào?

Luận án sử dụng tập dữ liệu chuẩn Corel để thực nghiệm. Hiệu năng tra cứu được đo lường thông qua:

  • Độ chính xác (Precision): tỷ lệ ảnh liên quan trên tổng số ảnh được trả về trong một lần lặp.
  • Độ triệu hồi (Recall): tỷ lệ ảnh liên quan được trả về trên tổng số ảnh liên quan có trong cơ sở dữ liệu.
  • Đường cong PR (Precision-Recall curve).
  • Độ chính xác trung bình ARP (Average Retrieval Precision): trung bình cộng độ chính xác của tất cả các truy vấn thử nghiệm (34 loại truy vấn ở Chương 2 và 80 loại truy vấn ở Chương 3).
  • Độ lệch chuẩn và thời gian thực hiện tra cứu.

5. Vai trò của thuật toán phân cụm gia tăng (INC) trong phương pháp đề xuất là gì?

Trong các hệ thống phản hồi liên quan truyền thống, mỗi khi người dùng cung cấp thêm nhãn phản hồi ở một vòng lặp, hệ thống thường phải thực hiện phân cụm lại toàn bộ các ảnh từ đầu, gây lãng phí tài nguyên và làm tăng thời gian tra cứu. Thuật toán phân cụm gia tăng (INC) trong phương pháp SRIR cho phép kết nạp và cập nhật các mẫu ảnh phản hồi mới vào cấu trúc cụm hiện có một cách nhanh chóng, giúp xác định các đại diện cụm và tính toán độ quan trọng mà không làm gia tăng độ phức tạp tính toán của hệ thống.

Kết luận

Luận án tiến sĩ của tác giả Đào Thị Thúy Quỳnh đã tập trung giải quyết vấn đề khoảng cách ngữ nghĩa trong tra cứu ảnh dựa vào nội dung (CBIR) bằng kỹ thuật phản hồi liên quan và điều chỉnh trọng số hàm khoảng cách. Hai đóng góp học thuật chính của công trình là phương pháp SRIR (khai thác đa biểu diễn ảnh, phân cụm gia tăng và xác định độ quan trọng ngữ nghĩa/đặc trưng) và phương pháp AWEIGHT (tối ưu hóa điểm truy vấn kết hợp bộ trọng số thích nghi theo tính chất địa phương). Các kết quả thực nghiệm định lượng trên cơ sở dữ liệu ảnh Corel đã chứng minh tính hiệu quả của các giải pháp đề xuất trong việc nâng cao độ chính xác tra cứu ảnh đa dạng cùng chủ đề mà vẫn đảm bảo tính khả thi về thời gian thực thi.