Một Số Kỹ Thuật Nâng Cao Hiệu Quả Tra Cứu Ảnh Dựa Trên Nội Dung

• Tác giả: Nguyễn Thị Lan Phương
• Người hướng dẫn: PGS. Ngô Quốc Tạo
• Trường học: Học viện Khoa học và Công nghệ
• Chuyên ngành: Khoa học máy tính
• Đề tài: Kỹ Thuật Nâng Cao Hiệu Quả Tra Cứu Ảnh Dựa Trên Nội Dung
• Loại tài liệu: Luận án tiến sĩ
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. TỔNG QUAN VỀ TRA CỨU ẢNH DỰA VÀO NỘI DUNG
• 1.1. Giới thiệu
• 1.2. Mô tả nội dung ảnh
• 1.2.1. Biểu đồ mầu
• 1.2.2. Đặc trưng màu
• 1.2.3. Đặc trưng kết cấu
• 1.2.3.1. Đặc trưng Tamura
• 1.2.3.1.1. Độ thô
• 1.2.4. Đặc trưng hình dạng
• 1.2.4.1. Mô men bất biến
• 1.2.4.2. Góc quay
• 1.2.4.3. Mô tả Fourier
• 1.2.5. Thông tin không gian
• 1.3. Các kỹ thuật tương tự và các lược đồ lập chỉ mục
• 1.3.1. Khoảng cách Minkowski
• 1.3.2. Khoảng cách toàn phương
• 1.3.2.1. Khoảng cách Mahalanobis
• 1.3.2.2. Phân kỳ Kullback-Leibler và Jeffrey-Divergence
• 1.3.3. Lập chỉ mục
• 1.3.4. Tương tác người dùng
• 1.3.5. Kỹ thuật truy vấn bởi phác thảo
• 1.3.6. Phản hồi liên quan
• 1.3.7. Đánh giá hiệu năng
• 1.4. Giảm khoảng cách ngữ nghĩa
• 1.4.1. Khái niệm

I. CBIR Tổng Quan và Vai Trò Trong Tra Cứu Ảnh Hiện Đại

CBIR (Content-Based Image Retrieval), hay truy vấn ảnh dựa trên nội dung, là một lĩnh vực nghiên cứu phát triển nhanh chóng từ những năm 1990. Nó sử dụng nội dung trực quan của ảnh để tìm kiếm các ảnh tương tự trong cơ sở dữ liệu lớn. CBIR vượt trội so với phương pháp chú thích ảnh truyền thống, vốn dựa vào mô tả bằng văn bản. Mặc dù đã có nhiều tiến bộ, độ chính xác và tốc độ của các hệ thống CBIR vẫn cần được cải thiện. Nghiên cứu về tra cứu ảnh bắt đầu từ những năm 1970, với tiềm năng ứng dụng lớn trong quản lý cơ sở dữ liệu ảnh. Hệ thống CBIR lý tưởng cần có cơ chế lập chỉ mục hiệu quả để tăng tốc độ truy vấn và cơ chế phản hồi liên quan để nâng cao độ chính xác. Một bộ mô tả ảnh trực quan tốt phải bất biến với các thay đổi trong quá trình thu nhận, nhưng vẫn đảm bảo khả năng phân biệt giữa các ảnh khác nhau. Việc phân vùng ảnh thành các vùng có ý nghĩa là một bước quan trọng để phân tích ảnh hiệu quả hơn.

1.1. Lịch Sử Phát Triển và Các Phương Pháp CBIR Ban Đầu

Những năm 1970 đánh dấu sự khởi đầu của nghiên cứu về tra cứu ảnh. Ban đầu, phương pháp chủ yếu là chú thích ảnh bằng văn bản, sau đó sử dụng hệ quản trị cơ sở dữ liệu truyền thống để tìm kiếm. Cách tiếp cận này có nhiều hạn chế, đặc biệt là độ chính xác và khả năng mô tả đầy đủ nội dung ảnh. Sự ra đời của CBIR đã mở ra một hướng đi mới, tập trung vào việc trích xuất và so sánh các đặc trưng ảnh trực quan một cách tự động. Các hệ thống CBIR ban đầu sử dụng các kỹ thuật đơn giản như so sánh histogram màu và đặc trưng kết cấu cơ bản.

1.2. Vai Trò của Lập Chỉ Mục và Phản Hồi Liên Quan trong CBIR

Để cải thiện hiệu suất, các hệ thống CBIR hiện đại thường sử dụng cơ chế lập chỉ mục để tăng tốc độ tìm kiếm. Lập chỉ mục giúp tổ chức dữ liệu ảnh một cách hiệu quả, cho phép hệ thống nhanh chóng xác định các ảnh tiềm năng. Ngoài ra, cơ chế phản hồi liên quan (Relevance Feedback) cho phép người dùng cung cấp phản hồi về kết quả tìm kiếm ban đầu, giúp hệ thống điều chỉnh truy vấn và cải thiện độ chính xác. Phản hồi liên quan là một phương pháp quan trọng để giảm khoảng cách ngữ nghĩa giữa hiểu biết của người dùng và kết quả trả về từ hệ thống tìm kiếm ảnh.

1.3. Yêu Cầu Đối Với Một Bộ Mô Tả Ảnh Trực Quan Hiệu Quả

Một bộ mô tả ảnh trực quan tốt cần đáp ứng nhiều yêu cầu. Quan trọng nhất, nó phải bất biến với các thay đổi trong quá trình thu nhận ảnh, chẳng hạn như sự thay đổi của ánh sáng hoặc góc nhìn. Tuy nhiên, cũng cần đảm bảo khả năng phân biệt giữa các ảnh khác nhau. Quá nhiều tính bất biến có thể làm mất đi khả năng phân biệt các chi tiết quan trọng. Việc cân bằng giữa tính bất biến và khả năng phân biệt là một thách thức lớn trong thiết kế thuật toán CBIR. Các phương pháp phân vùng ảnh thành các vùng có ý nghĩa cũng đóng vai trò quan trọng trong việc cải thiện hiệu suất mô tả.

II. Thách Thức Lớn Nhất Vượt Qua Khoảng Cách Ngữ Nghĩa Trong CBIR

Khoảng cách ngữ nghĩa là một trong những thách thức lớn nhất trong tra cứu ảnh dựa trên nội dung. Nó đề cập đến sự khác biệt giữa cách con người hiểu và đánh giá sự tương đồng giữa các ảnh so với cách các thuật toán máy tính thực hiện. Con người đánh giá sự tương đồng dựa trên ngữ cảnh và ý nghĩa, trong khi thuật toán thường chỉ dựa vào các đặc trưng trực quan như màu sắc, kết cấu, và hình dạng. Theo Bai và Chen, khoảng cách ngữ nghĩa bị ảnh hưởng bởi nhiều yếu tố, bao gồm loại ảnh, kiểu người dùng, và mục đích tìm kiếm. Eakins và Graham phân loại các truy vấn CBIR theo mức độ nội dung ngữ nghĩa. Để thu hẹp khoảng cách này, các nghiên cứu tập trung vào việc tích hợp thông tin ngữ nghĩa vào hệ thống CBIR, sử dụng các kỹ thuật như học máy và nhận dạng ảnh.

2.1. Định Nghĩa và Các Yếu Tố Ảnh Hưởng Đến Khoảng Cách Ngữ Nghĩa

Khoảng cách ngữ nghĩa là sự khác biệt giữa nhận thức của con người và máy tính về độ tương đồng giữa các ảnh. Các yếu tố ảnh hưởng bao gồm: nội dung ảnh (đối tượng, cảnh quan), đặc trưng được sử dụng để mô tả ảnh (màu sắc, kết cấu, hình dạng), thuật toán so sánh ảnh (Euclide, Cosine Similarity), và mục đích tìm kiếm của người dùng. Khoảng cách này có tác động lớn đến tính hữu dụng của các hệ thống CBIR, vì nó ảnh hưởng đến việc liệu kết quả tìm kiếm có đáp ứng được nhu cầu của người dùng hay không.

2.2. Phân Loại Các Truy Vấn CBIR Theo Mức Độ Nội Dung Ngữ Nghĩa

Eakins và Graham đề xuất phân loại các truy vấn CBIR dựa trên mức độ nội dung ngữ nghĩa. Các truy vấn cấp thấp chỉ dựa trên các đặc trưng trực quan như màu sắc và kết cấu. Các truy vấn cấp trung bình liên quan đến các đối tượng và thuộc tính. Các truy vấn cấp cao đòi hỏi hiểu biết sâu sắc về ngữ cảnh và ý nghĩa của ảnh. Việc phân loại này giúp các nhà nghiên cứu tập trung vào việc phát triển các thuật toán phù hợp cho từng loại truy vấn.

2.3. Các Phương Pháp Tiếp Cận Để Giảm Khoảng Cách Ngữ Nghĩa

Để giảm khoảng cách ngữ nghĩa, các nhà nghiên cứu đã đề xuất nhiều phương pháp tiếp cận khác nhau. Một số phương pháp tập trung vào việc trích xuất các đặc trưng ngữ nghĩa từ ảnh, chẳng hạn như sử dụng mạng nơ-ron tích chập (CNN) để nhận dạng đối tượng và cảnh quan. Các phương pháp khác sử dụng phản hồi liên quan để cho phép người dùng hướng dẫn hệ thống tìm kiếm theo cách phù hợp với ý định của họ. Một số nghiên cứu còn sử dụng tri thức bên ngoài, chẳng hạn như ontology, để bổ sung thông tin ngữ nghĩa cho hệ thống CBIR. Sử dụng Deep learning trong CBIR là một hướng đi đầy hứa hẹn.

III. Bí Quyết Trích Xuất Đặc Trưng Ảnh Hiệu Quả Color Texture Shape

Việc trích xuất các đặc trưng ảnh hiệu quả là một bước quan trọng trong CBIR. Các đặc trưng phổ biến bao gồm màu sắc (Color features), kết cấu (Texture analysis), và hình dạng (Shape features). Biểu đồ màu là một cách biểu diễn hiệu quả nội dung màu của ảnh, đặc biệt khi màu sắc là duy nhất. Các đặc trưng kết cấu, như độ thô và độ tương phản, mô tả các thuộc tính bề mặt của ảnh. Các đặc trưng hình dạng, như mô men bất biến và mô tả Fourier, mô tả hình dạng của các đối tượng trong ảnh. So với hình dạng và kết cấu, các hình dạng thường được mô tả sau khi ảnh đã được phân đoạn thành các vùng hoặc đối tượng.

3.1. Biểu Diễn Màu Sắc Ưu Điểm và Hạn Chế của Biểu Đồ Màu

Biểu đồ màu là một sự biểu diễn hiệu quả nội dung màu của ảnh nếu màu là duy nhất so với phần còn lại của tập dữ liệu. Nó dễ tính toán và hiệu quả trong việc mô tả đặc điểm của sự phân bố màu toàn cục và cục bộ trong một hình ảnh. Ngoài ra, nó ít bị ảnh hưởng bởi sự dịch chuyển, xoay. và chỉ thay đổi từ từ theo tỉ lệ và góc nhìn. Tuy nhiên, biểu đồ màu không xem xét thông tin không gian của các pixel, do đó các ảnh rất khác nhau có thể có sự phân bố màu sắc tương tự.

3.2. Đặc Trưng Kết Cấu Tamura Bộ Lọc Gabor và Các Phương Pháp Khác

Các đặc trưng kết cấu mô tả các thuộc tính bề mặt của ảnh, chẳng hạn như độ thô, độ tương phản, và hướng. Đặc trưng Tamura bao gồm các thuộc tính như độ thô, độ tương phản, và độ định hướng. Bộ lọc Gabor là một công cụ mạnh mẽ để trích xuất các đặc trưng kết cấu, vì nó có thể phân tích ảnh ở nhiều tần số và hướng khác nhau. Các phương pháp khác bao gồm phân tích Wold và biến đổi wavelet.

3.3. Mô Tả Hình Dạng Mô Men Bất Biến và Mô Tả Fourier

Các đặc trưng hình dạng mô tả hình dạng của các đối tượng trong ảnh. Mô men bất biến là một tập hợp các đặc trưng số học bất biến với phép dịch chuyển, xoay, và chia tỉ lệ. Mô tả Fourier sử dụng biến đổi Fourier để biểu diễn hình dạng trong miền tần số. Việc sử dụng hình dạng bị giới hạn trong các ứng dụng chuyên biệt, vì nó đòi hỏi sự phân đoạn ảnh chính xác.

IV. So Sánh Ảnh Đo Lường Độ Tương Đồng với Khoảng Cách Euclide

Sau khi trích xuất các đặc trưng, bước tiếp theo là so sánh ảnh và đo lường độ tương đồng giữa chúng. Các độ đo khoảng cách phổ biến bao gồm khoảng cách Minkowski, khoảng cách Mahalanobis, và phân kỳ Kullback-Leibler. Khoảng cách Minkowski, đặc biệt là khoảng cách Euclide, được sử dụng rộng rãi do tính đơn giản và hiệu quả. Khoảng cách Mahalanobis tính đến sự tương quan giữa các đặc trưng. Phân kỳ Kullback-Leibler đo lường mức độ khác biệt giữa hai phân phối đặc trưng. Lựa chọn độ đo khoảng cách phù hợp phụ thuộc vào đặc tính của dữ liệu và mục tiêu của ứng dụng. Tính Image similarity rất quan trọng để đạt được kết quả tốt.

4.1. Khoảng Cách Minkowski Ưu Điểm và Ứng Dụng Phổ Biến

Khoảng cách Minkowski là một độ đo tổng quát cho khoảng cách giữa hai điểm trong không gian đa chiều. Các trường hợp đặc biệt của khoảng cách Minkowski bao gồm khoảng cách L1 (Manhattan), khoảng cách L2 (Euclide), và khoảng cách L∞ (Chebyshev). Khoảng cách Euclide được sử dụng rộng rãi trong CBIR do tính đơn giản và hiệu quả. Nó phù hợp khi các chiều của véc tơ đặc trưng là độc lập và có tầm quan trọng như nhau.

4.2. Khoảng Cách Mahalanobis Tính Đến Sự Tương Quan Giữa Các Đặc Trưng

Khoảng cách Mahalanobis tính đến sự tương quan giữa các đặc trưng, làm cho nó phù hợp hơn khi các đặc trưng không độc lập với nhau. Nó sử dụng ma trận hiệp phương sai để chuẩn hóa dữ liệu trước khi tính khoảng cách. Khoảng cách Mahalanobis có thể cải thiện độ chính xác của CBIR trong một số trường hợp, nhưng nó cũng phức tạp hơn về mặt tính toán.

4.3. Phân Kỳ Kullback Leibler và Jeffrey Divergence So Sánh Phân Phối

Phân kỳ Kullback-Leibler (KL) và Jeffrey-Divergence (JD) là các độ đo mức độ khác biệt giữa hai phân phối xác suất. Chúng thường được sử dụng để so sánh biểu đồ màu hoặc biểu đồ kết cấu. JD là đối xứng và ổn định hơn về mặt số so với KL. Tuy nhiên, JD đòi hỏi tính toán nhiều hơn. Lựa chọn giữa KL và JD phụ thuộc vào ứng dụng cụ thể và yêu cầu về độ chính xác và tốc độ.

V. Hướng Dẫn Đánh Giá Hiệu Năng Hệ Thống Tra Cứu Ảnh CBIR

Để đánh giá hiệu năng của một hệ thống CBIR, các độ đo phổ biến là độ chính xác (precision) và độ phủ (recall). Độ chính xác đo lường tỷ lệ các ảnh được trả về thực sự có liên quan. Độ phủ đo lường tỷ lệ các ảnh liên quan được trả về. Thường cần có sự cân bằng giữa độ chính xác và độ phủ. MPEG7 đề xuất một phương pháp đánh giá mới, ANMRR (Average Normalized Modified Retrieval Rank), kết hợp độ chính xác và độ phủ để có một độ đo khách quan hơn. Hiệu quả của hệ thống Content-based image retrieval systems phụ thuộc rất nhiều vào việc đánh giá chính xác.

5.1. Độ Chính Xác và Độ Phủ Định Nghĩa và Sự Đánh Đổi

Độ chính xác là phần nhỏ của các hình ảnh được tra cứu thực sự có liên quan đến truy vấn. Độ phủ là phần hình ảnh có liên quan được trả về bởi truy vấn. Việc cải thiện truy hồi sẽ có thể phải hy sinh độ chính xác và ngược lại. Do đó, độ chính xác và độ phủ chỉ là những mô tả sơ bộ về hiệu năng của hệ thống tra cứu.

5.2. ANMRR Phương Pháp Đánh Giá Hiệu Năng Được Đề Xuất Bởi MPEG7

ANMRR kết hợp độ chính xác và độ phủ để có được một độ đo khách quan nhất. Nó gán một giá trị thứ hạng cho mỗi hình ảnh chân lý cơ bản (ground truth) dựa trên vị trí của nó trong kết quả tìm kiếm. Giá trị ANMRR càng thấp, hiệu năng của hệ thống càng tốt. ANMRR được khuyến nghị sử dụng vì nó cung cấp một đánh giá toàn diện hơn so với chỉ sử dụng độ chính xác và độ phủ.

5.3. Các Yếu Tố Ảnh Hưởng Đến Đánh Giá Hiệu Năng CBIR

Việc đánh giá hiệu năng CBIR có thể bị ảnh hưởng bởi nhiều yếu tố, bao gồm: chất lượng của tập dữ liệu thử nghiệm, độ chính xác của các nhãn chân lý cơ bản, và sự phù hợp của các độ đo đánh giá. Cần đảm bảo rằng tập dữ liệu thử nghiệm đại diện cho ứng dụng mục tiêu và các nhãn chân lý cơ bản là chính xác. Ngoài ra, cần lựa chọn các độ đo đánh giá phù hợp với mục tiêu của ứng dụng. Việc sử dụng nhiều độ đo khác nhau có thể cung cấp một cái nhìn toàn diện hơn về hiệu năng của hệ thống.

VI. CBIR và Tương Lai Kết Hợp Deep Learning Semantic Retrieval

Tương lai của CBIR hứa hẹn nhiều tiềm năng với sự phát triển của deep learning trong CBIR và semantic image retrieval. Các mô hình học sâu, đặc biệt là mạng nơ-ron tích chập (CNN), có khả năng trích xuất các đặc trưng phức tạp và trừu tượng từ ảnh. Semantic retrieval tập trung vào việc hiểu ý nghĩa của ảnh và truy vấn, cho phép tìm kiếm dựa trên ngữ cảnh và ý định của người dùng. Các kỹ thuật như content-aware image retrieval và image analysis sẽ đóng vai trò quan trọng trong việc cải thiện độ chính xác và hiệu quả của CBIR. Sự kết hợp giữa deep learning và semantic retrieval sẽ giúp thu hẹp khoảng cách ngữ nghĩa và mang lại trải nghiệm tìm kiếm ảnh tốt hơn cho người dùng.

6.1. Tiềm Năng của Deep Learning trong Việc Cải Thiện Hiệu Năng CBIR

Deep learning đã chứng minh khả năng vượt trội trong nhiều lĩnh vực của thị giác máy tính, bao gồm nhận dạng ảnh, phân loại ảnh, và phát hiện đối tượng. Các mô hình CNN có thể tự động học các đặc trưng phức tạp từ dữ liệu ảnh, loại bỏ nhu cầu thiết kế các đặc trưng thủ công. Việc sử dụng các mô hình CNN được tiền huấn luyện (pre-trained) có thể cải thiện đáng kể hiệu năng của CBIR, đặc biệt khi dữ liệu huấn luyện hạn chế.

6.2. Semantic Retrieval Hướng Đến Tìm Kiếm Dựa Trên Ý Nghĩa

Semantic retrieval tập trung vào việc hiểu ý nghĩa của ảnh và truy vấn. Thay vì chỉ dựa trên các đặc trưng trực quan, semantic retrieval sử dụng tri thức bên ngoài, chẳng hạn như ontology, để bổ sung thông tin ngữ nghĩa cho hệ thống CBIR. Điều này cho phép người dùng tìm kiếm ảnh dựa trên ngữ cảnh và ý định của họ, thay vì chỉ dựa trên các đặc trưng trực quan.

6.3. Các Kỹ Thuật Tiên Tiến và Ứng Dụng Tiềm Năng của CBIR

Các kỹ thuật tiên tiến trong CBIR bao gồm content-aware image retrieval, spatial pyramid matching (SPM), và bag of visual words (BoVW). Các ứng dụng tiềm năng của CBIR bao gồm tìm kiếm ảnh trực tuyến, quản lý cơ sở dữ liệu ảnh y tế, và phân tích ảnh vệ tinh. Sự phát triển của CBIR tiếp tục mở ra nhiều cơ hội mới trong lĩnh vực thị giác máy tính và trí tuệ nhân tạo.