Một Số Kỹ Thuật Nâng Cao Hiệu Quả Tra Cứu Ảnh Dựa Trên Nội Dung

Chuyên khảo kỹ thuật phân tích Một số kỹ thuật cải thiện kết quả tra cứu ảnh theo nội dung dựa trên độ đo khoảng cách thích nghi, đánh giá các khía cạnh quan trọng, đề xuất hướng

• Tác giả: Nguyễn Thị Lan Phương
• Người hướng dẫn: PGS. Ngô Quốc Tạo
• Trường học: Học viện Khoa học và Công nghệ
• Chuyên ngành: Khoa học máy tính
• Đề tài: Kỹ Thuật Nâng Cao Hiệu Quả Tra Cứu Ảnh Dựa Trên Nội Dung
• Loại tài liệu: Luận án tiến sĩ
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. TỔNG QUAN VỀ TRA CỨU ẢNH DỰA VÀO NỘI DUNG
• 1.1. Giới thiệu
• 1.2. Mô tả nội dung ảnh
• 1.2.1. Biểu đồ mầu
• 1.2.2. Đặc trưng màu
• 1.2.3. Đặc trưng kết cấu
• 1.2.3.1. Đặc trưng Tamura
• 1.2.3.1.1. Độ thô
• 1.2.4. Đặc trưng hình dạng
• 1.2.4.1. Mô men bất biến
• 1.2.4.2. Góc quay
• 1.2.4.3. Mô tả Fourier
• 1.2.5. Thông tin không gian
• 1.3. Các kỹ thuật tương tự và các lược đồ lập chỉ mục
• 1.3.1. Khoảng cách Minkowski
• 1.3.2. Khoảng cách toàn phương
• 1.3.2.1. Khoảng cách Mahalanobis
• 1.3.2.2. Phân kỳ Kullback-Leibler và Jeffrey-Divergence
• 1.3.3. Lập chỉ mục
• 1.3.4. Tương tác người dùng
• 1.3.5. Kỹ thuật truy vấn bởi phác thảo
• 1.3.6. Phản hồi liên quan
• 1.3.7. Đánh giá hiệu năng
• 1.4. Giảm khoảng cách ngữ nghĩa
• 1.4.1. Khái niệm

Tóm tắt

I. CBIR Tổng Quan và Vai Trò Trong Tra Cứu Ảnh Hiện Đại

CBIR (Content-Based Image Retrieval), hay truy vấn ảnh dựa trên nội dung, là một lĩnh vực nghiên cứu phát triển nhanh chóng từ những năm 1990. Nó sử dụng nội dung trực quan của ảnh để tìm kiếm các ảnh tương tự trong cơ sở dữ liệu lớn. CBIR vượt trội so với phương pháp chú thích ảnh truyền thống, vốn dựa vào mô tả bằng văn bản. Mặc dù đã có nhiều tiến bộ, độ chính xác và tốc độ của các hệ thống CBIR vẫn cần được cải thiện. Nghiên cứu về tra cứu ảnh bắt đầu từ những năm 1970, với tiềm năng ứng dụng lớn trong quản lý cơ sở dữ liệu ảnh. Hệ thống CBIR lý tưởng cần có cơ chế lập chỉ mục hiệu quả để tăng tốc độ truy vấn và cơ chế phản hồi liên quan để nâng cao độ chính xác. Một bộ mô tả ảnh trực quan tốt phải bất biến với các thay đổi trong quá trình thu nhận, nhưng vẫn đảm bảo khả năng phân biệt giữa các ảnh khác nhau. Việc phân vùng ảnh thành các vùng có ý nghĩa là một bước quan trọng để phân tích ảnh hiệu quả hơn.

1.1. Lịch Sử Phát Triển và Các Phương Pháp CBIR Ban Đầu

Những năm 1970 đánh dấu sự khởi đầu của nghiên cứu về tra cứu ảnh. Ban đầu, phương pháp chủ yếu là chú thích ảnh bằng văn bản, sau đó sử dụng hệ quản trị cơ sở dữ liệu truyền thống để tìm kiếm. Cách tiếp cận này có nhiều hạn chế, đặc biệt là độ chính xác và khả năng mô tả đầy đủ nội dung ảnh. Sự ra đời của CBIR đã mở ra một hướng đi mới, tập trung vào việc trích xuất và so sánh các đặc trưng ảnh trực quan một cách tự động. Các hệ thống CBIR ban đầu sử dụng các kỹ thuật đơn giản như so sánh histogram màu và đặc trưng kết cấu cơ bản.

1.2. Vai Trò của Lập Chỉ Mục và Phản Hồi Liên Quan trong CBIR

Để cải thiện hiệu suất, các hệ thống CBIR hiện đại thường sử dụng cơ chế lập chỉ mục để tăng tốc độ tìm kiếm. Lập chỉ mục giúp tổ chức dữ liệu ảnh một cách hiệu quả, cho phép hệ thống nhanh chóng xác định các ảnh tiềm năng. Ngoài ra, cơ chế phản hồi liên quan (Relevance Feedback) cho phép người dùng cung cấp phản hồi về kết quả tìm kiếm ban đầu, giúp hệ thống điều chỉnh truy vấn và cải thiện độ chính xác. Phản hồi liên quan là một phương pháp quan trọng để giảm khoảng cách ngữ nghĩa giữa hiểu biết của người dùng và kết quả trả về từ hệ thống tìm kiếm ảnh.

1.3. Yêu Cầu Đối Với Một Bộ Mô Tả Ảnh Trực Quan Hiệu Quả

Một bộ mô tả ảnh trực quan tốt cần đáp ứng nhiều yêu cầu. Quan trọng nhất, nó phải bất biến với các thay đổi trong quá trình thu nhận ảnh, chẳng hạn như sự thay đổi của ánh sáng hoặc góc nhìn. Tuy nhiên, cũng cần đảm bảo khả năng phân biệt giữa các ảnh khác nhau. Quá nhiều tính bất biến có thể làm mất đi khả năng phân biệt các chi tiết quan trọng. Việc cân bằng giữa tính bất biến và khả năng phân biệt là một thách thức lớn trong thiết kế thuật toán CBIR. Các phương pháp phân vùng ảnh thành các vùng có ý nghĩa cũng đóng vai trò quan trọng trong việc cải thiện hiệu suất mô tả.

II. Thách Thức Lớn Nhất Vượt Qua Khoảng Cách Ngữ Nghĩa Trong CBIR

Khoảng cách ngữ nghĩa là một trong những thách thức lớn nhất trong tra cứu ảnh dựa trên nội dung. Nó đề cập đến sự khác biệt giữa cách con người hiểu và đánh giá sự tương đồng giữa các ảnh so với cách các thuật toán máy tính thực hiện. Con người đánh giá sự tương đồng dựa trên ngữ cảnh và ý nghĩa, trong khi thuật toán thường chỉ dựa vào các đặc trưng trực quan như màu sắc, kết cấu, và hình dạng. Theo Bai và Chen, khoảng cách ngữ nghĩa bị ảnh hưởng bởi nhiều yếu tố, bao gồm loại ảnh, kiểu người dùng, và mục đích tìm kiếm. Eakins và Graham phân loại các truy vấn CBIR theo mức độ nội dung ngữ nghĩa. Để thu hẹp khoảng cách này, các nghiên cứu tập trung vào việc tích hợp thông tin ngữ nghĩa vào hệ thống CBIR, sử dụng các kỹ thuật như học máy và nhận dạng ảnh.

2.1. Định Nghĩa và Các Yếu Tố Ảnh Hưởng Đến Khoảng Cách Ngữ Nghĩa

Khoảng cách ngữ nghĩa là sự khác biệt giữa nhận thức của con người và máy tính về độ tương đồng giữa các ảnh. Các yếu tố ảnh hưởng bao gồm: nội dung ảnh (đối tượng, cảnh quan), đặc trưng được sử dụng để mô tả ảnh (màu sắc, kết cấu, hình dạng), thuật toán so sánh ảnh (Euclide, Cosine Similarity), và mục đích tìm kiếm của người dùng. Khoảng cách này có tác động lớn đến tính hữu dụng của các hệ thống CBIR, vì nó ảnh hưởng đến việc liệu kết quả tìm kiếm có đáp ứng được nhu cầu của người dùng hay không.

2.2. Phân Loại Các Truy Vấn CBIR Theo Mức Độ Nội Dung Ngữ Nghĩa

Eakins và Graham đề xuất phân loại các truy vấn CBIR dựa trên mức độ nội dung ngữ nghĩa. Các truy vấn cấp thấp chỉ dựa trên các đặc trưng trực quan như màu sắc và kết cấu. Các truy vấn cấp trung bình liên quan đến các đối tượng và thuộc tính. Các truy vấn cấp cao đòi hỏi hiểu biết sâu sắc về ngữ cảnh và ý nghĩa của ảnh. Việc phân loại này giúp các nhà nghiên cứu tập trung vào việc phát triển các thuật toán phù hợp cho từng loại truy vấn.

2.3. Các Phương Pháp Tiếp Cận Để Giảm Khoảng Cách Ngữ Nghĩa

Để giảm khoảng cách ngữ nghĩa, các nhà nghiên cứu đã đề xuất nhiều phương pháp tiếp cận khác nhau. Một số phương pháp tập trung vào việc trích xuất các đặc trưng ngữ nghĩa từ ảnh, chẳng hạn như sử dụng mạng nơ-ron tích chập (CNN) để nhận dạng đối tượng và cảnh quan. Các phương pháp khác sử dụng phản hồi liên quan để cho phép người dùng hướng dẫn hệ thống tìm kiếm theo cách phù hợp với ý định của họ. Một số nghiên cứu còn sử dụng tri thức bên ngoài, chẳng hạn như ontology, để bổ sung thông tin ngữ nghĩa cho hệ thống CBIR. Sử dụng Deep learning trong CBIR là một hướng đi đầy hứa hẹn.

III. Bí Quyết Trích Xuất Đặc Trưng Ảnh Hiệu Quả Color Texture Shape

Việc trích xuất các đặc trưng ảnh hiệu quả là một bước quan trọng trong CBIR. Các đặc trưng phổ biến bao gồm màu sắc (Color features), kết cấu (Texture analysis), và hình dạng (Shape features). Biểu đồ màu là một cách biểu diễn hiệu quả nội dung màu của ảnh, đặc biệt khi màu sắc là duy nhất. Các đặc trưng kết cấu, như độ thô và độ tương phản, mô tả các thuộc tính bề mặt của ảnh. Các đặc trưng hình dạng, như mô men bất biến và mô tả Fourier, mô tả hình dạng của các đối tượng trong ảnh. So với hình dạng và kết cấu, các hình dạng thường được mô tả sau khi ảnh đã được phân đoạn thành các vùng hoặc đối tượng.

3.1. Biểu Diễn Màu Sắc Ưu Điểm và Hạn Chế của Biểu Đồ Màu

Biểu đồ màu là một sự biểu diễn hiệu quả nội dung màu của ảnh nếu màu là duy nhất so với phần còn lại của tập dữ liệu. Nó dễ tính toán và hiệu quả trong việc mô tả đặc điểm của sự phân bố màu toàn cục và cục bộ trong một hình ảnh. Ngoài ra, nó ít bị ảnh hưởng bởi sự dịch chuyển, xoay. và chỉ thay đổi từ từ theo tỉ lệ và góc nhìn. Tuy nhiên, biểu đồ màu không xem xét thông tin không gian của các pixel, do đó các ảnh rất khác nhau có thể có sự phân bố màu sắc tương tự.

3.2. Đặc Trưng Kết Cấu Tamura Bộ Lọc Gabor và Các Phương Pháp Khác

Các đặc trưng kết cấu mô tả các thuộc tính bề mặt của ảnh, chẳng hạn như độ thô, độ tương phản, và hướng. Đặc trưng Tamura bao gồm các thuộc tính như độ thô, độ tương phản, và độ định hướng. Bộ lọc Gabor là một công cụ mạnh mẽ để trích xuất các đặc trưng kết cấu, vì nó có thể phân tích ảnh ở nhiều tần số và hướng khác nhau. Các phương pháp khác bao gồm phân tích Wold và biến đổi wavelet.

3.3. Mô Tả Hình Dạng Mô Men Bất Biến và Mô Tả Fourier

Các đặc trưng hình dạng mô tả hình dạng của các đối tượng trong ảnh. Mô men bất biến là một tập hợp các đặc trưng số học bất biến với phép dịch chuyển, xoay, và chia tỉ lệ. Mô tả Fourier sử dụng biến đổi Fourier để biểu diễn hình dạng trong miền tần số. Việc sử dụng hình dạng bị giới hạn trong các ứng dụng chuyên biệt, vì nó đòi hỏi sự phân đoạn ảnh chính xác.

IV. So Sánh Ảnh Đo Lường Độ Tương Đồng với Khoảng Cách Euclide

Sau khi trích xuất các đặc trưng, bước tiếp theo là so sánh ảnh và đo lường độ tương đồng giữa chúng. Các độ đo khoảng cách phổ biến bao gồm khoảng cách Minkowski, khoảng cách Mahalanobis, và phân kỳ Kullback-Leibler. Khoảng cách Minkowski, đặc biệt là khoảng cách Euclide, được sử dụng rộng rãi do tính đơn giản và hiệu quả. Khoảng cách Mahalanobis tính đến sự tương quan giữa các đặc trưng. Phân kỳ Kullback-Leibler đo lường mức độ khác biệt giữa hai phân phối đặc trưng. Lựa chọn độ đo khoảng cách phù hợp phụ thuộc vào đặc tính của dữ liệu và mục tiêu của ứng dụng. Tính Image similarity rất quan trọng để đạt được kết quả tốt.

4.1. Khoảng Cách Minkowski Ưu Điểm và Ứng Dụng Phổ Biến

Khoảng cách Minkowski là một độ đo tổng quát cho khoảng cách giữa hai điểm trong không gian đa chiều. Các trường hợp đặc biệt của khoảng cách Minkowski bao gồm khoảng cách L1 (Manhattan), khoảng cách L2 (Euclide), và khoảng cách L∞ (Chebyshev). Khoảng cách Euclide được sử dụng rộng rãi trong CBIR do tính đơn giản và hiệu quả. Nó phù hợp khi các chiều của véc tơ đặc trưng là độc lập và có tầm quan trọng như nhau.

4.2. Khoảng Cách Mahalanobis Tính Đến Sự Tương Quan Giữa Các Đặc Trưng

Khoảng cách Mahalanobis tính đến sự tương quan giữa các đặc trưng, làm cho nó phù hợp hơn khi các đặc trưng không độc lập với nhau. Nó sử dụng ma trận hiệp phương sai để chuẩn hóa dữ liệu trước khi tính khoảng cách. Khoảng cách Mahalanobis có thể cải thiện độ chính xác của CBIR trong một số trường hợp, nhưng nó cũng phức tạp hơn về mặt tính toán.

4.3. Phân Kỳ Kullback Leibler và Jeffrey Divergence So Sánh Phân Phối

Phân kỳ Kullback-Leibler (KL) và Jeffrey-Divergence (JD) là các độ đo mức độ khác biệt giữa hai phân phối xác suất. Chúng thường được sử dụng để so sánh biểu đồ màu hoặc biểu đồ kết cấu. JD là đối xứng và ổn định hơn về mặt số so với KL. Tuy nhiên, JD đòi hỏi tính toán nhiều hơn. Lựa chọn giữa KL và JD phụ thuộc vào ứng dụng cụ thể và yêu cầu về độ chính xác và tốc độ.

V. Hướng Dẫn Đánh Giá Hiệu Năng Hệ Thống Tra Cứu Ảnh CBIR

Để đánh giá hiệu năng của một hệ thống CBIR, các độ đo phổ biến là độ chính xác (precision) và độ phủ (recall). Độ chính xác đo lường tỷ lệ các ảnh được trả về thực sự có liên quan. Độ phủ đo lường tỷ lệ các ảnh liên quan được trả về. Thường cần có sự cân bằng giữa độ chính xác và độ phủ. MPEG7 đề xuất một phương pháp đánh giá mới, ANMRR (Average Normalized Modified Retrieval Rank), kết hợp độ chính xác và độ phủ để có một độ đo khách quan hơn. Hiệu quả của hệ thống Content-based image retrieval systems phụ thuộc rất nhiều vào việc đánh giá chính xác.

5.1. Độ Chính Xác và Độ Phủ Định Nghĩa và Sự Đánh Đổi

Độ chính xác là phần nhỏ của các hình ảnh được tra cứu thực sự có liên quan đến truy vấn. Độ phủ là phần hình ảnh có liên quan được trả về bởi truy vấn. Việc cải thiện truy hồi sẽ có thể phải hy sinh độ chính xác và ngược lại. Do đó, độ chính xác và độ phủ chỉ là những mô tả sơ bộ về hiệu năng của hệ thống tra cứu.

5.2. ANMRR Phương Pháp Đánh Giá Hiệu Năng Được Đề Xuất Bởi MPEG7

ANMRR kết hợp độ chính xác và độ phủ để có được một độ đo khách quan nhất. Nó gán một giá trị thứ hạng cho mỗi hình ảnh chân lý cơ bản (ground truth) dựa trên vị trí của nó trong kết quả tìm kiếm. Giá trị ANMRR càng thấp, hiệu năng của hệ thống càng tốt. ANMRR được khuyến nghị sử dụng vì nó cung cấp một đánh giá toàn diện hơn so với chỉ sử dụng độ chính xác và độ phủ.

5.3. Các Yếu Tố Ảnh Hưởng Đến Đánh Giá Hiệu Năng CBIR

Việc đánh giá hiệu năng CBIR có thể bị ảnh hưởng bởi nhiều yếu tố, bao gồm: chất lượng của tập dữ liệu thử nghiệm, độ chính xác của các nhãn chân lý cơ bản, và sự phù hợp của các độ đo đánh giá. Cần đảm bảo rằng tập dữ liệu thử nghiệm đại diện cho ứng dụng mục tiêu và các nhãn chân lý cơ bản là chính xác. Ngoài ra, cần lựa chọn các độ đo đánh giá phù hợp với mục tiêu của ứng dụng. Việc sử dụng nhiều độ đo khác nhau có thể cung cấp một cái nhìn toàn diện hơn về hiệu năng của hệ thống.

VI. CBIR và Tương Lai Kết Hợp Deep Learning Semantic Retrieval

Tương lai của CBIR hứa hẹn nhiều tiềm năng với sự phát triển của deep learning trong CBIR và semantic image retrieval. Các mô hình học sâu, đặc biệt là mạng nơ-ron tích chập (CNN), có khả năng trích xuất các đặc trưng phức tạp và trừu tượng từ ảnh. Semantic retrieval tập trung vào việc hiểu ý nghĩa của ảnh và truy vấn, cho phép tìm kiếm dựa trên ngữ cảnh và ý định của người dùng. Các kỹ thuật như content-aware image retrieval và image analysis sẽ đóng vai trò quan trọng trong việc cải thiện độ chính xác và hiệu quả của CBIR. Sự kết hợp giữa deep learning và semantic retrieval sẽ giúp thu hẹp khoảng cách ngữ nghĩa và mang lại trải nghiệm tìm kiếm ảnh tốt hơn cho người dùng.

6.1. Tiềm Năng của Deep Learning trong Việc Cải Thiện Hiệu Năng CBIR

Deep learning đã chứng minh khả năng vượt trội trong nhiều lĩnh vực của thị giác máy tính, bao gồm nhận dạng ảnh, phân loại ảnh, và phát hiện đối tượng. Các mô hình CNN có thể tự động học các đặc trưng phức tạp từ dữ liệu ảnh, loại bỏ nhu cầu thiết kế các đặc trưng thủ công. Việc sử dụng các mô hình CNN được tiền huấn luyện (pre-trained) có thể cải thiện đáng kể hiệu năng của CBIR, đặc biệt khi dữ liệu huấn luyện hạn chế.

6.2. Semantic Retrieval Hướng Đến Tìm Kiếm Dựa Trên Ý Nghĩa

Semantic retrieval tập trung vào việc hiểu ý nghĩa của ảnh và truy vấn. Thay vì chỉ dựa trên các đặc trưng trực quan, semantic retrieval sử dụng tri thức bên ngoài, chẳng hạn như ontology, để bổ sung thông tin ngữ nghĩa cho hệ thống CBIR. Điều này cho phép người dùng tìm kiếm ảnh dựa trên ngữ cảnh và ý định của họ, thay vì chỉ dựa trên các đặc trưng trực quan.

6.3. Các Kỹ Thuật Tiên Tiến và Ứng Dụng Tiềm Năng của CBIR

Các kỹ thuật tiên tiến trong CBIR bao gồm content-aware image retrieval, spatial pyramid matching (SPM), và bag of visual words (BoVW). Các ứng dụng tiềm năng của CBIR bao gồm tìm kiếm ảnh trực tuyến, quản lý cơ sở dữ liệu ảnh y tế, và phân tích ảnh vệ tinh. Sự phát triển của CBIR tiếp tục mở ra nhiều cơ hội mới trong lĩnh vực thị giác máy tính và trí tuệ nhân tạo.

Trích đoạn nội dung tài liệu

BỘ GIÁO DỤC VIỆN HÀN LÂM KHOA HỌC VÀ ĐÀO TẠO VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ Nguyễn Thị Lan Phương MỘT SỐ KỸ THUẬT NÂNG CAO HIỆU QUẢ TRA CỨU ẢNH THEO NỘI DUNG DỰA TRÊN ĐỘ ĐO KHOẢNG CÁCH THÍCH NGHI VÀ PHÂN CỤM PHỔ LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH Hà Nội - 2023 BỘ GIÁO DỤC VIỆN HÀN LÂM KHOA HỌC VÀ ĐÀO TẠO VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ Nguyễn Thị Lan Phương MỘT SỐ KỸ THUẬT NÂNG CAO HIỆU QUẢ TRA CỨU ẢNH THEO NỘI DUNG DỰA TRÊN ĐỘ ĐO KHOẢNG CÁCH THÍCH NGHI VÀ PHÂN CỤM PHỔ LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH Mã số: 9 48 01 01 Xác nhận của Học viện Người hướng dẫn 1 Người hướng dẫn 2 Khoa học và Công nghệ PGS. Ngô Quốc Tạo TS. Nguyễn Ngọc Cương Hà Nội - 2023 LỜI CAM ĐOAN Nghiên cứu sinh Nguyễn Thị Lan Phương LỜI CẢM ƠN Hà Nội, ngày tháng 10 năm 2023 Nghiên cứu sinh Nguyễn Thị Lan Phương MỤC LỤC i ii iii iv v DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT TBIR Text-based image retrieval Tra cứu ảnh dựa trên văn bản CBIR Content-based image retrieval Tra cứu ảnh dựa trên nội dung Image retrieval method using Phương pháp tra cứu ảnh sử IRIC Incremental clustering dụng phân cụm tăng dần Clustering Images Set using Nhóm ảnh được thiết lập bằng CISE Eigenvectors cách sử dụng Eigenvectos INC Incremental Clustering Phân cụm tăng dần CNN convolutional neural networks Mạng nơ ron phức hợp Tra cứu ảnh bằng cách sử dụng Image Retrieval using the khoảng cách khoảng cách tối ODLDA optimal distance and linear ưu và phân tích phân biệt tuyến Discriminant analysis tính Online Algorithm for Scalable Mở rộng thuật toán trực tuyến OASIS Image Similarity cho sự giống nhau của ảnh DML Distance metric learning Học khoảng cách khoảng cách Discriminative Components Phân tích các thành phần phân DCA Analysis biệt IR Information retrieval Tra cứu thông tin RF Relevance feedback Mức độ trả lời liên quan ST Semantic template Mẫu ngữ nghĩa RGB Red Green Blue Đỏ lục lam CCVs Color coherence vectors Các vectơ liên kết màu Shift-invariant principal Phân tích thành phần chính SPCA component analysis thay đổi – bất biến vi Maximum likelihood Tính toán khả năng xảy ra tối MLE estimation đa vii viii DANH MỤC HÌNH VẼ Hình I. Sơ đồ tra cứu ảnh dựa vào nội dung.

PCA cho bài toán phân lớp với 2 lớp. Khoảng cách phân kỳ giữa các kỳ vọng và tổng các phương sai ảnh hưởng tới độ tách của dữ liệu. Hình ảnh đầu vào (bên trái) và bộ mô tả GIST 512D của nó (bên phải). Nhiều phần nền trong hình ảnh giống nhau về nội dung trực quan dẫn đến sự giống nhau của các khối mô tả.

Lỗi lượng tử hoá cho tập dữ liệu 1M SIFT(a) và 1M GIST (b). Hình ảnh đầu vào (bên trái) và bộ mô tả SIFT được tính toán tại 4 điểm chính (bên phải). Chất lượng mã hoá cho SIFT (a) và GIST (b). Hiệu suất tìm kiếm ANN cho SIFT (a) và GIST (b).

1 Một ví dụ về sự mơ hồ và giàu ngữ nghĩa. Ví dụ về ba bộ ảnh khác nhau được truy xuất với cùng một truy vấn tuỳ thuộc vào loại nhiệm vụ CBIR. Sơ đồ của phương pháp đề xuất ODLDA. Kiến trúc học biểu diễn dựa vào mô hình CNN được tiền huấn luyện.

Một số mẫu trong thư viện ảnh Corel. Một số mẫu trong tập SIMPLIcity. So sánh độ chính xác trung bình của các phương pháp trên scope 50, 100 và 150 trên tập SIMPLIcity. Sơ đồ của tra cứu ảnh sử dụng phân hoạch đồ thị.

102 ix Hình III. Một số ảnh trong tập SIMPLIcity. So sánh độ chính xác của ba phương pháp trên tập ảnh SIMPLIcity. Đối tượng nghiên cứu Đối tượng nghiên cứu của luận án là tra cứu ảnh dựa trên nội dung bằng cách kết hợp khoảng cách tối ưu và phân tích phân biệt tuyến tính, tiến hành thực nghiệm trên tập cơ sở dữ liệu tập ảnh Corel (1 0.800 ảnh), phân hoạch đồ thị với cơ sở dữ liệu ảnh SIMPLIcity (1.000 ảnh với 10 chủ đề.

Mỗi ảnh có kích thước 256×384 hoặc 384×256). TỔNG QUAN VỀ TRA CỨU ẢNH DỰA VÀO NỘI DUNG 1. Giới thiệu Tra cứu ảnh dựa vào nội dung (CBIR) là sử dụng nội dung trực quan của ảnh để tìm những ảnh trong những cơ sở dữ liệu ảnh lớn mà tương tự với ảnh truy vấn. CBIR là một lĩnh vực nghiên cứu tích cực và phát triển nhanh chóng từ những năm 1990.

Trong những thập kỹ qua, CBIR có có những tiến bộ về cả lý thuyết và ứng dụng, tuy nhiên, độ chính xác và tốc độ của các hệ thống CBIR vẫn cần tiếp tục được nghiên cứu cải tiến. Trước khi giới thiệu lý thuyết cơ bản về tra cứu ảnh dựa trên nội dung NCS giới thiệu sơ lược về sự phát triển của nó. Đầu tiên, nghiên cứu về tra cứu ảnh bắt đầu từ những năm 1970 đến 1979, hội nghị về kỹ thuật ứng dụng báo ảnh được tổ chức tại Florence. Kể từ đó, tiềm năng ứng dụng của kỹ thuật quản lý cơ sở dữ liệu ảnh đã thu hút sự quan tâm của các nhà nghiên cứu.

Ban đầu, tra cứu ảnh sử dụng cách tiếp cận chú thích ảnh. Nói cách khác, ảnh đầu tiên được chú thích bằng văn bản và sau đó được tra cứu bằng cách tiếp cận dựa trên văn bản bởi hệ thống quản lý cơ sở dữ liệu truyền thống. Sơ đồ tra cứu ảnh dựa vào nội dung 8 quả trả về. Trong sơ đồ trên, cơ chế lập chỉ mục được sử dụng để tăng tốc hệ thống tra cứu ảnh, còn cơ chế phản hồi liên quan được sử dụng nhằm chọn những bức ảnh phù hợp với mong muốn của người dùng để nâng cao độ chính xác tra cứu ảnh.

Mô tả nội dung ảnh Một bộ mô tả nội dung trực quan tốt phải bất biến với các thay đổi trong quá trình thu nhận ảnh (ví dụ: sự thay đổi của ánh sáng trong quá trình thu ảnh). Tuy nhiên, có sự cân bằng giữa tính bất biến và năng lực phân biệt của các hình ảnh, vì một lớp bất biến rất rộng làm mất khả năng phân biệt giữa những khác biệt cơ bản. Mô tả bất biến phần lớn đã được nghiên cứu trong thị giác máy tính (như nhận dạng đối tượng), nhưng tương đối mới trong nghiên cứu về tra cứu ảnh. Việc phân vùng đơn giản không tạo ra các vùng có ý nghĩa về mặt cảm nhận mà là một cách thể hiện chung của ảnh ở độ phân giải tốt hơn.

Một phương pháp tốt hơn là chia ảnh thành các vùng đồng nhất theo một số tiêu chí bằng cách sử dụng các thuật toán phân vùng đã được nghiên cứu rộng rãi trong thị giác máy tính. Một cách phức tạp hơn để phân chia một hình ảnh, là thực hiện phân đoạn đối tượng hoàn chỉnh để thu được các đối tượng có ý nghĩa về mặt ngữ nghĩa (như quả bóng, ô tô, con ngựa).4 Biểu đồ mầu Biểu đồ mầu là sự biểu diễn hiệu quả nội dung màu của ảnh nếu mầu là duy nhất so với phần còn lại của tập dữ liệu. Biểu đồ màu dễ tính toán và hiệu quả trong việc mô tả đặc điểm của sự phân bố màu toàn cục và cục bộ trong 11 một hình ảnh. Ngoài ra, nó ít bị ảnh hưởng bởi sự dịch chuyển, xoay.

và chỉ thay đổi từ từ theo tỉ lệ và góc nhìn. Vì bất kỳ pixel nào trong ảnh có thể được mô tả bởi ba thành phần trong một không gian màu nhất định (ví dụ: các thành phần đỏ, lục lam trong không gian RGB hoặc màu sắc, độ bão hòa và giá trị trong không gian HSV), một biểu đồ, tức là, phân phối số lượng pixel cho mỗi thùng màu (bin) được lượng hóa, có thể xác được cho từng thành phần. Rõ ràng, biểu đồ màu càng chứa nhiều thùng màu thì nó càng có nhiều khả năng phân biệt. Tuy nhiên, một biểu đồ với số lượng lớn các thùng màu sẽ không chỉ làm tăng chi phí tính toán mà còn không phù hợp để xây dựng các sơ đồ chỉ mục hiệu quả cho cơ sở dữ liệu hình ảnh.

Khi cơ sở dữ liệu ảnh chứa một số lượng lớn hình ảnh, sự phân biệt so sánh biểu đồ sẽ bão hòa. Để giải quyết vấn đề này, kỹ thuật đối sánh biểu đồ được giới thiệu 10. Ngoài ra, biểu đồ màu không xem xét thông tin không gian của các pixel, do đó các ảnh rất khác nhau có thể có sự phân bố màu sắc 12 tương tự. Để tăng khả năng phân biệt, một số cải tiến đã được đề xuất để kết hợp thông tin không gian.

Một cách tiếp cận đơn giản là chia ảnh thành các vùng con và tính toán biểu đồ cho từng vùng con đó. Như đã giới thiệu ở trên, việc phân chia có thể đơn giản như một phân vùng hình chữ nhật, hoặc phức tạp như một vùng hoặc thậm chí là phân đoạn đối tượng [26, 27, 28, 29]. Việc tăng số lượng các vùng con làm tăng thông tin về vị trí nhưng cũng làm tăng bộ nhớ và thời gian tính toán. Do thông tin không gian bổ sung của nó, các véc tơ liên kết màu cung cấp kết quả tra cứu tốt hơn biểu đồ mầu, đặc biệt đối với những ảnh có màu đồng nhất.

Ngoài ra, đối với cả biểu đồ màu và biểu diễn véc tơ liên kết màu, không gian màu HSV cung cấp kết quả tốt hơn không gian CIEL*u*v* và CIEL*a*b*. Biểu đồ mầu tương quan 13 1. Đặc trưng màu Màu sắc không chỉ phản chiếu chất liệu bề mặt mà còn thay đổi đáng kể theo sự thay đổi của độ chiếu sáng, hướng của bề mặt và hình dạng quan sát của máy ảnh [30, 31]. Sự thay đổi này phải được tính đến.

Tuy nhiên, sự bất biến đối với các yếu tố môi trường này không được xem xét trong hầu hết các màu sắc được giới thiệu ở trên. Gần đây, biểu diễn bất biến màu đã được giới thiệu trong tra cứu ảnh dựa trên nội dung. Một tập hợp các bất biến màu cho tra cứu đối tượng được suy diễn dựa trên mô hình phản xạ đối tượng của Schafer. Biểu diễn bất biến phản xạ, hình dạng và độ chiếu sáng dựa trên véc tơ tỉ lệ xanh lam (r/b, g/b, 1) được đưa ra.

Trong 31, đặc trưng bất biến hình học bề mặt được cung cấp. Mô men màu bất biến này được áp dụng để tra cứu ảnh, có thể mang lại khả năng chiếu sáng, và biểu diễn hình học độc lập với nội dung màu của hình ảnh, nhưng cũng có thể dẫn đến mất một số khả năng phân biệt giữa các hình ảnh. Đặc trưng kết cấu 14 1. Đặc trưng Tamura 1.