Chương 1 TRA CỨU ẢNH DỰA TRÊN NỘI DUNG Chương này giới thiệu tổng quan về CBIR và một số chủ đề liên quan để cung cấp các kiến thức cơ sở cho các nghiên cứu của luận án này. Các vấn đề nghiên cứu giải quyết trong luận án này có liên quan chặt chẽ với hai chủ đề nghiên cứu trong các lĩnh vực CBIR, đó là tính toán độ đo tương tự đặc trưng mức thấp và sử dụng thông tin phản hồi liên quan từ người dùng.1 giới thiệu một số vấn đề cơ bản trong CBIR.3 tổng hợp phân tích và đưa ra các vấn đề để giải quyết trong luận án này. Và cuối cùng là tóm tắt nội dung của chương.1 Một số vấn đề cơ bản trong CBIR Thuật ngữ tra cứu ảnh dựa trên nội dung đã được Kato sử dụng đầu tiên vào năm 1992 để mô tả những thí nghiệm về lĩnh vực tra cứu tự động những hình ảnh từ một cơ sở dữ liệu dựa trên đặc trưng hình dạng và màu sắc. Từ đó, nó được sử dụng rộng rãi để mô tả quá trình 11 tra cứu những hình ảnh mong muốn từ một tập hợp lớn hình ảnh dựa trên những đặc trưng thị giác như màu sắc, kết cấu và hình dạng, và những đặc trưng này được trích chọn một cách tự động từ chính những hình ảnh đó.
Sơ đồ kiến trúc chung của hệ thống tra cứu ảnh dựa trên nội dung được chỉ ra trong hình 1. Được thực hiện offline Ảnh truy Trích chọn đặc trưng vấn Các đặc trưng của Các đặc trưng Phân tích truy Cơ sở dữ liệu của truy vấn vấn CƠ SỞ DỮ LIỆU Kĩ thuật đá nh chỉ mục Phản hồi của người dùng Kĩ thuật đối sánh Người Tự động phản Ảnh được tra cứu HìNH 1.1: Kiến trúc chung của hệ thống CBIR Trong một quy trình tra cứu thông thường, người dùng đầu tiên đưa vào một ảnh mẫu để truy vấn hệ thống CBIR. Ảnh mẫu được sử dụng để miêu tả những thông tin người dùng cần. Để trả lời truy vấn, hệ thống CBIR tìm trong tập ảnh để đưa ra những ảnh tương tự với ảnh mẫu.
Trong ngữ cảnh của CBIR, độ tương tự được xác định dựa trên các đặc trưng thị giác biểu diễn nội dung ảnh. Do đó, hệ thống CBIR sẽ trích chọn các đặc trưng thị giác từ ảnh mẫu. Đo độ tương tự được thực hiện dựa trên những đặc trưng thị giác của ảnh mẫu và của mỗi ảnh trong CSDL ảnh. Việc trích chọn đặc trưng cho tập ảnh 12 thường được tiến hành trước.
Cuối cùng, những ảnh trong CSDL ảnh được xếp hạng theo sự tương đồng với ảnh truy vấn, và một số ảnh được xếp hạng phía cao hơn sẽ được trả về trong kết quả tìm kiếm. Như vậy, một hệ thống CBIR không chỉ liên quan tới các dạng khác nhau của thông tin nguồn (ví dụ như văn bản, ảnh, video) mà còn liên quan đến nhu cầu của người sử dụng. Về cơ bản nó phân tích cả nội dung của nguồn thông tin cũng như truy vấn của người sử dụng và sau đó đối sánh chúng để tìm ra những tiêu chí có liên quan. Một hệ thống CBIR có các chức năng chính như sau: - Phân tích và biểu diễn nội dung của thông tin nguồn: Thông tin nguồn được phân tích và biểu diễn cho phù hợp với sự đối sánh truy vấn của người sử dụng (không gian của thông tin nguồn được chuyển đổi thành không gian đặc trưng với mục đích đối sánh nhanh trong bước tiếp theo).
Bước này thường là mất nhiều thời gian để xử lý tuần tự các thông tin nguồn trong cơ sở dữ liệu. Nó chỉ phải làm một lần và có thể thực hiện ngoại tuyến (offline). - Phân tích và biểu diễn nội dung truy vấn của người dùng: Truy vấn của người dùng được phân tích và biểu diễn thành các dạng phù hợp cho việc đối sánh với cơ sở dữ liệu nguồn. Nhiệm vụ của bước này giống với bước trước nhưng chỉ được áp dụng với những ảnh truy vấn và được thực hiện trực tuyến (online).
- Đối sánh, tìm kiếm truy vấn với thông tin được lưu trữ trong cơ sở dữ liệu. Bước này có thể thực hiện trực tuyến và thực hiện rất nhanh. Các công nghệ đánh chỉ số được sử dụng để tăng tốc độ xử lý đối sánh. - Tạo ra sự điều chỉnh cần thiết trong hệ thống.
Bước này thường 13 được thực hiện bằng cách đối chiếu và điều chỉnh các tham số 14 trong kỹ thuật đối sánh dựa trên thông tin phản hồi từ người sử dụng hoặc những hình ảnh được tra cứu. Từ trình bày ở trên ta thấy, một mặt hệ thống tra cứu ảnh dựa trên nội dung có các nguồn thông tin thị giác khác nhau, mặt khác lại có cả các yêu cầu của người sử dụng, chúng được liên kết với nhau qua một loạt các công việc. Làm thế nào để mô tả thông tin người dùng và truy vấn hệ thống tra cứu là một vấn đề cần thiết của CBIR. Một phương pháp truy vấn tốt là phương pháp gần gũi với người sử dụng, tức là cung cấp đầy đủ thông tin từ người sử dụng để có thể thu được những kết quả có ý nghĩa.
Những phương pháp truy vấn sau đây thường được sử dụng trong các hệ thống CBIR: - Truy vấn bởi ví dụ (QBE-Query By Example): Trong phương pháp này người sử dụng chỉ định một ảnh truy vấn gốc dựa trên cơ sở dữ liệu ảnh được tìm kiếm và so sánh. Ảnh truy vấn có thể là một ảnh chuẩn, một ảnh quét với độ phân giải thấp, hoặc người sử dụng vẽ bằng cách sử dụng công cụ vẽ đồ họa. Ưu điểm của phương pháp này là rất tự nhiên đối với người sử dụng để tra cứu ảnh trong cơ sở dữ liệu ảnh. - Truy vấn bởi đặc điểm (QBF- Query By Feature): Trong phương pháp này người dùng chỉ định câu truy vấn với những đặc điểm được chỉ định rõ ràng, đó là những đặc điểm được quan tâm trong tìm kiếm.
Ví dụ người dùng có thể truy vấn cơ sở dữ liệu ảnh bằng việc đưa ra một câu lệnh ”Tìm tất cả những ảnh chứa 20% điểm màu đỏ”. Truy vấn này được người dùng chỉ định bởi việc sử dụng công cụ giao diện đồ họa đặc biệt. Những người sử dụng chuyên nghiệp thì có thể dễ dàng thực hiện tìm kiếm theo kiểu truy vấn này nhưng những người không 15 chuyên thì rất khó. QBIC là một 16 ví dụ về hệ thống tra cứu ảnh dựa trên nội dung mà người sử dụng truy vấn kiểu này.
- Truy vấn dựa trên thuộc tính (Attribute-Based Queries): Phương pháp này sử dụng những chú giải được người dùng mô tả trước bởi các từ khóa. Mô tả kiểu này đòi hỏi phải có mức trừu tượng cao, và rất khó đạt được mức độ tự động hoá hoàn toàn bởi vì ảnh gồm rất nhiều thông tin và rất khó có thể tổng kết bằng một ít từ khoá. Kiểu truy vấn này, nhìn chung là nhanh hơn và dễ thực thi hơn, nhưng nó có nhiều khó khăn khi thực hiện chú thích ảnh như đã giới thiệu phần trước. Phương pháp truy vấn dựa trên thuộc tính thể hiện tính tự nhiên nhất.
Người sử dụng thường thích truy vấn hệ thống bằng câu hỏi tự nhiên như ”Tìm tất cả các ảnh trong bộ sưu tập mà có hình ảnh con mèo”. Tuy nhiên, việc ánh xạ câu hỏi bằng ngôn ngữ tự nhiên này thành truy vấn trên cơ sở dữ liệu ảnh là vô cùng khó đối với việc sử dụng những phương pháp được tự động. Khả năng máy tính thực hiện nhận dạng đối tượng tự động trên ảnh vẫn đang là vấn đề nghiên cứu mở. Hầu hết những nghiên cứu cũng như các hệ thống mang tính thương mại đều tập trung xây dựng những hệ thống thực hiện truy vấn dựa trên phương pháp QBE [22], [105].
Đây cũng là mô hình truy vấn được sử dụng trong các thí nghiệm đánh giá của luận án.1 Trích chọn đặc trưng mfíc thấp Dữ liệu ảnh thô không được sử dụng trực tiếp trong hầu hết các hệ thống thị giác máy vì hai lý do: Thứ nhất, tốn nhiều không gian để lưu trữ ảnh và độ phức tạp tính toán lớn. Thứ hai, nhiều thông tin 17 của ảnh dư thừa và (hoặc) không hữu ích. Thay vì sử dụng toàn bộ ảnh, chúng ta chỉ cần sử dụng một số biểu diễn quan trọng nhất. Bước biểu diễn ảnh được gọi là trích chọn đặc trưng và kết quả của biểu diễn là véc-tơ đặc trưng.
Trích chọn đặc trưng có thể xem như việc ánh xạ ảnh từ không gian ảnh sang không gian đặc trưng. Trong ngữ cảnh của CBIR, các đặc trưng ảnh có thể được phân thành đặc trưng thị giác và đặc trưng ngữ nghĩa. Các đặc trưng thị giác bao gồm màu, kết cấu, hình dạng và quan hệ không gian. Đặc trưng ngữ nghĩa không dễ dàng được trích rút và thường được suy diễn từ các đặc trưng mức thấp hoặc sử dụng văn bản mô tả ảnh.
Hiệu quả tra cứu ảnh phụ thuộc vào khả năng mô tả nội dung ảnh cho các ứng dụng cụ thể. Do nhận thức chủ quan, nên không tồn tại cách biểu diễn tốt nhất cho mỗi đặc trưng thị giác, vì vậy, với mỗi đặc trưng có thể có nhiều cách để biểu diễn từ những ngữ cảnh khác nhau. Chẳng hạn, đặc trưng màu có thể được biểu diễn bởi biểu đồ màu và mô men màu; đặc trưng hình dạng có thể biểu diễn bởi biểu đồ hệ số góc và GIST; đặc trưng kết cấu có thể biểu diễn bởi mã nhị phân cục bộ và biến đổi wavelet. Dưới đây là một số mô tả đặc trưng thị giác thường được sử dụng trong các hệ thống CBIR [22].
Các mô tả này cũng sẽ được sử dụng trong các thực nghiệm đánh giá của luận án. Biểu đồ màu Mắt của con người rất nhạy cảm với màu sắc, và đặc trưng màu là một trong những thành phần quan trọng nhất giúp con người có khả năng nhận biết hình ảnh. Vì vậy đặc trưng màu là một trong những đặc trưng cơ bản của nội dung ảnh và được sử dụng rộng rãi trong các hệ thống tra cứu ảnh dựa trên nội dung. Màu sắc thường được xác định trong không gian màu 3 chiều.
Các nhà nghiên cứu đã khám 18 phá ra nhiều kỹ thuật để phân loại màu thành các không gian màu khác nhau. Không gian màu RGB được định nghĩa như là một hình lập phương đơn vị với 3 trục tương ứng là Red, Green và Blue như Hình1. Vì vậy, một màu trong không gian màu RGB được biểu diễn một véc-tơ với ba tọa độ. Khi tất cả ba giá trị đều bằng 0 thì cho màu đen, khi tất cả ba giá trị đều bằng 1 thì cho màu trắng.