Chương 1: Tổng quan về tra cứu ảnh sử dụng về sự thích hợp giữa các ảnh chỉ sử dụng các liên kết giữa các ảnh mà không dựa vào các đặc điểm của ảnh hay các lời chú thích. Như đã giới thiệu ở phần 1.1, kỹ thuật tra cứu ảnh theo nội dung dựa vào những đặc điểm mức thấp như màu sắc, kết cấu và hình dạng của đối tượng ảnh. Trong khi các phương pháp mô tả ảnh mức cao có khả năng mô tả gần gũi hơn với trực giác của người sử dụng nhưng việc phát triển những phương pháp đó mới dừng ở mức thử nghiệm và đòi hỏi rất nhiều quá trình xử lý phức tạp. Mặc dù việc mô tả ảnh bằng các đặc điểm mức thấp có thể thực hiện khá hiệu quả và đơn giản nhưng nhược điểm lớn nhất của phương pháp này là không gần gũi với sự cảm nhận trực quan của hầu hết người sử dụng và do đó thường không đủ đáp ứng nhu cầu của người sử dụng.
Những ảnh mà ta cảm nhận được sự giống nhau bằng mắt thường nhưng đôi khi lại rất khác nhau nếu so sánh bằng các đặc điểm mức thấp. Động lực của phương pháp này dựa trên một thực tế là những ảnh thích hợp về mặt trực giác thường không có chung những đặc điểm mức thấp nhưng vẫn có sự tương tự về mặt khái niệm và về mặt ngữ cảnh đối với con người. Ví dụ, những ảnh chụp người trong bộ đồ tắm thường có màu sắc, hình dạng và kết cấu rất đa dạng nhưng về mặt khái niệm thì lại được con người cảm nhận là tương tự nhau. Vì vậy phương pháp tra cứu ảnh theo đồ thị được giới thiệu ở đây không dựa trên các đặc điểm ở mức thấp (trừ giai đoạn khởi tạo) mà dựa vào những sự liên kết có tính trực giác giữa các ảnh được thiết lập bởi người sử dụng bằng cách phản hồi thích hợp.
Mục tiêu của phương pháp này là xây dựng một sơ đồ để tích luỹ thông tin do những tương tác với người sử dụng theo cách đơn giản hơn phản hồi thích hợp và sử dụng những thông tin này để việc tra cứu ảnh cho những kết quả có ý nghĩa trực giác hơn [8, 9]. -18- TIEU LUAN MOI download : skknchat@gmail.com Chương 2: Tra cứu ảnh theo nội dung CHƯƠNG 2: TRA CỨU ẢNH THEO NỘI DUNG 2. GIỚI THIỆU Phương pháp tra cứu ảnh theo nội dung (Content-Based Image Retrieval) sử dụng các nội dung trực quan của ảnh như màu sắc, hình dạng, kết cấu (texture) và phân bố không gian để thể hiện và đánh chỉ số các ảnh [1, 6, 7, 11]. Trong một hệ thống tra cứu ảnh theo nội dung điển hình (hình vẽ 2.1) các nội dung trực quan của ảnh được trích chọn và mô tả bằng những véc tơ đặc trưng nhiều chiều.
Tập hợp các vec tơ đặc trưng của các ảnh trong một cơ sở dữ liệu ảnh tạo thành cơ sở dữ liệu đặc trưng. Quá trình tra cứu ảnh được tiến hành như sau: người sử dụng cung cấp cho hệ thống tra cứu một ảnh mẫu cụ thể hoặc hình vẽ phác thảo của đối tượng ảnh cần tìm. Sau đó hệ thống sẽ chuyển những mẫu này thành các véc tơ đặc trưng và tính toán sự giống nhau (hay độ tương tự) giữa véc tơ đặc trưng của ảnh mẫu và véc tơ đặc trưng của các ảnh trong cơ sở dữ liệu. Sau cùng việc tra cứu được tiến hành với sự trợ giúp của các sơ đồ đánh chỉ số.
Sử dụng sơ đồ đánh chỉ số là cách hiệu quả để tìm kiếm trong các cơ sở dữ liệu ảnh. Một số hệ thống tra cứu ảnh mới phát triển gần đây còn tích hợp cả chức năng xử lý phản hồi của người sử dụng để cải tiến các qui trình tra cứu để đưa ra những kết quả tra cứu tốt hơn. -19- TIEU LUAN MOI download : skknchat@gmail.com Chương 2: Tra cứu ảnh theo nội dung 2. MÔ HÌNH HỆ THỐNG TRA CỨU ẢNH THEO NỘI DUNG Phản hồi thích hợp Người sử dụng Mô tả Các Vector Tạo truy vấn Nội dung Đặc trưng Trực quan Đánh giá độ tương tự Cơ sở Dữ Mô tả Cơ sở Dữ liệu ảnh Nội dung liệu Đặc Trực quan trưng Tra cứu và Đánh chỉ số Kết quả tra Đầu ra cứu Hình 2.1: Mô hình hệ thống Tra cứu ảnh theo nội dung Trong mô hình này, người sử dụng sẽ tạo truy vấn bằng cách chọn một ảnh mẫu trong một cơ sở dữ liệu ảnh cho trước hoặc phác thảo một hình vẽ mô tả đối tượng ảnh cần tìm bằng cách sử dụng một giao diện đồ hoạ của hệ thống.
Ảnh mẫu đó được đưa qua khối mô tả nội dung trực quan, trong đó người ta sử dụng một phương pháp mô tả nội dung trực quan nào đó để trích chọn một đặc điểm nội dung trực quan để xây dựng thành một véc tơ đặc trưng. Véc tơ đặc trưng của ảnh mẫu sẽ được so sánh với véc tơ đặc trưng tương ứng của các ảnh trong cơ sở dữ liệu ảnh. Kết quả của phép so sánh là một chỉ số đánh giá độ tương tự giữa ảnh mẫu và ảnh lấy ra để so sánh. Dựa vào chỉ số độ tương tự tính toán được ở trên, hệ thống sẽ sắp xếp các ảnh tìm được trong cơ sở dữ liệu ảnh theo một sơ đồ đánh chỉ số nào đó.
Danh sách các ảnh tìm được (đã được sắp xếp) được đưa ra đầu ra của hệ thống. -20- TIEU LUAN MOI download : skknchat@gmail.com Chương 2: Tra cứu ảnh theo nội dung 2. CÁC PHƯƠNG PHÁP MÔ TẢ NỘI DUNG ẢNH Nếu nhìn một cách tổng quát thì nội dung của một bức ảnh có thể bao gồm cả nội dung trực quan và nội dung ngữ nghĩa [1]. Nội dung trực quan của ảnh lại được phân làm hai loại là nội dung tổng quan và nội dung đặc tả.
Nội dung tổng quan bao gồm màu sắc, kết cấu, hình dạng và các quan hệ không gian giữa các đối tượng ảnh hoặc giữa các vùng ảnh. Nội dung đặc tả thì tuỳ vào từng ứng dụng cụ thể, ví dụ với các ứng dụng tra cứu ảnh người thì mặt người hoặc con mắt là các nội dung đặc tả; với các ứng dụng tra cứu ảnh ô tô thì bánh xe là một nội dung đặc tả [1]. Nội dung ngữ nghĩa có thể phát hiện thông qua các chú thích hoặc sử dụng các phương pháp suy diễn từ nội dung trực quan. Trong khuôn khổ của luận văn này chúng tôi chỉ tập trung vào việc mô tả nội dung trực quan tổng quan của ảnh.
Một phương pháp mô tả nội dung trực quan được thiết kế tốt phải có tính bất biến đối với các biến đổi bất thường sinh ra trong quá trình xử lý ảnh (ví dụ như những biến đổi bất thường của độ sáng của cảnh vật). Tuy nhiên cũng cần phải chú ý tới sự cân bằng giữa tính bất biến và khả năng đáp ứng những thay đổi tuỳ ý của các đặc trưng trực quan của ảnh, bởi vì một hệ thống có tính bất biến lớn thì thường là không có tính nhạy cảm, mất khả năng phản ánh những thay đổi nhỏ nhưng rất quan trọng. Một phương pháp mô tả nội dung trực quan có thể là phương pháp toàn cục hoặc phương pháp cục bộ. Phương pháp mô tả nội dung toàn cục sử dụng các đặc trưng trực quan của toàn bộ bức ảnh còn phương pháp mô tả nội dung cục bộ lại sử dụng những đặc trưng trực quan của các vùng ảnh hoặc các đối tượng ảnh để mô tả nội dung của ảnh.
Để mô tả được nội dung cục bộ trước hết người ta phải chia ảnh thành các phần riêng biệt. Cách đơn giản nhất để phân chia ảnh là sử dụng một bộ phân hoạch -21- TIEU LUAN MOI download : skknchat@gmail.com Chương 2: Tra cứu ảnh theo nội dung chia ảnh thành các ô có kích thước và hình dạng giống nhau. Cách phân chia đơn giản như vậy không tạo ra được những vùng ảnh có ý nghĩa thực sự nhưng nó là cách đơn giản để biểu diễn nội dung toàn cục của ảnh với độ chính xác cao hơn. Một phương pháp phân chia tốt hơn là phân chia ảnh thành các vùng đồng nhất dựa vào các tiêu chí sử dụng các thuật toán phân vùng ảnh đã được nghiên cứu và áp dụng trong ngành thị giác máy tính.
Một cách phức tạp hơn để phân chia ảnh là thực hiện phân chia theo các đối tượng ảnh để tách ra các đối tượng ảnh có nghĩa thực sự (như quả bóng, cái ô tô hay con ngựa). [1, 10] Phần tiếp theo giới thiệu một số một số kỹ thuật đang được sử dụng rộng rãi để trích chọn các đặc điểm màu sắc, kết cấu, hình dạng và các quan hệ không gian của các đối tượng ảnh. Mô tả các đặc điểm màu sắc [1, 3, 6] Trên thực tế thì màu sắc được sử dụng nhiều nhất để mô tả nội dung trực quan của ảnh. Lý do là vì màu sắc của ảnh có tác động lớn đến nhận thức của con người về nội dung của ảnh hơn là các đặc điểm khác như hình dạng của các đối tượng ảnh, kết cấu của ảnh hay sự phân bố không gian của các đối tượng ảnh.
Màu sắc được biểu diễn thông qua một véc tơ 3 chiều sẽ có khả năng biểu diễn tốt hơn so với việc chỉ sử dụng giá trị độ xám của ảnh (1 chiều). Trước khi xem xét kỹ hơn về các phương pháp mô tả nội dung màu sắc, chúng ta cùng tìm hiểu sơ lược về các không gian màu. Không gian màu Mỗi điểm ảnh trên một bức ảnh có thể được biểu diễn bằng một điểm trong một không gian màu 3 chiều. Những không gian màu được sử dụng nhiều nhất -22- TIEU LUAN MOI download : skknchat@gmail.com Chương 2: Tra cứu ảnh theo nội dung trong các hệ thống tra cứu ảnh là RGB, CIE L*a*b, CIE L*u*v, HSV và không gian màu đối lập.
Người ta cũng chưa chỉ ra được rằng không gian màu nào được sử dụng tốt hơn cho việc tra cứu ảnh. Tuy nhiên tính chất quan trọng nhất để một không gian màu phù hợp để sử dụng trong một hệ thống tra cứu ảnh là tính đồng nhất. Một không gian màu được gọi là có tính đồng nhất nếu các cặp 2 màu tương tự nhau trong không gian màu thì cũng được con người cảm nhận như nhau. Nói một cách khác, khoảng cách đo được giữa hai màu bất kỳ phải có liên quan trực tiếp với độ tương tự sinh học giữa hai màu đó.
RGB là không gian màu được sử dụng phổ biến nhất để hiển thị ảnh. Không gian RGB bao gồm 3 thành phần màu là Đỏ (Red), Xanh lá cây (Green) và Xanh lam (Blue).