Chương 1. Giới thiệu Chương 2. Một số phương pháp tìm kiếm dựa trên ảnh trong vòng mười năm Chương 3. Tìm kiếm dựa trên lược đồ màu với ảnh phác thảo Chương 4.
Tìm kiếm dựa trên lược đồ khái niệm Chương 5. Chương trình thử nghiệm TIEU LUAN MOI download : skknchat@gmail.com 3 CHƢƠNG 1. Tìm kiếm ảnh dựa trên nội dung Chúng ta đã rất quen thuộc với tìm kiếm ảnh dựa trên từ khóa, ví dụ như trong Hình 1.1, chúng ta dùng Google [27] và đánh từ "Hà Nội", chúng ta sẽ được các hình ảnh liên quan tới Hà Nội. Cơ chế tìm kiếm này rất đơn giản, đầu tiên mỗi ảnh được kết hợp với một số từ khóa nhất định, do đó ta chuyển các tài liệu trong không gian ảnh thành các tài liệu trong không gian từ vựng.
Do đó chúng ta có thể so sánh tài liệu đầu vào (các từ khóa trong không gian từ vựng) với các tài liệu ảnh (được gắn với các từ khóa).1: Tìm kiếm hình ảnh dựa trên từ khóa. Mỗi ảnh sẽ được gắn với một số từ khóa nhất định, cả không gian ảnh sẽ được chuyển hóa thành không gian từ. Do đó việc tìm kiếm ảnh chính là so khớp từ khóa với từ khóa (tài liệu từ với tài liệu từ). Tuy nhiên, nếu chúng ta có một ảnh đầu vào rất đơn giản (ví dụ ảnh 256x256 trong đó mỗi pixel đều chỉ có màu đỏ), kết quả tìm kiếm không được tốt như chúng ta mong muốn [27].
Trên thực tế, việc này có thể giải quyết rất đơn giản bằng cách dùng lược đồ màu, chúng ta thậm chí có thể phân loại được ảnh đầu vào dựa trên lược đồ màu (ảnh đỏ, ảnh xanh, ảnh có gam màu nóng, ảnh có gam màu lạnh). TIEU LUAN MOI download : skknchat@gmail.2: Tìm kiếm ảnh bằng ảnh đầu vào. Khi dùng bất kỳ một phần mềm tạo ảnh (mspaint, photoshop) để tạo một ảnh kích thước 256x256 với màu đỏ và dùng ảnh đó làm đầu vào của quá trình tìm kiếm, ta không được kết quả mong muốn. Chưa kể, ta có gợi ý "black color" thay cho "red color".
Vấn đề của tìm kiếm thông tin (Information Retrieval), [16] là kết nối giữa tài liệu đầu vào (query document) và các tài liệu lưu trữ (stocked document). Trong trường hợp cụ thể của tìm kiếm ảnh, chúng ta cần so sánh ảnh đầu vào (query image) với ảnh lưu trữ (stocked image) để lựa chọn các ảnh phù hợp. Nếu đầu vào là từ khóa, chúng ta cần chuyển các ảnh lưu trữ thành từ khóa. Nhưng nếu đầu vào là ảnh tổng hợp (synthetic image), chúng ta cần tìm cách xử lý ảnh đó để khớp với các ảnh tự nhiên (natural image) lưu trong cơ sở dữ liệu.
Ứng dụng của tìm kiếm ảnh dựa trên nội dung Tìm kiếm ảnh dựa trên nội dung không chỉ dừng lại ở mục đích phục vụ người dùng cuối (end user), nó còn là nền tảng cho các phương pháp phân tích và tổng hợp ảnh dựa trên dữ liệu lớn. Ví dụ, xem Hình 1.3, hoàn thiện ảnh dựa trên tìm kiếm một lượng lớn các ảnh, sau đó tìm các phần tương thích để bù vào phần ảnh chưa hoàn thiện [12]. Hoặc ví dụ [13], [14] tìm kiếm các thành phần của ảnh dựa trên phác thảo, sau đó ghép các thành phần lại với nhau để thành ảnh thật, xem Hình 1. TIEU LUAN MOI download : skknchat@gmail.3: Hoàn thiện ảnh (image completion) bằng cách tìm kiếm trên lượng lớn các ảnh để tìm ra phần còn thiếu tương thích với phần đã có [12] Hình 1.4 Tổng hợp một ảnh mới bằng cách vẽ các phần tử cơ bản của ảnh (núi, cây, nhà) và tìm kiếm các phần tử đó trong cơ sở dữ liệu rồi ghép chúng lại thành ảnh tổng hợp [13] Hình 1.5: Tổng hợp ảnh mới bằng cách vẽ phác thảo ảnh, chọn các thành phần từ kết quả tìm kiếm, sau đó ghép lại thành tổng hợp [14] Gần đây, việc sử dụng các ảnh đã được đánh nhãn làm ví dụ để đánh nhãn các ảnh còn lại.
Ví dụ mỗi điểm ảnh của ảnh đầu vào sẽ được gán một nhãn (nhà, trời, cây) bằng cách sử dụng các ảnh tương tự đã được đánh nhãn. [10] Tìm kiếm ảnh tương tự, sau đó thiết lập một ánh xạ tự ảnh truy vấn vào ảnh kết quả, ánh xạ cho phép sao chép các nhãn từ ảnh đã được đán nhãn vào ảnh truy vấn, xem Hình 1. Đi xa hơn một bước [22] phát triển thuật toán trên diện rộng, bằng cách tìm kiếm và ánh xạ dựa trên thông tin cục bộ và thông tin không gian, xem Hình 1. TIEU LUAN MOI download : skknchat@gmail.com 6 Qua các ứng dụng, chúng ta thấy rõ hơn tầm quan trọng của tìm kiếm ảnh trong tổng hợp và phân tích ảnh.
Nó trở thành mô đun nền tảng để giải quyết các vấn đề tổng hợp và nhận dạng ảnh, đặc biệt là học dựa trên ví dụ.6: Phân tích ảnh bằng cách sử dụng ánh xạ điểm đặc trưng (SIFT flow) và các ảnh ví dụ đã được đánh nhãn [10] Hình 1.7: Phân tích ảnh trên diện rộng bằng cách tìm kiếm các ảnh ví dụ trong cơ sở dữ liệu và sao chép các nhãn từ ảnh ví dụ sử dụng thông tin cục bộ, thông tin không gian [22] 1. Các đặc trƣng thƣờng dùng trong tìm kiếm ảnh theo nội dung 1. Đặc trƣng màu sắc Màu sắc là vấn đề cần tập trung giải quyết nhiều nhất, vì một ảnh màu thì thông tin quan trọng nhất trong ảnh chính là màu sắc. Hơn nữa thông tin về TIEU LUAN MOI download : skknchat@gmail.com 7 màu sắc là thông tin người dùng quan tâm nhất; qua đặc trưng màu sắc, có thể lọc được rất nhiều lớp ảnh, thông qua vị trí, không gian, định lượng của màu trong ảnh.
Màu sắc là một đặc trưng nổi bật và được sử dụng phổ biến nhất trong tìm kiếm ảnh theo nội dung. Trong tìm kiếm ảnh dựa vào màu sắc thì phương pháp phổ biến để tìm kiếm ảnh trong một tập những ảnh hỗn tạp cho trước là dựa vào biểu đồ màu (color histogram) của chúng. Đây là cách làm khá đơn giản, tốc độ tìm kiếm tương đối nhanh nhưng khuyết điểm là kết quả tìm kiếm lại có độ chính xác không cao. Như ví dụ ở Hình 1.8, với đầu vào là một bức ảnh quả táo màu đỏ, hệ thống tìm ra các hình có màu đỏ tương tự.
Các hình trong kết quả có thể là quả táo hoặc quả cà chua (kết quả không liên quan) vì chúng có cùng màu. Tìm kiếm ảnh dựa vào màu sắc có thể được xem như là bước lọc đầu tiên cho những tìm kiếm sau. Muốn được kết quả chính xác cao đòi hỏi sự kết hợp đồng thời với kết cấu và hình dạng. Đầu vào Đầu ra Hình 1.
Ví dụ về tìm kiếm dựa trên màu sắc 1. Đặc trƣng kết cấu (texture) Kết cấu (texture) nói lên mối quan hệ giữa các điểm ảnh trong một vùng (hay phân vùng) nào đó của ảnh, nó phản ánh sự xắp xếp hay phân bố các điểm màu. Nhìn vào đó ta có thể đoán được kết cấu đó thuộc đối tượng nào. Ví dụ một con ngựa văn thì nó mang vân về ngựa vằn và rõ ràng vân này khác hẳn với vân ở mình con ngựa bình thường.
Việc truy vấn ảnh dựa trên kết cấu có vẻ là không hiệu quả nhưng có thể dùng nó để phân biệt các vùng hay đối tượng có màu sắc tương đồng như bầu trời và biển cả thì càng tốt. TIEU LUAN MOI download : skknchat@gmail.com 8 Đầu vào Đầu ra Hình 1. Ví dụ về tìm kiếm dựa trên kết cấu [21] đã đề xuất phương pháp tìm kiếm ảnh dựa vào màu sắc và kết cấu. Mỗi ảnh được biểu diến thành một vùng gọi là blob.
Việc so sánh hai ảnh sẽ được chuyển thành so sánh hai vùng. Nếu hai vùng có màu sắc và kết cấu giống nhau, hai vùng đó được coi là giống nhau. Hai ảnh có nhiều vùng giống nhau thì hai ảnh đó sẽ được coi là giống nhau. TIEU LUAN MOI download : skknchat@gmail.
Sử dụng blobworld để tìm kiếm ảnh của con hổ. Kết quả tìm kiếm được đưa ra với hình ảnh trong dữ liệu và các vùng tương ứng của các bức ảnh đó. Trong 50 bức ảnh đầu tiên được tìm thấy thì có 28% là hình của con hổ [21] 1. Đặc trƣng hình dạng (shape) Đối với những lớp ảnh cần tìm mà liên quan đến hình dạng của đối tượng thì đặc trưng kết cấu và màu không thể giải quyết được.
Như chúng ta đã biết, một đối tượng đặc thù nào đó cũng thường có hình dạng tương đối giống nhau. Ví dụ như một chiếc là thì thông thường chỉ cần qua hình dạng ta cũng có thể đoán nhận ra nó mà không cần đến màu sắc. Đó chính là đặc trưng về hình dạng của nó. Tìm kiếm theo hình dáng thật sự là một cái đích của hệ thống tìm kiếm dựa vào nội dung muốn đạt tới.
TIEU LUAN MOI download : skknchat@gmail.com 10 Các đặc trưng về hình dạng được sử dụng thường phải độc lập về kích thước và hướng. Ví dụ đặc trưng về tỷ số chu vi và diện tích, đường viên và hình dạng tròn [23] đề xuất phương pháp sử dụng biểu đồ map để xác định hình dạng đại diện, sau đó tính lược đồ trên hình đại diện. Hình dạng và lược đồ của hình dạng đặc trưng. Ảnh có thể bị biến đổi nhưng hình dạng thay đổi rất ít [23] 1.
Các điểm đặc trƣng (feature points hay interest points) Chúng ta không quan tâm tới tất cả các điểm ảnh, chúng ta quan tâm đến điểm nào đặc trưng cho ảnh. Điểm đặc trưng là những điểm trên ảnh có thể dùng để mô tả toàn bộ ảnh. Các điểm này ổn định khi co dãn ảnh, hoặc quay ảnh cũng như cắt một phần ảnh. Khi so sánh hai ảnh ta chỉ quan tâm đến các điểm khác biệt đó, các điểm khác là vô nghĩa.
Điều này làm giảm số lượng phép so sánh, thay vì phải xem xét toàn bộ các điểm trong ảnh, chúng ta chỉ quan tâm đến các điểm có nghĩa. Các điểm này có thể dùng để nhận dạng cũng như tìm kiếm ảnh. TIEU LUAN MOI download : skknchat@gmail.com 11 [24] đã sử dụng toán tử Harri và sai phân bất biến để xác định điểm đặc trưng và tính vector đặc trưng mô tả diểm đặc trưng đại diện cho hình ảnh. Đối với mỗi hình ảnh trong hệ thống sẽ có một tập các điểm đặc trưng và vector đặc trưng cho mỗi điểm.
Khi so sánh hai ảnh, chúng ta sẽ so sánh hai tập hợp điểm đó. Điểm đặc trưng là những điểm khá ổn định khi ảnh quay đi hoặc co dãn ảnh mà ta vẫn tìm được các điểm tương ứng trên ảnh.