Chương 1 TRA CỨU ẢNH DỰA VÀO NỘI DUNG VÀ XẾP HẠNG ĐA TẠP TRONG CBIR 1. Giới thiệu về tra cứu ảnh dựa vào nội dung Tra cứu ảnh dựa vào nội dung (CBIR) [57] thu hút rất nhiều sự chú ý từ các nhà nghiên cứu và được sử dụng nhiều trong công nghiệp, thương mại trong những năm qua do nhiều ứng dụng hữu ích của nó. Các thuật toán tra cứu ảnh thường xây dựng các độ đo tương tự toàn cục giữa các vector đặc trưng biểu diễn đối tượng ảnh đối sánh với toàn bộ vector đặc trưng trong CSDL. Hệ thống CBIR truyền thống [57] Hệ thống CBIR như Hình 1.1 là kỹ thuật tra cứu ảnh được sử dụng để tìm ra tập các ảnh tương tự nhất đối với ảnh truy vấn mà người dùng đưa vào.
Một hệ thống CBIR tiêu biểu được chia thành hai pha: trích rút đặc trưng ngoại tuyến và pha tra cứu ảnh trực tuyến. Trong pha ngoại tuyến, hệ thống trích rút tự động các thuộc tính trực quan ở mức thấp (low-level feature) hoặc đặc trưng mức cao (high-level feature) hoặc các loại đặc trưng được kết hợp với nhau. Trong pha 9 tra cứu ảnh trực tuyến, người dùng cung cấp một ảnh mẫu cho hệ thống tra cứu để tìm kiếm các ảnh tương đồng mong muốn (ở đây, độ dài vectorđặc trưng của ảnh tra cứu có cùng độ dài với vectorđặc trưng của ảnh CSD). Để trả lời tra cứu, hệ thống CBIR tìm trong CSDL ảnh để đưa ra những ảnh tương tự với ảnh truy vấn (như mô tả trong Hình 1.
Cuối cùng hệ thống xếp hạng các ảnh theo thứ tự tăng dần của khoảng cách hay giảm dần của độ tương tự và trả về tập ảnh kết quả cho người dùng. Giao diện trực quan cho hệ thống CBIR truyền thống như Hình 1. Trong hình này người dùng cung cấp cho hệ thống ảnh tra cứu là logo của hãng Pepsi, sau đó chúng ta thu thu được kết quả trả về bao gồm 16 ảnh kết quả trả về. Minh họa đối sánh trong CBIR Hình 1.
Giao diện hệ thống CBIR truyền thống Trong hệ thống CBIR truyền thống một số vector đặc trưng được trích rút 10 và thường sử dụng như vector đặc trưng màu sắc, vector đặc trưng kết cấu, vector đặc trưng hình dạng (vùng và đường viền). Các vector đặc trưng này được dùng trong các hệ thống CBIR được chia thành hai nhóm: nhóm vector đặc trưng toàn cục mô tả toàn bộ hình ảnh [88] (như vector đặc trưng màu, kết cấu, hình dạng), nhóm còn lại là vector đặc trưng cục bộ chia ảnh thành các vùng nhỏ hơn [81]. Biểu diễn ảnh bằng vector đặc trưng Vector đặc trưng biểu diễn ảnh là các thuộc tính được trích rút ra từ ảnh dựa trên phân phối cấu trúc, đối tượng có trong ảnh, từ đó tổng hợp các dữ liệu riêng lẻ để xác định thông tin có thể đo lường được khi quan sát, phân tích tình huống từ dữ liệu hình ảnh. Phương pháp trích rút đặc trưng và biểu diễn đặc trưng để thể hiện một cách riêng biệt và độc lập là yêu cầu quan trọng và quyết định mức độ thành công của các phương pháp nhận dạng mẫu, học máy, phân loại hay trong tra cứu ảnh… Trong [30] trích rút đặc trưng ảnh được hiểu là quá trình biến đổi dữ liệu ảnh thô ban đầu quan sát được thành các tín hiệu hoặc dữ liệu có nhiều thông tin hơn để biểu diễn và xử lý hiệu quả hơn so với dữ liệu ảnh thô ban đầu, mang được nhiều ý nghĩa, giữ lại những thông tin quan trọng phục vụ cho việc phân tích và xử lý ngữ nghĩa hơn.
Trích rút đặc trưng cho phép ánh xạ ảnh từ không gian ảnh sang không gian đặc trưng. Hiệu quả tra cứu ảnh phụ thuộc vào khả năng mô tả nội dung ảnh cho các ứng dụng cụ thể. Không tồn tại cách biểu diễn tốt nhất cho các đặc trưng thị giác vì mỗi đặc trưng có thể có nhiều cách biểu diễn theo các ngữ cảnh khác nhau. Chẳng hạn, đặc trưng màu có thể được biểu diễn bởi biểu đồ màu và mô men màu; đặc trưng hình dạng có thể biểu diễn bởi biểu đồ hệ số góc và GIST; đặc trưng kết cấu có thể biểu diễn bởi mã nhị phân cục bộ và biến đổi wavelet.
Trong thực tế, do ảnh đầu vào có thể được thu nhận và số hóa trong các 11 điều kiện khác nhau (ánh sáng, môi trường, góc thu nhận,…) nên các đặc trưng trích rút thường thỏa mãn một số tính chất bất biến như: Bất biến với phép tỉ lệ (scale invariance); bất biến với phép xoay (rotation invariance); bất biến với ánh sáng (intensity invariance); giàu thông tin; tính chính xác (accuracy); hiệu quả (efficiency); bền vững với nhiễu,… Một thuật toán (hay kỹ thuật) dùng để trích rút các đặc trưng ảnh được gọi là bộ trích rút đặc trưng (feature extraction). Có nhiều phương pháp trích rút các đặc trưng không chỉ dựa trên toàn bộ ảnh mà thông qua các vùng được tách ra từ ảnh. Sharif và cộng sự [86] đề xuất một hệ thống CBIR phụ thuộc vào việc hợp nhất các từ trực quan (visual words) mà được tạo ra từ đặc trưng SIFT (scale invariant feature transform) và BRISK (binary robust invariant scalable keypoints). Yousuf và cộng sự [120] thực hiện một hệ thống CBIR dựa trên SFIT và LIOP (local intensity order pattern).
Việc sử dụng đặc trưng SIFT trong CBIR cho hiệu quả kém khi số chiều đặc trưng SIFT là rất lớn. Herbert và cộng sự [7] đề xuất đặc trưng SURF (speededup robust features) là một bộ mô tả cục bộ mạnh khác mà vượt qua giới hạn về số chiều cao của SIFT. SURF nhanh và mạnh hơn SIFT vì nó yêu cầu ít thời gian để tính toán và đối sánh các ảnh thông qua sử dụng cơ chế đánh chỉ số dựa trên tín hiệu Laplacian. Jabeen và cộng sự [49] đề xuất một hệ thống CBIR mới dựa trên việc kết hợp hai bộ mô tả SURF, FREAK (fast retina key point) để tạo thành các từ trực quan trên cơ sở của BoVW.
Sau đó, phân cụm K-means được áp dụng trên các từ trực quan đó để tính toán một lược đồ cho các từ của mỗi ảnh. Đặc trưng mức thấp của ảnh Đặc trưng màu sắc Đặc trưng màu sắc được rất nhiều hệ thống tìm kiếm hình ảnh dựa trên nội dung nghiên cứu và sử dụng. Đặc trưng màu sắc ổn định và hầu như không bị ảnh hưởng bởi việc dịch chuyển, tỷ lệ và xoay hình ảnh. Đồng thời, màu sắc có quan hệ với các đối tượng ảnh, nền, cho biết sự thay đổi trong vị trí, thời gian… Các biểu diễn mầu phổ biến là lược đồ mầu, mô men mầu, tương quan 12 mầu và ma trận đồng hiện mầu.
Tùy mục đích của phương pháp truy vấn, các nhóm nghiên cứu có thể sử dụng các không gian màu khác nhau như phương pháp sử dụng không gian màu YCbCr với biểu đồ cạnh Canny và biến đổi Wavelet rời rạc [5], phương pháp sử dụng biểu đồ chênh lệch màu CDH (Color Difference Histogram) trong không gian màu HSV [72],… Biểu đồ màu (Color Histogram) [16] là sự mô tả sự biến đổi màu sắc trong một ảnh. Biểu đồ màu của ảnh bất biến với hướng và chỉ thay đổi dần theo góc nhìn. Tuy nhiên, biểu đồ màu không nắm bắt được mối quan hệ không gian của các vùng màu và khả năng phân biệt bị giới hạn. Do đó, mô men màu được sử dụng độ lệch chuẩn và giá trị trung bình của các phân phối trong mỗi dải màu cho mục đích lập chỉ mục màu trong các ứng dụng truy xuất ảnh để so sánh sự giống nhau về màu sắc giữa hai ảnh giống nhau [53,102].
Mô tả biểu đồ màu của ảnh Đặc trưng kết cấu Kết cấu là một đặc trưng ảnh quan trọng để mô tả các thuộc tính bề mặt của một đối tượng như độ mịn, độ thô, độ sâu,. và mối quan hệ của nó với các vùng xung quanh như sự thay đổi độ sáng cục bộ trong một vùng lân cận, sự sắp xếp không gian của các mức xám,. Nhiều phương pháp tìm kiếm ảnh theo nội dung (CBIR) dựa trên kết cấu được đề xuất. Kỹ thuật phân tích kết cấu thống kê chủ yếu mô tả kết cấu của các vùng trong ảnh dựa vào biểu đồ mức 13 xám [74].
Ma trận đồng xuất hiện mức xám GLCM (Gray-level co-occurrence matrix) là một trong những kỹ thuật được nhiều nhóm nghiên cứu sử dụng để phân tích kết cấu hình ảnh [34]. Bên cạnh đó, biểu đồ định hướng Gradient HOG (Histograms of Oriented Gradients) và mẫu nhị phân cục bộ LBP (Local Binary Patterns) [72] là hai bộ mô tả kết cấu với số chiều nhỏ được sử dụng phổ biến trong trích xuất đặc trưng. Các phương pháp tiếp cận cấu trúc nhằm xác định kết cấu nguyên thủy và các quy tắc sắp xếp như phát hiện biên với LoG (Laplacian of Gaussian) hay DoG (Difference of Gaussian) [15] nhằm phân đoạn hình ảnh. Các phương pháp tiếp cận theo cấu trúc thường được sử dụng cho các kết cấu thông thường vì tính đều đặn, lặp lại định kỳ trong kết cấu với một số quy tắc sắp xếp, thường độc lập với các phép biến đổi hình học như phép tịnh tiến, phép quay và phép chia tỷ lệ.
Tuy nhiên, các phương pháp này thường dùng cho mục đích tổng hợp hơn là mục đích phân tích, do chúng không được sử dụng cho các kết cấu có mức độ ngẫu nhiên cao. Các phương pháp biến đổi thể hiện một hình ảnh trong một không gian mà hệ tọa độ của nó liên quan chặt chẽ đến các đặc trưng của kết cấu nhằm phân đoạn hình ảnh [74] như: biến đổi Fourier phân tích nội dung của kết cấu theo miền tần số, phép lọc Gabor và phép biến đổi Wavelet phân tích nội dung của kết cấu cả trong miền tần số và miền không gian. Như vậy, có nhiều kỹ thuật khác nhau để trích rút đặc trưng kết cấu cấp thấp của hình ảnh. Tuy nhiên, đặc trưng kết cấu độ nhạy với nhiễu ảnh và ngữ nghĩa phụ thuộc vào hình dạng đối tượng ảnh.
Do đó, các xu hướng gần đây thường kết hợp đặc trưng kết cấu với đặc trưng hình dạng cho bài toán tìm kiếm ảnh theo ngữ nghĩa. Đặc trưng hình dạng Hình dạng là một đặc trưng cấp thấp nhằm nhận dạng đối tượng trong hình ảnh, ổn định với những thay đổi về ánh sáng, màu sắc và kết cấu [16]. Tìm kiếm ảnh theo đặc trưng hình dạng có độ chính xác tốt với các đặc trưng nhỏ gọn, độ phức tạp tính toán thấp. Các kỹ thuật biểu diễn và mô tả hình dạng có 14 thể được phân thành hai loại: phương pháp dựa trên đường biên và phương pháp dựa trên vùng.