Chương 1 giới thiệu tổng quan về tra cứu ảnh dựa vào nội dung, phản hồi liên quan và phân tích ưu nhược điểm một số phương pháp phản hồi liên quan nhằm giảm khoảng cách ngữ nghĩa. Chương này cũng trình bày học đa tạp cho tra cứu ảnh, một số lý thuyết liên quan về đồ thị, máy véc tơ hỗ trợ, tập dữ liệu ảnh thực nghiệm và cách thức đánh giá độ chính xác của hệ thống tra cứu ảnh. Chương 2 mô tả phương pháp tìm ma trận chiếu tối ưu theo tiếp cận học đa tạp trong tra cứu ảnh, gọi là chiếu phân biệt lớp ngữ nghĩa cho tra cứu ảnh (SCDPIR - Semantic class discriminant projection for image retrieval), tận dụng các thông tin hình học cục bộ của các mẫu có nhãn và không có nhãn để giảm chiều. Sau khi có được ma trận chiếu, các ảnh trong không gian gốc có số chiều lớn sẽ được chiếu sang một không gian chiếu mới có số chiều nhỏ hơn nhiều.
Trong không gian chiếu mới đó, các điểm dữ liệu vẫn có thể phân biệt tốt các mẫu liên quan so với các mẫu không liên quan. Bên cạnh đó, Chương 2 cũng đưa ra thực nghiệm trên tập dữ liệu được cộng đồng CBIR sử dụng rộng rãi: Corel 10,800 ảnh và minh họa kết quả chiếu trên tập SIMPLIcity. 6 Chương 3 trình bày phương pháp cân bằng tập mẫu phản hồi và kết hợp tra cứu ảnh đa khía cạnh phương pháp thực hiện được các nội dung sau: (a) bổ sung mẫu dương (xác định nhãn cho các mẫu chưa có nhãn); (b) tận dụng thông tin của các mẫu phản hồi thuộc về hai lân cận khác nhau để xây dựng ma trận chiếu tối ưu mà trên không gian chiếu, dữ liệu có thể phân biệt hơn; (c) tận dụng các khía cạnh khác nhau của đối tượng để tạo ra một bộ phân lớp mạnh. Các kết quả thực nghiệm trên tập dữ liệu ảnh ảnh Corel 10800 ảnh chỉ ra rằng phương pháp đề xuất đã cải tiến đáng kể độ chính xác tra cứu của hệ thống.
Cuối cùng, luận án đưa ra một số kết luận và định hướng nghiên cứu trong tương lai. TỔNG QUAN VỀ TRA CỨU ẢNH DỰA VÀO NỘI DUNG 1. Giới thiệu về tra cứu ảnh Với sự phát triển của các thiết bị thu nhận và lưu trữ ảnh, một lượng lớn dữ liệu ảnh được tạo ra. Việc tìm một ảnh đáp ứng yêu cầu của người dùng trong một bộ sưu tập lớn và đa dạng này là một nhiệm vụ khó khăn.
Sự khó khăn này ngày càng gia tăng và trở thành một bài toán có nhiều thách thức. Yêu cầu khai thác dữ liệu ảnh trên một cách hiệu quả thúc đẩy sự quan tâm của cộng đồng nghiên cứu. Có hai cách tiếp cận chính cho bài toán tra cứu ảnh là tra cứu ảnh dựa vào văn bản và tra cứu ảnh dựa vào nội dung. Cách tiếp cận tra cứu ảnh dựa vào văn bản đáp ứng nhu cầu của người dùng thông qua kỹ thuật đối sánh từ khóa.
Những nỗ lực đầu tiên để tổ chức ảnh dựa trên mô tả văn bản được bắt đầu từ đầu những năm 1970 [21]. Hình ảnh được lưu bằng các từ khóa theo sự kiện, địa điểm hoặc theo tên người. Các từ khóa này chủ yếu là do người dùng chú thích từ các ảnh một cách thủ công. Chú thích một tập ảnh lớn theo cách thủ công sẽ tốn nhiều công sức và chi phí thời gian lớn.
Bên cạnh đó, việc chú thích này phụ thuộc vào nhận thức chủ quan của mỗi người dùng, dẫn đến cùng một ảnh, hai người khác nhau có thể có hai chú thích khác nhau. Vì thế, cách tiếp cận chú thích ảnh là không khả thi trên tập dữ liệu ảnh lớn. Cách tiếp cận tra cứu ảnh dựa vào nội dung (CBIR - content-based image retrieval) [22] được đề xuất vào đầu những năm 1980 để khắc phục vấn đề này. Cách tiếp cận này trích rút tự động nội dung ảnh, mà bao gồm đặc trưng màu, kết cấu, hình dạng, ….
Trong khi tra cứu ảnh dựa vào văn bản sử dụng một tập các từ khóa để mô tả nội dung bức ảnh, CBIR mô tả nội dung bức ảnh thông qua véc tơ đặc trưng mà thu được từ quá trình trích rút thông tin trên những điểm ảnh thô của ảnh. CBIR đã được nhiều tác giả nghiên cứu rộng rãi, nhiều phương pháp và hệ thống đã được phát triển. Nhiệm vụ của hệ thống CBIR là sử dụng một độ đo khoảng cách (hoặc độ đo tương tự) để đối sánh véc tơ đặc trưng của ảnh truy vấn với véc tơ đặc trưng của mỗi ảnh cơ sở dữ liệu (CSDL) và phân hạng chúng theo thứ tự giảm dần của độ tương tự. Hệ thống tra cứu ảnh chỉ dựa vào một độ đo khoảng cách để đối sánh ảnh truy vấn với ảnh cơ sở dữ liệu, luận án gọi là tra cứu ảnh truyền thống (hàm ý từ “truyền thống” ở đây là không có yếu tố học máy).1 là mô tả quá trình tra cứu ảnh dựa vào nội dung theo cách truyền thống.
8 Véc tơ Ảnh truy Trích rút đặc trưng Tập ảnh kết quả vấn đặc trưng truy vấn Tính độ đo Phân hạng khoảng cách CSDL véc Trích rút tơ đặc CSDL ảnh đặc trưng trưng Hình 1. Sơ đồ tra cứu ảnh dựa vào nội dung truyền thống.1, tập cơ sở dữ liệu ảnh được đưa vào thủ tục trích rút đặc trưng để thu được CSDL véc tơ đặc trưng và lưu trữ chúng một cách thích hợp (pha này được thực hiện ngoại tuyến-offline). Trong pha tra cứu trực tuyến (online), người dùng cung cấp một ảnh làm ảnh truy vấn, thủ tục trích rút đặc trưng (giống như với pha offline) được thực hiện để thu được véc tơ đặc trưng truy vấn của ảnh truy vấn. Cũng lưu ý ở đây, độ dài véc tơ đặc trưng của ảnh truy vấn có cùng độ dài với véc tơ đặc trưng của ảnh CSDL.
Tiếp theo, hệ thống so sánh lần lượt véc tơ đặc trưng của ảnh truy vấn với mỗi véc tơ đặc trưng của ảnh cơ sở dữ liệu theo một độ đo khoảng cách đã được xác định trước nào đó (như mô tả trong Hình 1.2) để thu được độ đo tương tự, sau đó, thủ tục phân hạng được thực hiện, tức là các ảnh cơ sở dữ liệu được sắp xếp theo thứ tự tăng dần của khoảng cách (vừa tính được) so với ảnh truy vấn. Tập ảnh kết quả thu được bao gồm K ảnh có khoảng cách nhỏ nhất với ảnh truy vấn sẽ được hiển thị cho người dùng. Minh họa việc đối sánh giữa ảnh truy vấn và mỗi ảnh CSDL.3 là giao diện trực quan cho việc tra cứu ảnh truyền thống. Trong hình này, người dùng cung cấp ảnh con voi làm ảnh truy vấn, sau đó chúng ta thu được một tập kết quả bao gồm 28 ảnh kết quả.
Giao diện tra cứu ảnh truyền thống với ảnh truy vấn là ảnh con voi. Trong tập kết quả thu được trên Hình 1.3, với một ảnh truy vấn là ảnh con voi, chúng ta thấy có 07 ảnh cùng chủ đề với ảnh truy vấn (hay liên quan với ảnh truy vấn). Các ảnh liên quan này được thể hiện bởi đường viền nét đứt bao quanh như Hình 1. Một số ảnh còn lại trong tập ảnh kết quả không có đường viền nét đứt bao là những ảnh có không liên quan với ảnh truy vấn.
Tập ảnh kết quả tra cứu bao gồm các ảnh liên quan và không liên quan. Ban đầu, một số đặc trưng được trích rút mà thường được sử dụng trong các hệ thống CBIR bao gồm màu sắc, kết cấu, hình dạng (vùng và đường viền). Các đặc trưng này thường được chia thành hai nhóm: thứ nhất, nhóm đặc trưng toàn cục mô tả toàn bộ hình ảnh, nhóm còn lại là đặc trưng cục bộ, mà chia ảnh thành các vùng nhỏ hơn. Một số phương pháp tra cứu ảnh kết hợp các đặc trưng toàn cục khác nhau.
Shrivastava và cộng sự [23] đã đề xuất một hệ thống CBIR gồm ba giai đoạn: Đầu tiên, trên đặc trưng màu, hệ thống thu được N ảnh từ tập dữ liệu M ảnh, tiếp theo, dựa vào đặc trưng kết cấu sử dụng bộ lọc Gabor, hệ thống thu được P ảnh liên quan trong tập N ảnh, Cuối cùng, tính toán bộ mô tả Fourier và lấy làm đặc trưng hình dạng để thu được K ảnh từ tập gồm P ảnh. Phương pháp được đánh giá thực nghiệm trên hai bộ dữ liệu Corel và Cifar với độ chính xác trung bình lần lượt là 0. Younus và cộng sự [24] đã xây dựng một hệ thống CBIR mới phụ thuộc vào đặc trưng màu và kết cấu gồm mô men màu, lược đồ màu, mô men wavelet và ma trận đồng xuất hiện. Hệ thống kết hợp thuật toán phân cụm K-mean với tối ưu bầy đàn (particle swarm optimization) trên tập dữ liệu Wang gồm 1000 ảnh với 10 chủ đề.
Độ chính xác của hệ thống này có cải thiện tuy nhiên vẫn kém hiệu quả do nó không xem xét đặc trưng hình dạng và sai số trong quá trình phân cụm. Sajjad và cộng sự [25] đã đề xuất một hệ thống CBIR kết hợp các đặc trưng màu sắc và kết cấu để tạo thành một véc tơ đặc trưng 360 chiều. Để trích rút đặc trưng màu, lượng tử hóa thông qua lược đồ màu sau khi ảnh được chuyển sang không gian màu HSV. Mẫu nhị phân cục bộ 11 xoay được sử dụng để trích rút đặc trưng kết cấu bất biến với phép xoay.
Các thực nghiệm được thực hiện trên tập Corel 1K và Corel 10K với độ chính xác tương ứng 0.7 trên độ thu hồi (recall) là 0. Nazir và cộng sự [26] đã trình bày một phương pháp tra cứu ảnh dựa trên nội dung sử dụng đặc trưng màu sắc và kết cấu. Trong phương pháp này, lược đồ màu được trích rút trong không gian HSV, và biến đổi wavalet rời rạc (discrete wavelet transform) và EHD được sử dụng làm đặc trưng kết cấu. Ngoài ra, có nhiều phương pháp trích rút các đặc trưng không chỉ dựa trên toàn bộ ảnh mà thông qua các vùng được tách ra từ ảnh.
Sharif và cộng sự [27] đề xuất một hệ thống CBIR phụ thuộc vào việc hợp nhất các từ trực quan (visual words) mà được tạo ra từ đặc trưng SIFT (scale invariant feature transform) và BRISK (binary robust invariant scalable keypoints). Yousuf và cộng sự [28] thực hiện một hệ thống CBIR dựa trên SFIT và LIOP (local intensity order pattern). LIOP đã được sử dụng để khắc phục hạn chế của SIFT trong việc thay đổi ánh sáng và các vùng có độ tương phản thấp. Việc sử dụng đặc trưng SIFT trong CBIR cho hiệu quả kém khi số chiều đặc trưng SIFT là rất lớn.