Chương 1 giới thiệu tổng quan về tra cứu ảnh dựa vào nội dung. Chương 2 trình bày phương pháp tra cứu ảnh liên quan ngữ nghĩa được tác giả để xuất, có tên là SRIR. Chương 3 trình bày phương pháp tra cứu ảnh sử dụng trọng số thích nghi được tác giả đề xuất, có tên là AWEIGHT. Cuối cùng, luận án đưa ra một số kết luận và định hướng nghiên cứu trong tương lai.
xii luan an CHƢƠNG 1 TỔNG QUAN VỀ TRA CỨU ẢNH DỰA VÀO NỘI DUNG Chương này trình bày tổng quan về tra cứu ảnh dựa vào nội dung bao gồm các đặc trưng mức thấp của ảnh, cấu trúc hệ thống tra cứu ảnh dựa vào đặc trưng mức thấp và phân tích một số phương pháp tra cứu ảnh dựa vào đặc trưng mức thấp. Bên cạnh đó, chương này trình bày một số nghiên cứu giảm khoảng cách ngữ nghĩa theo cách tiếp cận phản hồi liên quan. Ngoài ra, chương này cũng phân tích một số kỹ thuật tra cứu ảnh với ngữ nghĩa mức cao. Cuối cùng, chương này đưa ra một số kết luận và định hướng cho nghiên cứu.
Giới thiệu Các dạng nguồn đa phương tiện khác nhau (văn bản, tiếng nói, ảnh, video) đang tăng lên nhanh chóng, chẳng hạn dữ liệu được trực quan trong các điện thoại thông minh, các ứng dụng 2D/3D, nội dung web,. Thế giới đang chứng kiến một sự tiến hóa về lượng, sự sẵn có, độ phức tạp, sự đa dạng và sự quan trọng của các ảnh trong tất cả các lĩnh vực. Do đó, nhu cầu về các dịch vụ ảnh trở nên quan trọng hơn bao giờ hết. Các ảnh đóng một vai trò quan trọng trong một phạm vi rộng các ứng dụng và các lĩnh vực như giáo dục, chăm sóc y tế, dự báo thời tiết, nghiên cứu về tội phạm, quảng cáo, thiết kế nghệ thuật, web, phương tiện xã hội và giải trí.
Tuy nhiên, phương tiện trực quan yêu cầu một lượng xử lý và lưu trữ đáng kể, cần có các phương pháp hiệu quả cao để đánh chỉ số, lưu trữ, phân tích và tra cứu thông tin trực quan từ các cơ sở dữ liệu ảnh. Do đó, tra cứu các ảnh nhanh, chính xác và hiệu quả cho tất cả các loại tập ảnh trở thành một trong những nhiệm vụ thách thức nhất. Tra cứu dựa vào văn bản Cách tiếp cận ban đầu cho tra cứu ảnh là dựa vào văn bản, trong đó các ảnh được đánh chỉ số bằng các từ khóa, chủ đề hoặc mã phân loại. Các từ khóa, chủ đề hoặc mã phân loại này được sử dụng trong quá trình tra cứu [41].
Tuy nhiên, với cơ sở dữ liệu ảnh lớn và tăng lên nhanh chóng, các khó khăn phải đối mặt của cách tiếp cận tra cứu dựa vào văn bản ngày càng trở nên nghiêm trọng hơn. Bên cạnh đó, quá trình này tốn nhiều nhân lực và thời gian, từ khóa lại mang tính chủ quan và không duy nhất, những người khác nhau có các nhận thức khác nhau về cùng một ảnh. Để khắc phục các vấn đề này, các nội dung của ảnh (gồm mầu, kết cấu và hình dạng) được trích rút tự động từ bản thân các ảnh đã được sử dụng cho tra cứu ảnh. Phương pháp này được gọi là tra cứu ảnh dựa vào nội dung (CBIR - content-based image retrieval) [69].
CBIR cho phép loại đi các khó khăn của tra cứu dựa vào văn bản trong các cơ sở dữ liệu ảnh lớn và hệ thống CBIR cung cấp các kết quả chính xác hơn. Tra cứu ảnh dựa vào nội dung Tra cứu ảnh dựa vào nội dung (CBIR) là một ứng dụng của các kỹ thuật thị giác máy tính đối với bài toán tra cứu ảnh [70]. Mục tiêu của hệ thống CBIR là sử dụng nội dung trực quan của các ảnh để tìm các ảnh quan tâm từ một cơ sở dữ liệu ảnh lớn. Tra cứu ảnh dựa vào nội dung có nghĩa là tra cứu sẽ phân tích nội dung của ảnh thay vì dựa vào các siêu dữ liệu như từ khóa, thẻ và các mô tả văn bản đi kèm với ảnh.
Thuật ngữ nội dung ở đây được hiểu là mầu, hình dạng, kết cấu hoặc bất cứ một thông tin nào mà có thể lấy ra từ bản thân ảnh. Trong CBIR, các ảnh có thể được tra cứu thông qua việc sử dụng các đặc trưng mức thấp (tức là mầu sắc, hình dạng, và kết cấu) hoặc sử dụng các đặc trưng mức cao hay các đặc trưng ngữ nghĩa.1 chỉ ra khoảng cách ngữ nghĩa của hai đối tượng ảnh.1 cho thấy, véc tơ đặc trưng (hai lược đồ) của ảnh phía trên và véc tơ đặc trưng của ảnh phía dưới là rất giống nhau. 2 luan an Do đó, nếu chỉ dựa vào đặc trưng mức thấp (véc tơ đặc trưng) thì hệ thống sẽ kết luận ảnh phía trên và phía dưới là giống nhau. Tuy nhiên, khi ta nhìn vào hai ảnh này thì lại thấy chúng rất khác nhau (ảnh phía trên là cây trong rừng còn ảnh phía dưới là một bông hồng).
Tra cứu ảnh dựa vào ngữ nghĩa đối sánh một truy vấn người dùng dựa vào các nội dung nhận thức nào đó hơn là sự tương tự giữa các đặc trưng. Khoảng cách ngữ nghĩa Thành phần chính của CBIR là kỹ thuật tra cứu ảnh được sử dụng để lấy ra các ảnh tương tự nhất đối với ảnh truy vấn mà người dùng đưa vào [101]. Một hệ thống tra cứu dựa vào nội dung tiêu biểu được chia thành hai pha: trích rút đặc trưng ngoại tuyến và tra cứu ảnh trực tuyến. Trong pha ngoại tuyến, hệ thống trích rút tự động các thuộc tính trực quan ở mức thấp (mầu, kết cấu và hình dạng) hoặc ở mức cao.
Trong pha tra cứu ảnh trực tuyến, người dùng có thể cung cấp một ảnh mẫu cho hệ thống tra cứu để tìm kiếm các ảnh mong muốn. Hệ thống tra cứu ảnh biểu diễn ảnh mẫu này bởi véc tơ đặc trưng và khoảng cách (hoặc độ tương tự) giữa các véc tơ đặc trưng của ảnh mẫu và của ảnh trong cơ sở dữ liệu đặc trưng được tính toán. Cuối cùng hệ thống phân hạng các ảnh theo thứ tự tăng dần của khoảng cách hay giảm dần của độ tương tự và trả về tập ảnh kết quả cho người dùng. Nếu không thỏa mãn với kết quả tra cứu, người dùng có thể cung cấp phản hồi liên quan cho hệ thống tra cứu, hệ thống sẽ học 3 luan an nhu cầu thông tin của người dùng.
Kiến trúc của hệ thống tra cứu ảnh dựa vào nội dung được chỉ ra trên Hình 1. Phản hồi liên quan Trích rút đặc trưng Cơ sở dữ liệu Tập ảnh đặc trưng Độ tương tự Kết quả tra cứu Sắp xếp Đầu ra Trích rút đặc trưng Véc tơ Ảnh truy vấn đặc trưng Hình 1. Kiến trúc hệ thống tra cứu ảnh dựa vào nội dung. Phản hồi liên quan (RF - Relevance Feedback) là một quá trình trực tuyến mà cố gắng học mục đích của người dùng trong quá trình tương tác.
Phản hồi liên quan được sử dụng rộng rãi trong các hệ thống tra cứu thông tin [74,78]. Mục đích của nó là mang người dùng vào lặp tra cứu để giảm khoảng cách ngữ nghĩa giữa những gì mà truy vấn biểu diễn và những gì người dùng nghĩ. Bằng việc tiếp tục học thông qua tương tác với các người dùng cuối, phản hồi liên quan đã được chỉ ra là cung cấp cải tiến hiệu năng đáng kể trong các hệ thống tra cứu ảnh dựa vào nội dung [103,104,119].3 chỉ ra cơ chế hoạt động của phản hồi liên quan trong tra cứu ảnh dựa vào nội dung [2,74,104]. Khi có kết quả tra cứu khởi tạo, người dùng chọn các ảnh liên quan trong danh sách kết quả này để làm các mẫu có nhãn (dương hay âm).
Dựa trên tập mẫu huấn luyện này, một thuật toán máy học được thực hiện để điều chỉnh các tham số. Dựa trên các tham số vừa được học, tra cứu ảnh sẽ tiếp tục được thực hiện. Quá trình được lặp lại cho đến khi người dùng thỏa mãn. 4 luan an Hình 1.3: Sơ đồ phản hồi liên quan.
Con người có thể mô tả và giải thích các nội dung ảnh một cách thích hợp, bao gồm cấu trúc liên kết toàn bộ và các đối tượng sử dụng các khái niệm ngữ nghĩa mức cao. Không giống như con người, máy tính xử lý các đặc trưng mức thấp được trích rút từ các điểm ảnh, do đó nó cung cấp các mô tả của ảnh ít ngữ nghĩa hơn so với mô tả của con người. Sự khác nhau giữa máy tính và con người trong việc mô tả cùng một ảnh được gọi là ―khoảng cách ngữ nghĩa‖. Người dùng tìm kiếm sự tương tự ngữ nghĩa nhưng cơ sở dữ liệu chỉ có thể cung cấp các ảnh tương tự bởi một xử lý số.
Ngoài ra, khoảng cách ngữ nghĩa giữa các thuộc tính ảnh và các thuộc tính đối tượng giới hạn nhiều hiệu quả tra cứu. Trích rút đặc trƣng trong tra cứu ảnh 1. Đặc trƣng mầu Đặc trưng mầu là một trong những đặc trưng thị giác rộng nhất do quan hệ chặt chẽ với các đối tượng ảnh, tiền cảnh và nền. Mầu cũng là một đặc trưng trực quan mạnh do nó không phụ thuộc vào trạng thái của các nội dung ảnh như 5 luan an hướng, cỡ và góc.
Các biểu diễn mầu phổ biến là lược đồ mầu, mô men mầu [34], tương quan mầu [43] và ma trận đồng hiện mầu [37]. Không gian mầu được phân lớp thành các không gian mầu tuyến tính (tức RGB, XYZ, CMY, YIQ và YUV) và các không gian mầu phi tuyến [113] (tức L*a*b, HSV, Nxyz và L*u*v). Không gian mầu RGB là một không gian mầu cộng tính dựa vào ba mầu chính: đỏ, xanh lá cây và xanh lam. Các mầu khác có thể được sinh ra bởi sử dụng các mầu chính, chẳng hạn, sử dụng đỏ với xanh lam tạo ra đỏ tươi, xanh lá cây và xanh lam ta ra mầu lục và sự kết hợp của mầu đỏ, xanh lá cây và mầu xanh lam ở cường độ tối đa tạo ra mầu trắng.
Tuy nhiên, không gian RGB không hiệu quả trong việc xử lý các ảnh trong thế giới thực, do đó nó bị tránh trong nhiều thuật toán tra cứu ảnh vì nó thiếu khả năng đo lường sự tương tự về nhận thức. Hơn nữa, khoảng cách trong không gian RGB có ít thông tin ngữ nghĩa về mặt nhận thức thị giác của con người. Theo đó, không gian mầu HSV được sử dụng thay cho không gian mầu RGB vì các thành phần mầu sắc và độ bão hòa rất gần với nhận thức thị giác của con người. Mô hình HSV có ba thành phần cấu thành: ―hue‖ đề cập đến mầu sắc, ―saturation‖ đề cập đến độ sắc nét của mầu và ―value‖ là độ sáng của mầu sắc.