Chương 1: Tổng quan về tìm kiếm ảnh. Nội dung chương này tiếp cận tổng quan về các bài toán tìm kiếm ảnh, các kiến thức cơ sở, tổng quan về quá trình thực hiện việc kết xuất tập hình ảnh tương tự ứng với mỗi ảnh đầu vào. Các mô hình tìm kiếm hình ảnh tương tự theo nội dung và quá trình phân lớp cho bài toán tìm kiếm cũng được tiếp cận. Để thực hiện vấn đề này, các cơ sở lý thuyết được tiếp cận dựa trên các phương pháp khai phá dữ liệu như: gom cụm, khai phá dữ liệu theo tập mẫu dựa trên tần suất và các kỹ thuật tìm kiếm, trích xuất dữ liệu ảnh… Chương 2: Mạng nơ-ron cho bài toán tìm kiếm ảnh.
Trong chương này tiếp cận một cấu trúc mạng nơ-ron học sâu nhằm phân lớp hình ảnh đầu vào. Quá trình phân lớp được thực hiện trên cơ sở kế thừa các mô hình đã huấn luyện. Cấu trúc và phương pháp xử lý của quá trình phân lớp trên mang nơ-ron học sâu cũng được tiếp cận để từ đó có thể ứng dụng linh hoạt của đặc trưng hình ảnh. Nội dung chương này là cơ sơ cho quá trình phân lớp kết hợp với gom nhóm vào các túi từ thị giác để phục vụ cho bài toán tìm kiếm ảnh dựa trên quá trình phân bố tập ảnh vào ontology.
Chương 3: Mô hình tìm kiếm ảnh trên Ontology. Trong chương này trình bày về quá trình xây dựng ontology trên công cụ Protégé từ đó cải tiến và thực hiện ontology bán tự động. Một khung ontology được phân tích và đề xuất để liên kết đến các dữ liệu hình ảnh nhằm có thể tra cứu các thông tin liên quan. Bên cạnh đó, phương pháp tạo câu truy vấn SPARQL và cách truy vấn trên ontology được tiếp cận nhằm tra cứu các thông tin liên quan đến hình ảnh để từ đó có thể thực hiện quá trình tìm kiếm ảnh.
Từ đó, mô hình tìm kiếm ảnh được đề xuất dựa trên quá trình kết hợp của ba đối tượng chính bao gồm: Mạng nơ-ron tích chập, cấu trúc túi từ thị giác và một khung ontology cho hình ảnh. Chương 4: Thực nghiệm tìm kiếm ảnh. Quá trình thực nghiệm trên 4 bộ dữ liệu ảnh gồm COREL, Oxford Flowers 17, MS-COCO, Flickr 30k để minh chứng mô hình tìm kiếm ảnh đã đề xuất tại chương 3. Việc thực nghiệm trên 4 bộ ảnh này để thấy rằng ontology đáp ứng cho bộ ảnh đơn đối tượng (COREL, Oxford Flowers 17) và bộ ảnh đa đối tượng (MS-COCO, Flickr 30k), đồng thời cho thấy 6 rằng ontology đáp ứng với các tập dữ liệu ảnh lớn.
Kết quả thực nghiệm cũng được lần lượt phân tích, so sánh đánh giá để minh chứng tính hiệu quả của mô hình được đề xuất. TỔNG QUAN VỀ TÌM KIẾM ẢNH 1. Tổng quan về tìm kiếm ảnh 1. Các bài toán tìm kiếm ảnh a.
Tìm kiếm ảnh dựa trên văn bản (TBIR) Hệ thống tìm kiếm ảnh dựa trên văn bản chú thích hình ảnh bằng văn bản và sau đó dựa trên văn bản để thực hiện truy xuất hình ảnh. Tuy nhiên, có một số hạn chế trong TBIR. Hạn chế đầu tiên là các chú thích mô tả thường phải được nhập thủ công nên nó rất khó để thực hiện với cơ sở dữ liệu hình ảnh lớn. Hạn chế thứ hai là đa số các hình ảnh rất phong phú về nội dung và nhiều chi tiết nên người chú thích rất khó có thể đưa ra tất cả các mô tả đầy đủ, trực quan cho các hình ảnh.
Ngoài ra, chú thích văn bản phụ thuộc vào ngôn ngữ. Vào đầu những năm 1990, kết quả của những tiến bộ của Internet và kỹ thuật sản xuất hình ảnh kỹ thuật số, một lượng lớn hình ảnh kỹ thuật số được sản xuất trong khoa học, giáo dục, y học, công nghiệp và các lĩnh vực khác có sẵn cho người dùng đã tăng lên đáng kể và làm cho những hạn chế mà TBIR phải đối mặt ngày càng trở nên khó khăn hơn. Nhu cầu này đã hình thành động lực thúc đẩy sự xuất hiện của các kỹ thuật truy xuất hình ảnh dựa trên nội dung [10]. Tìm kiếm ảnh dựa trên nội dung (CBIR) Hệ thống tìm kiếm ảnh dựa trên nội dung còn được gọi là truy vấn theo nội dung hình ảnh (QBIC) và truy xuất thông tin trực quan dựa trên nội dung (CBIR) [10].
Thuật ngữ CBIR đã được sử dụng rộng rãi để mô tả quá trình truy xuất hình ảnh từ một bộ sưu tập dữ liệu hình ảnh dựa trên nội dung đặc trưng (màu sắc, hình dạng, kết cấu…). Các kỹ thuật và thuật toán được sử dụng bắt nguồn từ nhiều lĩnh vực như nhận dạng đối tượng và xử lý tín hiệu. Hệ thống CBIR thường được sử dụng các kỹ thuật như phân đoạn hình ảnh, trích xuất đặc điểm hình ảnh, biểu diễn, ánh xạ các đặc trưng sang ngữ nghĩa, trích xuất các đặc trưng từ hình ảnh thô và kết hợp tìm kiếm hình ảnh [10]. Tìm kiếm ảnh dựa trên ngữ nghĩa (SBIR) 8 Vấn đề của tìm kiếm ảnh dựa trên ngữ nghĩa là thu hẹp khoảng cách ngữ nghĩa giữa đặc trưng cấp thấp và ngữ nghĩa cấp cao.
Phân biệt trong hệ thống này tạo ra sự khác biệt giữa cảm nhận hình ảnh của con người với các đặc điểm hình ảnh [10]. Quá trình ánh xạ ngữ nghĩa được sử dụng để tìm ra khái niệm tốt nhất để mô tả vùng hoặc đối tượng được phân đoạn hoặc nhóm dựa trên các đặc trưng thấp. Việc ánh xạ này sẽ được thực hiện thông qua các công cụ học có giám sát hoặc không được giám sát để liên kết các đặc trưng cấp thấp với khái niệm đối tượng và được chú thích hình ảnh. Vì vậy, hệ thống SBIR giúp tìm kiếm ảnh theo nội dung và nội dung đó được mô tả bằng ngôn ngữ tự nhiên thay vì phải sử dụng các đặc trưng cấp thấp.
Các mô hình tìm kiếm ảnh a. Hệ thống TBIR TBIR được sử dụng để chú thích, mô tả hình ảnh và siêu dữ liệu khác của hình ảnh (tên tệp hình ảnh, hình ảnh và định dạng hình ảnh, kích thước hình ảnh) trong cơ sở dữ liệu theo cách thủ công bằng chú thích, từ khóa hoặc mô tả [10]. Sau đó, người dùng thiết lập các truy vấn dạng văn bản hoặc số để truy xuất tất cả các hình ảnh đáp ứng một số tiêu chí dựa trên các chú thích này (Hình 1. Một mô hình tìm kiếm ảnh theo từ khóa 9 b.
Hệ thống CBIR Hệ thống CBIR được chia thành 2 giai đoạn: trích xuất đặc trưng ngoại tuyến và truy xuất hình ảnh trực tuyến (Hình 1. Trong giai đoạn ngoại tuyến, hệ thống trích xuất các đặc trưng của từng hình ảnh và lưu trữ trong cơ sở dữ liệu đặc trưng dưới dạng các vectơ đặc trưng. Trong giai đoạn trực tuyến, người dùng nhập một truy vấn hình ảnh vào hệ thống. Các đặc trưng của hình ảnh truy vấn được trích xuất và biểu diễn.
Sau đó, quá trình truy xuất được thực hiện bằng cách áp dụng một lược đồ lập chỉ mục để cung cấp một cách hiệu quả để tìm kiếm cơ sở dữ liệu hình ảnh. Cuối cùng, hệ thống trả về những hình ảnh tương tự nhất với hình ảnh truy vấn. Một mô hình truy vấn ảnh theo tiếp cận CBIR c. Hệ thống SBIR Hệ thống SBIR được thực hiện bằng cách trích xuất các đặc trưng cấp thấp của hình ảnh để xác định các vùng, đối tượng dựa trên các đặc điểm tương tự của 10 hình ảnh, từ đó trích xuất hình ảnh ngữ nghĩa, mô tả ngữ nghĩa của hình ảnh được lưu trữ trong cơ sở dữ liệu (Hình 1.
Việc truy xuất hình ảnh có thể được truy vấn dựa trên khái niệm cấp cao. Một mô hình truy vấn dựa trên tiếp cận SBIR 1. Ứng dụng của tìm kiếm ảnh a. Đối sánh và phát hiện đối tượng Đối sánh và phát hiện đối tượng là cách để truy xuất, tìm kiếm các hình ảnh có chứa một số đối tượng cụ thể.
Ở đây, là các đối tượng cụ thể chứ không phải các lớp đối tượng được xem xét [11]. Ví dụ: không tìm kiếm hình ảnh chứa những quyển sách, mà tìm hình ảnh chứa sách X hoặc sách Y. Các cá thể đối tượng thường được tìm thấy ở các vị trí khác nhau trên các nền có thể thay đổi. Một ví dụ cho khả năng ứng dụng là trong tầm nhìn của rô bốt chịu trách nhiệm nhận dạng và thao tác đối tượng.4 là một ví dụ về phát hiện đối tượng trong các khung cảnh khác nhau [11].
Hình ảnh truy vấn được so khớp với cơ sở dữ liệu của các mẫu đối tượng. Kết quả phát hiện được thể hiện bằng mẫu sách trả về và được hiển thị ở bên phải. 11 Đường viền của đối tượng cũng được hiển thị trên hình ảnh truy vấn. Đặc trưng SIFT [13] là bộ mô tả đặc trưng cục bộ được sử dụng để đối sánh và phát hiện đối tượng.
Một ứng dụng thương mại về đối sánh sử dụng các đặc trưng SIFT là robot AIBO do Sony sản xuất. Đặc trưng SIFT đã được ứng dụng trong hệ thống thị giác của AIBO để giúp rô-bốt này có thể nhận ra trạm sạc để kết nối. Đặc trưng SIFT được sử dụng trong [14] làm bộ mô tả vùng, được gọi là hệ thống Google Video đối sánh, truy xuất các đối tượng và cảnh trong video. Hệ thống tìm kiếm và khoanh vùng tất cả các lần xuất hiện của một đối tượng, được người dùng chọn, trong một video.5 cho thấy một ví dụ truy vấn của hệ thống sử dụng video.
Hình ảnh ở hàng trên cùng là khung truy vấn với vùng truy vấn có viền ngoài. Hình ảnh ở hàng thứ 2 và thứ 3 đại diện cho các khung được truy xuất hiển thị đường viền của các vùng được phát hiện. Một khái niệm tương tự về đối sánh đối tượng là đối sánh cảnh trong đó mục đích là tìm hình ảnh đại diện cho cùng một cảnh. Ví dụ phát hiện đối tượng [11] 12 Hình 1.
Tìm kiếm đối tượng trong video b. Văn hóa và Nghệ thuật Bộ sưu tập di sản văn hóa đồ sộ đang được số hóa và lưu trữ, đồng thời số lượng người dùng truy cập trực tuyến vào các tài liệu lưu trữ của bảo tàng ngày càng tăng. Nên việc áp dụng các hệ thống CBIR cho mục đích tìm kiếm trong các cơ sở dữ liệu là hướng đi cần thiết [11]. Ví dụ: Hệ thống tìm kiếm trong các phòng trưng bày nghệ thuật [15]; hệ thống tìm kiếm trong cơ sở dữ liệu lớn về tem (hơn 12000 hình ảnh tem) đã được phát triển [16].
Thay vì lật qua bộ sưu tập theo cách thủ công, hệ thống, được gọi là MICHELscope, cho phép quét tem truy vấn.
