Chương 1 giới thiệu tổng quan cơ sở lý thuyết cho bài toán tìm kiếm ảnh theo tiếp cận cấu trúc R-Tree, phân tích các nghiên cứu liên quan đến cấu trúc R-Tree. Ngoài ra, chương này trình bày tổng quan về bài toán tìm kiếm ảnh theo nội dung và các phương pháp tiếp cận áp dụng cho bài toán tìm kiếm ảnh theo ngữ nghĩa. Từ đó, mô hình tìm kiếm ảnh dựa trên cấu trúc R-Tree được đưa ra đồng thời phát triển mô hình tìm kiếm ảnh dựa trên sự kết hợp cấu trúc R-Tree, đồ thị láng giềng và đồ thị tri thức. Các đối tượng cơ sở được tiếp cận gồm: đặc trưng ảnh, độ đo tương tự của hình ảnh, các giá trị đánh giá hiệu suất và môi trường thực nghiệm.
Trên cơ sở đó, luận án đưa ra định hướng xây dựng phương pháp tìm kiếm ảnh dựa trên cấu trúc RS-Tree cải tiến. Chương 2 gồm một số cải tiến phương pháp xây dựng cấu trúc R-Tree để nâng cao hiệu quả cho bài toán tìm kiếm ảnh. Dựa trên cấu trúc R-Tree và các biến thể, cấu trúc RS-Tree được đề xuất để lưu trữ cho các đặc trưng thị giác cấp thấp của hình ảnh dưới dạng khối cầu; đề xuất mô hình, thuật toán và thực nghiệm tìm kiếm ảnh trên RS-Tree. Trên cơ sở lý thuyết đã xây dựng, thực nghiệm được xây dựng trên các tập dữ liệu ảnh COREL, Oxford Flowers 17, Oxford Flowers 102, CUB-200-2011 để 8 minh chứng tính đúng đắn của mô hình và thuật toán đề xuất.
Phần cuối chương đưa ra kết luận và định hướng cải tiến tiếp theo. Chương 3 gồm các nội dung chính sau: cấu trúc cải tiến kết hợp RS-Tree với đồ thị cụm láng giềng và thuật toán tạo đồ thị láng giềng nhằm nâng cao độ chính xác tìm kiếm ảnh theo nội dung; xây dựng mô hình đồ thị tri thức từ tập dữ liệu ảnh Visual Genome để mô tả ngữ nghĩa của hình ảnh và các mối quan hệ ngữ nghĩa giữa các đối tượng trong ảnh; phương pháp tìm kiếm ảnh theo tiếp cận ngữ nghĩa dựa trên đồ thị thức. Trên cơ sở lý thuyết đã được đề xuất, thực nghiệm được xây dựng trên tập dữ liệu ảnh đơn đối tượng Oxford Flowers 102 và các tập ảnh đa đối tượng bao gồm Visual Genome, MS-COCO để minh chứng tính đúng đắn của mô hình và thuật toán đề xuất. Phần cuối chương đưa ra kết luận và định hướng cải tiến tiếp theo.
Đóng góp của luận án Đóng góp chính của luận án là các kết quả nghiên cứu về phát triển mô hình tìm kiếm ảnh dựa trên sự kết hợp cấu trúc R-Tree với đồ thị tri thức nhằm nâng cao độ chính xác tìm kiếm. Các đóng góp cụ thể bao gồm: (1) Đề xuất các cải tiến đối với cấu trúc R-Tree và xây dựng RS-Tree với các khối cầu dữ liệu kết hợp đồ thị láng giềng và xây dựng cấu trúc NBGraphRST để nâng cao độ chính xác tìm kiếm ảnh. Đồng thời đề xuất các thuật toán và các mô hình tìm kiếm ảnh theo nội dung dựa trên các cấu trúc đã xây dựng; (2) Xây dựng đồ thị tri thức dựa trên tập dữ liệu ảnh Visual Genome và RS-Tree để lưu trữ và mô tả các thông tin ngữ nghĩa của hình ảnh, các mối quan hệ ngữ nghĩa giữa các đối tượng trong ảnh. Từ đó, xây dựng mô hình tìm kiếm ảnh theo tiếp cận ngữ nghĩa dựa trên sự kết hợp RS-Tree với đồ thị tri thức để nâng cao độ chính xác tìm kiếm ảnh.
TỔNG QUAN VỀ TÌM KIẾM ẢNH, CẤU TRÚC R-TREE VÀ ĐỒ THỊ TRI THỨC Chương này trình bày một số nội dung cơ bản về bài toán tìm kiếm ảnh, cấu trúc dữ liệu đa chiều R-Tree áp dụng cho bài toán tìm kiếm ảnh; tổng quan về đồ thị tri thức; đồ thị ngữ cảnh cho bài toán tìm kiếm ảnh theo ngữ nghĩa. Từ đó, xây dựng mô hình tìm kiếm ảnh dựa trên cấu trúc R-Tree kết hợp đồ thị tri thức; môi trường thực nghiệm, mô tả tập dữ liệu thực nghiệm và các giá trị đánh giá độ chính xác tìm kiếm ảnh, độ phủ và độ dung hòa. Giới thiệu Hệ thống tìm kiếm ảnh đã được áp dụng trong nhiều lĩnh vực khác nhau như hệ thống nhận dạng khuôn mặt trong điều tra hình sự [1], hệ thống nhận diện hàng hóa qua hình ảnh [2], hệ thống tìm kiếm ảnh y tế trong chẩn đoán y khoa [34] và nhiều hệ thống khác. Để tìm kiếm trong các hệ thống này, các phương pháp tiếp cận tìm kiếm các hình ảnh có chứa các thông tin trực quan khác nhau (màu sắc, hình dạng, kết cấu, vị trí, không gian) và phát hiện các đối tượng trong hình ảnh đó một cách chính xác và nhanh chóng là cần thiết.
Vì vậy, tìm kiếm ảnh IR (Image Retrieval) và phát hiện đối tượng OD (Object Detection) đã được nghiên cứu trong nhiều thập kỷ qua, trong đó bài toán tìm kiếm ảnh tương tự và phân lớp ngữ nghĩa hình ảnh được phát triển về lý thuyết, triển khai ứng dụng và cho nhiều kết quả khả quan [35, 36]. Mô tả nội dung thị giác của hình ảnh và tạo cấu trúc lưu trữ cho nội dung thị giác là hai vấn đề cần thiết khi thực hiện bài toán tìm kiếm ảnh theo nội dung [17, 37]. Nhiều phương pháp để lưu trữ dữ liệu đa chiều bao gồm KD-Tree, M-Tree, R- Tree, graph, v. [17, 19, 38, 39] được ứng dụng cho hình ảnh và thực hiện quá trình tìm kiếm ảnh tương tự.
Trong đó, R-Tree là một trong những cấu trúc được sử dụng phổ biến để lưu trữ dựa trên phân vùng dữ liệu [19]. Dữ liệu đa phương tiện ngày càng gia tăng nhanh theo thời gian chính là thách thức cho việc lưu trữ và tìm kiếm hiệu quả. Do đó, việc kết hợp các phương pháp khác nhau cho bài toán tìm kiếm ảnh cần được thực hiện nhằm nâng cao hiệu suất, giảm thời gian tìm kiếm cũng như tối ưu hóa không gian lưu trữ là cần thiết [40]. Tìm kiếm ảnh theo nội dung Hiện nay, các hệ thống tìm kiếm ảnh theo từ khóa chú thích bên ngoài hình ảnh không khả thi và bị hạn chế do việc chú thích thủ công và dữ liệu không có sẵn [41].
Trong khi đó, hệ thống CBIR sử dụng các kỹ thuật trích xuất đặc trưng nội dung hình ảnh như màu sắc, kết cấu, hình dạng, vị trí và các đặc trưng khác nhằm mô tả nội dung thị giác của hình ảnh dưới dạng véc-tơ đặc trưng đa chiều [42]. Tìm kiếm ảnh theo nội dung là phương pháp thực hiện tìm kiếm tập các hình ảnh tương tự dựa trên việc trích xuất tự động các đặc trưng cấp thấp của hình ảnh như màu sắc, kết cấu và hình dạng, vị trí, không gian và một số đặc trưng khác. Hệ thống lưu trữ các đặc trưng cấp thấp của bộ dữ liệu hình ảnh dưới dạng các véc-tơ đặc trưng đa chiều và đối sánh các véc-tơ đặc trưng dựa trên một độ đo tương tự [43]. Vì vậy, hệ thống tìm kiếm ảnh theo nội dung CBIR là cần thiết đối với dữ liệu ảnh số đang tăng trưởng rất lớn như hiện nay [44].
Một mô hình tìm kiếm ảnh theo nội dung được trình bày trong Hình 1. Mô hình tìm kiếm ảnh tương tự theo nội dung Để giải quyết bài toán tìm ảnh theo nội dung, hai vấn đề quan trọng cần được thực hiện bao gồm (1) tạo véc-tơ đặc trưng đa chiều nhằm mô tả đặc trưng nội dung 11 cấp thấp của hình ảnh, (2) xây dựng mô hình tìm kiếm nhằm thực hiện tìm kiếm ảnh tương tự dựa trên dữ liệu đặc trưng cấp cao của hình ảnh. Trong [44], Eakins đã đề cập đến ba cấp độ tìm kiếm trong hệ CBIR: Cấp độ 1: Tìm kiếm theo các đặc trưng ban đầu như màu sắc, kết cấu, hình dạng hoặc vị trí không gian của các phần tử hình ảnh. Cấp độ 2: Tìm kiếm các đối tượng được xác định bởi các đặc trưng nguyên thủy, với một số mức độ suy luận logic.
Ví dụ: tìm hình ảnh chứa một chiếc xe hơi. Cấp độ 3: Tìm kiếm theo các thuộc tính trừu tượng, liên quan đến một lượng lớn suy luận cấp cao về ngữ nghĩa của các đối tượng được mô tả. Điều này bao gồm việc tìm kiếm tên của các sự kiện, ngữ nghĩa của các bức ảnh, v. Ví dụ: tìm một bức ảnh có cô gái đội nón màu xanh và đang cười.
Các hệ thống tìm kiếm theo nội dung dựa trên các đặc trưng cấp thấp đã đạt được nhiều kết quả khả quan và được áp dụng vào thực tế. Tuy nhiên, hạn chế của các hệ thống này là tồn tại một độ sai lệch giữa các đặc trưng cấp thấp và ngữ nghĩa cấp cao của hình ảnh (semantic gap) [11]. Giải quyết “semantic gap” là một bài toán đầy thách thức của các hệ thống tìm kiếm ảnh dựa trên nội dung [12]. Do đó, tìm kiếm ảnh theo tiếp cận ngữ nghĩa được các nhà khoa học đặc biệt quan tâm và đã sử dụng nhiều phương pháp khác nhau để giải quyết vấn đề độ sai lệch ngữ nghĩa như: dựa vào ontology, dựa vào các công cụ học máy, dựa vào phản hồi liên quan RF (Relative Feedback), mẫu ngữ nghĩa và nhiều phương pháp khác [44].
Đặc biệt, trong những năm gần đây, kể từ khi Google đưa ra định nghĩa đồ thị tri thức vào năm 2012, đồ thị tri thức đã trở thành công nghệ hiện đại để mô tả ngữ nghĩa của các đối tượng trong thế giới thực. Các công trình nghiên cứu gần đây đã áp dụng đồ thị tri thức và đồ thị ngữ cảnh cho các hệ thống tìm kiếm theo tiếp cận ngữ nghĩa để giảm “semantic gap” giữa các đặc trưng cấp thấp và ngữ nghĩa cấp cao của hình ảnh [45-47]. Đặc trưng hình ảnh Hiệu suất của hệ thống tìm kiếm ảnh dựa trên nội dung phụ thuộc vào các phương pháp trích xuất đặc trưng cấp thấp và đo độ tương tự giữa các véc-tơ đặc 12 trưng của hình ảnh [48]. Trong các hệ thống CBIR, các vec-tơ đặc trưng được thực hiện trích xuất từ các hình ảnh nhằm giảm chi phí đối sánh và thời gian tìm kiếm ảnh.
Mặc dù đã có nhiều kỹ thuật được đề xuất, nhưng đây vẫn là một trong những vấn đề thách thức nhất trong nghiên cứu phương pháp CBIR. Các kỹ thuật học sâu đã mang lại nhiều đóng góp đáng kể trong lĩnh vực xử lý ảnh. Tuy nhiên, các phương pháp trích xuất đặc trưng ảnh truyền thống vẫn được sử dụng rộng rãi vì một số lý do sau: (1) Hiệu quả tính toán: Các phương pháp trích xuất đặc trưng truyền thống thường có tốc độ tính toán nhanh hơn so với các mô hình học sâu phức tạp hơn.