CHƯƠNG 1. TỔNG QUAN VỀ TÌM KIẾM ẢNH, CẤU TRÚC R-TREE VÀ ĐỒ THỊ TRI THỨC Chương này trình bày một số nội dung cơ bản về bài toán tìm kiếm ảnh, cấu trúc dữ liệu đa chiều R-Tree áp dụng cho bài toán tìm kiếm ảnh; tổng quan về đồ thị tri thức; đồ thị ngữ cảnh cho bài toán tìm kiếm ảnh theo ngữ nghĩa. Từ đó, xây dựng mô hình tìm kiếm ảnh dựa trên cấu trúc R-Tree kết hợp đồ thị tri thức; môi trường thực nghiệm, mô tả tập dữ liệu thực nghiệm và các giá trị đánh giá độ chính xác tìm kiếm ảnh, độ phủ và độ dung hòa. Giới thiệu Hệ thống tìm kiếm ảnh đã được áp dụng trong nhiều lĩnh vực khác nhau như hệ thống nhận dạng khuôn mặt trong điều tra hình sự [1], hệ thống nhận diện hàng hóa qua hình ảnh [2], hệ thống tìm kiếm ảnh y tế trong chẩn đoán y khoa [34] và nhiều hệ thống khác.
Để tìm kiếm trong các hệ thống này, các phương pháp tiếp cận tìm kiếm các hình ảnh có chứa các thông tin trực quan khác nhau (màu sắc, hình dạng, kết cấu, vị trí, không gian) và phát hiện các đối tượng trong hình ảnh đó một cách chính xác và nhanh chóng là cần thiết. Vì vậy, tìm kiếm ảnh IR (Image Retrieval) và phát hiện đối tượng OD (Object Detection) đã được nghiên cứu trong nhiều thập kỷ qua, trong đó bài toán tìm kiếm ảnh tương tự và phân lớp ngữ nghĩa hình ảnh được phát triển về lý thuyết, triển khai ứng dụng và cho nhiều kết quả khả quan [35, 36]. Mô tả nội dung thị giác của hình ảnh và tạo cấu trúc lưu trữ cho nội dung thị giác là hai vấn đề cần thiết khi thực hiện bài toán tìm kiếm ảnh theo nội dung [17, 37]. Nhiều phương pháp để lưu trữ dữ liệu đa chiều bao gồm KD-Tree, M-Tree, R- Tree, graph, v.
[17, 19, 38, 39] được ứng dụng cho hình ảnh và thực hiện quá trình tìm kiếm ảnh tương tự. Trong đó, R-Tree là một trong những cấu trúc được sử dụng phổ biến để lưu trữ dựa trên phân vùng dữ liệu [19]. Dữ liệu đa phương tiện ngày càng gia tăng nhanh theo thời gian chính là thách thức cho việc lưu trữ và tìm kiếm hiệu quả. Do đó, việc kết hợp các phương pháp khác nhau cho bài toán tìm kiếm ảnh cần được thực hiện nhằm nâng cao hiệu suất, giảm thời gian tìm kiếm cũng như tối ưu hóa không gian lưu trữ là cần thiết [40].
10 luan an tien si 1. Tìm kiếm ảnh theo nội dung Hiện nay, các hệ thống tìm kiếm ảnh theo từ khóa chú thích bên ngoài hình ảnh không khả thi và bị hạn chế do việc chú thích thủ công và dữ liệu không có sẵn [41]. Trong khi đó, hệ thống CBIR sử dụng các kỹ thuật trích xuất đặc trưng nội dung hình ảnh như màu sắc, kết cấu, hình dạng, vị trí và các đặc trưng khác nhằm mô tả nội dung thị giác của hình ảnh dưới dạng véc-tơ đặc trưng đa chiều [42]. Tìm kiếm ảnh theo nội dung là phương pháp thực hiện tìm kiếm tập các hình ảnh tương tự dựa trên việc trích xuất tự động các đặc trưng cấp thấp của hình ảnh như màu sắc, kết cấu và hình dạng, vị trí, không gian và một số đặc trưng khác.
Hệ thống lưu trữ các đặc trưng cấp thấp của bộ dữ liệu hình ảnh dưới dạng các véc-tơ đặc trưng đa chiều và đối sánh các véc-tơ đặc trưng dựa trên một độ đo tương tự [43]. Vì vậy, hệ thống tìm kiếm ảnh theo nội dung CBIR là cần thiết đối với dữ liệu ảnh số đang tăng trưởng rất lớn như hiện nay [44]. Một mô hình tìm kiếm ảnh theo nội dung được trình bày trong Hình 1. Mô hình tìm kiếm ảnh tương tự theo nội dung Để giải quyết bài toán tìm ảnh theo nội dung, hai vấn đề quan trọng cần được thực hiện bao gồm (1) tạo véc-tơ đặc trưng đa chiều nhằm mô tả đặc trưng nội dung 11 luan an tien si cấp thấp của hình ảnh, (2) xây dựng mô hình tìm kiếm nhằm thực hiện tìm kiếm ảnh tương tự dựa trên dữ liệu đặc trưng cấp cao của hình ảnh.
Trong [44], Eakins đã đề cập đến ba cấp độ tìm kiếm trong hệ CBIR: Cấp độ 1: Tìm kiếm theo các đặc trưng ban đầu như màu sắc, kết cấu, hình dạng hoặc vị trí không gian của các phần tử hình ảnh. Cấp độ 2: Tìm kiếm các đối tượng được xác định bởi các đặc trưng nguyên thủy, với một số mức độ suy luận logic. Ví dụ: tìm hình ảnh chứa một chiếc xe hơi. Cấp độ 3: Tìm kiếm theo các thuộc tính trừu tượng, liên quan đến một lượng lớn suy luận cấp cao về ngữ nghĩa của các đối tượng được mô tả.
Điều này bao gồm việc tìm kiếm tên của các sự kiện, ngữ nghĩa của các bức ảnh, v. Ví dụ: tìm một bức ảnh có cô gái đội nón màu xanh và đang cười. Các hệ thống tìm kiếm theo nội dung dựa trên các đặc trưng cấp thấp đã đạt được nhiều kết quả khả quan và được áp dụng vào thực tế. Tuy nhiên, hạn chế của các hệ thống này là tồn tại một độ sai lệch giữa các đặc trưng cấp thấp và ngữ nghĩa cấp cao của hình ảnh (semantic gap) [11].
Giải quyết “semantic gap” là một bài toán đầy thách thức của các hệ thống tìm kiếm ảnh dựa trên nội dung [12]. Do đó, tìm kiếm ảnh theo tiếp cận ngữ nghĩa được các nhà khoa học đặc biệt quan tâm và đã sử dụng nhiều phương pháp khác nhau để giải quyết vấn đề độ sai lệch ngữ nghĩa như: dựa vào ontology, dựa vào các công cụ học máy, dựa vào phản hồi liên quan RF (Relative Feedback), mẫu ngữ nghĩa và nhiều phương pháp khác [44]. Đặc biệt, trong những năm gần đây, kể từ khi Google đưa ra định nghĩa đồ thị tri thức vào năm 2012, đồ thị tri thức đã trở thành công nghệ hiện đại để mô tả ngữ nghĩa của các đối tượng trong thế giới thực. Các công trình nghiên cứu gần đây đã áp dụng đồ thị tri thức và đồ thị ngữ cảnh cho các hệ thống tìm kiếm theo tiếp cận ngữ nghĩa để giảm “semantic gap” giữa các đặc trưng cấp thấp và ngữ nghĩa cấp cao của hình ảnh [45-47].
Đặc trưng hình ảnh Hiệu suất của hệ thống tìm kiếm ảnh dựa trên nội dung phụ thuộc vào các phương pháp trích xuất đặc trưng cấp thấp và đo độ tương tự giữa các véc-tơ đặc 12 luan an tien si trưng của hình ảnh [48]. Trong các hệ thống CBIR, các vec-tơ đặc trưng được thực hiện trích xuất từ các hình ảnh nhằm giảm chi phí đối sánh và thời gian tìm kiếm ảnh. Mặc dù đã có nhiều kỹ thuật được đề xuất, nhưng đây vẫn là một trong những vấn đề thách thức nhất trong nghiên cứu phương pháp CBIR. Các kỹ thuật học sâu đã mang lại nhiều đóng góp đáng kể trong lĩnh vực xử lý ảnh.
Tuy nhiên, các phương pháp trích xuất đặc trưng ảnh truyền thống vẫn được sử dụng rộng rãi vì một số lý do sau: (1) Hiệu quả tính toán: Các phương pháp trích xuất đặc trưng truyền thống thường có tốc độ tính toán nhanh hơn so với các mô hình học sâu phức tạp hơn. (2) Số lượng dữ liệu có giới hạn: Trong nhiều trường hợp, số lượng dữ liệu không đủ lớn để huấn luyện các mô hình học sâu. Các phương pháp truyền thống có thể được huấn luyện trên các tập dữ liệu nhỏ hơn và vẫn đưa ra kết quả tốt. (3) Thực tiễn ứng dụng: Các phương pháp trích xuất đặc trưng truyền thống thường dễ hiểu và dễ áp dụng trong các ứng dụng thực tiễn.
(4) Kết hợp với các mô hình học sâu: Các phương pháp truyền thống vẫn được sử dụng để trích xuất đặc trưng từ ảnh và sau đó được đưa vào các mô hình học sâu để tăng cường hiệu suất. Việc sử dụng các phương pháp truyền thống này cũng giúp tăng độ chính xác và tốc độ huấn luyện của các mô hình học sâu. Do đó, dù cho các kỹ thuật học sâu đang phát triển mạnh mẽ, các phương pháp trích xuất đặc trưng ảnh truyền thống vẫn đóng một vai trò quan trọng trong lĩnh vực xử lý ảnh. Đặc trưng màu sắc là một trong những đặc trưng cơ bản của hình ảnh được sử dụng trong các hệ thống tìm kiếm ảnh theo nội dung.
Các kỹ thuật khác nhau của kỹ thuật trích xuất đặc trưng màu như: lược đồ màu (Color Histogram), véc-tơ liên kết màu CCV (Color Coherence Vector), bộ mô tả màu trội DCD (Dominant Color Descriptor), ma trận đồng xuất hiện màu CCM (Color Co-occurrence Matrix). Một số không gian màu đã được sử dụng như RGB, CIE-lab, HSV [42, 49, 50]. 13 luan an tien si Đặc trưng kết cấu bề mặt được trích xuất bằng cách tính toán thống kê điểm ảnh hoặc tìm cấu trúc điểm ảnh cục bộ trong miền không gian [43, 51, 52]. Các kỹ thuật sử dụng trích xuất đặc trưng kết cấu bao gồm: kỹ thuật đặc trưng kết cấu Tamura TTF (Tamura Texture Feature), kỹ thuật mô hình kim tự tháp SP (Steerable Pyramid), phép biến đổi Wavelet WT (Wavelet Transform), phép biến đổi Gabor Wavelet GWT (Gabor Wavelet Transform), v.
Đặc trưng hình dạng là một đặc trưng chứa tất cả các thông tin hình học của một đối tượng trong hình ảnh. Hình dạng thường không thay đổi ngay cả khi hướng hoặc vị trí của đối tượng bị thay đổi. Đặc trưng này giải quyết việc trích xuất các đối tượng có ý nghĩa từ hình ảnh bằng cách sử dụng kỹ thuật phân đoạn ảnh [42, 53]. Một số kỹ thuật trích xuất đặc trưng hình dạng bao gồm: lược đồ định hướng cạnh HED (Histogram of Edge Directions), trích xuất đặc trưng Hu-Moments (Hu-Monents Feature Extraction), trích xuất đặc trưng Zernike Moments, máy dò cạnh Sobel SED (Sobel Edge Detector) và các phương pháp khác.
Để nâng cao hiệu quả của các hệ thống tìm kiếm, nhiều công trình nghiên cứu sử dụng các phương pháp kết hợp các đặc trưng cấp thấp cho bài toán tìm kiếm ảnh: Zenggang, X. và cộng sự (2021) [54] đề xuất một thuật toán tìm kiếm ảnh dựa trên sự kết hợp của các đặc điểm màu sắc và hình dạng. Phương pháp lược đồ tích lũy (Cumulative Histogram) được sử dụng để tính toán các đặc trưng màu sắc của hình ảnh và 7 moments bất biến được tính như các đặc điểm hình dạng. Các đặc điểm về màu sắc và hình dạng được kết hợp với một số trọng số nhất định và khoảng cách Euclid được sử dụng làm thước đo độ tương tự.
Ashraf và cộng sự. (2020) [55] đã phát triển hệ thống CBIR trên cơ sở kết hợp các đặc trưng cấp thấp gồm kết cấu bề mặt và màu sắc.