Chương 1 giới thiệu cơ sở lý thuyết cho bài toán tìm kiếm ảnh; các đối tượng cơ sở (đặc trưng hình ảnh, phương pháp trích xuất đặc trưng, đặc trưng ngữ nghĩa, mối quan hệ ngữ nghĩa, một số khái niệm cơ bản cho bài toán tìm kiếm ảnh); tổng quan cấu trúc KD-Tree cho tìm kiếm ảnh; môi trường thực nghiệm; mô tả dữ liệu thực nghiệm và các giá trị đánh giá hiệu suất tìm kiếm ảnh, phân lớp ảnh. Chương 2 trình bày một số cải tiến cấu trúc KD-Tree như KD-Tree đa nhánh cân bằng, iKD_Tree, KD-Tree lồng nhau. Một số thuật toán thao tác trên cấu trúc KD-Tree gồm: thuật toán xây dựng cấu trúc KD-Tree, huấn luyện trọng số và tìm kiếm trên KD-Tree. Đề xuất mô hình và thực nghiệm tìm kiếm ảnh trên các cấu trúc KD-Tree, iKD_Tree và KD-Tree lồng nhau.
Cuối chương, đánh giá độ chính xác và thời gian tìm kiếm trên từng cải tiến cấu trúc KD-Tree với các bộ ảnh COREL, Wang, Caltech-101, Caltech-256; đồng thời so sánh với một số phương pháp khác thực nghiệm trên cùng bộ ảnh. Chương 3 phát triển cấu trúc KD-Tree theo tiếp cận ngữ nghĩa, cấu trúc Re KD- Tree được sử dụng để phân lớp mối quan hệ giữa các đối tượng trên mỗi hình ảnh; phát triển Ontology trên các bộ dữ liệu ảnh đa đối tượng. Cấu trúc RF KD-Tree được xây dựng, huấn luyện và tổng hợp thành KD-Tree cho tìm kiếm ảnh. Cuối cùng, các mô hình tìm kiếm ảnh dựa trên sự kết hợp Re KD-Tree, RF KD-Tree và Ontology được đề xuất, thực nghiệm trên các bộ ảnh đa MS-COCO, Flickr.
Đóng góp của luận án Đóng góp chính của luận án là phát triển cấu trúc KD-Tree bằng phương pháp tích hợp mạng Nơ-ron vào mỗi nút trên cây để cải tiến KD-Tree nhằm nâng cao độ chính xác tìm kiếm ảnh. Các đóng góp cụ thể bao gồm: − Xây dựng cấu trúc KD-Tree đa nhánh cân bằng và các cấu trúc cải tiến iKD_Tree; cấu trúc KD-Tree lồng nhau, đồng thời đề xuất mô hình tìm kiếm ảnh dựa trên các cấu trúc này. − Phát triển cấu trúc KD-Tree theo tiếp cận ngữ nghĩa; xây dựng rừng ngẫu nhiên; phát triển Ontology cho các tập ảnh thực nghiệm; đề xuất mô hình tìm kiếm ảnh theo tiếp cận ngữ nghĩa dựa trên sự kết hợp Ontology, Re KD-Tree và RF KD-Tree. TỔNG QUAN VỀ TÌM KIẾM ẢNH VÀ CẤU TRÚC KD-TREE Chương này trình bày một số nội dung cơ bản về bài toán tìm kiếm ảnh, cấu trúc dữ liệu đa chiều KD-Tree áp dụng cho bài toán tìm kiếm ảnh; mô hình hệ tìm kiếm ảnh dựa trên cấu trúc KD-Tree; môi trường thực nghiệm, mô tả tập dữ liệu thực nghiệm và các giá trị đánh giá độ chính xác tìm kiếm ảnh, độ phủ và độ dung hòa.
Giới thiệu Bài toán tìm kiếm ảnh trong luận án được xác định là tìm ra tập các hình ảnh có độ tương tự gần nhất với ảnh đầu vào dựa trên độ đo tương tự giữa hai hình ảnh [5], [30]. Một số thuật ngữ tương tự cho khái niệm này xuất phát từ thuật ngữ tiếng Anh “retrieval” như “truy vấn”, “tra cứu”, “truy hồi”. Tuy nhiên, để phù hợp với thuật ngữ đã sử dụng trong các công trình liên quan và không ảnh hưởng đến nội dung, thuật ngữ “tìm kiếm ảnh” được sử dụng trong luận án này. Một kỹ thuật quan trọng được sử dụng cho các bài toán tìm kiếm ảnh là học máy.
Có nhiều kỹ thuật học máy khác nhau được sử dụng để truy xuất hình ảnh với việc sử dụng các đặc trưng hình ảnh như màu sắc, kết cấu, hình dạng, đặc trưng không gian, v. Chất lượng đặc trưng của hình ảnh được trích xuất là một trong những yếu tố ảnh hưởng trực tiếp đến quá trình nhận diện các đối tượng trên ảnh và kết quả bài toán tìm kiếm ảnh theo nội dung CBIR [10]. Ngoài ra, các kỹ thuật sắp xếp tổ chức lưu trữ dữ liệu hình ảnh cũng đóng vai trò quan trọng trong việc nâng cao hiệu quả tìm kiếm ảnh [6], [16]. Trong những năm gần đây, ảnh số đã gia tăng với tốc độ khá nhanh thông qua việc chia sẻ hình ảnh bằng các phương tiện thông tin đại chúng, mạng xã hội, v.
đã tạo nên một kho dữ liệu khổng lồ. Vì vậy, việc tìm kiếm một tập hình ảnh liên quan với ảnh đầu vào là thật sự khó khăn nếu dữ liệu chưa được tổ chức theo một quy tắc hoặc chưa có phương tiện, công cụ đáp ứng nhu cầu tìm kiếm của người dùng. Vì vậy, một yêu cầu đặt ra là cần kết hợp giữa trích xuất đặc trưng hình ảnh và một cấu trúc lưu trữ là những yếu tố quan tâm hàng đầu cho bài toán tìm kiếm ảnh theo nội dung. 9 Nội dung đặc trưng của hình ảnh bao gồm màu sắc, kết cấu, vị trí tương đối, chu vi, diện tích, hình dạng, v.
đôi khi cũng chưa mô tả hết ý nghĩa cần thể hiện trên mỗi hình ảnh. Một phương pháp tìm kiếm ảnh theo tiếp cận ngữ nghĩa SBIR ra đời trong thập kỷ vừa qua với những thành tích đột phá nhằm cải tiến những hạn chế còn tồn tại trong phương pháp tìm kiếm ảnh theo nội dung. Tìm kiếm ảnh theo tiếp cận ngữ nghĩa đáp ứng được nhu cầu người dùng thông qua việc mô tả nội dung hình ảnh kết hợp với mô tả mối quan hệ giữa các đối tượng trên ảnh [32]. Đặc trưng ngữ nghĩa của hình ảnh được mô tả bằng văn bản để nêu lên đặc điểm nhận diện đối tượng, mô tả vị trí tương đối giữa các đối tượng hoặc mô tả mối quan hệ giữa các đối tượng trên mỗi hình ảnh.
Vì vậy, phương pháp tìm kiếm ảnh theo tiếp cận ngữ nghĩa là sự kết hợp giữa đặc trưng hình ảnh và đặc trưng ngữ nghĩa đã góp phần nâng cao độ chính xác cho quá trình tìm kiếm được thực hiện trong luận án này. Hiện nay, có nhiều phương pháp thực hiện bài toán tìm kiếm ảnh theo tiếp cận ngữ nghĩa như: (1) sử dụng các kỹ thuật học máy để trích xuất đặc trưng hình ảnh, liên kết các đặc trưng hình ảnh với các từ vựng trực quan để mô tả ngữ nghĩa các đối tượng hình ảnh [33]; (2) sử dụng ontology để xác định ngữ nghĩa cấp cao của hình ảnh, từ đó trích xuất tập ảnh tương tự với mô tả ảnh đầu vào [34]; (3) sử dụng phương pháp phản hồi liên quan để xác định mức độ quan trọng từng câu truy vấn [35] và một số phương pháp khác. Mỗi phương pháp tiếp cận có những ưu điểm và nhược điểm riêng, dựa trên mục tiêu hướng đến trong mỗi bài toán để có giải pháp kết hợp và lựa chọn phương pháp phù hợp. Phương pháp sử dụng các kỹ thuật học máy đôi khi tìm được những hình ảnh tương tự theo đặc trưng hình ảnh nhưng lại khác xa về mặt ngữ nghĩa.
Phương pháp phản hồi liên quan còn phụ thuộc vào cảm tính người dùng đầu cuối, đôi khi kết quả tìm kiếm chưa thực sự khách quan. Trong khi đó, hướng tiếp cận tìm kiếm ảnh theo ngữ nghĩa dựa vào ontology giúp tìm được những hình ảnh khá gần với đặc trưng ngữ nghĩa của người dùng mô tả. Trên cơ sở phân tích này, nội dung luận án thực hiện bài toán tìm kiếm ảnh theo đặc trưng hình ảnh kết hợp với đặc trưng ngữ nghĩa mô tả đối tượng và mối quan hệ giữa các đối tượng trên ảnh được thực hiện dựa trên cấu trúc KD-Tree nhằm nâng cao độ chính xác tìm kiếm ảnh tương tự, cải thiện thời gian tìm kiếm trong các tập dữ liệu ảnh lớn. Tìm kiếm ảnh theo nội dung Phương pháp tìm kiếm ảnh theo nội dung được thực hiện bằng cách trích xuất nội dung hình ảnh thành véc-tơ đặc trưng đa chiều, tổ chức lưu trữ nhằm giảm chi phí về bộ nhớ và thực hiện tìm kiếm tập ảnh có độ tương tự gần nhất dựa trên cơ sở dữ liệu ảnh đã có.
Hệ thống CBIR khắc phục được những hạn chế của phương pháp tìm kiếm ảnh theo từ khóa TBIR [36]. Tuy nhiên, một số hạn chế của tìm kiếm ảnh theo nội dung là chỉ sử dụng các đặc trưng hình ảnh, chưa sử dụng các đặc trưng ngữ nghĩa cũng như mô tả ngữ cảnh của ảnh đầu vào. Vì vậy, kết quả đánh giá thực nghiệm của các mô hình tìm kiếm ảnh theo nội dung còn phụ thuộc vào kỹ thuật trích xuất đặc trưng, chất lượng hình ảnh và một số yếu tố khác. Một số công trình đã thực hiện phương pháp tìm kiếm ảnh theo nội dung chịu ảnh hưởng khá lớn vào kỹ thuật trích xuất đặc trưng hình ảnh như: Mutasem K.
Alsmadi (2020) [31] đã thực hiện bài toán tìm kiếm ảnh theo nội dung dựa trên đặc trưng màu sắc, hình dạng, kết cấu và kết hợp các nhóm đặc trưng với hiệu suất khá cao trên bộ ảnh COREL. Nair và cộng sự [37] thực hiện tìm kiếm ảnh theo nội dung dựa trên các đặc trưng màu sắc, hình dạng, kết cấu, đặc trưng không gian vị trí, các đặc trưng cục bộ và sự kết hợp các nhóm đặc trưng này với nhau để thực nghiệm trên bộ ảnh COREL. Trong công trình này, tác giả cũng đề cập đến mối quan hệ giữa đặc trưng hình ảnh và đặc trưng ngữ nghĩa và trình bày phương pháp liên kết giữa đặc trưng này với nhau. Điều này cho thấy, đặc trưng hình ảnh là yếu tố ảnh hưởng lớn đến kết quả tìm kiếm trên các hệ tìm kiếm ảnh theo nội dung.
Đặc trưng hình ảnh và trích xuất véc-tơ đặc trưng Đặc trưng của hình ảnh là đặc điểm sử dụng để nhận diện sự xuất hiện các đối tượng trực quan trên ảnh, bao gồm hình dạng, màu sắc, kết cấu bề mặt, vị trí tương đối, chu vi và diện tích đối tượng, v. đặc trưng hình ảnh được mô tả như sau: Phân đoạn ảnh (Image segmentation): Phân đoạn ảnh là công việc đầu tiên trong trích xuất đặc trưng. Việc phân đoạn ảnh màu được thực hiện bằng cách phân chia hình ảnh thành các vùng riêng biệt dựa trên từng đối tượng được nhận diện để từ đó trích xuất đặc trưng trên từng vùng. Phương pháp phân vùng ảnh dựa trên độ tương 11 phản giữa ảnh nền và ảnh đối tượng, việc phân biệt ảnh nền và ảnh đối tượng sẽ bị nhập nhằng trong một số hình ảnh khó phân biệt.
Để làm giảm độ nhiễu giữa các vùng quá sáng hoặc quá tối, một số điểm ảnh nằm trong vùng lân cận của giá trị lớn nhất và giá trị nhỏ nhất thuộc độ tương phản thì được quy về giá trị tương đương [38]. Đặc trưng màu sắc (Color feature): Màu sắc là một trong những đặc điểm quan trọng nhất trong trích xuất đặc trưng hình ảnh mà mắt người có thể phân biệt giữa các hình ảnh trên cơ sở màu sắc.