đặt vấn đề cho bài toán. Phần thứ hai, trình bày phương pháp đề xuất với hai nội dung: (1) Học các biểu diễn ảnh với mạng nơ ron tích chập sâu autoencoder và (2) Tra cứu ảnh với RF dựa vào máy véc tơ hỗ trợ. Phần thứ ba, đánh giá hiệu năng của phương pháp đề xuất thông qua thực nghiệm so sánh phương pháp đề xuất với 3 phương pháp khác ở ba lần lặp phản hồi đầu tiên. Kết luận và kiến nghị, luận án tổng hợp kết quả đạt được và đưa ra một số kết luận, đồng thời trình bày một số định hướng nghiên cứu của luận án trong tương lai.
Danh mục công trình của tác giả, luận án liệt kê 04 công trình là các bài báo của tác giả được đăng trên các tạp chí, kỷ yếu hội thảo trong nước và quốc tế. Cuối cùng, là danh mục các tài liệu tham khảo đươc sử dụng trong luận án. TỔNG QUAN VỀ TRA CỨU ẢNH DỰA VÀO NỘI DUNG VỚI PHẢN HỒI LIÊN QUAN Chương này trình bày các kiến thức lý thuyết cơ bản liên quan đến CBIR với phản hồi liên quan (RF), được sử dụng làm cơ sở lý luận trong luận án. Các kiến thức lý thuyết cơ bản về CBIR được mô tả bao gồm các đặc trưng mức thấp và cách thức lựa chọn, trích rút các đặc trưng hữu ích; cơ chế RF quan và vấn đề giảm khoảng trống ngữ nghĩa thông qua tiếp cận kỹ thuật học máy, học sâu; các độ đo tương tự cho tra cứu ảnh.
Ngoài ra môi trường, tập dữ liệu ảnh thực nghiệm và phương pháp đánh giá hiệu năng cũng được trình bày trong chương này. Bên cạnh đó, một số công trình nghiên cứu liên quan về CBIR và các giai đoạn trong CBIR theo cách tiếp cận sử dụng học mày vào quá trình tra cứu với RF ở trong nước và trên thế giới được khảo sát và phân tích. Dựa trên những ưu điểm, hạn chế đối với các phương pháp được đề xuất trong các công trình nghiên cứu này để định hướng một số vấn đề cần giải quyết, làm tiền đề thực hiện đối với các chương tiếp theo của luận án. Tra cứu ảnh dựa vào nội dung Tra cứu ảnh dựa vào nội dung (CBIR) là một lĩnh vực nghiên cứu của thị giác máy tính [12].
Mục tiêu của CBIR là tìm kiếm các ảnh trong một CSDL ảnh lớn dựa trên các đặc trưng trực quan của chúng, bao gồm hình dạng, kết cấu, màu và các thông tin khác có thể trích rút được từ bản thân ảnh. Khung làm việc của CBIR được mô tả như trong Hình 1. Sơ đồ hệ thống CBIR 9 Bước đầu tiên trong sơ đồ hệ thống CBIR là đưa ảnh truy vấn vào hệ thống bởi người dùng. Bước tiếp theo là trích rút đặc trưng, đây là bước quan trọng nhất, mà một khái niệm trực quan được chuyển sang dạng số.
Các đặc trưng được trích rút trong tra cứu ảnh có thể là các đặc trưng mức thấp, chẳng hạn như màu, kết cấu, hình dạng và thông tin không gian hoặc các mô tả cục bộ của ảnh. Quá trình trích rút đặc trưng ảnh truy vấn cũng được thực hiện tương tự như trong trường hợp ảnh CSDL. Bước tiếp theo là tính độ tương tự giữa các đặc trưng được trích rút từ ảnh truy vấn và tất cả các ảnh trong CSDL để phục vụ phân hạng các ảnh. Bước cuối cùng là phân hạng các ảnh theo thứ tự về độ tương tự với ảnh truy vấn để được tập kết quả.
RF là một bước mà được sử dụng để tăng cường các kết quả thông qua tương tác của người dùng bằng việc quyết định các ảnh được trả về là liên quan hay không liên quan. Nhiều kỹ thuật RF đã được đề xuất để áp dụng RF vào việc tăng cường hiệu năng của hệ thống CBIR [13]. Các đặc trưng mức thấp Trong tra cứu ảnh, vấn đề chính là cách đo hiệu quả độ tương tự giữa các ảnh. Bởi vì các cảnh hoặc các đối tượng trực quan có thể có nhiều thay đổi hoặc biến đổi, nên việc so sánh trực tiếp các ảnh ở mức pixel (điểm ảnh) là không khả thi.
Thông thường, các đặc trưng trực quan được trích rút từ các ảnh và sau đó được biến đổi thành một véc tơ có cỡ cố định cho biểu diễn ảnh. Các đặc trưng có thể được chia thành các đặc trưng toàn cục và các đặc trưng cục bộ. Các đặc trưng toàn cục, bao gồm màu sắc, hình dạng, kết cấu, và thông tin không gian, mà mô tả toàn bộ ảnh. Trong khi đó, các đặc trưng cục bộ thường thu được thông qua việc chia các ảnh thành các đoạn hoặc thông qua việc tính một số điểm chính nào đó như các góc, các đóm màu và các cạnh.
Các đặc trưng cục bộ là bất biến với tỉ lệ, xoay và dịch chuyển [14]. Hai loại đặc trưng này sẽ được mô tả ở phần dưới. Các đặc trưng toàn cục Các đặc trưng như màu, kết cấu, hình dạng và thông tin không gian được sử dụng rộng rãi trong các nhiệm vụ tra cứu ảnh. Đặc trưng màu Trong tra cứu ảnh, một trong những đặc trưng quan trọng nhất là màu sắc.
Các đặc trưng màu được sử dụng để phân tích và nhận diện các đối tượng trong ảnh, và 10 được tính toán dựa trên các không gian màu khác nhau. Không gian màu được sử dụng phổ biến trong CBIR bao gồm RGB, HSV (LSV), YCbCr và LAB. Các không gian màu này được mô tả sử dụng các mô men màu [15], tương quan màu, lược đồ màu, bộ mô tả màu trội, ma trận đồng xuất hiện màu [16] và nhiều bộ mô tả màu khác. Các đặc trưng màu được coi là đặc trưng mạnh bởi vì chúng bất biến với tỉ lệ, xoay và dịch chuyển [19].
Tuy nhiên, đặc trưng màu bị hạn chế về thông tin không gian nên nó cần có sự hỗ trợ của các bộ mô tả khác [20]. Đặc trưng kết cấu Kết cấu là các mẫu mà không thể đứng riêng lẻ như màu hoặc cường độ duy nhất. Kết cấu được coi là đặc trưng quan trọng trong thị giác máy tinh bởi vì các đặc trưng này tồn tại trong nhiều ảnh thế giới thực do đó nó thường được sử dụng trong nhận dạng mẫu và tra cứu ảnh. Hạn chế chính của tra cứu ảnh dựa vào kết cấu là độ phức tạp tinh toan và nhạy cảm với nhiễu [20].
Phân tích kết cấu đã được sử dụng cho nhiều thuật toán như lọc Gabor, trường ngẫu nhiên Markov, biến đổi wavelet, phân rã kim tự tháp, ma trận đồng xuất hiện mức xám, và bộ mô tả lược đồ cạnh [23]. Đặc trưng hình Hình là một trong những đặc trưng mức thấp dùng cho nhận dạng đối tượng. Đặc trưng hình được trích rút trên cơ sở của một biên hoặc một vùng [25]. Trong cách tiếp cận dựa vào vùng, trích rút được thực hiện cho toàn bộ vùng trong khi cách tiếp cận trích rút dựa vào biên được thực hiện theo biên của vùng.
Nhiều phương pháp như bộ mô tả Fourier và các bất biến mô men [27] được sử dụng cho quá trình trích rút các đặc trưng hình. Các bộ mô tả hình là bất biến với tỉ lệ và dịch chuyển. Do đó, chúng thường được kết hợp với các bộ mô tả khác để tăng độ chinh xác. Thông tin không gian Đặc trưng không gian đề cập đến vị trí của đối tượng trong một ảnh hai chiều.
Đối sánh tháp không gian là một trong những phương pháp tốt nhất để thu các thuộc tính không gian của các ảnh [28]. Ở giai đoạn đầu của tra cứu ảnh, các hệ thống thường sử dụng một đặc trưng để tra cứu các ảnh. Tuy nhiên, kết quả thường cho độ chính xác thấp bởi vì các ảnh 11 thường bao gồm một số đặc trưng [29]. Để thu được độ chính xác cao hơn, các phương pháp tra cứu ảnh sau đó thường sử dụng việc kết hợp nhiều đặc trưng như trong [19].
Các đặc trưng cục bộ Các đặc trưng toàn cục đã được sử dụng trong nhiều phương pháp CBIR và thu được độ chính xác tốt, tuy nhiên, các đặc trưng cục bộ đang phổ biến bởi vì chúng có ưu điểm hơn hẳn các đặc trưng toàn cục về tính bất biến với tỉ lệ và xoay. Bên cạnh đó, các đặc trưng cục bộ cũng cung cấp các đối sánh đáng tin cậy trong các điều kiện ảnh khác nhau [14]. Biến đổi đặc trưng bất biến tỉ lệ Biến đổi đặc trưng bất biến tỉ lệ (SIFT - Scale-Invariant Feature Transform) do David Lowe [14] đề xuất. Nó là một trong những bộ đặc trưng cục bộ được sử dụng rộng rãi nhất, mà chứa một bộ mô tả và một bộ phát hiện cho các điểm chính (key point).
SIFT là mạnh đối với xoay và tỉ lệ ảnh, nhưng nó thực hiện kém khi đối sánh với các chiều cao và cần một véc tơ cỡ cố định cho mã hóa để thực hiện kiểm tra độ tương tự ảnh. Trong tra cứu ảnh, SIFT có hạn hạn chế đó là nó sử dụng nhiều bộ nhớ và có chi phí tính toán cao [30]. Các đặc trưng mạnh và nhanh Các đặc trưng mạnh và nhanh (SURF - Speeded-Up Robust Feature) là một bộ mô tả cục bộ mạnh [31], nó khắc phục hạn chế về chiều cao của SIFT. SURF thì nhanh hơn và mạnh hơn SIFT bởi vì nó đòi hỏi ít thời gian cho tính toán đặc trưng và đối sánh bằng việc sử dụng một lược đồ đánh chỉ số dựa vào dấu hiệu Laplacian.
Tuy nhiên, SURF hoạt động kém trong trường hợp xoay. Mẫu nhị phân cục bộ Mẫu nhị phân cục bộ (LBP - Local Binary Pattern) so sánh điểm ảnh trung tâm và các lân cận của nó, ở đây điểm ảnh trung tâm được xem như là ngưỡng. LBP là mạnh bởi vì nó bất biến đối với các biến đổi về đa cấp xám. Hơn nữa, nó đơn giản về mặt tính toán.
Hạn chế chính của LBP là nó làm mất thông tin không gian toàn cục. Lựa chọn đặc trưng Lựa chọn đặc trưng là một quá trình quan trọng trong phân tích dữ liệu, nó giúp chọn ra tập các đặc trưng có liên quan nhất đến đối tượng dữ liệu và biểu diễn chúng một cách hiệu quả nhất. Tập các đặc trưng này được chọn từ các đặc trưng dữ liệu ban đầu (gốc) và được xếp theo thứ tự giảm dần của độ quan trọng. Một số kỹ 12 thuật lựa chọn đặc trưng khác nhau đã được đề xuất trong lĩnh vực nhận dạng mẫu [32].
Trong những năm gần đây, đã có một số tiếp cận đề xuất như: trọng số Fisher (Fisher score) [33], nổi trội (Relief), nổi trội F (Relief-F) [35], thông tin tương hỗ (mutual information) [36], điều kiện độc lập của Hilbert Schmidt (HSIC-Hilbert Schmidt Independence Criterion) [37], điểm số Laplace (Laplacian score) [38].