MỞ ĐẦU Luận văn này tập trung tiếp cận xây dựng một mô hình tìm kiếm ảnh dựa trên quá trình phân lớp kết hợp với nhóm các túi từ thị giác. Trong đó, việc phân lớp các hình ảnh được xây dựng dựa trên cây đa nhánh cân bằng KD-Tree với mỗi một nút trên cây được điều hướng cho mỗi hình ảnh để gom cụm về các túi từ thị giác tại nút lá của cây. Cấu trúc KD_Tree được hình thành dựa trên quá trình huấn luyện các trọng số tại mỗi nút trong của cây nhằm thực hiện phân lớp mỗi hình ảnh trên mỗi tầng của cây. Sau quá trình huấn luyện, một mô hình tìm kiếm được xây dựng đó là cây đa nhánh cân bằng KD-Tree ứng với các trọng số tại mỗi nút và nút lá của cây là một nhóm các hình ảnh cần tìm kiếm tương ứng với hình ảnh đầu vào.
Các đối tượng nghiên cứu lần lượt được tiếp cận bao gồm đặc trưng của hình ảnh, cấu trúc KD_Tree cân bằng, quá trình huấn luyện của cấu trúc KD_Tree, các túi từ thị giác được lưu trữ tại nút lá và mô hình tìm kiếm ảnh tương tự dựa trên cấu trúc KD_Tree. Cùng với đối tượng nghiên cứu, nội dung của luận văn lần lượt tiếp cận phương pháp nghiên cứu theo hai định hướng bao gồm nghiên cứu lý thuyết và thực thi thực nghiệm. Trong đó đối với phương pháp lý thuyết, luận văn tiếp cận công trình đã được công bố gần đây, từ đó các nội dung liên quan được phân tích, đánh giá để làm cơ sở cho việc cải tiến cũng như xây dựng mô hình tìm kiếm ảnh dựa trên cấu trúc KD_Tree. Sau khi có mô hình đề xuất, thực nghiệm được xây dựng trên các bộ ảnh thông dụng mà đã được công bố nhằm minh chứng kết quả lý thuyết đã được đề xuất cũng như đánh giá tính hiệu quả về độ chính xác và tốc độ tìm kiếm các hình ảnh tương tự với ảnh đầu vào.
Trên cơ sở mô hình đã đề xuất, thực nghiệm được đánh giá tính hiệu quả để từ đó cho thấy sự khả thi của cấu trúc KD_Tree đối với bài toán tìm kiếm ảnh. Kết quả thực nghiệm được mô tả dựa trên độ chính xác cho bài toán tìm kiếm tập ảnh tương tự và thực hiện quá trình phân tích, đánh giá và so sánh với các công trình liên quan. Từ đó, các định hướng cải tiến cho phương pháp tìm kiếm này cũng được đưa ra để làm phương pháp phát triển tiếp theo cho luận văn. TỔNG QUAN VỀ TÌM KIẾM VÀ PHÂN LỚP HÌNH ẢNH 1.
Giới thiệu Nội dung chương này tiếp cận tổng quan về bài toán tìm kiếm ảnh dựa trên quá trình phân lớp và túi từ thị giác, nghĩa là mỗi hình ảnh được phân lớp trên cấu trúc KD_Tree và lưu trữ hình ảnh này tại các túi từ tương ứng với các nút lá phù hợp. Ứng với mỗi hình ảnh đầu vào, đặc trưng của hình ảnh được trích xuất và lần lượt dựa vào cấu trúc phân lớp KD-Tree để tìm đến các túi từ thị giác tương ứng với một nút lá của cây, sau đó tập hình ảnh tại túi từ này được trích xuất để làm tập kết quả cho bài toán tìm kiếm ảnh tương tự. Đối với bài toán tìm kiếm ảnh tương tự, các lĩnh vực khác nhau đã có nhiều ứng dụng cụ thể, đặc biệt là trong các bài toán tìm kiếm dữ liệu về ảnh số, video, đối sánh ảnh đối tượng, tìm kiếm các đối tượng liên quan,… Trong bài toán tìm kiếm ảnh dựa trên KD-Tree, cấu trúc KD_Tree được cải tiến theo hướng cây cân bằng và kết hợp với túi từ nhằm giải quyết một bài toán mang tính chất thời sự trong nhiều lĩnh vực hiện nay. Bài toán tìm kiếm ảnh này là sự kết hợp của quá trình phân lớp trên cây và gom cụm tại các túi từ, do đó đây cũng là một bài toán mang tính tiêu biểu trong học máy đồng thời thể hiện phương pháp học bán giám sát vì dựa vào cấu trúc tìm kiếm của cấu trúc KD_Tree.
Để có thể tiếp cận được nội dung đã được miêu tả như trên, các đối tượng nghiên cứu và phương pháp nghiên cứu được tiếp cận để làm cơ sở cho quá trình thực hiện luận văn. Các đối tượng nghiên cứu trong luận văn lần lượt được tiếp cận bao gồm: ảnh số, đặc trưng của ảnh số, cấu trúc KD_Tree, thuật toán xây dựng cấu trúc KD_Tree, các túi từ thị giác, và mô hình tìm kiếm ảnh tương tự. Phương pháp nghiên cứu của luận văn lần lượt được tiếp cận theo phương pháp lý thuyết và phương pháp thực nghiệm để từ đó có thể xây dựng một mô hình trên cơ sở lý thuyết đã có đồng thời minh chứng tính đúng đắn của mô hình này bằng thực nghiệm trên các bộ ảnh thông dụng. Từ các đối tượng và phương pháp nghiên cứu, nội dung về phân lớp, gom cụm trong học máy được tiếp cận cho bài toán tìm kiếm ảnh nhằm thực hiện các cải tiến và phát triển các nội dung ở các chương tiếp theo.
Tổng quan về bài toán tìm kiếm ảnh 1. Bài toán phân lớp hình ảnh Phân loại hình ảnh, là một chủ đề nghiên cứu quan trọng cho quá trình ứng dụng vào bài toán học máy cũng như tìm kiếm ảnh. Đối với bài toán tìm kiếm ảnh dựa trên quá trình phân lớp theo cấu trúc KD_Tree thì việc phân lớp này là một trong những vấn đề cốt lõi để xây dựng tập các hình ảnh tương tự dựa trên túi từ. Việc cải thiện hiệu suất phân lớp cho hình ảnh giúp cải thiện đáng kể về độ chính xác cho bài toán tìm kiếm ảnh vì quá trình phân lớp ảnh góp phần trực tiếp tạo ra các túi từ thị giác chứa các hình ảnh tương tự.
Việc cải tiến phương pháp phân lớp hình ảnh cũng là một đóng góp quan trọng cho bài toán tìm kiếm ảnh dựa trên cấu trúc KD_Tree, quá trình phân lớp là một giai đoạn tiền đề cho quá trình phân cụm trên cơ sở thuộc tính của hình ảnh. Vì vậy, trong bài toán này, việc kết hợp giữa học có giám sát và học bán giám sát được thực hiện mà trong đó quá trình học có giám sát được thực hiện bằng cách huấn luyện cấu trúc KD_Tree tại mỗi nút trong. Sau khi quá trình huấn luyện được thực hiện, các hình ảnh được gom cụm để tạo thành các túi từ tại nút lá mà phương pháp gom cụm này dựa trên cơ sở học bán giám sát vì sử dụng cấu trúc KD_Tree đã được huấn luyện. Việc phân loại ảnh dựa trên cơ sở các đặc trưng của hình ảnh, cụ thể là véc-tơ đặc trưng, đây là cơ sở để thực hiện phân loại ảnh.
Vì vậy, các thuật toán trích xuất đặc trưng hình ảnh được ứng dụng để làm cơ sở ban đầu cho bài toán tìm kiếm ảnh tương tự [1]. Phân loại ảnh là một bài toán kết hợp bởi nhiều yếu tố như: các miền dữ liệu cho từng bài toán thuộc từng lĩnh vực khác nhau, các vấn đề cần giải quyết và hướng phát triển của bài toán ứng dụng cho việc phân loại hình ảnh. Quá trình phân lớp hình ảnh phụ thuộc trực tiếp vào việc trích xuất đặc trưng cũng như phương pháp và mô hình phân lớp, nên việc chọn một mô hình phân lớp phù hợp là một giai đoạn quan trọng và cũng là giai đoạn tiền đề đối với bài toán tìm kiếm ảnh trong luận văn này. Các mô hình phân lớp ảnh có thể thực hiện theo tuyến tính và phi tuyến như mạng nơ-ron, cây quyết định và phân loại dựa trên học tăng cường ngày càng trở thành những cách tiếp cận quan trọng để phân loại dữ liệu đa chiều [2].
Tuy nhiên, cần có sự cải tiến trong phương pháp phân lớp cũng như kế thừa từ các phương pháp đã nghiên cứu trước đó nhằm tạo ra một mô hình phân lớp đúng 3 cho dữ liệu tăng trưởng về đối tượng dữ liệu cũng như tăng trưởng về số bộ phân loại nhưng vẫn đảm bảo được độ chính xác cũng như thời gian tìm kiếm. Phân loại hình ảnh được thực hiện bằng cách trích xuất đặc trưng hình ảnh toàn cục hoặc cục bộ bằng cách dựa trên các phương pháp trích xuất đặc trưng đã có để làm cơ sở cho quá trình học có giám sát (tức là huấn luyện mô hình), sau đó hệ thống phân loại sử dụng mô hình đã được huấn luyện để xác định và định danh các đối tượng có trên mỗi hình ảnh. Đối với bài toán tìm kiếm ảnh dựa trên phân lớp cần phải kết hợp với một cấu trúc túi từ thị giác BOVW (Bag of Visual Words) để có thể gom nhóm các hình ảnh tương tự làm tiền đề cho bài toán tìm kiếm ảnh này. Nhiều mô hình phân loại đối tượng kết hợp với BOVW cũng đã được sử dụng rộng rãi để thực hiện quá trình tìm kiếm đối tượng cũng như tìm kiếm ảnh, ví dụ kết hợp giữa phân lớp học sâu và BOVW, kết hợp mô hình SVM (Support Véc-tơ Machine), kết hợp mạng nơ-ron nhân tạo,…Đối với mô hình BOVW, hệ thống trích xuất đặc trưng của đối tượng và kết nối với các định danh để từ đó phân bổ về từng túi từ thị giác nhằm thực hiện phân nhóm cho từng bộ phân loại làm cơ sở cho bài toán tìm kiếm đối tượng.
Phương pháp này có thể thực hiện việc phân loại ảnh theo các đặc trưng cấp thấp như màu sắc, hình dạng, vân ảnh, bề mặt,… nhưng cần phải kết hợp các cấu trúc túi từ này với một mô hình máy học để làm tiền đề cho quá trình phân loại. Phương pháp này đã được sử dụng rộng rãi và thực nghiệm trong nhiều bộ ảnh khác nhau như PASCAL VOC, ILSVRC,. [1] Qua khảo sát và phân tích đã cho thấy bài toán phân lớp hình ảnh là một bước tiền đề quan trọng để có thể nâng cao độ chính xác thay vì thực hiện trực tiếp gom cụm hình ảnh cho bài toán tìm kiếm. Vì vậy, đối với bài toán tìm kiếm ảnh trong luận văn này, quá trình thực hiện bao gồm ba giai đoạn: (1) huấn luyện mô hình phân lớp ảnh, (2) kết hợp việc phân lớp ảnh dựa trên mô hình đã có và cấu trúc túi từ thị giác nhằm gom nhóm các hình ảnh tương tự, (3) tìm kiếm ảnh tương tự với ảnh đầu vào dựa trên mô hình phân lớp và túi từ thị giác.
Việc phân lớp hình ảnh và túi từ thị giác trong luận văn này được sử dụng cấu trúc KD_Tree đa nhánh cân bằng nhằm phù hợp với số bộ phân loại tăng trưởng cũng như đảm bảo quá trình tìm kiếm nhanh và chính xác.
