I. Tổng Quan về Tìm Kiếm Ảnh Kết Hợp Mạng R CNN Ontology
Bài toán tìm kiếm ảnh ngày càng trở nên quan trọng khi số lượng ảnh số tăng trưởng mạnh mẽ trên Internet, trong các kho lưu trữ và bộ sưu tập cá nhân. Việc xây dựng hệ thống quản lý, phân tích, lập chỉ mục và quản lý nội dung hình ảnh là cấp thiết, giúp người dùng truy cập và truy xuất thông tin hiệu quả. Một trong những thách thức lớn là trích xuất đặc trưng cấp thấp của hình ảnh để liên kết với nội dung ngữ nghĩa cấp cao, thu hẹp khoảng cách ngữ nghĩa giữa đặc trưng cấp thấp và ngữ nghĩa cấp cao. Nghiên cứu này tập trung vào bài toán phân lớp và tìm kiếm hình ảnh dựa trên mạng nơ-ron học sâu kết hợp với cấu trúc túi từ thị giác, phân bổ vào khung ontology, phục vụ cho bài toán tìm kiếm ảnh dựa trên nội dung. Các nghiên cứu gần đây đã chứng minh hiệu quả của mạng nơ-ron học sâu trong việc rút trích đặc trưng và phân lớp hình ảnh [4].
1.1. CBIR và Bài Toán Trích Xuất Đặc Trưng Ảnh
Tìm kiếm ảnh dựa trên nội dung (CBIR) là phương pháp trích xuất các đặc trưng của ảnh như màu sắc, hình dạng, kết cấu để so sánh và tìm kiếm. Các kỹ thuật và thuật toán được sử dụng bắt nguồn từ nhiều lĩnh vực như nhận dạng đối tượng và xử lý tín hiệu. Hệ thống CBIR thường được sử dụng các kỹ thuật như phân đoạn hình ảnh, trích xuất đặc điểm hình ảnh, biểu diễn, ánh xạ các đặc trưng sang ngữ nghĩa, trích xuất các đặc trưng từ hình ảnh thô và kết hợp tìm kiếm hình ảnh [10]. Việc trích xuất đặc trưng hiệu quả là yếu tố then chốt để CBIR hoạt động tốt.
1.2. SBIR Vượt Qua Khoảng Cách Ngữ Nghĩa trong Tìm Kiếm Ảnh
Tìm kiếm ảnh dựa trên ngữ nghĩa (SBIR) tập trung vào việc thu hẹp khoảng cách ngữ nghĩa giữa đặc trưng cấp thấp và ngữ nghĩa cấp cao. Vấn đề của tìm kiếm ảnh dựa trên ngữ nghĩa là thu hẹp khoảng cách ngữ nghĩa giữa đặc trưng cấp thấp và ngữ nghĩa cấp cao. Việc ánh xạ ngữ nghĩa được thực hiện thông qua các công cụ học có giám sát hoặc không được giám sát để liên kết các đặc trưng cấp thấp với khái niệm đối tượng và được chú thích hình ảnh. Ontology đóng vai trò quan trọng trong việc biểu diễn tri thức và ngữ nghĩa, giúp SBIR hiểu và tìm kiếm ảnh theo ý nghĩa của chúng [10].
II. Vấn Đề và Thách Thức Trong Tìm Kiếm Ảnh Hiện Tại
Mặc dù có nhiều tiến bộ, bài toán tìm kiếm ảnh vẫn còn đối mặt với nhiều thách thức. Các phương pháp truyền thống dựa trên đặc trưng thủ công thường không hiệu quả với các hình ảnh phức tạp và đa dạng. Khoảng cách ngữ nghĩa vẫn là một rào cản lớn, khiến các hệ thống khó hiểu được ý định của người dùng và trả về kết quả phù hợp. Việc xử lý dữ liệu ảnh lớn và tăng trưởng liên tục đòi hỏi các giải pháp hiệu quả về mặt tính toán và khả năng mở rộng. Theo tài liệu gốc, việc sử dụng ontology là một tiền đề quan trọng để giảm khoảng cách giữa đặc trưng cấp thấp và ngữ nghĩa cấp cao [7]. Trong luận văn này, các hình ảnh tương tự được tìm kiếm dựa trên nội dung cũng như các phân lớp. Vì vậy, quá trình tìm kiếm ảnh được truy vấn trực tiếp trên ontology dựa trên các phân lớp đầu ra của mạng nơ- ron tích chập.
2.1. Hạn Chế của TBIR trong Xử Lý Dữ Liệu Ảnh Lớn
Hệ thống tìm kiếm ảnh dựa trên văn bản (TBIR) có một số hạn chế. Hạn chế đầu tiên là các chú thích mô tả thường phải được nhập thủ công nên nó rất khó để thực hiện với cơ sở dữ liệu hình ảnh lớn. Hạn chế thứ hai là đa số các hình ảnh rất phong phú về nội dung và nhiều chi tiết nên người chú thích rất khó có thể đưa ra tất cả các mô tả đầy đủ, trực quan cho các hình ảnh. Ngoài ra, chú thích văn bản phụ thuộc vào ngôn ngữ.
2.2. Vượt Qua Rào Cản Ngữ Nghĩa với Ontology và Học Sâu
Để vượt qua rào cản ngữ nghĩa, cần kết hợp các phương pháp học sâu để trích xuất đặc trưng tự động và ontology để biểu diễn tri thức và ngữ nghĩa. Các mô hình ontology đối tượng [5, 6] trên một miền cần phải xử lý về các khái niệm, phân loại cho đối tượng mà trong đó hình ảnh là đối tượng dữ liệu cần giải quyết trong bài toán tìm kiếm ảnh. Các mô hình tìm kiếm ảnh dựa trên ontology cũng đã được phát triển trên cơ sở các mối quan hệ ngữ nghĩa giữa các đối tượng của hình ảnh, các chú thích hình ảnh cho các đối tượng này cũng như các mô tả cho một lớp đối tượng [7, 8].
III. Phương Pháp Tìm Kiếm Ảnh Kết Hợp Mạng R CNN và Ontology
Luận văn này đề xuất một mô hình tìm kiếm ảnh kết hợp sức mạnh của mạng R-CNN trong việc nhận dạng đối tượng trong ảnh và khả năng biểu diễn tri thức của ontology. Mô hình này bao gồm ba thành phần chính: mạng nơ-ron tích chập (R-CNN) để trích xuất đặc trưng ảnh và phân lớp đối tượng, cấu trúc túi từ thị giác để gom nhóm các hình ảnh tương tự, và khung ontology để lưu trữ và truy vấn thông tin ngữ nghĩa. Theo tác giả, mô hình tìm kiếm ảnh dựa trên mạng nơ-ron học sâu và ontology được đề xuất gồm ba thành phần: (1) thành phần thứ nhất là một mạng nơ-ron tích chập để ánh xạ trực tiếp từ hình ảnh trở thành các phân lớp; (2) thành phần thứ hai là một cấu trúc túi từ thị giác để có thể gom nhóm các hình ảnh tương tự nhau theo từng phân lớp đầu ra mạng nơ-ron; (3) thành phần thứ ba là một khung ontology nhằm thực hiện quá trình phân bổ từ túi từ thị giác bao gồm các hình ảnh để lưu trữ tại các lớp và các cá thể liên quan (theo như Hình 0.
3.1. Ứng Dụng Mạng R CNN trong Nhận Diện và Phân Loại Đối Tượng
Mạng R-CNN được sử dụng để phát hiện và phân loại các đối tượng trong ảnh. Mạng R-CNN có khả năng phát hiện các đối tượng trong ảnh và gắn nhãn cho từng đối tượng. Kết quả của quá trình này được sử dụng để xây dựng khung ontology. Kiến trúc mạng nơ-ron học sâu để phân lớp hình ảnh Các công bố về ontology gần đây đối với bài toán truy vấn thông tin và phân tích ngữ nghĩa đối tượng cũng như chú thích ngữ nghĩa hình ảnh cũng đã được công 2 bố và có nhiều quan tâm.
3.2. Xây Dựng Ontology cho Tìm Kiếm Ảnh Dựa trên Ngữ Nghĩa
Một khung ontology được xây dựng để biểu diễn các khái niệm, thuộc tính và quan hệ giữa các đối tượng trong ảnh. Khung ontology nhằm thực hiện quá trình phân bổ từ túi từ thị giác bao gồm các hình ảnh để lưu trữ tại các lớp và các cá thể liên quan. Dữ liệu hình ảnh được tổ chức một cách có cấu trúc, cho phép truy vấn và suy luận ngữ nghĩa hiệu quả. Điều này giúp cải thiện độ chính xác và khả năng mở rộng của hệ thống tìm kiếm ảnh.
3.3. Tạo Câu Truy Vấn SPARQL cho Ontology Tìm Kiếm Ảnh
Tạo câu truy vấn SPARQL từ các tên lớp đầu ra của mạng nơ-ron tích chập tương ứng với mỗi hình ảnh đầu vào làm cơ sở cho việc truy vấn ảnh và ngữ nghĩa liên quan trên ontology. Các câu truy vấn SPARQL cho phép khai thác thông tin ngữ nghĩa từ ontology và thực hiện các truy vấn phức tạp, đáp ứng nhu cầu của người dùng.
IV. Thực Nghiệm và Đánh Giá Hiệu Năng Mô Hình Tìm Kiếm Ảnh
Mô hình đã được thử nghiệm và đánh giá trên nhiều bộ dữ liệu ảnh khác nhau, bao gồm COREL, Oxford Flowers 17, MS-COCO, và Flickr 30k. Kết quả cho thấy mô hình đạt được độ chính xác cao và thời gian tìm kiếm nhanh, đồng thời có khả năng mở rộng tốt với các tập dữ liệu lớn. Theo tác giả luận văn, việc thực nghiệm trên 4 bộ ảnh này để thấy rằng ontology đáp ứng cho bộ ảnh đơn đối tượng (COREL, Oxford Flowers 17) và bộ ảnh đa đối tượng (MS-COCO, Flickr 30k), đồng thời cho thấy 6 rằng ontology đáp ứng với các tập dữ liệu ảnh lớn. Kết quả thực nghiệm cũng được lần lượt phân tích, so sánh đánh giá để minh chứng tính hiệu quả của mô hình được đề xuất.
4.1. Bộ Dữ Liệu và Môi Trường Thực Nghiệm
Quá trình thực nghiệm được thực hiện trên 4 bộ dữ liệu ảnh gồm COREL, Oxford Flowers 17, MS-COCO, Flickr 30k để minh chứng mô hình tìm kiếm ảnh đã đề xuất tại chương 3. Việc thực nghiệm trên 4 bộ ảnh này để thấy rằng ontology đáp ứng cho bộ ảnh đơn đối tượng (COREL, Oxford Flowers 17) và bộ ảnh đa đối tượng (MS-COCO, Flickr 30k), đồng thời cho thấy 6 rằng ontology đáp ứng với các tập dữ liệu ảnh lớn.
4.2. Kết Quả Đánh Giá Độ Chính Xác và Thời Gian Tìm Kiếm
Kết quả thực nghiệm cũng được lần lượt phân tích, so sánh đánh giá để minh chứng tính hiệu quả của mô hình được đề xuất. Kết quả cho thấy mô hình đạt được độ chính xác cao và thời gian tìm kiếm nhanh, đồng thời có khả năng mở rộng tốt với các tập dữ liệu lớn.
V. Ứng Dụng Thực Tế của Mô Hình Tìm Kiếm Ảnh Kết Hợp
Mô hình tìm kiếm ảnh kết hợp này có nhiều ứng dụng tiềm năng trong các lĩnh vực khác nhau. Trong lĩnh vực thư viện số, nó có thể giúp người dùng tìm kiếm và truy xuất hình ảnh một cách hiệu quả. Trong y học, nó có thể hỗ trợ các bác sĩ chẩn đoán bệnh dựa trên hình ảnh y khoa. Ngoài ra, mô hình cũng có thể được ứng dụng trong các hệ thống phân tích dữ liệu, hệ thống thông tin địa lý, và nhiều lĩnh vực khác. Theo tác giả luận văn, bài toán tìm kiếm ảnh đóng một vai trò quan trọng trong các hệ thống dữ liệu đa phương tiện thuộc các lĩnh vực khác nhau. Đối với các hệ thống dữ liệu lớn, số lượng ảnh tăng trưởng liên tục, việc tìm kiếm đối sánh hình ảnh trực tiếp gây ra nhiều chi phí về mặt tính toán cũng như các chi phí về tìm kiếm. Vì vậy, cần có một mô hình tìm kiếm nhanh, đạt được độ chính xác cao và đáp ứng được các kho dữ liệu lớn, tăng trưởng.
5.1. Ứng Dụng trong Thư Viện Số và Lưu Trữ Dữ Liệu Ảnh
Trong thư viện số và các hệ thống lưu trữ dữ liệu ảnh lớn, mô hình có thể giúp người dùng tìm kiếm và truy xuất hình ảnh một cách nhanh chóng và chính xác, cải thiện trải nghiệm người dùng và hiệu quả quản lý dữ liệu.
5.2. Hỗ Trợ Chẩn Đoán Y Khoa Dựa Trên Hình Ảnh
Trong lĩnh vực y học, mô hình có thể được sử dụng để phân tích và so sánh hình ảnh y khoa, giúp các bác sĩ chẩn đoán bệnh một cách chính xác và nhanh chóng, cải thiện chất lượng chăm sóc sức khỏe.
VI. Kết Luận và Hướng Phát Triển Mô Hình Tìm Kiếm Ảnh
Luận văn đã trình bày một mô hình tìm kiếm ảnh kết hợp mạng R-CNN và ontology, mang lại hiệu quả cao trong việc giải quyết bài toán tìm kiếm ảnh dựa trên nội dung. Mô hình này có tiềm năng ứng dụng rộng rãi trong nhiều lĩnh vực khác nhau. Các hướng phát triển trong tương lai có thể tập trung vào việc cải thiện khả năng mở rộng của mô hình, tích hợp thêm các nguồn thông tin ngữ nghĩa, và phát triển các giao diện người dùng thân thiện hơn. Trong luận văn này, một mô hình tìm kiếm ảnh dựa trên mạng nơ-ron học sâu và ontology được đề xuất gồm ba thành phần: (1) thành phần thứ nhất là một mạng nơ-ron tích chập để ánh xạ trực tiếp từ hình ảnh trở thành các phân lớp; (2) thành phần thứ hai là một cấu trúc túi từ thị giác để có thể gom nhóm các hình ảnh tương tự nhau theo từng phân lớp đầu ra mạng nơ-ron; (3) thành phần thứ ba là một khung ontology nhằm thực hiện quá trình phân bổ từ túi từ thị giác bao gồm các hình ảnh để lưu trữ tại các lớp và các cá thể liên quan (theo như Hình 0.
6.1. Tóm Tắt Kết Quả và Đóng Góp của Nghiên Cứu
Mô hình kết hợp R-CNN và ontology đã chứng minh được hiệu quả trong việc cải thiện độ chính xác và tốc độ tìm kiếm ảnh. Nghiên cứu này đóng góp vào việc giải quyết bài toán tìm kiếm ảnh một cách hiệu quả và có tiềm năng ứng dụng rộng rãi.
6.2. Hướng Phát Triển và Nghiên Cứu Tiếp Theo
Các hướng phát triển tiếp theo có thể tập trung vào việc cải thiện khả năng mở rộng của mô hình, tích hợp thêm các nguồn thông tin ngữ nghĩa, và phát triển các giao diện người dùng thân thiện hơn. Cần có các nghiên cứu sâu hơn về việc tự động hóa quá trình xây dựng ontology và tích hợp các kỹ thuật học sâu tiên tiến hơn để nâng cao hiệu quả của mô hình.
