Đặt vấn đề Một vấn đề quan trọng cần phải được nghiên cứu trong hệ thống này đó là sử dụng các khối dữ liệu số lớn, đặc biệt là dữ liệu về ảnh số (image). Nhu cầu sử dụng để phân tích và mô tả cho ngữ nghĩa hình ảnh trên thế giới và Việt Nam tăng cao. Theo đó, dữ liệu số trên toàn cầu đã được gia tăng không ngừng và đạt đến một khối lượng khổng lồ dẫn đến bài toán khai phá dữ liệu và tra cứu thông tin cần phải được giải quyết. Theo IDC (International Data Corporation), dữ liệu toàn cầu năm 2012, 2013 đạt được 2.4 zettabytes; ước tính đến cuối năm 2020 dữ liệu toàn cầu gấp 300 lần so với năm 2005, tức là tăng từ 130 exabytes lên đến 40,000 exabytes (40 nghìn tỷ gigabytes = 40 zettabytes), trong đó dữ liệu được tạo ra từ các thiết bị mobile chiếm 27%; đến năm 2025, dữ liệu toàn cầu khoảng 163 zettabytes - tăng gấp 10 lần so với năm 2017 [8].
Mặt khác, dữ liệu đa phương tiện (văn bản, hình ảnh, âm thanh và video) đã được phát triển nhanh chóng trên nhiều hệ thống khác nhau, như điện thoại thông minh, hệ thống mô phỏng đối tượng 2D, 3D, WWW, và các thiết bị viễn thông. Ảnh số đã trở nên thân thuộc với cuộc sống của con người và được ứng dụng trong nhiều hệ thống tra cứu thông tin đa phương tiện như Hệ thống thông tin bệnh viện (Hospital Information System), Hệ thống thông tin địa lý (Geographic Information System), Hệ thống thư viện số (Digital Library System), ứng dụng y sinh, phân tích hình ảnh trong thực phẩm, phân tích các loại động thực vật, trong giáo dục đào tạo, giải trí… [10, 13]. Phương pháp nghiên cứu Tổng hợp lý thuyết của các công trình nghiên cứu liên quan và phương pháp thực nghiệm. Dữ liệu và thông tin khoa học được thu thập và tổng hợp từ các bài báo, tạp chí khoa học chuyên ngành của các Trường Đại học trong nước và ngoài nước, qua sự trao đổi, định hướng của Thầy/Cô hướng dẫn trong lĩnh vực nghiên cứu.
Việc tổng hợp lý thuyết, chúng tôi lựa chọn cách tiếp cận thông tin đã được áp dụng thành công, thử nghiệm và phân tích trên cơ sở khách quan để đưa ra nhận định, kết luận phù hợp cho đề tài. 1 Thực nghiệm là phương pháp đưa ra chứng minh về kết quả tìm kiếm cũng như mức độ khả thi của nghiên cứu. Đây là phương pháp khá quan trọng tạo quyết định tính khả thi của đề tài. Tính cấp thiết của đề tài Theo WordStream, năm 2019, mỗi ngày có 8.95 triệu ảnh, video được chia sẻ trên Instagram và cho đến nay có hơn 40 tỷ hình ảnh.
Theo thống kê của Google, khoảng 93 triệu ảnh được tạo ra mỗi ngày kể từ 2014; theo như tổ chức Gigaom, năm 2017, một người trung bình tạo ra 630 ảnh trên điện thoại; cũng theo tổ chức Mylio, năm 2017, mỗi năm một người tạo ra ít nhất 1000 ảnh, mỗi năm tạo ra ít nhất 1 nghìn tỷ hình ảnh… Năm 2015, tổng số hình ảnh toàn cầu đạt 3.5 triệu hình ảnh được chia sẻ trong mỗi phút và có 2.5 nghìn tỷ hình ảnh được chia sẻ và lưu trữ trực tuyến. Trong năm 2017, thế giới đã tạo ra 1.2 nghìn tỷ hình ảnh và tổng số ảnh toàn cầu đến năm 2017 là 4.7 nghìn tỷ; trong đó, các hình ảnh được tạo ra từ thiết bị moblie là 90% [2, 6, 7]. Kích thước cũng như số lượng ảnh ngày càng được gia tăng nên cần phải có nhiều hệ thống xử lý phức tạp nhằm đáp ứng yêu cầu của người dùng. Vì vậy, cần phải có các hệ thống truy vấn ảnh số tự động trên các thiết bị cũng như trong các hệ thống đa phương tiện.
Việc tra cứu ảnh để tìm ra tập ảnh tương tự và trích xuất ngữ nghĩa hình ảnh là một bài toán quan trọng trong các hệ thống đa phương tiện và phù hợp với xu thế của xã hội hiện đại. Bài toán khai phá dữ liệu và tra cứu các thông tin liên quan đến hình ảnh phải được quan tâm giải quyết; việc phân loại và tra cứu ngữ nghĩa là một trong những bài toán quan trọng của nhiều hệ thống đa phương tiện [5]. Nhiều hệ truy vấn ảnh theo ngữ nghĩa đã được công bố và ứng dụng trong nhiều lĩnh vực khác nhau như: truy vấn hình ảnh dựa trên đặc trưng ngữ nghĩa mức cao và áp dụng cho ảnh y khoa [9], truy vấn ảnh y khoa sử dụng mạng nơ-ron tích chập CNN (Convolutional Neural Network) [4], ứng dụng ngữ nghĩa hình ảnh trong hệ thống thông tin phân tán DIS (Distributed Information Systems) [1], hệ truy vấn ảnh y khoa theo nội dung M-CBIR (Medical Content-based Image Retrieval) dựa trên cấu trúc vân ảnh và các thông tin hình ảnh trên ontology [11]… Trong mỗi lĩnh vực khác nhau, hệ thống đa phương tiện cần phải trích xuất ngữ nghĩa của các đối tượng nhằm mô tả các nội dung. Bài toán tìm kiếm ảnh theo ngữ nghĩa được thực hiện bằng cách trích xuất đặc trưng hình ảnh tạo ra ngữ nghĩa; sau đó tra cứu 2 các hình ảnh liên quan theo ngữ nghĩa thị giác và trích xuất các thông tin mô tả nội dung hình ảnh [3, 12, 14].
Vấn đề đầu tiên của hệ truy vấn theo ngữ nghĩa là trích xuất thông tin thị giác và chuyển thành ngữ nghĩa mô tả nội dung cho hình ảnh; vấn đề thứ hai là đó là mô tả thông tin ngữ nghĩa và tìm kiếm các hình ảnh liên quan [13]. Trong bối cảnh “Cách mạng công nghiệp 4.0” và tương lai, thế giới đang ngày càng ứng dụng mạnh mẽ Trí tuệ nhân tạo vào đời sống để đem lại những trải nghiệm tuyệt vời nhất, mang tính “nhân tạo” hơn là lập trình máy móc. Giúp xử lý những vấn đề phức tạp – có tính ứng dụng cao. Bài toán tìm kiếm ảnh tương tự theo đó lại ngày càng phát triển do ứng dụng của nó rất đa dạng trong đời sống.
Từ giải trí cho đến học tập, cải thiện sức khoẻ, đảm bảo an ninh, phát triển kinh tế…Khi nắm bắt được xu thế đó, ta có thể tạo ra những ứng dụng giúp ích rất nhiều cho con người. Mục tiêu, nhiệm vụ và giới hạn của phần mềm Mục tiêu chung của đề tài nghiên cứu là xây dựng một mô hình tra cứu, phương pháp tìm kiếm ảnh tương tự theo nội dung hình ảnh dựa theo cấu trúc cây R-Tree. Mục tiêu cụ thể: • Xây dựng mô hình cho bài toán tìm kiếm ảnh tương tự theo nội dung dựa trên cấu trúc cây R-Tree. • Nghiên cứu thuật toán xây dựng cây, thuật toán tìm kiếm ảnh tương tự và phương pháp trích xuất đặc trưng hình ảnh vào bài toán tìm kiếm ảnh nhằm mục đích cải thiện kết quả tìm kiếm.
• Xây dựng ứng dụng thực nghiệm dựa trên bộ ảnh ImageCLEF. Nghiên cứu được thực hiện trên các nội dung: • Nghiên cứu cấu trúc dữ liệu lưu trữ đặc trưng hình ảnh và phân cụm dữ liệu trên mô hình cây R-Tree. • Phân tích, vận dụng kỹ thuật, chuẩn hóa trong quá trình rút trích đặc trưng hình ảnh. • Nghiên cứu thuật toán xây dựng cây R-Tree.
• Áp dụng thuật toán tìm kiếm trên cây nhằm tìm kiếm ảnh tương tự theo nội dung. • Thực nghiệm kết quả tra cứu trên bộ ảnh dữ liệu ImageCLEF với 20.000 ảnh được chia thành 276 phân lớp. 3 Đối tượng nghiên cứu: Phạm vi nghiên cứu bao gồm các thuật toán máy học, cấu trúc dữ liệu cây và thực nghiệm trên bộ ảnh ImageCLEF với 20.000 ảnh và 276 phân lớp. • Thuật toán gom cụm K-Means.
• Cấu trúc dữ liệu cây phân cụm R-Tree và các thuật toán xây dựng cây. • Phương pháp rút trích xuất đặc trưng hình ảnh thành véc-tơ. • Dữ liệu ảnh, tập dữ liệu ImageCLEF (20.000 ảnh và 276 phân lớp). • Độ đo tương tự Euclide giữa hai véc-tơ.
• Bài toán tìm kiếm ảnh tương tự theo nội dung. • Xây dựng thực nghiệm dựa trên ngôn ngữ lập trình C#. 4 CHƯƠNG II. TỔNG QUAN BÀI TOÁN TÌM KIẾM ẢNH THEO NỘI DUNG 2.
Giới thiệu Trong thập niên vừa qua, một kho dữ liệu ảnh khổng lồ đang được chia sẻ rộng rãi trên Word Wide Web. Các nhà khoa học trên thế giới đã nghiên cứu rất nhiều các phương pháp truy vấn hình ảnh với mục đích nâng cao hiệu quả và tính chính xác của tìm kiếm ảnh. Các kỹ thuật tìm kiếm hình ảnh thường được sử dụng chủ yếu dựa trên các từ khóa [15]. Những kỹ thuật này sử dụng danh sách từ khóa để mô tả nội dung thông tin, hệ thống tìm kiếm dựa trên từ khoá khớp với tìm kiếm văn bản của người dùng để mô tả văn bản của hình ảnh và trả lại tất cả các hình ảnh có mô tả phù hợp.
Tuy nhiên, các nhà nghiên cứu đã chỉ ra một số hạn chế của kỹ thuật này, như tính chủ quan của các mô tả (metadata), sự mơ hồ của ngôn ngữ tự nhiên, có thể các kết quả trả lại có chứa hình ảnh không liên quan khi mô tả không chính xác… Chính vì thế, các nhà khoa học đã nghiên cứu các hệ thống tìm kiếm hình ảnh dựa trên nội dung CBIR (Content-Based Image Retrieval), sử dụng các tính năng trực quan cấp thấp như màu sắc, kết cấu, hình dạng và vị trí,… được trích xuất từ các điểm ảnh vào chỉ mục và tìm kiếm các hình ảnh sử dụng các kỹ thuật xử lý và phân tích hình ảnh [16, 17]. Việc tìm kiếm hình ảnh dựa trên nội dung (CBIR) đã được nghiên cứu trong nhiều năm tập trung vào việc trích xuất và so sánh các tính năng từ các hình ảnh [18, 19]. Các tính năng được tự động trích ra từ các điểm ảnh bằng cách sử dụng màu sắc chiếm ưu thế, kết cấu hoặc hình dạng chi phối (tức là kỹ thuật này tập trung vào các tính năng trực quan của hình ảnh) và được sử dụng trong các biện pháp tương tự đã được lựa chọn cụ thể để lấy các hình ảnh tương tự. Tìm kiếm ảnh là tra cứu các hình ảnh liên quan từ một tập dữ liệu hình ảnh.
Tìm kiếm ảnh theo nội dung gồm một tập các kỹ thuật để tìm kiếm các hình ảnh liên quan từ tập dữ liệu hình ảnh, dựa trên trích xuất các đặc trưng của hình ảnh như màu sắc, cấu trúc, hình dạng, vị trí… 2. Tra cứu ảnh dựa vào văn bản Trước khi ra đời Tìm kiếm ảnh dựa vào nội dung, việc tìm kiếm hình ảnh có thể dựa vào Chú thích (văn bản) của ảnh, được cộng đồng gán nhãn. Với việc hình ảnh được 5 gán nhãn tuỳ ý từ cộng đồng, việc dựa vào nhãn đó để tra cứu ảnh gây nhiều khó khăn vì độ chính xác không cao và thật khó để tin tưởng.
