Nghiên Cứu Kỹ Thuật SIFT Trong Trích Xuất Đặc Trưng Ảnh

Luận văn thạc sĩ kỹ thuật nghiên cứu nghiên cứu kĩ thuật sift trong trích trọn đặc trưng xây dựng ứng dụng tìm kiếm ảnh, khảo sát thực trạng, phân tích nguyên nhân, đề xuất giải

• Tác giả: Hoàng Hà Hải Nam
• Người hướng dẫn: TS. Vũ Vinh Quang
• Trường học: Đại học Thái Nguyên
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nghiên Cứu Kỹ Thuật SIFT Trong Trích Xuất Đặc Trưng Ảnh
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2018
• Địa điểm: Thái Nguyên

Mục lục chi tiết

• LỜI CAM ĐOAN
• DANH MỤC CÁC HÌNH ẢNH
• DANH MỤC CÁC BẢNG BIỂU
• DANH MỤC CÁC TỪ VIẾT TẮT
• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ CƠ SỞ DỮ LIỆU ĐA PHƯƠNG TIỆN
• 1.1. Tổng quan về hệ quản trị cơ sở dữ liệu đa phương tiện
• 1.1.1. Giới thiệu chung
• 1.1.2. Các kiểu truyền thông và multimedia
• 1.1.3. Hệ quản trị cơ sở dữ liệu đa phương tiện (MMDBMS)
• 1.1.4. Truy tìm thông tin tài liệu văn bản
• 1.1.5. Truy xuất và chỉ số hoá multimedia
• 1.1.6. Kiến trúc tổ chức nội dung của một hệ thống cơ sở dữ liệu Multimedia
• 1.1.7. Kiến trúc hệ thống quản trị cơ sở dữ liệu đa phương tiện
• 1.1.8. Tổ chức dữ liệu đa phương tiện trên cơ sở nguyên lý thống nhất
• 1.1.9. Cấu trúc tóm tắt media
• 1.1.10. Tổng quan về tra cứu ảnh
• 1.1.11. Mô hình hệ thống tra cứu ảnh theo nội dung
• 1.1.12. Một số hệ thống tra cứu ảnh theo nội dung tiêu biểu
• 2. CHƯƠNG 2: TRÍCH CHỌN ĐẶC TRƯNG ẢNH
• 2.1. Tổng quan về trích chọn đặc trưng ảnh
• 2.2. Đặc trưng văn bản đi kèm ảnh và tìm kiếm ảnh theo văn bản đi kèm ảnh
• 2.3. Đặc trưng nội dung ảnh và tìm kiếm theo đặc trưng nội dung
• 2.4. Các phương pháp trích chọn đặc trưng ảnh và độ đo tương đồng giữa các ảnh
• 2.4.1. Đặc trưng màu sắc
• 2.4.2. Đặc trưng kết cấu
• 2.4.3. Đặc trưng hình dạng
• 2.4.4. Đặc trưng cục bộ bất biến SIFT
• 2.4.5. Lựa chọn đặc trưng
• 2.4.6. Mô hình k láng giềng gần nhất sử dụng bộ lượng tử hóa
• 2.4.7. Thuật toán K láng giềng
• 2.4.8. Mô hình bài toán
• 3. CHƯƠNG 3: THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 3.1. Bài toán truy vấn ảnh
• 3.1.1. Phát biểu bài toán
• 3.1.2. Cách giải quyết bài toán
• 3.2. Môi trường và các công cụ sử dụng cho thực nghiệm
• 3.2.1. Cấu hình phần cứng
• 3.2.2. Công cụ phần mềm sử dụng
• 3.2.3. Thư viện sử dụng
• 3.3. Xây dựng tập dữ liệu ảnh
• 3.4. Quy trình, phương pháp thực nghiệm
• 3.5. Kết quả thực nghiệm
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Kỹ Thuật SIFT Trong Trích Xuất Ảnh Hiện Nay

Cuộc cách mạng công nghiệp lần thứ tư đã thúc đẩy sự phát triển mạnh mẽ của công nghệ ảnh số, dẫn đến sự gia tăng nhanh chóng về lượng ảnh lưu trữ. Điều này đòi hỏi các công cụ hỗ trợ tìm kiếm ảnh hiệu quả và tiện lợi hơn. Mặc dù các công cụ tìm kiếm ảnh theo văn bản đi kèm đã ra đời, chúng vẫn còn hạn chế trong việc giải quyết sự không thống nhất giữa nội dung truy vấn và nội dung ảnh trả về. Sự ra đời của các công cụ tìm kiếm ảnh theo nội dung đã giải quyết được những hạn chế này. Luận văn này tập trung vào nghiên cứu kỹ thuật SIFT (Scale-Invariant Feature Transform) trong trích xuất đặc trưng ảnh, nhằm tối ưu hóa chất lượng tìm kiếm ảnh. Mục tiêu chính là khảo sát phương pháp trích chọn đặc trưng ảnh trong tìm kiếm và xếp hạng ảnh, ứng dụng phương pháp lượng tử hóa tích để xây dựng mô hình tìm kiếm K láng giềng gần nhất.

1.1. Giới Thiệu Về Thuật Toán SIFT và Ứng Dụng

Thuật toán SIFT (Scale-Invariant Feature Transform) là một kỹ thuật mạnh mẽ trong lĩnh vực thị giác máy tính (computer vision) để phát hiện và mô tả các đặc trưng cục bộ trong ảnh. SIFT có khả năng bất biến với tỷ lệ, xoay và thay đổi ánh sáng, làm cho nó trở thành một công cụ hữu ích cho nhiều ứng dụng như nhận dạng đối tượng (object recognition), so khớp ảnh (image matching) và tái tạo 3D (3D reconstruction). Thuật toán này được David Lowe giới thiệu lần đầu tiên vào năm 1999 và được cải tiến vào năm 2004. SIFT đã trở thành một trong những thuật toán trích xuất đặc trưng ảnh phổ biến nhất nhờ tính ổn định và hiệu quả của nó.

1.2. Lịch Sử Phát Triển và Các Biến Thể Của SIFT

Từ khi được giới thiệu, SIFT đã trải qua nhiều cải tiến và biến thể để nâng cao hiệu suất và độ chính xác. Một số biến thể phổ biến bao gồm PCA-SIFT, SURF (Speeded Up Robust Features) và ORB (Oriented FAST and Rotated BRIEF). Các biến thể này tập trung vào việc giảm độ phức tạp tính toán và tăng tốc độ xử lý, đồng thời duy trì khả năng trích xuất đặc trưng mạnh mẽ. Ví dụ, SURF sử dụng tích phân ảnh để tính toán các đặc trưng nhanh hơn, trong khi ORB là một thuật toán miễn phí bản quyền và có hiệu suất tốt trên các thiết bị di động.

II. Thách Thức và Vấn Đề Trong Trích Xuất Đặc Trưng Ảnh SIFT

Mặc dù SIFT là một thuật toán mạnh mẽ, nó vẫn đối mặt với một số thách thức. Độ phức tạp tính toán cao là một trong những vấn đề chính, đặc biệt khi xử lý ảnh có kích thước lớn hoặc trong các ứng dụng thời gian thực. Ngoài ra, SIFT có thể không hoạt động tốt trong các điều kiện ánh sáng khắc nghiệt hoặc khi ảnh bị biến dạng mạnh. Việc lựa chọn các tham số phù hợp cho thuật toán cũng đòi hỏi sự hiểu biết sâu sắc về dữ liệu ảnh và ứng dụng cụ thể. Các nghiên cứu hiện tại tập trung vào việc cải thiện hiệu suất và độ tin cậy của SIFT trong các điều kiện khác nhau.

2.1. Hạn Chế Về Hiệu Năng Tính Toán Của SIFT

Một trong những hạn chế lớn nhất của SIFT là yêu cầu tính toán cao. Quá trình phát hiện và mô tả các điểm đặc trưng đòi hỏi nhiều phép tính phức tạp, đặc biệt là trong giai đoạn xây dựng không gian tỷ lệ và tính toán các gradient. Điều này có thể làm chậm quá trình xử lý ảnh, đặc biệt là đối với các ứng dụng yêu cầu thời gian đáp ứng nhanh. Các phương pháp như SIFT GPU và các biến thể tăng tốc khác đã được phát triển để giải quyết vấn đề này.

2.2. Ảnh Hưởng Của Điều Kiện Ánh Sáng và Biến Dạng Ảnh

SIFT có khả năng bất biến với một số thay đổi về ánh sáng và góc nhìn, nhưng nó vẫn có thể bị ảnh hưởng bởi các điều kiện ánh sáng khắc nghiệt hoặc khi ảnh bị biến dạng mạnh. Các thay đổi lớn về ánh sáng có thể làm thay đổi các gradient và ảnh hưởng đến quá trình phát hiện điểm đặc trưng. Tương tự, các biến dạng ảnh như affine transformation có thể làm sai lệch các đặc trưng và giảm độ chính xác của thuật toán. Cần có các phương pháp tiền xử lý ảnh và điều chỉnh tham số để giảm thiểu ảnh hưởng của các yếu tố này.

2.3. Độ Ổn Định Của Đặc Trưng SIFT Trong Môi Trường Thực Tế

Trong môi trường thực tế, ảnh thường chứa nhiều nhiễu và các yếu tố gây xao nhãng khác, có thể ảnh hưởng đến độ ổn định của các đặc trưng SIFT. Các điểm đặc trưng có thể không được phát hiện chính xác hoặc bị sai lệch do nhiễu. Điều này có thể dẫn đến giảm hiệu suất của các ứng dụng như so khớp ảnh và nhận dạng đối tượng. Cần có các phương pháp lọc nhiễu và kiểm tra tính hợp lệ của các điểm đặc trưng để đảm bảo độ ổn định của thuật toán.

III. Phương Pháp Trích Xuất Đặc Trưng Ảnh Bằng Thuật Toán SIFT

Thuật toán SIFT bao gồm bốn giai đoạn chính: phát hiện điểm đặc trưng, gán hướng, mô tả đặc trưng và so khớp đặc trưng. Đầu tiên, các điểm đặc trưng được phát hiện bằng cách sử dụng Difference of Gaussians (DoG) để xác định các điểm cực trị trong không gian tỷ lệ. Sau đó, một hướng được gán cho mỗi điểm đặc trưng dựa trên gradient cục bộ. Tiếp theo, một vector đặc trưng 128 chiều được tạo ra để mô tả vùng lân cận của mỗi điểm đặc trưng. Cuối cùng, các đặc trưng được so khớp bằng cách sử dụng khoảng cách Euclide hoặc các độ đo tương tự khác.

3.1. Phát Hiện Điểm Đặc Trưng Sử Dụng Difference of Gaussians DoG

Giai đoạn đầu tiên của thuật toán SIFT là phát hiện các điểm đặc trưng trong ảnh. Phương pháp phổ biến nhất là sử dụng Difference of Gaussians (DoG). DoG được tính bằng cách lấy hiệu của hai ảnh Gaussian blur với các độ lệch chuẩn khác nhau. Các điểm cực trị trong không gian tỷ lệ được xác định là các điểm đặc trưng tiềm năng. Quá trình này giúp phát hiện các điểm ổn định và có khả năng bất biến với tỷ lệ.

3.2. Gán Hướng Cho Điểm Đặc Trưng Để Đảm Bảo Tính Bất Biến

Sau khi phát hiện các điểm đặc trưng, giai đoạn tiếp theo là gán một hướng cho mỗi điểm. Hướng được xác định dựa trên gradient cục bộ trong vùng lân cận của điểm đặc trưng. Một histogram của các hướng gradient được tạo ra, và hướng chiếm ưu thế nhất được chọn làm hướng của điểm đặc trưng. Quá trình này giúp đảm bảo tính bất biến với xoay của thuật toán.

3.3. Mô Tả Đặc Trưng Bằng Vector 128 Chiều

Giai đoạn cuối cùng của thuật toán SIFT là tạo ra một vector đặc trưng để mô tả vùng lân cận của mỗi điểm đặc trưng. Vector đặc trưng thường có 128 chiều và được tính toán dựa trên các gradient trong vùng lân cận. Vector này chứa thông tin về độ lớn và hướng của các gradient, giúp phân biệt các điểm đặc trưng khác nhau. Vector đặc trưng này được sử dụng để so khớp các điểm đặc trưng giữa các ảnh.

IV. Ứng Dụng Thực Tế Của Kỹ Thuật SIFT Trong Xử Lý Ảnh

SIFT có nhiều ứng dụng thực tế trong các lĩnh vực như thị giác máy tính, robotics, augmented reality và video surveillance. Trong nhận dạng đối tượng, SIFT được sử dụng để phát hiện và nhận dạng các đối tượng trong ảnh hoặc video. Trong so khớp ảnh, SIFT được sử dụng để tìm các điểm tương ứng giữa các ảnh khác nhau. Trong augmented reality, SIFT được sử dụng để theo dõi và đăng ký các đối tượng ảo vào thế giới thực. Trong video surveillance, SIFT được sử dụng để phát hiện các hoạt động đáng ngờ.

4.1. Ứng Dụng SIFT Trong Nhận Dạng Đối Tượng và Phân Loại Ảnh

SIFT được sử dụng rộng rãi trong nhận dạng đối tượng và phân loại ảnh. Bằng cách trích xuất các đặc trưng SIFT từ ảnh, có thể xây dựng các mô hình học máy để nhận dạng các đối tượng khác nhau. Ví dụ, SIFT có thể được sử dụng để nhận dạng các loại xe, khuôn mặt người hoặc các sản phẩm khác nhau. Các mô hình này có thể được sử dụng trong các ứng dụng như xe tự hành, hệ thống an ninh và thương mại điện tử.

4.2. SIFT Trong So Khớp Ảnh và Tạo Ảnh Toàn Cảnh Panorama

SIFT là một công cụ mạnh mẽ để so khớp ảnh và tạo ảnh toàn cảnh (panorama). Bằng cách tìm các điểm tương ứng giữa các ảnh khác nhau, có thể ghép các ảnh lại với nhau để tạo ra một ảnh lớn hơn. Quá trình này được sử dụng trong các ứng dụng như tạo bản đồ, du lịch ảo và tái tạo 3D.

4.3. SIFT Trong Robotics và Augmented Reality

SIFT cũng được sử dụng trong robotics và augmented reality. Trong robotics, SIFT được sử dụng để giúp robot nhận biết môi trường xung quanh và điều hướng. Trong augmented reality, SIFT được sử dụng để theo dõi và đăng ký các đối tượng ảo vào thế giới thực. Ví dụ, SIFT có thể được sử dụng để hiển thị thông tin về một đối tượng khi người dùng nhìn vào nó qua điện thoại thông minh.

V. Đánh Giá Hiệu Năng và So Sánh SIFT Với Các Thuật Toán Khác

Hiệu năng của SIFT có thể được đánh giá dựa trên các tiêu chí như độ chính xác, độ ổn định và tốc độ xử lý. So với các thuật toán trích xuất đặc trưng khác như SURF, ORB, FAST và BRIEF, SIFT thường có độ chính xác cao hơn nhưng tốc độ xử lý chậm hơn. Việc lựa chọn thuật toán phù hợp phụ thuộc vào yêu cầu cụ thể của ứng dụng. Các nghiên cứu so sánh hiệu năng của các thuật toán này trong các điều kiện khác nhau có thể giúp người dùng đưa ra quyết định tốt nhất.

5.1. Các Tiêu Chí Đánh Giá Hiệu Năng Của Thuật Toán SIFT

Hiệu năng của thuật toán SIFT có thể được đánh giá dựa trên nhiều tiêu chí khác nhau, bao gồm độ chính xác, độ ổn định, tốc độ xử lý và khả năng bất biến với các biến đổi ảnh. Độ chính xác đo lường khả năng của thuật toán trong việc phát hiện và mô tả các điểm đặc trưng chính xác. Độ ổn định đo lường khả năng của thuật toán trong việc duy trì các đặc trưng ổn định khi ảnh bị biến đổi. Tốc độ xử lý đo lường thời gian cần thiết để thuật toán hoàn thành quá trình trích xuất đặc trưng. Khả năng bất biến đo lường khả năng của thuật toán trong việc duy trì các đặc trưng ổn định khi ảnh bị thay đổi về tỷ lệ, xoay, ánh sáng và góc nhìn.

5.2. So Sánh SIFT Với SURF ORB FAST và BRIEF

SIFT thường được so sánh với các thuật toán trích xuất đặc trưng khác như SURF, ORB, FAST và BRIEF. SURF là một thuật toán nhanh hơn SIFT nhưng có độ chính xác tương đương. ORB là một thuật toán miễn phí bản quyền và có hiệu suất tốt trên các thiết bị di động. FAST là một thuật toán rất nhanh nhưng có độ chính xác thấp hơn. BRIEF là một thuật toán mô tả đặc trưng nhanh nhưng yêu cầu một thuật toán phát hiện điểm đặc trưng khác. Việc lựa chọn thuật toán phù hợp phụ thuộc vào yêu cầu cụ thể của ứng dụng.

VI. Kết Luận và Hướng Phát Triển Của Kỹ Thuật SIFT

Kỹ thuật SIFT đã chứng minh là một công cụ mạnh mẽ và hiệu quả trong trích xuất đặc trưng ảnh. Mặc dù có một số hạn chế, SIFT vẫn được sử dụng rộng rãi trong nhiều ứng dụng khác nhau. Các hướng phát triển trong tương lai bao gồm cải thiện hiệu suất tính toán, tăng cường độ ổn định và phát triển các biến thể phù hợp với các ứng dụng cụ thể. Nghiên cứu về SIFT và các thuật toán liên quan tiếp tục đóng góp vào sự tiến bộ của lĩnh vực thị giác máy tính.

6.1. Tổng Kết Về Ưu Điểm và Nhược Điểm Của SIFT

SIFT có nhiều ưu điểm, bao gồm khả năng bất biến với tỷ lệ, xoay và thay đổi ánh sáng, độ chính xác cao và khả năng mô tả các đặc trưng cục bộ mạnh mẽ. Tuy nhiên, SIFT cũng có một số nhược điểm, bao gồm độ phức tạp tính toán cao và khả năng bị ảnh hưởng bởi các điều kiện ánh sáng khắc nghiệt hoặc khi ảnh bị biến dạng mạnh.

6.2. Các Hướng Nghiên Cứu và Cải Tiến SIFT Trong Tương Lai

Các hướng nghiên cứu và cải tiến SIFT trong tương lai bao gồm cải thiện hiệu suất tính toán, tăng cường độ ổn định, phát triển các biến thể phù hợp với các ứng dụng cụ thể và tích hợp SIFT với các kỹ thuật học sâu. Các nghiên cứu này có thể giúp mở rộng phạm vi ứng dụng của SIFT và nâng cao hiệu quả của các hệ thống thị giác máy tính.

Nội dung chính

Tổng quan nghiên cứu

Cuộc cách mạng công nghiệp lần thứ tư đã thúc đẩy sự phát triển mạnh mẽ của công nghệ số, trong đó công nghệ ảnh số đóng vai trò quan trọng với lượng ảnh lưu trữ tăng lên nhanh chóng. Theo ước tính, chỉ riêng trên mạng Internet đã có hàng tỉ ảnh được lưu trữ, tạo ra nhu cầu cấp thiết về các công cụ tìm kiếm ảnh hiệu quả và tiện lợi. Tuy nhiên, các công cụ tìm kiếm ảnh truyền thống dựa trên văn bản đi kèm ảnh còn nhiều hạn chế, đặc biệt trong việc giải quyết sự không thống nhất giữa nội dung câu truy vấn và nội dung ảnh trả về. Do đó, nghiên cứu và ứng dụng các kỹ thuật trích chọn đặc trưng ảnh nhằm xây dựng hệ thống tìm kiếm ảnh theo nội dung là một hướng đi quan trọng.

Luận văn tập trung nghiên cứu kỹ thuật SIFT (Scale Invariant Feature Transform) trong trích chọn đặc trưng ảnh, nhằm tối ưu hóa chất lượng tìm kiếm ảnh. Mục tiêu cụ thể là khảo sát các phương pháp trích chọn đặc trưng ảnh, xây dựng mô hình tìm kiếm K láng giềng gần nhất kết hợp độ đo tương đồng giữa các vector đặc trưng, và phát triển ứng dụng tìm kiếm ảnh sản phẩm trên nền tảng Matlab. Phạm vi nghiên cứu tập trung vào dữ liệu ảnh số thu thập tại trường Đại học Công nghệ Thông tin và Truyền thông Thái Nguyên trong giai đoạn 2017-2018.

Nghiên cứu có ý nghĩa quan trọng trong việc nâng cao hiệu quả truy xuất dữ liệu ảnh trong các cơ sở dữ liệu đa phương tiện, góp phần phát triển các hệ thống quản trị cơ sở dữ liệu đa phương tiện (MMDBMS) và ứng dụng trong nhiều lĩnh vực như thương mại điện tử, an ninh, y tế và truyền thông đa phương tiện.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai khung lý thuyết chính:

1. Hệ quản trị cơ sở dữ liệu đa phương tiện (MMDBMS): Đây là hệ thống quản lý các kiểu dữ liệu đa phương tiện như ảnh, video, âm thanh, tài liệu với các đặc điểm kích thước lớn, đa dạng định dạng và yêu cầu truy vấn phức tạp. MMDBMS cung cấp các chức năng như truy vấn đồng bộ dữ liệu media và văn bản, chỉ số hóa đặc trưng media, và hỗ trợ truy vấn dựa trên nội dung.

2. Kỹ thuật trích chọn đặc trưng ảnh SIFT: SIFT là thuật toán trích chọn đặc trưng cục bộ bất biến tỷ lệ và xoay, được sử dụng rộng rãi trong thị giác máy tính. Thuật toán phát hiện các điểm hấp dẫn (keypoints) trong không gian tỉ lệ bằng bộ lọc Difference-of-Gaussian, định vị chính xác điểm hấp dẫn, xác định hướng và mô tả điểm hấp dẫn bằng vector 128 chiều. Các đặc trưng này giúp nhận dạng và so khớp ảnh hiệu quả trong các điều kiện biến đổi về tỉ lệ, góc quay và ánh sáng.

Các khái niệm chính bao gồm: điểm hấp dẫn (keypoint), không gian tỉ lệ (scale-space), bộ lọc Difference-of-Gaussian (DoG), vector đặc trưng SIFT, mô hình K láng giềng gần nhất (K-NN), và độ đo tương đồng Euclidean.

Phương pháp nghiên cứu

Nguồn dữ liệu nghiên cứu là tập ảnh số thu thập từ trường Đại học Công nghệ Thông tin và Truyền thông Thái Nguyên, gồm nhiều loại ảnh sản phẩm và ảnh mẫu với kích thước và định dạng đa dạng. Cỡ mẫu ảnh thử nghiệm khoảng vài trăm ảnh, đủ để đánh giá hiệu quả thuật toán.

Phương pháp phân tích chính là xây dựng mô hình trích chọn đặc trưng SIFT cho từng ảnh trong cơ sở dữ liệu, sau đó áp dụng thuật toán K láng giềng gần nhất để tìm kiếm các ảnh tương đồng dựa trên độ đo khoảng cách Euclidean giữa các vector đặc trưng. Quá trình thực nghiệm được thực hiện trên phần mềm Matlab với cấu hình phần cứng tiêu chuẩn, sử dụng các thư viện hỗ trợ xử lý ảnh và trích chọn đặc trưng.

Timeline nghiên cứu kéo dài trong khoảng 12 tháng, bao gồm các bước: thu thập dữ liệu, xây dựng mô hình trích chọn đặc trưng, phát triển ứng dụng tìm kiếm, thực hiện các truy vấn thử nghiệm và đánh giá kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả trích chọn đặc trưng SIFT: Thuật toán SIFT phát hiện trung bình khoảng 500 điểm hấp dẫn trên mỗi ảnh thử nghiệm, với khả năng bất biến tốt trước các biến đổi về tỉ lệ và góc quay. Độ chính xác trung bình của 10 truy vấn thử nghiệm đạt khoảng 85%, cao hơn so với các phương pháp trích chọn đặc trưng màu sắc hoặc kết cấu truyền thống.

2. Mô hình tìm kiếm K láng giềng gần nhất: Việc áp dụng thuật toán K-NN với K=5 cho phép tìm ra các ảnh tương đồng chính xác, với tỷ lệ ảnh trả về phù hợp trên 80%. Thời gian truy vấn trung bình dưới 2 giây cho mỗi truy vấn trên tập dữ liệu vài trăm ảnh, đảm bảo tính khả thi trong ứng dụng thực tế.

3. So sánh với tìm kiếm theo văn bản đi kèm ảnh: Kết quả cho thấy tìm kiếm dựa trên đặc trưng nội dung ảnh vượt trội hơn trong các trường hợp truy vấn không rõ nghĩa hoặc ảnh không có văn bản đi kèm. Ví dụ, truy vấn "apple" trả về ảnh quả táo chính xác hơn so với kết quả tìm kiếm dựa trên văn bản, vốn trả về nhiều ảnh logo hãng Apple.

4. Ứng dụng thực tế: Ứng dụng tìm kiếm ảnh sản phẩm trên Matlab cho phép người dùng chọn ảnh mẫu và nhận về danh sách 20 ảnh tương đồng, hỗ trợ tốt cho các hệ thống thương mại điện tử và quản lý kho ảnh.

Thảo luận kết quả

Nguyên nhân của hiệu quả cao đến từ việc SIFT trích chọn các điểm đặc trưng cục bộ bất biến, giúp mô tả chính xác nội dung ảnh trong nhiều điều kiện biến đổi. Mô hình K-NN kết hợp với độ đo Euclidean đơn giản nhưng hiệu quả trong việc xác định ảnh tương đồng.

So với các nghiên cứu trước đây, kết quả này phù hợp với báo cáo của ngành về ưu thế của SIFT trong trích chọn đặc trưng ảnh. Việc sử dụng sơ đồ đánh chỉ số và lượng tử hóa tích hợp giúp tăng tốc độ truy vấn, phù hợp với yêu cầu xử lý dữ liệu lớn trong MMDBMS.

Dữ liệu có thể được trình bày qua biểu đồ so sánh độ chính xác giữa các phương pháp trích chọn đặc trưng, bảng thống kê thời gian truy vấn và tỷ lệ ảnh trả về phù hợp theo từng truy vấn.

Đề xuất và khuyến nghị

1. Tối ưu hóa thuật toán trích chọn đặc trưng: Nghiên cứu áp dụng các kỹ thuật giảm chiều vector đặc trưng SIFT nhằm giảm thời gian xử lý mà vẫn giữ được độ chính xác, hướng tới xử lý dữ liệu lớn hơn trong tương lai.

2. Phát triển hệ thống chỉ số hóa nâng cao: Áp dụng các cấu trúc dữ liệu như cây IVFADC để tăng tốc độ truy vấn K-NN, giảm thiểu độ trễ trong các hệ thống tìm kiếm ảnh quy mô lớn.

3. Mở rộng phạm vi ứng dụng: Triển khai ứng dụng tìm kiếm ảnh trong các lĩnh vực y tế, an ninh và thương mại điện tử với dữ liệu thực tế phong phú hơn, đồng thời tích hợp phản hồi người dùng để cải tiến kết quả tìm kiếm.

4. Đào tạo và chuyển giao công nghệ: Tổ chức các khóa đào tạo cho cán bộ kỹ thuật và sinh viên về kỹ thuật SIFT và xây dựng hệ thống tìm kiếm ảnh, nhằm nâng cao năng lực nghiên cứu và ứng dụng trong các tổ chức, doanh nghiệp.

Các giải pháp trên nên được thực hiện trong vòng 12-18 tháng, với sự phối hợp giữa các đơn vị nghiên cứu, trường đại học và doanh nghiệp công nghệ.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học máy tính, Thị giác máy tính: Luận văn cung cấp kiến thức chuyên sâu về kỹ thuật trích chọn đặc trưng SIFT và mô hình tìm kiếm ảnh, hỗ trợ nghiên cứu và phát triển các đề tài liên quan.

2. Chuyên gia phát triển hệ thống quản trị cơ sở dữ liệu đa phương tiện (MMDBMS): Tham khảo để áp dụng các kỹ thuật trích chọn đặc trưng và mô hình truy vấn hiệu quả trong quản lý dữ liệu ảnh và đa phương tiện.

3. Doanh nghiệp công nghệ và thương mại điện tử: Ứng dụng trong xây dựng các công cụ tìm kiếm ảnh sản phẩm, nâng cao trải nghiệm người dùng và tối ưu hóa quản lý kho ảnh số.

4. Ngành y tế và an ninh: Áp dụng kỹ thuật tìm kiếm ảnh trong phân tích hình ảnh y tế, nhận dạng đối tượng và giám sát an ninh, giúp nâng cao hiệu quả công tác chuyên môn.

Câu hỏi thường gặp

1. Kỹ thuật SIFT có ưu điểm gì so với các phương pháp trích chọn đặc trưng khác?
   SIFT có khả năng bất biến với tỉ lệ, xoay và một phần biến đổi ánh sáng, giúp trích chọn các điểm đặc trưng ổn định và dễ dàng so khớp giữa các ảnh khác nhau. Ví dụ, SIFT vượt trội hơn so với các phương pháp dựa trên màu sắc hoặc kết cấu trong việc nhận dạng đối tượng trong ảnh.

2. Mô hình K láng giềng gần nhất hoạt động như thế nào trong tìm kiếm ảnh?
   K-NN tìm kiếm các ảnh trong cơ sở dữ liệu có vector đặc trưng gần nhất với vector đặc trưng của ảnh truy vấn dựa trên độ đo khoảng cách Euclidean. Ví dụ, với K=5, hệ thống trả về 5 ảnh tương đồng nhất, giúp người dùng dễ dàng lựa chọn.

3. Làm thế nào để xử lý dữ liệu ảnh lớn trong hệ thống tìm kiếm?
   Có thể áp dụng các kỹ thuật chỉ số hóa như cây IVFADC, lượng tử hóa tích để giảm thời gian truy vấn và tăng tốc độ tìm kiếm. Ngoài ra, giảm chiều vector đặc trưng cũng giúp tối ưu hiệu suất.

4. Tìm kiếm ảnh theo nội dung có thể áp dụng trong những lĩnh vực nào?
   Ứng dụng rộng rãi trong thương mại điện tử (tìm kiếm sản phẩm), y tế (phân tích hình ảnh y khoa), an ninh (nhận dạng đối tượng), và truyền thông đa phương tiện (quản lý kho ảnh, video).

5. Phần mềm Matlab có phù hợp để phát triển ứng dụng tìm kiếm ảnh không?
   Matlab cung cấp nhiều thư viện xử lý ảnh và công cụ phát triển nhanh, phù hợp cho nghiên cứu và thử nghiệm thuật toán. Tuy nhiên, để triển khai thực tế quy mô lớn, cần chuyển sang các nền tảng tối ưu hơn như Python hoặc C++.

Kết luận

• Nghiên cứu đã chứng minh hiệu quả của kỹ thuật SIFT trong trích chọn đặc trưng ảnh bất biến tỉ lệ và xoay, nâng cao độ chính xác tìm kiếm ảnh.
• Mô hình tìm kiếm K láng giềng gần nhất kết hợp độ đo Euclidean cho kết quả truy vấn nhanh và chính xác trên tập dữ liệu ảnh thực nghiệm.
• Ứng dụng tìm kiếm ảnh sản phẩm trên Matlab đã được xây dựng thành công, hỗ trợ tốt cho các hệ thống quản lý ảnh số.
• Đề xuất các giải pháp tối ưu hóa thuật toán và mở rộng ứng dụng trong các lĩnh vực đa phương tiện, y tế, an ninh và thương mại điện tử.
• Khuyến khích triển khai nghiên cứu tiếp theo trong vòng 12-18 tháng nhằm nâng cao hiệu suất và mở rộng quy mô dữ liệu.

Quý độc giả và các nhà nghiên cứu quan tâm có thể liên hệ để trao đổi, hợp tác phát triển các ứng dụng tìm kiếm ảnh theo nội dung dựa trên kỹ thuật SIFT và các mô hình truy vấn hiện đại.

Trích đoạn nội dung tài liệu

CHƯƠNG 1 TỔNG QUAN VỀ CƠ SỞ DỮ LIỆU ĐA PHƯƠNG TIỆN 1. Tổng quan về hệ quản trị cơ sở dữ liệu đa phương tiện 1. Giới thiệu chung Thế giới đang bước vào cuộc cách mạng công nghiệp lần thứ tư – một cuộc cách mạng sản xuất mới gắn liền với những đột phá chưa từng có về công nghệ, liên quan đến kết nối Internet, điện toán đám mây, in 3D, công nghệ cảm biến, thực tại ảo. Bản chất của cách mạng công nghiệp lần thứ tư là dựa trên nền tảng công nghệ số và tích hợp tất cả các công nghệ thông minh để tối ưu hóa quy trình, phương thức sản xuất.

Trong những năm gần đây, nhu cầu về khai thác và xử lý dữ liệu vô cùng lớn, điều đó không dễ dàng diễn tả được chỉ với việc sử dụng các ký tự. Các kiểu dữ liệu có thể là hình ảnh, video, tài liệu, âm thanh (dữ liệu Media). Multimedia là tập hợp các kiểu media được sử dụng với nhau (dữ liệu đa phương tiện). Hệ quản trị cơ sở dữ liệu (CSDL) đa phương tiện (Multimedia DataBase Management System – MMDBMS) là một hệ thống giúp người dùng thao tác trên các dữ liệu media một cách thích hợp và hiệu quả.

Các thao tác cơ bản của hệ quản trị CSDL thường là cập nhật, chèn, xoá và tìm kiếm một đối tượng trong CSDL. Như vậy, có thể nói rằng CSDL đa phương tiện là tập hợp các dữ liệu đa phương tiện có liên quan với nhau [1]. Các kiểu dữ liệu thông thường của một CSDL đa phương tiện bao gồm: Dữ liệu hình ảnh (Image data): Bao gồm ảnh đen trắng, ảnh xám, ảnh màu. Dữ liệu hình ảnh có nhiều định dạng khác nhau (bmp, jpg, gif, png…).

Ví dụ, một học viên phẫu thuật muốn thực hành một ca phẫu thuật trên một bệnh nhân ảo có những triệu chứng sinh lý nào đó. Trong thực tế, để tìm ra bệnh nhân với những triệu chứng mong muốn, học viên phẫu thuật phải truy vấn CSDL ảnh phân tán và kích thước lớn chứa ảnh X quang hay MRI (Magnetic Resonance Imaging) của các bệnh nhân với các triệu chứng tương tự. 2 c Dữ liệu Video (Video data): Là một chuỗi các hình ảnh liên tục nhau, đòi hỏi dung lượng lưu trữ lớn. Cùng với sự phát triển bùng nổ của các thiết bị nghe nhìn hiện đại như: Máy tính bảng, máy ảnh kĩ thuật số, điện thoại thông minh… thì kiểu dữ liệu Video đang ngày càng phổ biến khắp mọi nơi.

Bên cạnh đó, sự bùng nổ của mạng xã hội cùng các hệ thống chia sẻ video trực tuyến như Youtube1, Vimeo2, DailyMotion3… giúp cho việc lưu trữ các dữ liệu Video không còn là bài toán khó. Do đó, việc truy xuất dữ liệu để tìm kiếm thông tin theo yêu cầu trong kho dữ liệu khổng lồ như vậy là một vấn đề rất đáng quan tâm. Giả sử, cảnh sát giao thông muốn tìm kiếm những tư liệu băng hình về một vụ tai nạn giao thông nào đó tại vị trí có camera theo dõi được lưu trữ trong máy chủ. Như vậy, đòi hỏi phải truy vấn thư viện băng hình mà nó bao gồm tập hợp vô số các băng hình tại vị trí đó.

Dữ liệu âm thanh (Audio data): Dữ liệu âm thanh được sử dụng trong những ứng dụng, thiết bị như nhận dạng giọng nói, xử lý âm thanh, điều khiển thiết bị bằng giọng nói. Ví dụ: hệ thống điều khiển xe lăn cho người tàn tật. Trong trường hợp này cần phải tập hợp các đoạn audio là các lệnh điều khiển cho xe di chuyển bằng giọng nói. Dữ liệu tài liệu (Document data): Là loại dữ liệu có mặt hầu hết trong các ứng dụng đa phương tiện nhằm giải thích thêm cho các dữ liệu không phải văn bản, bao gồm: Các từ, câu, đoạn văn.

Một CSDL tài liệu khác văn bản ở chỗ nó không chỉ chứa các thông tin dạng văn bản thô mà còn chứa đựng cả cấu trúc và hình ảnh nhúng. Ví dụ: khi ta xem sách, trong sách không chỉ có dữ liệu văn bản mà còn bao gồm cả hình ảnh. Giả sử, khi người đọc muốn tìm một bức ảnh nào đó nhưng không thể tìm trong CSDL ảnh. Tuy nhiên, nếu có một thư viện điện tử số để truy cập thì việc tìm thấy bức ảnh 1 Youtube.com 3 c mong muốn là rất dễ dàng.

Như vậy, dữ liệu tài liệu bao gồm các phương tiện quan trọng mà trong đó các thông tin có thể được lưu trữ dưới dạng điện tử [2]. Những năm trước đây, nhiều dữ liệu dạng văn bản (text) được lưu trữ dưới khuôn dạng máy tính có thể lưu trữ và xử lý. Từ đó dẫn tới phát triển các hệ thống quản trị CSDL mà ngày nay được sử dụng trong hầu hết các cơ quan, tổ chức. Tuy nhiên, các hệ quản trị CSDL này không thể quản lý dữ liệu đa phương tiện một cách hiệu quả bởi vì tính chất của dữ liệu văn bản và dữ liệu đa phương tiện là khác nhau, và CSDL đa phương tiện với các dữ liệu ảnh, video, âm thanh.

thường là rất lớn. Do vậy, việc nghiên cứu phát triển hệ thống quản trị CSDL có khả năng quản lý dữ liệu đa phương tiện với các kỹ thuật truy tìm và chỉ mục mới là rất cần thiết. MMDBMS là một khung làm việc để quản lý các kiểu dữ liệu khác nhau mà chúng được thể hiện trong rất nhiều khuôn dạng khác nhau. Để làm việc thành công thì một MMDBMS phải có các khả năng sau: Có khả năng truy vấn đồng bộ dữ liệu (dữ liệu media và dữ liệu văn bản) được thể hiện trong các định dạng khác nhau.

Ví dụ: một MMDBMS sẽ có khả năng truy vấn và tích hợp dữ liệu mà nó được lưu trong các CSDL khác nhau mà có thể sử dụng các lược đồ khác nhau, cũng như việc truy vấn tệp và dữ liệu lưu trữ trong DBMS hướng đối tượng hay DBMS không gian. Việc xử lý các truy vấn như vậy là khá phức tạp vì trên thực tế việc nhận biết được nội dung của các kiểu media là vấn đề thách thức, nó phụ thuộc rất nhiều vào kiểu dữ liệu và cách thức lưu trữ chúng. Cuối cùng, truy vấn có thể mở rộng đối với nhiều kiểu vật mang (media) dữ liệu và MMDBMS phải có khả năng kết hợp các kết quả từ các nguồn dữ liệu khác nhau và các kiểu media khác nhau. Có khả năng truy vấn dữ liệu biểu diễn trong media khác nhau.

Ví dụ: một MMDBMS phải có khả năng truy vấn không chỉ trong CSDL hình ảnh 4 c mà còn cả trong CSDL âm thanh và CSDL quan hệ, sau đó kết hợp các kết quả với nhau. MMDBMS phải có khả năng khai thác các đối tượng mang tin (media) từ một thiết bị lưu trữ cục bộ một cách trơn tru bởi vì các đối tượng mang tin (video, âm thanh…) thường chiếm một không gian vô cùng lớn. MMDBMS phải có khả năng tạo ra các câu trả lời từ truy vấn và có khả năng trình diễn các câu trả lời này bằng các phương tiện nghe nhìn. Mỗi một hệ thống có đầy đủ các đặc tính yêu cầu trên là chưa đủ mà còn cần phải có khả năng phân phối các trình diễn theo một cách nào đó nhằm thoả mãn các yêu cầu khác nhau về chất lượng thể hiện của các thiết bị.

Các kiểu truyền thông và multimedia Đa phương tiện (multimedia) là một lĩnh vực của Công nghệ thông tin có mục đích nghiên cứu và đề xuất các công cụ trợ giúp việc xử lý lưu trữ, truyền các dữ liệu thích hợp như: văn bản (text), biểu đồ, đồ thị (graphic), hoạt hình (animation), ảnh (image), video, audio, hoặc kết hợp các media với nhau (video + audio + văn bản diễn giải). Người ta thường phân media thành hai loại dựa trên quan hệ của chúng với thời gian, đó là: Đa phương tiện tĩnh (Static media): Không có chiều thời gian. Thông tin không liên quan tới thời gian. Ví dụ cho loại này là văn bản, hình họa, ảnh chụp.

Đa phương tiện động (Dynamic media): Có chiều thời gian. Thông tin có quan hệ chặt chẽ với thời gian và thông tin phải được trình diễn với thời gian xác định. Ví dụ các loại audio, video, animation. So với dữ liệu truyền thống như văn bản và số, dữ liệu đa phương tiện có một số đặc điểm rất khác biệt, đó là: Kích thước dữ liệu lớn: dữ liệu đa phương tiện có kích thước lớn hơn nhiều so với các kiểu dữ liệu số và văn bản thông thường.

Một văn bản thô có 200 từ (khoảng 1000 ký tự) chỉ có kích thước là 1kByte, nhưng nếu lưu văn 5 c bản đó bằng định dạng ảnh GIF thì kích thước gấp khoảng 10 lần. Một giọng nói đơn sắc được lưu với định dạng .WAV trong thời gian 1 phút có kích thước khoảng 2640 kByte (đã nén) hoặc xấp xỉ 6-8 MB (chưa nén). Một cảnh video rất ngắn chứa hàng trăm bức ảnh với kích thước có thể lên đến vài chục MB. Cụ thể, có thể xem bảng minh họa sau: Bảng 1.1: Mô tả kích thước kiểu dữ liệu Kiểu Mô tả Kích thước Plain text khoảng 200 từ (1000 ký tự) 1 Kb Tệp Word khoảng 200 từ (1000 ký tự) 15 Kb Ảnh GIF khoảng 200 từ (1000 ký tự, 210 x 100mm) 10 Kb Âm thanh WAVE giọng nói (1 phút, 22KHz, 16 bit, mono) 2640 Kb Video Video (1 phút, độ phân giải 740*480) 20 Mb Số lượng dữ liệu đồ sộ: người ta ước tính, chỉ riêng trên WWW có số lượng lên đến hàng tỉ ảnh, hàng trăm triệu bài hát MP3 và vài chục triệu phim video.

 Một số dữ liệu đa phương tiện phụ thuộc thời gian Audio và video có thêm chiều thời gian. Khi trình diễn audio và video thì chất lượng của chúng phụ thuộc chặt chẽ vào tốc độ trình diễn. Ví dụ: video phải được trình diễn với tốc độ 25 đến 30 hình/giây để có thể cảm nhận được hình ảnh chuyển động tốt.  Tìm kiếm dựa trên cơ sở tương tự Trong cơ sở dữ liệu quan hệ, phương pháp tìm kiếm truyền thống đối với dữ liệu dạng văn bản và số là tìm kiếm chính xác.

Đối với dữ liệu đa phương tiện, người dùng thường đặt ra yêu cầu tìm kiếm một đối tượng tương tự theo nội dung mà họ đưa ra. Hệ quản trị cơ sở dữ liệu đa phương tiện (MMDBMS) Trung tâm của một hệ thống thông tin multimedia chính là hệ quản trị CSDL MULTIMEDIA (MDBMS). Theo truyền thống, một CSDL bao gồm một bộ các dữ có liên quan về một thực thể cho trước hoặc một hệ quản trị CSDL (DBMS) là một bộ các dữ liệu có liên quan đến nhau với một tập hợp các chương trình được dùng để khai báo, tạo lập, lưu trữ, và khai thác CSDL.