SỞ GIÁO DỤC T C I TRƢỜ G C O GC G G T Ủ ỨC O I – I T ỀT I G I CỨU O C TRUY VẤ Ả DỰ V O ỘI DUNG DÙ G BIẾ ỔI W VELET GIẢ G VI GUYỄ T Ị O G Tp. Hồ Chí Minh, tháng I 01 năm 2018 ỤC LỤC MỤC LỤC. III DANH SÁCH CÁC HÌNH .V DANH SÁCH CÁC TỪ VIẾT TẮT. VI Chƣơng I: TỔNG QUAN .1 Tổng quan về lĩnh vực nghiên cứu .2 Các kết quả nghiên cứu trong và ngoài nƣớc đã công bố .3 Mục tiêu của đề tài .4 Nhiệm vụ và giới hạn của đề tài .1 Nhiệm vụ của đề tài.2 Giới hạn của đề tài .5 Phƣơng pháp nghiên cứu.
4 Chƣơng II: CƠ SỞ LÝ THUYẾT .1 Biến đổi Wavelet rời rạc ảnh.2 Các đặc trƣng kết cấu (texture) .1 Đặc trƣng Wavelet .2 Đặc trƣng Gabor Wavelet .3 Các đặc trƣng màu sắc .1 Đặc trƣng moments màu (Color moments) .2 Đặc trƣng lƣợc đồ màu (Color histogram) .3 Đặc trƣng tƣơng quan màu (Color correlogram) .4 Thu thập dữ liệu .5 Phƣơng pháp truy vấn ảnh .1 Khoảng cách Euclidean .2 Khoảng cách Manhattan .3 Khoảng cách Euclidean chuẩn .4 Khoảng cách Mahalanobis .5 Khoảng cách Chebyshev .2 Siêu ph ng (Hyperplane).3 Phân loại tuyến tính với lề cực đại (maximum-margin linear classifier). 21 Chƣơng III: TRUY VẤN ẢNH DỰA TRÊN CƠ SỞ ĐẶC TRƢNG WAVELET VÀ ĐẶC TRƢNG MÀU .1 Trích rút đặc trƣng kết cấu (texture) .1 Trích rút đặc trƣng Wavelet .2 Trích rút đặc trƣng Gabor Wavelet .2 Trích rút đặc trƣng màu sắc .1 Trích rút đặc trƣng moments màu (Color moments) .2 Trích rút đặc trƣng lƣợc đồ màu (Color histogram).3 Trích rút đặc trƣng tƣơng quan màu (Color correlogram) .3 Kết hợp các đặc trƣng .4 Đo lƣờng sự giống nhau .5 Phân loại ảnh bằng SVM. 26 Chƣơng IV: KẾT QUẢ. 27 Chƣơng V: KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN .2 HƢỚNG PHÁT TRIỂN CỦA ĐỀ TÀI.
32 TÀI LIỆU THAM KHẢO. 35 IV DANH SÁCH CÁC HÌNH Hình 2.1 Biến đổi Wavelet 2D mức 1 .2 Sơ đồ phân tích Wavelet 2D mức 1 [8] .3 Sơ đồ ví dụ biến đổi ảnh Wavelet 2D mức 1.4 Sơ đồ biến đổi Wavelet 2D mức 2 .5 Sơ đồ ví dụ biến đổi ảnh Wavelet 2D mức 2 .6 Sơ đồ phân tích Wavelet 2D tổng quát [8]. Có vô số đƣờng th ng có thể phân chia tuyến tính, tuy nhiên với đƣờng phân chia H5, đã có một điểm bị phân loại nhầm .8 Không thể phân chia các lớp dữ liệu một cách tuyến tính. Ánh xạ dữ liệu trong không gian ban đầu vào một không gian mới nhiều chiều hơn .9 Việc phân tách dữ liệu trở nên dễ dàng hơn trong không gian mới .10 Các siêu ph ng phân chia tập mẫu thành hai lớp và support vector trong SVM .11 Các siêu ph ng H+ và H- trong SVM.1 Sơ đồ khối của một hệ thống truy vấn ảnh dựa theo nội dung .1 Kết quả truy vấn ảnh loại xe máy khi chƣa có SVM .2 Kết quả truy vấn ảnh loại xe máy khi có SVM .3 Ma trận do dự 1 .4 Kết quả truy vấn ảnh loại vợt tennis khi chƣa có SVM .5 Kết quả truy vấn ảnh loại vợt tennis khi có SVM .6 Ma trận do dự 2.
31 V D SÁC CÁC TỪ VIẾT TẮT A – Approximation CBIR – Content Based Image Retrieval CSDL – Cơ sở dữ liệu D – Diagonal DWT – Decrete Wavelet Transform H – Horizontal HH –High High HL –High Low LL – Low Low LH –Low High SVM – Support Vector Machine V – Vertical 2D – 2 Dimension VI Chƣơng I TỔ G QU 1.1 Tổng quan về lĩnh vực nghiên cứu Truy vấn ảnh là quá trình tìm kiếm ảnh trong một cơ sở dữ liệu dựa trên các đặc trƣng đƣợc trích rút tự động từ chính các ảnh đó. Khi cung cấp một ảnh mục tiêu ngõ vào, hệ thống sẽ tìm kiếm các ảnh giống với ngõ vào nhất và trả về cho ngƣời dùng. Sự tƣơng quan giữa ngõ vào và ngõ ra đƣợc định nghĩa bằng luật đo sự tƣơng đồng cụ thể. Khái niệm truy vấn ảnh dựa theo nội dung (Content Based Image Retrieval - CBIR) xuất hiện từ những năm 1980 và trở thành một chủ đề nghiên cứu ứng dụng tích cực từ những năm đầu thập niên 1990 cùng với sự phát triển của công nghệ và internet [1].
Truy vấn ảnh từ một cơ sở dữ liệu với số lƣợng ảnh lớn là vấn đề hấp dẫn đã thu hút sự chú ý của khoa học thị giác máy tính và nhận dạng mẫu. Hiện nay, truy vấn ảnh cũng là nhân tố quan trọng trong nhiều ứng dụng khác nhau nhƣ thƣ viện số, tìm kiếm lịch sử, nhận dạng vân tay, y tế,…[2]. So với hệ thống truy vấn truyền thống dựa vào từ khóa thì hệ thống truy vấn dựa vào nội dung có tính khách quan hơn, nó dựa vào các đặc trƣng trực quan của ảnh nhƣ màu sắc, kết cấu, hình dạng và bố cục không gian,… để mô tả nội dung ảnh hiệu quả nhất, làm cơ sở cho việc tra cứu, sắp xếp, tổ chức cơ sở dữ liệu ảnh. Các đặc trƣng toàn cục liên quan tới màu sắc, kết cấu đƣợc sử dụng phổ biến để mô tả đặc trƣng ảnh trong việc truy vấn.
Bài toán dùng đặc trƣng toàn cục là phƣơng pháp không thể giữ lại tất cả các phần của các đặc trƣng khác nhau. Để giữ lại các phần cụ thể của ảnh, dùng phƣơng pháp đặc trƣng cụ bộ. Biến đổi Wavelet đƣợc ứng dụng phổ biến để trích đặc trƣng kết cấu (texture). Màu sắc là một đặc trƣng hữu ích cho truy vấn dựa vào nội dung.
Trong đề tài, tác giả sử dụng kết hợp hai đặc trƣng này để tạo thành vector đặc trƣng cho ảnh truy vấn và ảnh trong cơ sở dữ liệu dùng cho truy vấn ảnh.2 Các kết quả nghiên cứu trong và ngoài nƣớc đã công bố Luận văn thạc sĩ chuyên nghành khoa học máy tính “Nghiên cứu phƣơng pháp tra cứu ảnh dựa trên nội dung và xây dựng hệ thống tra cứu cây thuốc” của tác giả Nguyễn Huy Hoàng [3] đã trích rút đặc trƣng kết cấu ảnh dựa trên biến đổi Wavelet và đặc trƣng màu dựa vào lƣợc đồ màu để xây dựng hệ thống tra cứu cây thuốc. Luận án tiến sĩ chuyên nghành kỹ thuật điện tử “Truy vấn ảnh dựa theo nội dung sử dụng trích đặc trƣng trên nền Wavelet” của tác giả Nguyễn Đức Hoàng [4] đã nghiên cứu khả năng kết hợp của các đặc trƣng ảnh đƣợc tạo ra dựa trên biến đổi wavelets và các đặc trƣng phổ biến khác nhƣ đặc trƣng màu, đặc trƣng texture,… để mô tả đặc trƣng ảnh và sử dụng các đặc trƣng này để thiết kế hệ thống CBIR. Nhiều tác giả nƣớc ngoài đã nghiên cứu hệ thống CBIR với nhiều cách mô tả ảnh và cách đo sự tƣơng đồng khác nhau. Manjushas và Nelwin Raj N R [2] đã đƣa ra 10 bƣớc để truy vấn ảnh nhƣ sau: Bƣớc 1: Đọc ảnh truy vấn.
Bƣớc 2: Phân tích Wavelet ảnh truy vấn. Bƣớc 3: Trích đặc trƣng của ảnh truy vấn (ví dụ nhƣ các bộ mô tả màu, bộ mô tả kết cấu (texture). Bƣớc 4: So sánh các đặc trƣng của ảnh truy vấn với các đặc trƣng của ảnh cơ sở dữ liệu đƣợc lƣu trong cơ sở dữ liệu đặc trƣng. Bƣớc 5: Tìm kiếm các ảnh giống với ảnh truy vấn.
Bƣớc 6: Hỏi ngƣời dùng về tỉ lệ ảnh truy vấn đƣợc. Bƣớc 7: Dựa trên ngƣời dùng về tỉ lệ (bƣớc 5) và sự giống nhau (bƣớc 3), tính toán một hàm thích hợp cho tất cả các ảnh truy vấn đƣợc. 2 Bƣớc 8: Kết hợp tất cả các đặc trƣng của ảnh truy vấn đƣợc với các giá trị hàm thích hợp tốt nhất để tạo ra các vector đặc trƣng mới. Bƣớc 9: So sánh các đặc trƣng mới với các đặc trƣng của các ảnh trong cơ sở dữ liệu.
Bƣớc 10: Lặp lại các bƣớc từ 5 đến 9 cho đến khi ngƣời dùng hài lòng.Mahalakshmi [5] đƣa ra một vector đặc trƣng mới dựa trên biến đổi Wavelet 2D rời rạc. Đầu tiên tất cả các ảnh trong CSDL đƣợc chuyển sang không gian màu YCbCr, sau đó biến đổi Wavelet 2D rời rạc đƣợc áp dụng cho m i thành phần màu. Các đặc trƣng nhƣ trung bình, năng lƣợng, entropy và độ lệch chuẩn đƣợc tính đối với các băng con cho tất cả các ảnh trong CSDL. Các đặc trƣng của ảnh truy vấn đƣợc so ánh với vector đặc trƣng CSDL dùng khoảng cách Euclidean và truy vấn các ảnh liên quan thực hiện trên tập dữ liệu Wang.
Chaudhary và Abhay B. Upadhyay [6] đƣa ra một tiếp cận CBIR kết hợp cả hai đặc trƣng toàn cục và đặc trƣng cục bộ đƣa vào một ảnh. Đầu tiên, áp dụng biến đổi Wavelet cố định vào ảnh truy vấn để trích các ma trận chi tiết ngang, dọc và đƣờng chéo, sau đó các đặc trƣng kết cấu này đƣợc trích rút dùng ma trận mức xám đồng hiện (Gray level Co-occurrence Matrix) đối với m i ma trận con này. Để đạt đƣợc mục đích truy vấn, tính bộ mô tả cục bộ bằng cách tách ảnh thành các vùng con.
Cuối cùng, dùng khoảng cách Euclidean và truy vấn các ảnh liên quan. Nhóm tác giả Davar Giveki, Ali Soltanshahi, Fatemeh Shiri, Hadis Tarrah [7] đã nghiên cứu thực nghiệm về ảnh hƣởng của việc chọn không gian màu vào việc thực hiện CBIR dùng phân tích Wavelet cho m i kênh màu. Sau đó phân tích kết quả truy vấn của các không gian màu khác nhau nhƣ RGB, YUV, HSV,YCbCr và Lab. Tiếp tục biến đổi Wavelet cho không gian màu và moments màu thu đƣợc và kết hợp lại để tăng hiệu quả của phƣơng pháp.3 ục tiêu của đề tài Mục tiêu của đề tài là xây dựng một mô hình CBIR dựa trên cơ sở biến đổi Wavelet 2D theo bộ dữ liệu ảnh tự thu thập để truy vấn.4 hiệm vụ và giới hạn của đề tài 1.1 hiệm vụ của đề tài Các nội dung chính đƣợc thực hiện trong đề tài: - Thu thập và xây dựng tập dữ liệu ảnh.
- Tiền xử lý ảnh dùng phƣơng pháp DWT. - Trích đặc trƣng ảnh dùng đặc trƣng Wavelet và histogram màu. - Truy vấn ảnh dùng phƣơng pháp đo lƣờng khoảng cách và SVM. - Tóm tắt nội dung và viết báo cáo.2 Giới hạn của đề tài Đề tài chỉ thực hiện trên 472 ảnh dữ liệu tự xây dựng (ảnh tự chụp từ máy ảnh kỹ thuật số Samsung 12.2 Megapixels), phân biệt tối đa 10 nhóm đối tƣợng ảnh, m i lần truy vấn tối đa 20 ảnh.