Luận văn ThS: Nghiên cứu kỹ thuật truy vấn ảnh tự nhiên và ứng dụng thực tế

Luận văn thạc sĩ nghiên cứu kỹ thuật truy vấn ảnh tự nhiên. Phân tích chi tiết các đặc tính, phương pháp so sánh và mô phỏng ứng dụng thực tế.

• Tác giả: Nguyên Mạnh Dũng
• Người hướng dẫn: PGS.TS Nguyễn Tiến Dũng
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Kỹ Thuật Truyền Thông
• Đề tài: Kỹ Thuật Truy Vấn Ảnh Tự Nhiên và Ứng Dụng
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2014
• Địa điểm: Hà Nội

Tóm tắt

I. Giới thiệu về Kỹ thuật Truy vấn Ảnh Tự nhiên

Kỹ thuật truy vấn ảnh tự nhiên (Natural Image Retrieval) là một lĩnh vực quan trọng trong xử lý ảnh số hiện đại. Với sự phát triển của công nghệ, lượng ảnh số được tạo ra và lưu trữ hàng ngày tăng lên exponentially. Tuy nhiên, việc tìm kiếm và truy xuất ảnh từ các cơ sở dữ liệu lớn trở thành một thách thức lớn. Truy vấn ảnh dựa trên nội dung (Content-Based Image Retrieval - CBIR) đã trở thành giải pháp chính để giải quyết vấn đề này. Phương pháp này không dựa vào các thẻ mô tả văn bản mà phân tích trực tiếp nội dung hình ảnh để tìm kiếm.

1.1. Khái niệm và Lịch sử Phát triển

Truy vấn ảnh tự nhiên xuất phát từ nhu cầu thực tế trong các ứng dụng y tế, địa chất, và an ninh. Những năm 1990, các nhà nghiên cứu bắt đầu phát triển các hệ thống CBIR đầu tiên như QBIC của IBM và Photobook của MIT. Những hệ thống này sử dụng các đặc tính cơ bản như màu sắc, kết cấu và hình dạng để so sánh ảnh.

1.2. Tầm Quan Trọng trong Thực Tế

Trong thời đại kỹ thuật số, ứng dụng truy vấn ảnh không thể thiếu trong các lĩnh vực khác nhau. Các ứng dụng thực tế bao gồm: tìm kiếm ảnh y tế (IRMA), nhận dạng khuôn mặt, tìm kiếm hình ảnh trên mạng, và các hệ thống giám sát. Những công nghệ này giúp tiết kiệm thời gian và tăng hiệu suất công việc.

II. Các Đặc Tính Truy vấn Ảnh Tự nhiên

Để thực hiện truy vấn ảnh hiệu quả, cần phải trích xuất các đặc tính ảnh phù hợp. Các đặc tính này đóng vai trò là những đặc điểm đại diện cho nội dung ảnh. Có hai loại đặc tính chính được sử dụng: đặc tính toàn cầu và đặc tính cục bộ. Đặc tính toàn cầu bao gồm màu sắc, kết cấu và hình dạng, trong khi đặc tính cục bộ tập trung vào các vùng quan trọng trong ảnh. Việc lựa chọn đặc tính phù hợp là chìa khóa để cải thiện độ chính xác của hệ thống truy vấn.

2.1. Đặc Tính Màu Sắc

Đặc tính màu sắc là đặc tính cơ bản và được sử dụng rộng rãi nhất. Các không gian màu như RGB, HSV, và CIE Lab được áp dụng để mô tả phân bố màu trong ảnh. Lược đồ histogram là phương pháp phổ biến để biểu diễn phân bố màu. Tuy nhiên, đặc tính màu sắc có hạn chế khi hai ảnh khác nhau về nội dung nhưng có phân bố màu giống nhau.

2.2. Đặc Tính Kết Cấu và Hình Dạng

Đặc tính kết cấu mô tả các mẫu và hoa văn trong ảnh, sử dụng các phương pháp như Gabor filters và Tamura features. Đặc tính hình dạng trích xuất thông tin về轮廓 và cấu trúc không gian. Đặc tính bất biến Fourier-Mellin được sử dụng để xử lý các phép biến đổi xoay và co giãn ảnh.

III. Phương Pháp So Sánh Đặc Tính Ảnh

Sau khi trích xuất đặc tính ảnh, bước tiếp theo là so sánh đặc tính giữa ảnh truy vấn và các ảnh trong cơ sở dữ liệu. Các phương pháp so sánh khác nhau sẽ cho kết quả khác nhau. Khoảng cách Euclidean là phương pháp cơ bản nhất, nhưng các phương pháp nâng cao như Earth Mover's Distance (EMD) và Jensen-Shannon Divergence (JSD) cung cấp kết quả chính xác hơn. Lựa chọn hàm khoảng cách phù hợp ảnh hưởng trực tiếp đến hiệu suất của hệ thống.

3.1. Phương Pháp So Sánh Histogram

So sánh histogram bin-by-bin là phương pháp đơn giản nhất, so sánh từng thành phần độc lập. Tuy nhiên, phương pháp cross-bin comparison tính đến mối quan hệ giữa các thành phần lân cận, cho kết quả tốt hơn. Khoảng cách tiếp tuyến và mô hình méo ảnh cải thiện đáng kể độ chính xác.

3.2. So Sánh Dựa trên Đặc Tính Cục Bộ

Sánh vùng kết hợp (Integrated Region Matching) và Sánh vùng Hungarian lượng tử hóa (Quantized Hungarian Region Matching) là các phương pháp so sánh cao cấp. Các phương pháp này tập trung vào các vùng quan trọng trong ảnh thay vì toàn bộ ảnh, giúp tăng độ chính xác truy vấn.

IV. Ứng Dụng và Đánh Giá Chất Lượng Truy vấn

Ứng dụng truy vấn ảnh tự nhiên hiện nay rất đa dạng trong các lĩnh vực thực tiễn. Các hệ thống như IRMA (Image Retrieval in Medical Applications) sử dụng kỹ thuật này để tìm kiếm ảnh y tế tương tự. Để đánh giá hiệu suất hệ thống, các metrics như precision (độ chính xác), recall (độ phủ), và mean average precision (MAP) được sử dụng. Các bộ dữ liệu tiêu chuẩn như WANG và IRMA-1617 được dùng để kiểm tra và so sánh các phương pháp khác nhau.

4.1. Tiêu Chí Đánh Giá Hiệu Suất

Tỉ lệ lỗi là một chỉ số quan trọng để đánh giá hệ thống truy vấn ảnh. Các thí nghiệm trên cơ sở dữ liệu WANG và IRMA-1617 cho thấy rằng các đặc tính bất biến có tỉ lệ lỗi thấp hơn các đặc tính cơ bản. Sự kết hợp giữa các đặc tính khác nhau và hàm khoảng cách phù hợp có thể cải thiện kết quả đáng kể.

4.2. Triển Khai Thực Tế và Khuyến Nghị

Các mô phỏng chương trình sử dụng MATLAB cho thấy tính khả thi của các phương pháp này. Trong thực tiễn, nên kết hợp nhiều đặc tính ảnh và sử dụng các thuật toán học máy để tối ưu hóa hệ thống. Xu hướng phát triển tương lai là sử dụng học sâu và mạng nơ-ron để trích xuất đặc tính tự động.

Trích đoạn nội dung tài liệu

Chương I— Giới thiệu về truy van ảnh dựa trên nội dung: trình bày tổng quan về xử lý ảnh, các vấn đề cơ bản trong truy vấn ảnh dựa trên nội dung - Chương II - Các đặc tính truy vấn ảnh theo nội dung: trình bày các đặc tính khác nhau được trích chọn từ ảnh để phục vụ cho việc so sánh ảnh sau này. - Chương II — So sánh đặc tính truy vẫn ảnh: trình bày các phương pháp khác nhau để đánh giá mức độ tương tự của ảnh. - Chương IV — Đánh giá chất lượng truy vấn ảnh: giới thiêu các phương pháp đánh giá chất lượng truy vần ảnh - Chương VỀ - Mô phỏng truy vấn ảnh bằng Matlab: giới thiệu một chương trình truy vẫn đơn giản viết trên Matlab Truy vấn ảnh dựa trên nôi dung là vấn đề vẫn còn đang được nghiên cứu để đáp ứng các yêu cầu khác nhau trong các lĩnh vực áp dụng khác nhau. Trong tương lai, tôi hi vọng có cơ hội để nghiên cứu, tìm hiểu đầy đủ và chỉ tiết hơn.

Trong phạm vi của một luận văn cao học và khả năng hiểu biết còn có những hạn chế, luận văn này không thể tránh khỏi những thiếu sót, tôi rất mong nhận được ý kiến đóng góp của các thầy cô và bạn bè để có thể hoàn thiện hơn nữa trong những nghiên cứu sau nảy Tôi xin chân thành cảm ơn thầy giáo PGS. Nguyễn Tiến Dũng, bạn bẻ, đồng nghiệp và gia đình đã giúp đỡ tôi hoàn thành được luận văn tốt nghiệp của minh. tháng 9 năm 2014 Luận văn tốt nghiệp cao học 2012-2014 10 3. Mô hình méo anh diac tink cuc bi (Local Feature Image Disiortion Model} 69 3.

5o sánh mô tâ đựa trên vùng.1 Integrated Region Matching (Sánh vùng kết hợp) .2 Quantized Hungarian Region Matching (Sénh ving Hugarian lượng TW) Tl 3. Các đặc tính khác - 72 CHƯƠNG IV- ĐÁNH GIÁ CHAT LUGNG TRUY VAN ANH B 4. Thông số đánh giá chất lượng truy vấn ảnh. Đánh giá khá năng của các dặc tinh va ham khodng cách 76 42.1 5o sánh các hàm khoảng cách khác nhau.2 So sánh các dặc tính khác nhau 81 CHƯƠNG V- MO PIIONG CHƯƠNG TRÌNH TRUY VĂN ANIIBANG MATLAB.

8ơ đồ khối chương trình và lý thuyết áp dụng. Miô tả chương trình mô phỏng 89 5. Kết quả truy vấn và dánh pid % 5. 102 TÀI LIÊU THAM KHẢO 104 ¬- Luan văn tất nghiệp cao học 2012-2014 4 DANH MỤC CÁC BẰNG Bang 2.1 Các hàm đơn thức được sử dụng cho các vector đặc tính bất biển 45 Bang 4.1 Tỉ lệ lỗi [%] trên WANG và IRMA-1617 sử dụng các phép đo khác nhau.

Đổi với WANG, lược đỗ đặc tính bắt biến ƒŒ)=.JXG40)-X(08) được sứ dụng, đối với TRMA-1617 lược dồ đặc tính cục bộ được sử dụng [Rof 4| a a 78 Tảng 4.2 Tỉ lệ lỗi [%] irén IRMA-1617 sit dung các phép so sánh ảnh khác nhau [Ref 4] - 80 Bang 4.3 Tỉ lệ lỗi [%] sử dụng đặc tính dựa trên vùng và các phép so sánh khác nhau [Ref 4[.4 Tỉ lệ lỗi [%] sử dụng các dặc tính khác nhau cho WANG [Ref4] 82 Tảng 4.5 Tỉ lệ lỗi [%] sử dụng các đặc tính khác nhau cho IRMA-1617 [Ref 4].6 Tỉ lệ lãi |% | sử dụng lược dồ đặc tính bắt biển với biển dỗi xoay một phần cho cơ sở đữ liệu WANG vơi /()= #0 708).3 Ví dụ ảnh từ 6 loại ảnh cla CSDL IRMA-1617 [Rof 4] Hình 4.4 Một vải ảnh từ loai 4nh “l6ng nguc” cla CSDL IRMA-1617 [Ref 4].5 Biểu dd PR si dung các hàm khoảng cách khác nhau [Ref 4] Hinh 4.6 Biéu dé PR cho WANG và IÀMA-1617 tương ứng với tỉ lệ lỗi trong Bang 4.7 Kết quả từ multi-dimenstonal sealine cho các đặc tính của WANG 84 Ilinh 4.8 Kết quả ty multi-dimensional scaling cho các đặc tính cla IRMA.1 Sơ dỗ khối mỗ tả hoạt động của chương trình 86 Hình 5.2 Giao điện chương trình mô phỏng 90 Hình 5.3 Một số ảnh ví dụ trong tập ảnh.5 Kết quả truy vấn thực nghiệm 1a (mức ngưỡng 1.6 Kết quả truy vấn thực nghiệm 1a (mức ngưỡng 1 3*e+004) 94 Ilinh 5.7 Kết quả truy vần thực nghiệm 1b (mức ngưỡng 4.8 Kết quả truy vấn thực nghiệm 1b (mức ngưỡng 2.10 Két quả truy vấn thực nghiệm 2a (mức ngưỡng 3.11 Kết quả truy vấn thực nghiệm 2a (mức ngưỡng 2.12 Kết quả truy vẫn thực nghiệm 2b (mức ngưỡng 9.13 Kết quả truy vấn thực nghiệm 2b (mức ngưỡng 5*e+004) 97 TTình 5.15 Kết quả truy vấn thực nghiệm 2c (mức ngưỡng 8*e 1004) Hình 5.16 Kết quả truy vấn thực nghiệm 2c (mức ngưỡng 5.18 Kết quả truy vấn thực nghiệm 3 (mức ngưỡng 2.19 Kết quả truy vấn thực nghiệm 3 (mức ngưỡng 1.9*e~004) 100 Luận văn tốt nghiệp cao học 2012-2014 8 DANII MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT CBIR Content Based image Retrieval CIE Commision Internationale de l' Eclairage DBMS Database Management System. EMD Earth Move Distance HSV Hue Saturation Value IRMA Image Retrieval in Medical Applications JPEG Joint Photographic Experts Group JSD Jensen Shannon Divergence KLT Karhunen-Loeve Iransform MPEG Moving Picture Experts Group PCA Principal component analysis QBIC Query by Image Content SVD Singular Value Decompostion DANIIMUC CAC IiNII VE, BO TI Hình 1.1 Các bước chính trong xử lý ảnh số 13 Hình 1.2 Các thành phần chính của hệ thống xử lý ảnh.3 Ảnh biển dạng do nhiễu 17 Tình 1.4 Sơ đỗ khối hệ thống truy vấn ảnh theo nội dung. Hệ thống truy vẫn có tương tác 27 Hình 2. Bién déi 7" tr RGB thành HSV và lượng tử hóa @!“ cung cấp 166 mau HSV.2 Biểu diễn màu phân bố cục bộ Hình 2.3 Đặc tính màu và không gian kết hợp tìm ảnh bằng cách so sánh phân bố không gian của các vùng, 36 Tình 2.4 Sơ đỗ tính toán tích phân bắt biến .5 Ham kernel f(X) của vùng cục bộ 41 11ình 2.6 Mục đích của lược đồ đặc tính.7 Ảnh ví dụ về đặc tính cầu tric: a) độ thô lớn b) độ thô nhỏ ©) độ tương phần cao d) độ tương phản thấp e) có tính hướng Ø không có tính hướng 49 Hình 2.8 Trích trọn đặc tính cục bộ 53 Ilinh 2.10 Cac phan vùng vi đụ của các ảnh với số lượng các vùng và k khác nhau 55 Hình 3.1 Ba lược đỗ với khoảng cách thành phần giống nhau từng đôi một 58 Ilinh 3.2 So s4nh luge dé: Dang binh phuong va EMD.3 ‘lime warp distance ‘I(H",H”)-6, T(H*,H)-16, ‘T(H",H°}-22 66 Hình 3.4 Ví dụ về biểu đồ căn chỉnh.

a) giữa lược để a và b, b) giữa lược đỗ a và œ cee cee 66 Hình 3. Căn vùng để tìm vùng phủ hợp bởi Hugarian lượng tử hóa.1 Tương quan giữa các phép đo chất lượng quy theo phạm vị [~100,100].2 Ví dụ ảnh từ 10 loại ảnh của CSDL WANG [Ref4]. TT DANIIMUC CAC IiNII VE, BO TI Hình 1.1 Các bước chính trong xử lý ảnh số 13 Hình 1.2 Các thành phần chính của hệ thống xử lý ảnh.3 Ảnh biển dạng do nhiễu 17 Tình 1.4 Sơ đỗ khối hệ thống truy vấn ảnh theo nội dung. Hệ thống truy vẫn có tương tác 27 Hình 2.

Bién déi 7" tr RGB thành HSV và lượng tử hóa @!“ cung cấp 166 mau HSV.2 Biểu diễn màu phân bố cục bộ Hình 2.3 Đặc tính màu và không gian kết hợp tìm ảnh bằng cách so sánh phân bố không gian của các vùng, 36 Tình 2.4 Sơ đỗ tính toán tích phân bắt biến .5 Ham kernel f(X) của vùng cục bộ 41 11ình 2.6 Mục đích của lược đồ đặc tính.7 Ảnh ví dụ về đặc tính cầu tric: a) độ thô lớn b) độ thô nhỏ ©) độ tương phần cao d) độ tương phản thấp e) có tính hướng Ø không có tính hướng 49 Hình 2.8 Trích trọn đặc tính cục bộ 53 Ilinh 2.10 Cac phan vùng vi đụ của các ảnh với số lượng các vùng và k khác nhau 55 Hình 3.1 Ba lược đỗ với khoảng cách thành phần giống nhau từng đôi một 58 Ilinh 3.2 So s4nh luge dé: Dang binh phuong va EMD.3 ‘lime warp distance ‘I(H",H”)-6, T(H*,H)-16, ‘T(H",H°}-22 66 Hình 3.4 Ví dụ về biểu đồ căn chỉnh. a) giữa lược để a và b, b) giữa lược đỗ a và œ cee cee 66 Hình 3. Căn vùng để tìm vùng phủ hợp bởi Hugarian lượng tử hóa.1 Tương quan giữa các phép đo chất lượng quy theo phạm vị [~100,100].2 Ví dụ ảnh từ 10 loại ảnh của CSDL WANG [Ref4]. TT LOI NOI DAU Ảnh có một vai trò vô cùng to lớn trong xã hôi, đời sống của con người Hiện nay ảnh có mặt ở tất cả các lĩnh vưc trong đời sống của con người: Giao thông, y học, tự nhiên.

Tuy nhiên để tìm kiếm ảnh trong một hệ thông ảnh có nhiều bức ảnh là việc làm khó, đối với tập hợp các bức ảnh chỉ khoảng vài chục hay vài trăm ảnh thì công việc có thể được thực hiện được, tuy nhiên trong hàng ngản bức ảnh làm sao để có thể tìm kiếm được một bức ảnh phù hợp với các nội dung cần thiết là vô cùng khó khăn. Một phương thức tìm kiếm ảnh trong cơ sở dữ liệu ảnh là tạo các văn bản. mô tả tất cả ảnh trong cơ sở dữ liệu và sử dụng phương pháp tìm kiếm thông tin dựa trên văn bản đề tìm ảnh Phương pháp này cũng không hoàn toàn khả thi do việc chủ thích cho các ảnh phải thực hiện thủ công và tốn rất nhiều thời gian. Mặt khác, các chủ thích này chưa hẳn đã mô tả hết được nội dung của ảnh.

Vì vậy, cần có một phương pháp khác để tìm kiếm ảnh. Một phạm vi lớn các img dung cần tìm kiếm ảnh như: trong y tế, rất nhiều ảnh được tạo ra và bác sỹ có thể cần tìm kiếm những hình ảnh tương tư để hiểu về quá trình điều trị của các bệnh nhân và kết quả điều trị của họ. Một phóng viên có thể tìm kiếm ảnh để minh họa bài báo của mình. Các ví dụ này cho thấy việc tìm kiếm không giống hoàn toàn như việc tìm kiếm trong các cơ sở dữ liệu truyền thống mà là sự tìm kiểm sự tương tự.

Sự tương tự này cần phải được xác định một các chính xác để có thể thực hiện quá trình tìm kiếm tự đông. Các kỹ thuật hiện nay quy vào tìm kiếm ảnh theo nội dung (content-based image retrieval — CBIR). Trong CBIR, cần phải trích chọn các thông tin hữu ích từ dữ liệu thô dé thu được nội dung của ảnh. Quá trình trích chọn các đặc trưng nội dung của ảnh sẽ có tác động đến hiệu quả của quá trình truy vấn ảnh theo nôi dung.

Luận văn này trình bày các phương pháp trích chọn nội dung của ảnh, các phương pháp so sánh các đặc tính của ảnh để đánh giá mức đô tương tư của ảnh yêu câu so với các ảnh trong cơ sở dữ liệu, xây dựng một ứng dụng truy van anh tự nhiên bằng phần mềm MATLAB.