Luận văn ThS: Nghiên cứu, xây dựng hệ thống truy vấn ảnh tự nhiên

Luận văn nghiên cứu hệ thống truy vấn ảnh tự nhiên (CBIR). Phân tích các đặc tính ảnh, thuật toán so sánh, đánh giá hiệu năng và mô phỏng MATLAB.

• Người hướng dẫn: PGS. Nguyễn Tiến Dũng
• Trường học: Trường Đại học Bách Khoa Hà Nội
• Chuyên ngành: Kỹ thuật Truyền thông
• Đề tài: Nghiên cứu Hệ thống Truy vấn ảnh tự nhiên
• Loại tài liệu: Luận văn Thạc sĩ
• Năm xuất bản: 2014
• Địa điểm: Hà Nội

Tóm tắt

I. Tổng Quan Về Hệ Thống Truy Vấn Ảnh Dựa Trên Nội Dung

Hệ thống truy vấn ảnh tự nhiên (CBIR - Content Based Image Retrieval) là một lĩnh vực nghiên cứu quan trọng trong xử lý ảnh số và truy vấn thông tin đa phương tiện. CBIR cho phép người dùng tìm kiếm các hình ảnh tương tự dựa trên các đặc tính trực quan của chúng như màu sắc, kết cấu và hình dạng. Khác với các phương pháp truy vấn truyền thống dựa trên văn bản, truy vấn ảnh dựa trên nội dung sử dụng các đặc tính hình ảnh thực tế để so sánh và truy vấn. Công nghệ này được ứng dụng rộng rãi trong y học, thương mại điện tử, quản lý thư viện ảnh số và các ứng dụng trí tuệ nhân tạo. Sự phát triển của CBIR đã mở ra những khả năng mới trong việc tổ chức, quản lý và tìm kiếm các bộ sưu tập ảnh lớn.

1.1. Khái Niệm Cơ Bản Về Xử Lý Ảnh Số

Xử lý ảnh số là quá trình biến đổi và phân tích các ảnh kỹ thuật số nhằm cải thiện chất lượng hoặc trích xuất thông tin hữu ích. Biểu diễn ảnh dưới dạng ma trận pixel là nền tảng cơ bản. Tăng cường ảnh và khôi phục ảnh giúp cải thiện chất lượng hình ảnh. Phân tích ảnh bao gồm trích chọn các đặc tính trực quan như màu sắc, kết cấu và biên cạnh, là những thành phần thiết yếu cho hệ thống truy vấn ảnh hiệu quả.

1.2. Các Thành Phần Chính Của Truy Vấn Ảnh Tự Nhiên

Hệ thống CBIR gồm ba thành phần chính: trích chọn đặc tính, lập chỉ mục đặc tính và truy vấn tương tác. Trích chọn đặc tính là bước tách xuất các thông tin đặc trưng từ ảnh. Lập chỉ mục đặc tính tổ chức các đặc tính theo cấu trúc dữ liệu hiệu quả. Truy vấn tương tác cho phép người dùng nhập ảnh truy vấn và nhận kết quả tương tự. Sự kết hợp ba thành phần này tạo nên công cụ truy vấn ảnh mạnh mẽ cho các ứng dụng thực tế.

II. Các Đặc Tính Truy Vấn Ảnh Tự Nhiên

Đặc tính truy vấn ảnh là những biểu diễn số học của các thuộc tính hình ảnh được sử dụng để so sánh và tìm kiếm. Đặc tính màu sắc dựa trên không gian mẫu như RGB, HSV, bao gồm lượng tử hóa mẫu để giảm kích thước dữ liệu. Đặc tính kết cấu mô tả độ nhám, độ bóng và các mẫu lặp lại trong ảnh. Đặc tính bất biến như Fourier-Mellin có khả năng chống lại các biến đổi xoay, tỷ lệ. Đặc tính cục bộ được trích xuất từ các vùng nhỏ, cung cấp thông tin chi tiết về cấu trúc hình ảnh. Các mô tả câu trúc toán bộ và đặc tính dựa trên vùng cũng là những phương pháp quan trọng trong xây dựng hệ thống CBIR hiệu quả.

2.1. Đặc Tính Màu Sắc Và Kết Cấu

Đặc tính màu sắc bao gồm histogram màu và các lược đồ màu trong các không gian như RGB, HSV. Lượng tử hóa mẫu giúp tối ưu hóa lưu trữ và tốc độ xử lý. Co-occurrence Matrix và đặc tính Tamura là những phương pháp phổ biến để mô tả kết cấu ảnh. Những đặc tính kết cấu này cung cấp thông tin về các mẫu và hoa văn trong ảnh.

2.2. Đặc Tính Bất Biến Và Phân Tích Thành Phần Chính

Đặc tính bất biến như Fourier-Mellin và tích phân bất biến có khả năng không thay đổi khi ảnh bị quay, co dãn. Kernel được sử dụng để tính toán các đặc tính bất biến một cách hiệu quả. Phân tích thành phần chính (PCA) giảm kích thước dữ liệu đặc tính mà vẫn bảo toàn thông tin quan trọng, hỗ trợ tăng tốc độ truy vấn.

III. Phương Pháp So Sánh Đặc Tính Truy Vấn Ảnh

Phương pháp so sánh đặc tính là cốt lõi của hệ thống CBIR, quyết định độ chính xác của kết quả truy vấn. So sánh từng thành phần một (bin-by-bin) là phương pháp cơ bản nhất, so sánh trực tiếp các giá trị lược đồ. Phương pháp so sánh chéo thành phần (cross-bin comparison) cho phép tính khoảng cách giữa các khối histogram khác nhau. Khoảng cách Euclidean và khoảng cách tiếp tuyến là các hàm khoảng cách phổ biến dùng để đo độ tương tự. Mô hình méo ảnh xử lý các biến đổi không đều của ảnh. So sánh dựa trên vùng bao gồm Integrated Region Matching và Quantized Hungarian Region Matching, cung cấp độ chính xác cao hơn trong so sánh ảnh phức tạp.

3.1. Các Hàm Khoảng Cách Và Phương Pháp So Sánh

Khoảng cách Euclidean tính toán độ khác biệt trực tiếp giữa các vector đặc tính. Khoảng cách tiếp tuyến và Earth Mover's Distance (EMD) cung cấp kết quả tốt hơn cho các lược đồ duyên chặng. Phương pháp so sánh chéo cho phép so sánh giữa các khối histogram gần nhau. Lựa chọn hàm khoảng cách phù hợp ảnh hưởng trực tiếp đến hiệu suất của hệ thống truy vấn.

3.2. Kỹ Thuật So Sánh Cục Bộ Và Dựa Trên Vùng

So sánh đặc tính cục bộ sử dụng thông tin từ các vùng nhỏ, cung cấp chi tiết cao hơn so với phương pháp toàn cầu. Integrated Region Matching (IRM) kết hợp thông tin vùng để cải thiện độ chính xác. Quantized Hungarian Region Matching áp dụng thuật toán Hungarian để tối ưu hóa ghép cặp vùng. Những phương pháp này phù hợp với ảnh chứa nhiều vùng phức tạp.

IV. Đánh Giá Chất Lượng Và Ứng Dụng Thực Tế

Đánh giá chất lượng hệ thống CBIR là bước quan trọng để kiểm chứng hiệu suất các đặc tính và hàm khoảng cách. Thông số đánh giá chất lượng bao gồm tỉ lệ lỗi, độ chính xác, độ nhớ lại từ các bộ dữ liệu như WANG và IRMA-1617. So sánh các hàm khoảng cách khác nhau giúp xác định phương pháp tối ưu cho từng loại ảnh. So sánh các đặc tính khác nhau cho thấy rằng đặc tính bất biến và đặc tính cục bộ thường đạt hiệu suất tốt. Mô phỏng chương trình bằng MATLAB cho phép kiểm tra thực tế các thuật toán CBIR trước khi ứng dụng. Kết quả thực nghiệm chứng minh rằng sự kết hợp nhiều đặc tính và lựa chọn hàm khoảng cách phù hợp là chìa khóa thành công của hệ thống truy vấn ảnh.

4.1. Các Thông Số Và Phương Pháp Đánh Giá

Tỉ lệ lỗi đo lường phần trăm kết quả không chính xác trong truy vấn. Độ chính xác (Precision) và độ nhớ lại (Recall) là những chỉ số chính để đánh giá chất lượng hệ thống. Biểu đồ Precision-Recall (PR) cho thấy sự đánh đổi giữa hai chỉ số. Multi-dimensional scaling giúp trực quan hóa mối quan hệ giữa các đặc tính.

4.2. Kết Quả Thực Nghiệm Và Ứng Dụng

Kết quả thực nghiệm từ các cơ sở dữ liệu WANG và IRMA-1617 cho thấy đặc tính bất biến đạt tỉ lệ lỗi thấp. Ứng dụng CBIR trong y học như IRMA (Image Retrieval in Medical Applications) giúp hỗ trợ chẩn đoán. Các tập dữ liệu thực tế chứng minh khả năng ứng dụng của CBIR trong các lĩnh vực thương mại, giáo dục và nghiên cứu.

Trích đoạn nội dung tài liệu

Chương 1I — Các đặc tính truy vẫn ảnh tự nhiên: trình bảy các đặc tính khác nhau dược trích chọn từ ảnh để phục vụ cho việc so sánh ánh sau này - Chương II — So sánh đặc tính truy vấn ảnh: trình bảy các phương pháp khác nhau đề đánh giá mức độ tương tự của ảnh. - Chương LV — Dánh giá chất lượng truy vẫn ảnh: giới thiệu các phương pháp đánh giá chất lượng truy vấn ảnh - Chương V — Mô phỏng truy vấn ảnh bằng Matlab: giới thiệu một chương trình truy vấn don gian viét trén Matlab. Truy vẫn ảnh tự nhiên là vấn đẻ vẫn còn dang dược nghiên cứu dễ dap img các yêu cầu khác nhau trong các lĩnh vực áp dụng khác nhau. Trong tương lai, tôi hi vong có cơ hội để nghiên cứu, tìm hiểu đầy dũ và chỉ hết hơn.

Trong phạm vì của một luận vin cao học và khả năng hiểu biết còn có những hạn chế, luận vẫn này không thể tránh khỏi những thiếu sót, tôi rất mong nhận được ý kiến đóng góp của các thầy cô và bạn bè để có thể hoán thiện hơn nữa trong những nghiên cứu sau nay. Tôi xin chân thành cẩm ơn thầy giáo PGS. Nguyễn Tiến Dũng, bạn bẻ, đồng nghiệp và gia đỉnh đã giúp đỡ tôi hoàn thành được luận văn tốt nghiệp của mình. Hà Nội, tháng 04 năm 2014 10 DANH MUC CAC HINH VE, DO THI Hình 1.1 Các bước chính trong xử lý ảnh số.2 Các thành phần chính của hệ thống xử lý ảnh .3 Ảnh biển đạng do nhiễu - - 17 Ilinh 1.4 Sơ đồ khối hệ thông truy tự nhiên.

Hệ thống truy vấn có tương tác - 27 Hình 2. Biến đỗi 77” từ RGH thành HSV và lượng tử hóa Ø'““ cung cấp ló6 mau HSV " - - .2 Biểu diễn màu phân bổ cục bộ Hình 2.3 Đặc lính máu và không gian kết hợp tìm ảnh bằng cách sơ sánh phân bố không gian của các vùng, .4 So dd tinh toán tích phân bắt biến.5 Ham kernel f(X) oda ving cuc b6.6 Mục đích của lược đồ đặc tỉnh.7 Ảnh ví dụ về đặc tỉnh cấu trúc: a) độ thô lớn b} độ thô nhỏ c} độ tương phản cao đ) độ tương phan thấp e) có tính hướng f) không có tính hướng AB Hinh 2.8 Trich won dic tinh cuc bd - - 42 Hình 2.10 Các phân vùng vỉ dụ của các ảnh với số lượng các vùng và k khác nhau 34 Hình 3.1 Ba lược đồ với khoảng cách thành phần giống nhau tửng đôi một 57 Tĩnh 3.2 So sánh lược để: Dạng bình phương và FMD.3 ‘lime warp distance 'I(H",H”}~6, T{H",H°}—16, T(HP.4 Ví dụ về biểu đồ căn chỉnh. a) giữa lược dé a và b, b) giữa lược đồ a và c - - - 68 Hình 3. Căn vùng để từn vùng phủ hợp bởi Hugarian lượng tử hóa.

cau TÔ, Hình 4.1 Tương quan giữa các phép đo chất lượng quy theo phạm vị |~100,1001.2 Ví dụ ảnh tử 10 loại ảnh của CSL WANG [Ref4]. Z6 Ích từ dữ liệu thô để thu được nội dung của ánh. Quá trình trích chọn các đặc trưng nội dưng của ảnh sẽ có tác dộng đến hiệu quả của quả trình truy vấn ảnh tự nhiễn Luận văn này trình bày các phương pháp trích chọn nội dung của ảnh (các đặc tính của ảnh), các phương pháp so sảnh các đặc tính của ảnh để đảnh giá mức độ tương tự của ánh yếu cầu so với gác ảnh trong cơ sở dữ liệu. Luận văn gồm các phần chính như sau: - Chươngl lỗng quan về truy vấn ảnh tự nhiên : trình bảy tổng quan về xử lý ảnh, các vẫn đề cơ bản trong truy vẫn ảnh tự nhiên.

- Chương 1I — Các đặc tính truy vẫn ảnh tự nhiên: trình bảy các đặc tính khác nhau dược trích chọn từ ảnh để phục vụ cho việc so sánh ánh sau này - Chương II — So sánh đặc tính truy vấn ảnh: trình bảy các phương pháp khác nhau đề đánh giá mức độ tương tự của ảnh. - Chương LV — Dánh giá chất lượng truy vẫn ảnh: giới thiệu các phương pháp đánh giá chất lượng truy vấn ảnh - Chương V — Mô phỏng truy vấn ảnh bằng Matlab: giới thiệu một chương trình truy vấn don gian viét trén Matlab. Truy vẫn ảnh tự nhiên là vấn đẻ vẫn còn dang dược nghiên cứu dễ dap img các yêu cầu khác nhau trong các lĩnh vực áp dụng khác nhau. Trong tương lai, tôi hi vong có cơ hội để nghiên cứu, tìm hiểu đầy dũ và chỉ hết hơn.

Trong phạm vì của một luận vin cao học và khả năng hiểu biết còn có những hạn chế, luận vẫn này không thể tránh khỏi những thiếu sót, tôi rất mong nhận được ý kiến đóng góp của các thầy cô và bạn bè để có thể hoán thiện hơn nữa trong những nghiên cứu sau nay. Tôi xin chân thành cẩm ơn thầy giáo PGS. Nguyễn Tiến Dũng, bạn bẻ, đồng nghiệp và gia đỉnh đã giúp đỡ tôi hoàn thành được luận văn tốt nghiệp của mình. Hà Nội, tháng 04 năm 2014 10 DANH MỤC CÁC BẢNG Bảng 2.1 Các hàm đơn thức được sử dụng cho các vector đặc tính bắt biến 44 Bảng 4.1 Tỉ lệ lỗi [%| trên WANG và IRMA-1617 sử dụng các phép đo khác nhau.

Đối với WANG, lược đỗ đặc tính bắt biến £00) = (X40) OR) duoc sir dụng, đổi với TRMA-1617 lược dỗ đặc tính cục bộ dược sử dụng [Ref 4] T7 Bang 4.2 Tỉ lệ lỗi [1⁄4] trên TRMA-1617 sử dụng các phép so sánh ảnh khác nhau [Ref 4] - - 79 Bang 4.- vu ket "` Bảng 4.4 1ï lệ lỗi [%] sử dụng các dặc tính khác nhau cho WANG [Ref 4] 8] Bang 4.5 Tỉ lệ lỗi [9%] sử dụng các đặc tính khác nhau cho IRMA-1617 [Ref 4]. S1 Báng 46 Tỉ lệ lỗi |3á| sử dụng lược dé dc tinh bat biển với biến đỗi xoay một phần cho cơ sở đữ liệu WANG vơi ƒŒ)— vx(10). 83 DANH MỤC CÁC KÝ HIỆU, CHU VIET TAT CBIR, Content Based Image Retrieval CIE Commision Intemationale de I’ Kelairage DBMS Database Management System EMD Earth Move Distance HSV Hue Saturation Value IRMA Image Retrieval in Medical Applications JPEG Joint Photographic Experts Group Isp Jensen Shannon Divergence KLY Karhunen-Loeve ‘Iransform MPEG Moving Picture Kxperts Group PCA Principal component analysis QBIC Query by Image Content SVD Singular Value Teoompostion LOI NOI DAU Ảnh đóng vai trò quan trọng trong cuộc sống thông tin hàng ngày của chúng 1a. Có người đã từng so sánh: một bức ảnh cỏ thế nói lồn nhiều điều hơn dùng ngàn.

từ để mô tả. Sự xuất hiện phố biến của máy ảnh kỹ thuật số hiện nay đã làm gia tăng nhanh chóng sổ lượng ảnh kỹ thuật số. Khối lượng ảnh đồ sồ này không thé quãn lý một cách thú công bởi con người dược nữa. Một người có dé dang tim kiếm một bức ảnh theo yêu cầu trong cơ sở dữ liệu chỉ gồm 100 bức ảnh.

Tuy nhiên, nếu số lượng ảnh lá hàng ngàn, hàng chục ngăn thì công việc nay trở thành bất khả thi. Sự phát triển của công nghệ máy tính ngày nay có thể trợ prúp trong việc tìm kiếm ảnh cũng giống như cách thực hiện tìm kiếm văn bản mà ta đã biết Một phương thức tìm kiếm ảnh trong cơ sở dữ liệu ảnh lả tạo các văn bản mô tả tất cả ảnh trong cơ sở đữ liệu vả sử dụng phương pháp tim kiếm thang lin đựa trên văn bản dé tìm ảnh. Phương pháp nảy cũng không hoàn toàn khả thi do việc chú thích cho các ảnh phải thực hiện thủ công và tôn rất nhiều thời gian. Mặt khác, các chủ thích này chưa hẳn dã mồ tả hết được nội đung của ảnh Vì vậy, cần có một phương pháp khae dé tim kiếm ảnh.

Một phạm vi km gác tứng dụng cần tìm kiếm ảnh như: trong y tế, rất nhiều ảnh được tạo ra và bác SỸ có thể cần tìm kiếm những hình ánh tương tự để hiểu về quá trình điều trị của các bệnh nhân vả kết quả diễu trị của họ. Một phỏng viên có thể tìm kiếm anh dé minh họa bài bảo của minh. Các ví dụ này cho thấy việc tìm kiếm không giống hoàn toàn như việc tìm kiểm trong các co sở dữ liệu truyền thống mà là sự tìm kiểm sự tương tự. Sự tương tự này cần phải được xác định một các chính xác để có thể thực hiện quá trình tìm kiếm tự động.

Các kỹ thuật hiện nay quy vào tìm kiếm ảnh một cách tự nhiên (content- bascd imago rotricval — CBIR). Trong CPTR, cân phái trích chọn các thông tin hữu Hình 4.3 Ví dụ ảnh tử 6 loại ảnh của CSDL IRMA-1617 [Ref 4] 76 Hình 4.4 Một vải ảnh từ loại ảnh “lổng ngực” của CSDL LRMA-1617 [Ref 4].5 Biểu đề PR sử dụng các hàm khoảng cách khác nhau [Rof 4] 78 Hình 4.6 Biéu dé PR cho WANG va IRMA-1617 tương ứng với tỉ lệ lỗi trong Bang 4.7 Kết qua tir multi-dimensional scaling cho cae dic tinh cla WANG 83 Tĩnh 4.8 Két qua tir multi-dimensional scaling cho các đặc tính cla IRMA. 84 Hình 5 | So dé khdi mô tả hoạt dộng của chương trình Hình 5.2 Giao diện chương trình mô phỏng .3 Môi số ảnh ví dụ trong tập ảnh Hình 5.5 Kết quả truy vẫn thực nghiệm 1a (mức nguỡng 1.6 Kết quả truy vẫn thực nghiệm 1a (mức ngưỡng 1.7 Kết quả truy vẫn thực nghiệm 1b (mức ngưỡng 4.8 Kết quả truy vẫn thực nghiệm 1b (mức ngưỡng 2.10 Kết quả truy vấn thực nghiệm 2a (mức ngưỡng 3.11 Kết quả truy vấn thực nghiệm 2a (mức ngưỡng 2 85*c+004) Hình 5.12 Kết quả truy vắn thực nghiệm 2b (mức ngưỡng 9.13 Kết quả truy vẫn thực nghiệm 2b (mức ngưỡng 5*c+004), Tĩnh 5.15 Kết quả truy vẫn thực nghiệm 2c (mức ngưỡng 8*e! 004).16 Kết quả truy vẫn thực nghiệm 2e (mức ngưỡng 5 4*c+004) Hình 5.18 Kết quả truy vấn thực nghiệm 3 (mức ngưỡng 2.19 KẾt quả truy vẫn thực nghiệm 3 (mức ngưỡng 1 .9#c+004) DANH MUC CAC HINH VE, DO THI Hình 1.1 Các bước chính trong xử lý ảnh số.2 Các thành phần chính của hệ thống xử lý ảnh .3 Ảnh biển đạng do nhiễu - - 17 Ilinh 1.4 Sơ đồ khối hệ thông truy tự nhiên. Hệ thống truy vấn có tương tác - 27 Hình 2.

Biến đỗi 77” từ RGH thành HSV và lượng tử hóa Ø'““ cung cấp ló6 mau HSV " - - .2 Biểu diễn màu phân bổ cục bộ Hình 2.3 Đặc lính máu và không gian kết hợp tìm ảnh bằng cách sơ sánh phân bố không gian của các vùng, .4 So dd tinh toán tích phân bắt biến.5 Ham kernel f(X) oda ving cuc b6.6 Mục đích của lược đồ đặc tỉnh.7 Ảnh ví dụ về đặc tỉnh cấu trúc: a) độ thô lớn b} độ thô nhỏ c} độ tương phản cao đ) độ tương phan thấp e) có tính hướng f) không có tính hướng AB Hinh 2.