CHƯƠNG 1 TỔNG QUAN VỀ HỆ THỐNG TÌM KIẾM NỘI DUNG VÀ DỮ LIỆU KHÔNG GIAN VECTƠ 1.Mô hình tổng quát hệ thống tìm kiếm trên cơ sở nội dung Chúng ta đang đối mặt với sự bùng nổ thông tin đa phương tiện. Thí dụ tồn tại một số lượng lớn ảnh và video trên Internet. Rất nhiều tranh vẽ, ảnh chụp đang được chuyển sang dạng số để dễ xử lý và phân tán, bảo quản. Các bức ảnh từ bản tin TV và trên báo cũng đang được chuyển sang dạng số để dễ dàng quản lý.
Lượng lớn ảnh y tế, ảnh vệ tinh đang được thu thập hàng ngày. Xu thế này thúc đẩy phát triển công nghệ số lưu trữ và trình diễn. Không thể sử dụng nhanh và hiệu quả các thông tin đa phương tiện này nếu chúng không được tổ chức tốt để truy tìm nhanh. Các hệ thống tự động truy tìm thông tin (IR-InformationRetrieval) đã được phát triển ban đầu để quản lý khối lượng lớn tài liệu khoa học từ những năm 40 của thế kỷ XX [7].Chức năng chính của hệ thống IR là lưu trữ và quản trị khối lượng văn bản lớn theo cách sao cho dễ dàng truy vấn (query) tài liệu mà người sử dụng quan tâm.
Hệ thống tự động tìm kiếm thông tin đã được mở rộng về sau để có thể lưu trữ, chỉ mục và tìm kiếm theo nội dung các loại dữ liệu văn bản, hình ảnh, âm thanh và video. Các thao tác của một hệ thống tìm kiếm đa phương tiện nói chung và hệ thống tìm kiếm ảnh nói riêng được mô tả khái quát trên hình 1. Hệ thống bao gồm hai nửa: Hoạt động offline (bên phải) và hoạt động online (phần bên trái hình). Bên offline, các mục thông tin(Information Item) được tiền xử lý để trích chọn đặc trưng và nội dung ngữ nghĩa để lưu vào CSDL.
Sau đó chúng được chỉ số hóa trên cơ sở đặc trưng và ngữ nghĩa này. download by : skknchat@gmail.com 5 Queries Information Items Processing and feature extraction Preprocessing and indexing Query Indexed features information items Similarity computation Retrieval of similar items Hình 1.1 Mô hình tổng thể hệ thống tìm kiếm thông tin đa phương tiện Trong pha tìm kiếm thông tin (online), câu truy vấn của người sử dụng được xử lý và các đặc trưng của nó được trích chọn. Đối với hệ thống tìm kiếm ảnh, câu truy vấn có thể là ảnh phác họa hay một ảnh chụp làm ví dụ (query by example). Các đặc trưng vừa trích chọn sau đó được so sánh (đối sánh) với các đặc trưng hay chỉ mục dữ liệu trong CSDL.
Các mục thông tin nào có đặc trưng gần giống nhất với các đặc trưng của câu truy vấn thì được tìm ra và trình diễn cho người sử dụng làm kết quả. Mô hình trên đây cho thấy rất nhiều nhiệm vụ phải thực hiện trong một hệ thống tìm kiếm dữ liệu đa phương tiện theo nội dung, thí dụ: Trích chọn đặc trưng từ các dữ liệu đa phương tiện này như thế nào? Các đặc trưng được lưu trữ và cấu trúc như thế nào để truy tìm hiệu quả? Đo tính “tương tự” giữa hai đối tượng đa phương tiện như thế nào? Thiết kế giao diện như thế nào để nó có thể chấp nhận các câu truy vấn phức tạp, mờ và mềm dẻo? So sánh hiệu năng giữa các hệ thống tìm kiếm đa phương tiện bằng download by : skknchat@gmail.com 6 cách nào? Các vấn đề trên đây cần được quan tâm nghiên cứu để phát triển hệ thống đa phương tiện. Xây dựng cơ Ảnh kết sở dữ liệu ảnh quả Cơ sở dữ liệu Dữ liệu ảnh ảnh Trích chọn các Cơ sở dữ liệu đặc trưng ảnh đặc trưng Đo mức độ tương tự Truy vấn Ảnh mẫu Trích chọn các Các đặc trưng đã truy vấn đặc trưng được trích chọn Hình 1.2 Kiến trúc tổng thể của hệ thống tìm kiếm ảnh Kiến trúc của một hệ thống tìm kiếm ảnh theo nội dung được mô tả trên hình 1. Ảnh là một loại dữ liệu đa phương tiện được thu thập, quản lý, xử lý nhiều nhất.
Đã có nhiều công trình công bố liên quan đến tìm kiếm ảnh trong CSDL [7]. Ảnh có thể trong khuôn mẫu raster hay khuôn mẫu véc tơ. Ảnh có thể thu thập từ chụp ảnh, sinh ra từ máy tính hay một dạng của bản đồ trong hệ thống thông tin địa lý. Hệ thống tìm kiếm ảnh cơ bản gồm hai pha: Pha xây dựng CSDL ảnh thực hiện offline và pha truy vấn ảnh thực hiện online.
Trong pha Offline người sử dụng thu thập ảnh (bản đồ) để lưu trữ trong CSDL. Ảnh đầu vào được trích chọn đặc trưng ví dụ trích chọn biểu đồ màu, hình dạng đối tượng, bộ mô tả Fourier… để đối sánh sau này. Các đặc trưng download by : skknchat@gmail.com 7 có kích thước nhỏ hơn nhiều so với dữ liệu ảnh gốc để đối sánh cho nhanh. Có nhiều nghiên cứu về việc lựa chọn và kỹ thuật trích chọn đặc trưng được công bố.
Đặc trưng nào được sử dụng trong hệ thống ảnh phụ thuộc vào loại ảnh được quản lý trong CSDL [7]. Trong luận văn này, đầu vào là các đối tượng dạng vùng của một bản đồ véc tơ như đơn vị hành chính (ví dụ cấp xã), ao, hồ, các đảo ngoài khơi… Các đặc trưng có thể phù hợp cho loại ảnh véc tơ này là bộ mô tả Fourier, moment ảnh, lưới vùng… Dữ liệu ảnh gốc đầu vào và các đặc trưng tương ứng được lưu trữ trong CSDL ảnh. Thông thường các đặc trưng ảnh được biểu diễn dưới dạng véc tơ đa chiều. Số lương dữ liệu là rất lớn, do vậy, chúng phải được lưu trữ trong CSDL theo cách nào đó để truy vấn nhanh.
Các cấu trúc dữ liệu dạng cây được lựa chọn để giảm thiểu thời gian xâm nhập đĩa, tránh tìm kiếm tuyến tính để đối sánh trong CSDL. Các cấu trúc dữ liệu như cây đa chiều, hay cây R là phù hợp hơn cả [7]. Trong pha online (pha truy vấn), người sử dụng tạo ra câu truy vấn để tìm kiếm ảnh mong muốn trong CSDL. Kỹ thuật hay được sử dụng là “tìm kiếm theo ví dụ” (Query by example).
Đầu vào pha tìm kiếm là một ảnh mẫu làm ví dụ để tìm kiếm theo nó. Ảnh mẫu có thể được phác họa trên máy tính bằng thiết bị nào đó như bút ánh sáng, thậm chí bằng con chuột máy tính. Ảnh đầu vào cũng có thể là một ảnh có sẵn trong máy để tìm ra ảnh tương tự trong CSDL. Ảnh mẫu này được trích chọn đặc trưng để hình thành các véc tơ đặc trưng.
Đặc trưng được sử dụng tương ứng với các đặc trưng được trích chọn trong pha offline. Véc tơ đặc trưng của ảnh mẫu được đối sánh với các đặc trưng trong CSDL. Do các véc tơ đặc trưng đã được lưu trữ trong cấu trúc dạng cây nên việc đối sánh không cần tuần tự, làm tăng hiệu năng hệ thống. download by : skknchat@gmail.com 8 Đo mức độ tương tự giữa các ảnh Đây là nhiệm vụ quan trọng trong hệ thống tìm kiếm ảnh.
Đối sánh trong CSDL ảnh không phải là đối sánh chính xác như trong CSDL truyền thống. Ở đây là đối sánh tương tự để xác định mức độ tương tự của véc tơ truy vấn với các véc tơ đặc trưng trong CSDL, sau đó xếp hạng để người sử dụng quyết định ảnh kết quả mong muốn. Các độ đo khác nhau được lựa chọn để sử dụng như độ đo cosine, khoảng cách Lp (Minkowski),… Khoảng cách cosine: Với ảnh trong CSDL Di và ảnh mẫu truy vấn Qj được biểu diễn như các véctơ n-chiều của các trọng số Di Ti1 , Ti 2 ,., Q jN Mức độ tương tự của hai ảnh được xác định bởi cosine của góc giữa hai véc tơ này. Khoảng cách này được gọi là khoảng cách cosine.
Góc càng nhỏ hay cosine càng lớn thì hai ảnh càng tương tự nhau.2) S ( Di , Q j ) cos k 1 | Di || Q j | N N Tik2. Q 2jk k 1 k 1 Độ đo khoảng cách Lp (Minkowski): Ví dụ cho trước hai véc tơ n-chiều I [i1 , i2 ,.3) Khoảng cách Minkowski được tính theo công thức sau: 1/ p n p Lp | ii hi | (1.4) i 1 Trong CSDL ảnh có thể sử dụng giá trị p như sau: Nếu p=1 ta có khoảng cách Manhattan hay khoảng cách City block: n d p 1 ( I , H ) | il hl | (1.5) l 1 download by : skknchat@gmail.com 9 Với p=2 ta có khoảng cách Euclid: n (1.6) d p 2 ( I , H ) [il hl ]2 l 1 Đánh giá hiệu năng hệ thống Bất cứ hệ thống thông tin nào được xây dựng cũng cần được đánh giá hiệu năng để khuyến cáo sử dụng. Đánh giá hiệu năng một hệ thống thông tin bằng nhiều độ đo khác nhau, có thể là đánh giá theo các chức năng, đánh giá theo các yêu cầu phi chức năng của hệ thống (ví dụ với các ứng dụng Web). Trong hệ thống tìm kiếm ảnh, thông thường hệ thống được đánh giá theo ba tiêu chí sau: a.
Tốc độ xử lý: Hệ thống chạy càng nhanh thì hiệu năng càng cao. Tốc độ xử lý có thể được xác định bằng độ phức tạp của thuật toán hay kiến trúc hệ thống được xây dựng b. Độ trung thực (Recall): Tính toán (đo) công suất tìm kiếm các ảnh trong CSDL liên quan đến ảnh mẫu đầu vào truy vấn. Chúng được xác định bởi tỷ lệ giữa tổng số ảnh liên quan được tìm ra và toàn bộ số các ảnh liên quan trong CSDL.
Recall càng cao thì hiệu năng càng cao. Độ chính xác (Precision): Một tiêu chuẩn nữa của hiệu năng hệ thống là đo độ chính xác tìm kiếm trong CSDL. Độc chính xác được xác định bởi tỷ lệ giữa số ảnh được tìm ra mà người sử dụng thỏa mãntrên tổng số ảnh được hệ thống tìm thấy. Độ chính xác càng cao thì hiệu năng hệ thống càng cao.
Tính toán độ trung thực và độ chính xác như sau: download by : skknchat@gmail.com 10 Giả sử ta có một tập ảnh để test (tập mẫu), đã biết trước tổng số ảnh và số lượng ảnh phù hợp với yêu cầu của người sử dụng như trên hình 1. Pert – Tập con ảnh phù hợp trong thực tế, người sử dụng mong muốn Retr - Tập con ảnh mà hệ thống tìm ra Độ trung thực được tính như sau: (1.7) Pert Retr 0,1 Pert Độ chính xác được tính bởi công thức: Pert Retr (1.8) 0,1 Retr Tậpảnh phù hợp đối với users Tậpảnhdo hệ thống tìm thấy Tập ảnh thử nghiệm Hình 1.3 Đánh giá hiệu năng hệ thống Khi đánh giá hiệu năng hệ thống thông tin, cần đánh giá đồng thời hai tiêu chí này.