Chương 1 giới thiệu tổng quan về trích rút đặc trưng và tra cứu ảnh dựa vào đặc trưng thị giác và đưa ra một số kết luận và định hướng cho nghiên cứu. Chương 2 trình bày kỹ thuật tra cứu ảnh dựa vào lược đồ màu khối, có tên là HG [42] và cải tiến của nó, có tên là IHG [43]. Chương 3 trình bày kỹ thuật trích rút đặc trưng của vùng ảnh sử dụng trong quá trình tra cứu ảnh, có tên là CSI [45] và CCS [46]. Chương 4 trình bày thiết kế và thực hiện hệ thống thực nghiệm tra cứu ảnh dựa vào đặc trưng thị giác (sử dụng các kỹ thuật được đề xuất trong Chương 2 và Chương 3) LVFIR, cùng với một số kết quả.
Cuối cùng, chúng tôi đưa ra một số kết luận và đề xuất các nghiên cứu trong tương lai. TỔNG QUAN VỀ TRÍCH RÚT ĐẶC TRƯNG VÀ TRA CỨU ẢNH DỰA VÀO ĐẶC TRƯNG Trong chương này, chúng tôi sẽ giới thiệu một số khái niệm và kỹ thuật cơ bản về trích rút đặc trưng và tra cứu ảnh dựa vào đặc trưng thị giác gồm: các đặc trưng, kiến trúc của hệ thống tra cứu ảnh dựa vào đặc trưng thị giác, trích rút đặc trưng, các độ đo tương tự, đánh giá hiệu năng tra cứu và giới thiệu một số hệ thống tra cứu ảnh dựa vào đặc trưng thị giác. Đặc biệt chúng tôi nhấn mạnh vào đặc trưng màu. Cuối cùng chúng tôi sẽ đưa ra một số kết luận và định hướng cho nghiên cứu.1 Các đặc trưng Dữ liệu ảnh thô không được sử dụng trực tiếp trong hầu hết các hệ thống thị giác máy vì hai lý do: Thứ nhất, tốn nhiều không gian để lưu trữ ảnh và độ phức tạp tính toán lớn.
Thứ hai, nhiều thông tin của ảnh là dư thừa và/ hoặc không hữu ích. Thay vì sử dụng toàn bộ ảnh, chúng ta chỉ cần sử dụng một biểu diễn quan trọng nhất. Bước tìm biểu diễn được gọi là trích rút đặc trưng và kết quả của biểu diễn là véc tơ đặc trưng. Trích rút đặc trưng có thể xem như việc ánh xạ ảnh từ không gian ảnh sang không gian đặc trưng.
Liên quan đến nội dung ảnh, các đặc trưng ảnh có thể được phân thành đặc trưng thị giác và đặc trưng ngữ nghĩa. Đặc trưng thị giác có thể được phân loại tiếp thành đặc trưng chung và đặc trưng theo lĩnh vực [12, 70, 79]. Các đặc trưng thị giác chung gồm màu, kết cấu, hình dạng và quan hệ không gian. Các đặc trưng theo lĩnh vực bao gồm tri thức về lĩnh vực như mặt người, vân tay,.
Đặc trưng ngữ nghĩa không dễ dàng được trích rút và thường được suy diễn từ các đặc trưng mức thấp hoặc sử dụng văn bản mô tả ảnh.1 Các đặc trưng toàn cục và cục bộ Các đặc trưng ảnh có thể là toàn cục hoặc cục bộ. Nếu các đặc trưng biểu diễn nội dung thị giác của toàn bộ ảnh, các đặc trưng này được gọi là các đặc trưng toàn 18 cục. Ngược lại, các đặc trưng biểu diễn nội dung thị giác của một phần ảnh thì được gọi là đặc trưng cục bộ.2 Các đặc trưng thị giác trong tra cứu ảnh Đặc trưng màu: Màu có vai trò quan trọng trong tra cứu ảnh dựa vào đặc trưng thị giác. Các màu có thể được biểu diễn trong các không gian màu khác nhau như RGB, HSV,.
Đặc trưng kết cấu: Kết cấu là tập các điểm trong một vùng thỏa mãn ràng buộc hay qui luật nào đó. Đặc trưng này khá quan trọng cho tra cứu ảnh. Về cơ bản, các phương pháp biểu diễn kết cấu có thể được chia thành hai loại: các phương pháp cấu trúc và các phương pháp th ống kê. Các toán tử được dùng phát hiện cấu trúc bao gồm các toán tử hình thái và đồ thị liền kề xác định các kết cấu cơ sở và luật phân bố của chúng.
Các phương pháp thống kê bao gồm: Phương pháp phổ năng lượng Fourier, Tamura, trường ngẫu nhiên Markov, mô hình fractal, các bộ lọc đa phân giải như biến đổi Gabor và biến đổi dạng sóng. thể hiện kết cấu bằng sự phân bố thống kê của độ sáng của các điểm ảnh. Đặc trưng hình dạng: Các đặc trưng hình dạng có quan hệ chặt chẽ với mô tả vùng hoặc các đối tượng được phân đoạn. Đặc trưng hình dạng được trích rút từ các đường bao đối tượng hoặc vùng chứa đối tượng.2 Kiến trúc của một hệ thống tra cứu ảnh dựa vào đặc trưng thị giác Quá trình thực hiện của hệ thống tra cứu ảnh dựa vào đặc trưng thị giác được chia thành hai giai đoạn: Giai đoạn 1: Tạo lập CSDL ảnh cùng với thông tin đặc trưng (ngoại tuyến) Trích rút đặc trưng của ảnh trong CSDL ảnh.
Quá trình xử lý gồm lọc, chuẩn hóa, phân đoạn và nhận dạng đối tượng. Đầu ra của bước này là một tập các mô tả nội dung các ảnh trong CSDL. Giai đoạn 2: Tra cứu ảnh (trực tuyến) 19 1. Tạo lập truy vấn: trích rút đặc trưng thị giác của ảnh truy vấn.
So sánh: các đặc trưng thị giác của ảnh truy vấn được so sánh với các đặc trưng thị giác của các ảnh trong CSDL ảnh. Các kỹ thuật đánh chỉ số có thể được sử dụng nhằm tăng tốc quá trình tra cứu. Dưới đây là kiến trúc hệ thống tra cứu ảnh dựa vào đặc trưng thị giác. Cơ sở dữ Ảnh truy liệu ảnh vấn Trích rút đặc trưng Véc tơ đặc Cơ sở dữ Xác định độ trưng liệu đặc tương tự trưng đặc trưng Các ảnh được tra cứu Hình 1.
Kiến trúc hệ thống tra cứu ảnh dựa vào đặc trưng thị giác.1 chỉ ra kiến trúc hệ thống tra cứu ảnh dựa vào đặc trưng thị giác. Các đặc trưng thị giác của ảnh trong CSDL ảnh được trích rút và được biểu diễn bằng các véc tơ đặc trưng nhiều chiều. Các véc tơ đặc trưng của các ảnh trong CSDL ảnh tạo thành CSDL đặc trưng. Khi thực hiện tra cứu, người sử dụng cung cấp cho hệ thống ảnh truy vấn, sau đó hệ thống trích rút các véc tơ đặc trưng của ảnh truy vấn này.
Xác định độ tương tự giữa các véc tơ đặc trưng của ảnh truy vấn và các véc tơ đặc trưng của các ảnh trong CSDL đặc trưng. Trên cơ sở độ tương tự xác định được, 20 hệ thống cho ra kết quả tra cứu gồm một danh sách các ảnh có độ tương tự với ảnh truy vấn nhất.3 Trích rút đặc trưng Đặc trưng màu là một trong những đặc trưng thị giác quan trọng và được sử dụng rộng rãi nhất trong tra cứu ảnh. Do đó trong phần này, chúng tôi sẽ đề cập đến đặc trưng màu. Trước khi đề cập đến đặc trưng màu, chúng tôi giới thiệu khái niệm về dải của lược đồ màu và khối ảnh.1 [Dải của lược đồ màu]: Một dải của lược đồ màu là số điểm ảnh trong một diện tích ảnh được chỉ ra mà có chung màu.2 [Khối ảnh]: Một khối ảnh là một vùng ảnh hình chữ nhật trong ảnh.1 Đặc trưng màu Đặc trưng màu được sử dụng rất hiệu quả cho tra cứu các ảnh màu trong CSDL ảnh [66, 69, 80].
Các mô tả màu được trích rút và so sánh tương đối thuận lợi và do đó nó thích hợp cho tra cứu dựa vào đặc trưng thị giác. Ảnh được thu thập từ camera số, hoặc được tải xuống từ Internet thường có ba kênh màu (các ảnh đa cấp xám chỉ có một kênh, các ảnh đa phổ có thể có nhiều hơn ba kênh). Các tín hiệu màu một hoặc hai chiều cũng được sử dụng rộng rãi trong tra cứu ảnh dựa vào đặc trưng thị giác (VFBIR) đặc biệt trong các ứng dụng với điều kiện thu nhận ảnh tương phản là quan trọng. Trong [19, 20] đã chỉ ra rằng màu là bất biến dưới ánh sáng, bóng và sự thay đổi hình học của người quan sát và các góc chiếu sáng.
21 Lược đồ màu được dùng để miêu tả đặc trưng màu của một ảnh, đếm số lần xuất hiện của mỗi màu trong một ảnh [37]. Từ lược đồ màu ta suy ra phân bố xác suất của màu trong ảnh. Phân bố này bất biến với quay, dịch chuyển và tỷ lệ; do đó, lược đồ màu rất thích hợp cho tra cứu ảnh dựa vào đặc trưng thị giác. Tuy nhiên, hạn chế chính của lược đồ màu là chưa tận dụng được thông tin không gian của các vùng ảnh.
Điều này có thể dẫn đến các sai số không mong muốn; thí dụ, trong tra cứu ảnh sử dụng một lược đồ màu là không thể phân biệt giữa một quả bóng màu xanh và một bụi cỏ màu xanh. Chẳng hạn, Hình 1.2 chỉ ra nhược điểm này. Hai ảnh khác nhau nhưng có cùng lược đồ màu. Nhiều phương pháp khác đã được đề xuất, bao gồm: mô men màu [32, 34], các dấu hiệu màu [31], các lược đồ màu cải tiến [51], các véc tơ gắn kết màu [16], tra cứu các ảnh dựa vào phân cụm [80], các tương quan màu [30], các vùng màu cục bộ [2, 31], phương pháp Harbin [63] và các đốm màu [64].
Các phương pháp này đề cập đến các kỹ thuật tra cứu theo màu ở mức không gian. Các kỹ thuật này đều có xuất phát điểm sử dụng một trong hai cách tiếp cận, cách tiếp cận thứ nhất theo hướng cố gắng liên kết thông tin không gian vào lược đồ màu toàn cục, cách tiếp cận thứ hai cố gắng tăng thông tin không gian thông qua chia ảnh thành các khối đều. Nhóm thứ nhất có hạn chế là rất khó thu nhận được thông tin không gian của các vùng (đối tượng) trong ảnh, do bản chất của lược đồ màu toàn cục biểu thị phân bố xác suất của toàn bộ ảnh. Tuy nhóm thứ hai có thể thu nhận được thông tin không gian tốt hơn nhóm thứ nhất nhưng vẫn có các hạn chế: Hạn chế thứ nhất, chúng ta muốn thu được nhiều thông tin không gian của vùng (đối tượng) trong ảnh, ảnh cần chia thành nhiều khối, kết quả của việc chia này là không gian lưu trữ các lược đồ màu biểu diễn ảnh tăng cao và độ phức tạp tính toán lớn.
Hơn nữa, các đối 22 tượng của ảnh trong thực tế khó có thể ép vào các khối đều. Vì vậy, các kỹ thuật đề cập ở trên không cho các kết quả tốt [7, 40, 69].2 Lượng hóa màu Để sinh ra các lược đồ màu, lượng hoá màu phải được áp dụng. Lượng hoá màu là quá trình giảm số các màu được sử dụng để biểu diễn một ảnh. Một lược đồ lượng hoá được xác định bởi không gian màu và phân đoạn của không gian màu được sử dụng.
Một không gian màu là biểu diễn của màu trong không gian ba chiều.