CHƯƠNG 1. TỔNG QUAN TÌM KIẾM ẢNH THEO NGỮ NGHĨA Trong chương này, tổng quan về tìm kiếm ảnh theo ngữ nghĩa được trình bày. Các cơ sở lý thuyết về tìm kiếm ảnh theo nội dung được mô tả bao gồm các đặc trưng về màu sắc, hình dạng, kết cấu và các đặc trưng kết hợp. Ngoài ra, các phương pháp tìm kiếm ảnh theo ngữ nghĩa dựa trên kỹ thuật học máy và dựa trên ontology được tìm hiểu và nghiên cứu.
Từ đó, một kiến trúc chung của hệ thống tìm kiếm ảnh theo ngữ nghĩa được đề xuất. Bên cạnh đó, các phương pháp tổ chức thực nghiệm được trình bày bao gồm môi trường thực nghiệm, tập dữ liệu thực nghiệm và các giá trị đánh giá. Giới thiệu Phân tích nội dung hình ảnh kỹ thuật số được áp dụng trong nhiều ứng dụng của thị giác máy tính. Những năm gần đây, mức độ phức tạp của các nội dung hình ảnh đã tăng lên khi hơn hàng triệu hình ảnh được tải lên tại các kho lưu trữ đa phương tiện.
Để tìm kiếm một hình ảnh có liên quan từ một kho lưu trữ khổng lồ này là một nhiệm vụ đầy thách thức đối với cộng đồng nghiên cứu thị giác máy tính. Do đó, đòi hỏi phải có các công cụ hỗ trợ cho việc tìm kiếm ảnh hiệu quả. Tìm hình ảnh dựa trên nội dung CBIR đã nhận được sự quan tâm nghiên cứu trong những năm gần đây. Trong CBIR, hình ảnh được lập chỉ mục dựa trên nội dung trực quan của chính hình ảnh đó, tạo thành các vec- tơ đặc trưng cấp thấp như màu sắc, kết cấu và hình dạng [32, 53].
Quá trình tìm kiếm ảnh theo nội dung là tìm kiếm trong cơ sở dữ liệu các đặc trưng cấp thấp nhưng phần tử tương tự và truy xuất kết quả. Tuy nhiên, các thử nghiệm trên hệ thống CBIR cho thấy luôn tồn tại một khoảng cách ngữ nghĩa đáng kể giữa đặc trưng cấp thấp của hình ảnh và ngữ nghĩa cấp cao của con người. Vì vậy, tìm kiếm ảnh theo ngữ nghĩa SBIR là giải pháp nhằm giảm khoảng cách ngữ nghĩa này. Có nhiều phương pháp tìm kiếm ảnh theo ngữ nghĩa [8] như: (1) sử dụng các phương pháp học máy để liên kết các đặc trưng cấp thấp với các từ vựng trực quan để 8 luan an mô tả đối tượng hình ảnh [32, 56]; (2) sử dụng ontology để xác định khái niệm cấp cao của hình ảnh [31, 44]; (3) sử dụng các phản hồi liên quan để xác định mức độ quan trọng ngữ nghĩ a của từng truy vấn [3],.
Các phương pháp tìm kiếm ảnh theo ngữ nghĩa đều có nhưng ưu nhược điểm riêng. Cách tiếp cận theo phương pháp học máy sẽ tạo ra tập ảnh tương tự dựa trên nội dung của hình ảnh, liên kết với ngữ nghĩa từ các từ vựng lớp của ảnh. Tuy nhiên, phương pháp này có khả năng tìm được những hình ảnh tương tự về nội dung, nhưng lại khác xa nhau theo ngữ nghĩa của người dùng, tạo “khoảng cách ngữ nghĩa” lớn. Cách tiếp cận tìm kiếm ảnh dựa vào ontology giúp tìm kiếm được những hình ảnh khá gần với ngữ nghĩa cấp cao của con người, nhưng sẽ phụ thuộc vào văn bản text tìm kiêm.
Trong luận án này, các phương pháp tìm kiếm ảnh dựa nội dung cấp thấp và phương pháp kết hợp đặc trưng cấp thấp với ontology được nghiên cứu, với mục đích nâng cao độ chính xác tìm kiếm ảnh theo tiếp cận ngữ nghĩa. Như vậy, bài toán tìm kiếm ảnh được thực hiện theo hai tiếp cận: tìm kiếm ảnh theo nội dung CBIR và tìm kiếm ảnh theo ngữ nghĩa SBIR. Tìm kiếm ảnh dựa theo nội dung Hiệu quả của hệ thống tìm kiếm ảnh dựa trên nội dung phụ thuộc vào việc trích xuất đặc trưng cấp thấp và đo độ tương tự. Trong CBIR các đặc trưng trực quan cấp thấp (ví dụ: màu sắc, hình dạng, kết cấu và bố cục không gian) được trích xuất từ cơ sở dữ liệu ảnh và tạo thành các vec-tơ đặc trưng ảnh, nhằm lập chỉ mục làm gọn tập dữ liệu ảnh, giảm chi phí về bộ nhớ và thời gian đối sánh trong tìm kiếm ảnh.
Đặc trưng màu sắc Một trong những đặc trưng quan trọng nhất của hệ thống tìm kiếm hình ảnh dựa trên nội dung là đặc trưng màu sắc. Đặc trưng này ổn định và hầu như không bị ảnh hưởng bởi việc dịch chuyển, tỷ lệ và xoay hình ảnh. Đồng thời, màu sắc có quan hệ với các đối tượng ảnh, nền, cho biết sự thay đổi trong vị trí, thời gian… Các biểu diễn màu phổ biến như bộ mô tả màu chủ đạo, không gian màu, lược đồ màu, mô men màu, ma trận đồng xuất hiện màu,. 9 luan an Thông qua việc sử dụng bộ mô tả màu chủ đạo DCD (Dominant Color Descriptor) của MPEG-7 [24], thông tin màu tổng thể của hình ảnh có thể được thay thế bằng một lượng nhỏ màu đại diện, tạo một định dạng hiệu quả, nhỏ gọn và trực quan cho đặc trưng màu sắc như: phương pháp trích xuất đặc trưng màu DCD với tám màu chủ đạo làm giảm độ phức tạp tính toán [63], phương pháp sử dụng đặc trưng từ bộ mô tả màu trội không gian SDCD (Spatial Dominant Color Descriptor) và lượng tử hóa màu chủ đạo bằng mô hình GMM (Gaussian Mixture Models) [60],.
Không gian màu (color space) cung cấp một kỹ thuật hiệu quả để xác định, sắp xếp, thao tác và hiển thị màu sắc của đối tượng được xem xét trong ảnh [24]. Có nhiều loại không gian màu khác nhau như RGB, CMY, HSB, HSV, CIE-LAB, YcbCr,… Tùy mục đích của phương pháp tìm kiếm, các nhóm nghiên cứu có thể sử dụng các không gian màu khác nhau như phương pháp sử dụng không gian màu YCbCr với biểu đồ cạnh Canny và biến đổi Wavelet rời rạc [12], phương pháp sử dụng biểu đồ chênh lệch màu CDH (Color Difference Histogram) trong không gian màu HSV [53],… Biểu đồ màu (Color Histogram) [24] là sự mô tả sự biến đổi màu sắc trong một ảnh. Biểu đồ màu của ảnh khá bất biến với hướng và chỉ thay đổi dần theo góc nhìn. Tuy nhiên, biểu đồ màu không nắm bắt được mối quan hệ không gian của các vùng màu và do đó, khả năng phân biệt bị giới hạn.
Do đó, mô men màu được sử dụng độ lệch chuẩn và giá trị trung bình của các phân phối trong mỗi dải màu cho mục đích lập chỉ mục màu trong các ứng dụng truy xuất ảnh để so sánh sự giống nhau về màu sắc giữa hai ảnh giống nhau [74]. Như vậy, có nhiều đặc trưng màu cấp thấp được biểu diễn khác nhau như: mô men màu đại diện cho tất cả các vùng của hình ảnh nên thường hiệu suất không cao, các đặc trưng dựa trên biểu đồ màu đòi hỏi chi phí tính toán cao, còn các đặc trưng màu sắc trội DCD có kích thước thấp, nên ít tốn kém về mặt tính toán, hoạt động tốt cho tìm kiếm ảnh theo vùng. Đặc trưng kết cấu Kết cấu là một đặc trưng ảnh quan trọng để mô tả các thuộc tính bề mặt của một đối tượng như độ mịn, độ thô, độ sâu,. và mối quan hệ của nó với các vùng xung quanh như sự thay đổi độ sáng cục bộ trong một vùng lân cận, sự sắp xếp không gian của các mức xám,.
Nhiều phương pháp tìm kiếm ảnh theo nội dung (CBIR) dựa trên kết cấu được đề xuất. Kỹ thuật phân tích kết cấu thống kê chủ yếu mô tả kết cấu của các vùng trong ảnh dựa vào biểu đồ mức xám [54]. Ma trận đồng xuất hiện mức xám GLCM (Gray-level co-occurrence matrix) là một trong những kỹ thuật được nhiều nhóm nghiên cứu sử dụng để phân tích kết cấu hình ảnh [32]. Bên cạnh đó, biểu đồ định hướng Gradient HOG (Histograms of Oriented Gradients) và mẫu nhị phân cục bộ LBP (Local Binary Patterns) [53] là hai bộ mô tả kết cấu với số chiều nhỏ được sử dụng phổ biến trong trích xuất đặc trưng.
Các phương pháp tiếp cận cấu trúc nhằm xác định kết cấu nguyên thủy và các quy tắc sắp xếp như phát hiện biên với LoG (Laplacian of Gaussian) hay DoG (Difference of Gaussian) [23],. nhằm phân đoạn hình ảnh. Các phương pháp tiếp cận theo cấu trúc thường được sử dụng cho các kết cấu thông thường vì tính đều đặn, lặp lại định kỳ trong kết cấu với một số quy tắc sắp xếp, thường độc lập với các phép biến đổi hình học như phép tịnh tiến, phép quay và phép chia tỷ lệ. Tuy nhiên, các phương pháp này thường dùng cho mục đích tổng hợp hơn là mục đích phân tích, do chúng không được sử dụng cho các kết cấu có mức độ ngẫu nhiên cao.
Các phương pháp biến đổi thể hiện một hình ảnh trong một không gian mà hệ tọa độ của nó liên quan chặt chẽ đến các đặc trưng của kết cấu nhằm phân đoạn hình ảnh [54] như: biến đổi Fourier phân tích nội dung của kết cấu theo miền tần số, phép lọc Gabor và phép biến đổi Wavelet phân tích nội dung của kết cấu cả trong miền tần số và miền không gian. Như vậy, có nhiều kỹ thuật khác nhau để trích xuất đặc trưng kết cấu cấp thấp của hình ảnh. Tuy nhiên, đặc trưng kết cấu độ nhạy với nhiễu ảnh và ngữ nghĩa phụ thuộc 11 luan an vào hình dạng đối tượng ảnh. Do đó, các xu hướng gần đây thường kết hợp đặc trưng kết cấu với đặc trưng hình dạng cho bài toán tìm kiếm ảnh theo ngữ nghĩa.
Đặc trưng hình dạng Hình dạng là một đặc trưng cấp thấp nhằm nhận dạng đối tượng trong hình ảnh, ổn định với những thay đổi về ánh sáng, màu sắc và kết cấu [24]. Tìm kiếm ảnh theo đặc trưng hình dạng có độ chính xác tốt với các đặc trưng nhỏ gọn, độ phức tạp tính toán thấp. Các kỹ thuật biểu diễn và mô tả hình dạng có thể được phân thành hai loại: phương pháp dựa trên đường biên và phương pháp dựa trên vùng. Các kỹ thuật trích xuất đặc trưng dựa trên đường biên của hình dạng như phương pháp chia nhỏ đường biên của hình dạng thành các đoạn nhỏ và dựa trên các đặc điểm hình học của nó [23] như tạo thành chuỗi đặc trưng, dựa trên phép lọc Sobel, phát hiện cạnh Canny, hay phát hiện biên với đường cong Bezier và đường cong B-spline,.