Chương 1. KHÁI QUÁT VỀ TRA CỨU ẢNH DỰA TRÊN NỘI DUNG 1.1 Giới thiệu tra cứu ảnh dựa trên nội dung Thuật ngữ “Tra cứu thông tin” được đưa ra vào năm 1952 và đã giành được sự quan tâm đặc biệt của hội các nhà nghiên cứu từ năm 1961 [Jones and Willet, 1977]. Chúng ta có thể dễ dàng mô tả một hệ thống đó như là một hệ thống lưu trữ và tra cứu thông tin. Vì vậy nó gồm một tập hợp các thành phần tương tác lẫn nhau, mỗi thành phần được thiết kế cho một chức năng riêng, có mục đích riêng và tất cả các thành phần này có quan hệ với nhau để đạt được mục đích là tìm kiếm thông tin trong một phạm vi nào đó.
Trước đây, tra cứu thông tin hình ảnh là người ta nghĩ đến tra cứu thông tin theo kết cấu, nhưng định nghĩa trên vẫn được giữ khi ứng dụng vào việc tra cứu thông tin thị giác (Visual Infomation Retrieval). Mặc dù vậy vẫn có sự phân biệt giữa kiểu của thông tin và nét tự nhiên của tra cứu các đối tượng trực quan. Thông tin kết cấu là tuyến tính trong khi ảnh là hai chiều và video là ba chiều. Có hai phương pháp để giải bài toán tra cứu thông tin thị giác dựa trên những thông tin trực quan đó là: Phương pháp dựa trên những thuộc tính và phương pháp dựa trên những đặc điểm.
Phương pháp dựa trên thuộc tính là tra cứu dựa vào thông tin kết cấu truyền thống và những phương pháp quản lý cơ sở dữ liệu dựa trên lý trí cũng như là sự can thiệp của con người để trích chọn dữ liệu về đối tượng trực quan và sự chú thích kết cấu. Việc chú thích về đối tượng đều mất nhiều thời gian và tốn nhiều công sức. Hơn nữa lời chú thích phụ thuộc rất nhiều vào cảm nhận chủ quan của con người, mà sự cảm nhận chủ quan và sự giải thích mơ hồ chính là nguyên nhân của sự ghép đôi không cân xứng trong quá trình xử lý. Vấn đề tìm kiếm ảnh và video dựa trên lời chú thích đã thúc đẩy đến sự quan tâm, phát triển những giải pháp dựa trên 1 đặc điểm.
Đó là thay sự giải thích thủ công bằng những từ khoá dựa trên văn bản, ảnh có thể được trích chọn ra bằng cách sử dụng một số đặc điểm thị giác như là màu sắc, kết cấu, hình dạng… và được đánh chỉ số dựa trên những đặc điểm thị giác này. Phương pháp này được gọi là tra cứu ảnh dựa trên nội dung CBIR [4]. Cách thức tìm kiếm ảnh của CBIR là việc trích chọn các đặc trưng được thực hiện một cách tự động và nội dung của ảnh luôn luôn nhất quán.2 Các thành phần của hệ thống CBIR Người dùng Ảnh truy vấn Trích chọn đặc trưng Độ đo tương tự Kết quả Phân loại ảnh Ảnh trong CSDL Các đặc trưng ảnh trong CSDL Hình 1. Kiến trúc tổng quan về hệ thống tra cứu ảnh 1.1 Trích chọn đặc trưng Các đặc trưng của hình ảnh bao gồm các đặc trưng nguyên thủy và các đặc trưng ngữ nghĩa hoặc đặc trưng logic.
Các đặc trưng cơ bản đó là: màu sắc (color), kết cấu (texture), hình dạng (shape), vị trí không gian (spatial location),… được định lượng trong tự nhiên, chúng có thể được trích xuất tự động hoặc bán tự động. Đặc trưng logic cung cấp mô tả trừu tượng của dữ liệu hình ảnh ở các cấp độ khác nhau. Thông thường, một hoặc nhiều đặc trưng có thể được sử dụng trong từng ứng dụng cụ thể trên thực tế.2 Đo độ tương tự giữa các ảnh Hệ thống CBIR dựa trên những đặc điểm nguyên thủy để so sánh độ tương tự giữa ảnh truy vấn và tất cả các ảnh trong CSDL. Mặc dù vậy sự tương tự hoặc sự khác nhau giữa các ảnh không chỉ xác định theo một cách.
Số lượng của ảnh tương tự sẽ thay đổi khi yêu cầu truy vấn thay đổi. Chẳng hạn trong trường hợp hai hình ảnh, một là biển xanh mặt trời mọc và trường hợp khác là núi xanh với mặt trời mọc. Hình ảnh minh họa độ tương tự giữa 2 hình ảnh Khi mặt trời được xem xét thì độ tương tự giữa hai ảnh này là cao nhưng nếu đối tượng quan tâm là biển xanh thì độ tương tự giữa hai ảnh này là thấp. Như vậy rất khó khăn để tìm ra phương pháp đo độ tương tự giữa hai hình ảnh trên một cách chính xác đối với tất cả các kiểu yêu cầu của truy vấn.
Hay nói cách khác mỗi một phương pháp tra cứu sẽ có giới hạn của chính nó. Ví dụ rất khó cho công nghệ tra cứu dựa trên màu sắc để tìm ra điểm khác nhau giữa một ảnh là bầu trời màu xanh với một ảnh là mặt biển xanh. Vì vậy khi đánh giá một phương pháp tra cứu ảnh dựa trên nội dung cần phải biết rằng hiệu quả của công nghệ đó phụ thuộc vào kiểu yêu cầu tra cứu mà người dùng sử dụng.3 Đánh chỉ số Đánh chỉ số là một công việc quan trọng trong tra cứu ảnh dựa trên nội dung, nó giúp tìm kiếm nhanh ảnh dựa trên đặc trưng trực quan, bởi vì các vector đặc trưng của ảnh có xu hướng, có số chiều cao và vì vậy nó không 3 thích hợp cho các cấu trúc đánh chỉ số truyền thống. Do đó trước khi lên kế hoạch đánh chỉ số ta phải tìm cách làm giảm số chiều của các vector đặc trưng.
Có nhiều phương pháp làm giảm số chiều của vector đặc trưng, một trong những công nghệ được sử dụng phổ biến là phân tích thành phần chính PCA. Nó là một công nghệ tối ưu trong việc ánh xạ tuyến tính dữ liệu đầu vào một không gian toạ độ, các trục được thẳng hàng để phản ánh các biến thể lớn nhất trong dữ liệu. Hệ thống QBIC sử dụng PCA để làm giảm số chiều của vector đặc trưng hình dạng từ nhiều chiều thành hai hoặc ba chiều. Ngoài phương pháp PCA ra, nhiều nhà nghiên cứu còn sử dụng biến đổi KL để làm giảm số chiều trong không gian đặc trưng.
Ngoài hai phương pháp biến đổi PCA và KL, thì mạng nơ ron cũng là công cụ hữu ích cho việc giảm số chiều đặc trưng. Khi đã giảm được số chiều thì dữ liệu đa chiều được đánh chỉ số. Có nhiều phương pháp đánh chỉ số bao gồm : K-D-B tree, R-tree, linear quad- trees,. các phương pháp này đều cho hiệu quả hợp lý với không gian có số chiều nhỏ.4 Giao diện truy vấn (Query Interface) Để biểu diễn ảnh tra cứu từ CSDL cho người dùng thì có rất nhiều cách.
Và những cách thông thường nhất được sử dụng là: Duyệt qua mục; truy vấn bởi khái niệm; truy vấn bởi bản phác thảo và truy vấn bởi ví dụ,. - Duyệt qua mục là phương pháp duyệt qua toàn bộ CSDL theo danh mục các ảnh. Mục đích của phương pháp này là ảnh trong CSDL được phân loại thành nhiều mục khác nhau theo ngữ nghĩa hoặc nội dung trực quan. - Truy vấn bởi khái niệm là tra cứu ảnh theo mô tả khái niệm liên quan với từng ảnh trong CSDL [4].
4 - Truy vấn bởi bản phác thảo và truy vấn bởi ví dụ là vẽ ra một bản phác thảo hoặc cung cấp một ảnh ví dụ từ những ảnh với độ tương tự đặc trưng trực quan sẽ được trích chọn từ CSDL. Trong số các phương pháp trên thì phương pháp thì truy vấn bởi bản phác thảo hoặc bởi ví dụ là phương pháp quan trọng và khó khăn nhất. Phần lớn các nghiên cứu tra cứu ảnh dựa trên nội dung tập trung đi sâu vào phương pháp này.3 Một số phƣơng pháp trích chọn đặc trƣng Các đặc trưng cơ bản của hình ảnh bao gồm: màu sắc (color), kết cấu (texture), hình dạng (shape), vị trí không gian (spatial location),… được định lượng trong tự nhiên, chúng có thể được trích xuất tự động hoặc bán tự động. Dưới đây sẽ giới thiệu một số phương pháp trích chọn đặc trưng hình ảnh.1 Trích chọn đặc trưng màu sắc Hình ảnh bao gồm một mảng các điểm ảnh (pixel), và mỗi pixel thể hiện một màu sắc.
Có nhiều không gian màu được sử dụng để tính toán các giá trị màu của pixel như: không gian chuẩn RGB, không gian trực giác HSV. Các đặc trưng được lưu giữ dưới dạng các vector biểu diễn cho các thông tin mô tả nội dung ảnh. Lƣợc đồ màu (Histogram) là đại lượng đặc trưng cho phân bố màu cục bộ của ảnh. Được định lượng: m( I D , Ci ) H ( I D , Ci ) (1.1) n( I D ) trong đó: Ci : là màu của điểm ảnh n(ID) : tổng số điểm ảnh trong ảnh.
m(ID,Ci) : Biểu diễn số điểm ảnh có giá trị màu Ci 5 H : lược đồ màu của ảnh. Độ đo tính tương tự về màu sắc giữa lược đồ màu của ảnh truy vấn H(IQ) và lược đồ màu của ảnh trong CSDL ảnh H(ID) được định nghĩa: M min( H ( I , j), H ( I , j)) j 1 Q D DH ( I Q , I D ) M (1.2) cho ta thấy, tính tương tự về màu sắc được tính bằng phần giao của 2 lược đồ màu ảnh truy vấn H(I Q) và ảnh trong cơ sở dữ liệu ảnh H(ID). Kết quả sẽ là một lược đồ màu thể hiện độ giống nhau giữa 2 ảnh trên. Tuy nhiên vì lược đồ màu chỉ thể hiện tính phân bố màu toàn cục của ảnh mà không xét đến tính phân bố cục bộ của điểm ảnh nên có thể có 2 ảnh trông rất khác nhau nhưng lại có cùng lược đồ màu.
Hình minh họa 2 ảnh có lược đồ giống nhau đến 70% nhưng khác nhau về ngữ nghĩa Để khắc phục được tình trạng này, chúng ta dùng phân hoạch lưới ô vuông trên ảnh. Lược đồ màu của ảnh là không duy nhất.1 Vector liên kết màu Vector liên kết màu (CCV) [5] là lược đồ tinh chế lược đồ màu, chia mỗi ô màu (bin) thành 2 nhóm điểm ảnh: Nhóm liên kết màu (coherence pixels) và nhóm không liên kết màu (non-coherence pixels). Một pixel trong 1 ô màu (bin) được gọi là điểm liên kết màu (coherent) nếu nó thuộc vùng gồm các màu tương tự với kích thước lớn (thường bằng khoảng 1% kích thước ảnh). Với mỗi ô màu (bin) giả sử số điểm liên kết màu là α và số điểm không liên kết màu là β thì vector liên kết màu được xác định: Vc [(1 , 1 ),(2 , 2 ),.,( n , n )] , n là số ô màu (bin) Trong tìm kiếm ảnh với việc sử dụng đặc trưng vectơ liên kết màu sẽ giúp ta tránh được tình trạng hai ảnh có cùng lược đồ màu nhưng khác nhau hoàn toàn về ngữ nghĩa.