Đồ án: Nghiên cứu phương pháp trích chọn đặc trưng cho tra cứu ảnh theo nội dung

Đồ án nghiên cứu các phương pháp trích chọn đặc trưng trong tra cứu ảnh theo nội dung. Tìm hiểu ứng dụng và so sánh hiệu quả các thuật toán.

• Tác giả: Bùi Thị Thúy Nga
• Người hướng dẫn: PGS. TS Ngô Quốc Tạo
• Trường học: Trường Đại học Dân Lập Hải Phòng
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Tìm Hiểu Một Số Phương Pháp Trích Chọn Đặc Trưng Và Ứng Dụng Cho Tra Cứu Ảnh Theo Nội Dung
• Loại tài liệu: Đồ án tốt nghiệp
• Năm xuất bản: 2011
• Địa điểm: Hải Phòng

Mục lục chi tiết

• LỜI CẢM ƠN
• MỤC LỤC
• DANH MỤC CÁC HÌNH
• DANH MỤC CÁC CHỮ VIẾT TẮT
• 1. CHƢƠNG 1: TỔNG QUAN
• 1.1. Tổng quan về tra cứu ảnh theo nội dung
• 1.2. Các chức năng của một hệ thống tra cứu ảnh dựa vào nội dung tiêu biểu
• 1.2.1. Truy vấn người sử dụng
• 1.2.1.1. Truy vấn bởi ảnh mẫu (QBE – Query By Example)
• 1.2.1.2. Truy vấn bởi đặc trưng (QBF – Query By Feature)
• 1.2.1.3. Các truy vấn dựa vào thuộc tính (Attribute – Based queries)
• 1.2.2. Đánh chỉ số nhiều chiều
• 1.2.3. Đánh giá hiệu năng tra cứu
• 1.3. Những hệ thống tra cứu ảnh theo nội dung
• 1.3.1. Hệ thống QBIC (Query By Image Content) của IBM
• 1.3.2. Hệ thống Virage của công ty Virage
• 1.3.3. Hệ thống RetrievalWare của tập đoàn công nghệ Excalibur
• 1.3.4. Hệ thống VisualSeek và WebSeek của đại học Columbia
• 1.3.5. Hệ thống Photobook của phòng thí nghiệm truyền thông MIT
• 1.3.6. Hệ thống Netra của Đại học California, Thư viện ảnh Alexandria
• 2. CHƢƠNG 2: CÁC KHÁI NIỆM CƠ BẢN
• 2.1. Các không gian màu
• 2.1.1. Không gian màu RGB
• 2.1.2. Không gian màu CMY
• 2.1.3. Không gian màu L*a*b
• 2.1.4. Không màu HSV
• 2.2. Các đặc trưng về màu sắc
• 2.2.1. Vector liên kết màu (Color Coherence Vector)
• 2.2.2. Tương quan màu. Ma trận đồng hiện (Co-occurence Matrix)
• 2.3. Các đặc trưng Tamura
• 2.4. Các đặc trưng Wold
• 2.5. Mô hình tự hồi qui đồng thời SAR
• 2.6. Các đặc trưng lọc Gabor
• 2.7. Các đặc trưng biến đổi sóng
• 2.8. Các bất biến mômen
• 2.9. Các ký hiệu mô tả Fourier
• 2.10. Hình tròn, độ lệch tâm, và hướng trục chính
• 2.11. Thông tin không gian
• 2.12. Một số độ đo thông dụng
• 2.12.1. Khoảng cách Minkowsky:
• 2.12.2. Khoảng cách toàn phương
• 2.12.3. Khoảng cách Euclid:
• 2.12.4. Độ đo khoảng cách min-max
• 3. CHƢƠNG 3: KỸ THUẬT TRA CỨU ẢNH DỰA THEO NỘI DUNG
• 3.1. Vector liên kết màu (Color Coherence Vector). Đặc trưng tự tương quan màu (AutoCorrelogram)
• 3.2. Độ đo khoảng cách giữa các lƣợc đồ màu
• 3.2.1. Khoảng cách dạng Minkowsky
• 3.2.2. Khoảng cách toàn phương
• 3.2.3. Độ đo khoảng cách min-max
• 3.3. Kỹ thuật dựa vào đặc trƣng màu
• 3.3.1. Lược đồ màu toàn cục
• 3.3.2. Lược đồ màu cục bộ
• 4. CHƢƠNG 4: TRIỂN KHAI & THỰC NGHIỆM
• 4.1. Quy trình xây dựng phần mềm tra cứu ảnh tổng hợp
• 4.2. Lựa chọn tập mẫu
• 4.3. Lựa chọn phƣơng pháp truy vấn ảnh
• 4.4. Xây dựng ứng dụng
• TÀI LIỆU THAM KHẢO
• LỜI NÓI ĐẦU

Tóm tắt

I. Tổng Quan Về Tra Cứu Ảnh Theo Nội Dung CBIR Là Gì

Tra cứu ảnh dựa theo nội dung (CBIR) có nguồn gốc từ năm 1992 và là một nhánh của tra cứu thông tin trực quan (VIR). VIR là một lĩnh vực nghiên cứu mới nổi trong công nghệ thông tin, tập trung vào việc tương tác với nội dung trực quan. Các yếu tố trực quan như màu sắc, kết cấu, hình dạng và bố cục không gian đóng vai trò quan trọng trong việc xác định nội dung ảnh và được sử dụng để tìm kiếm các ảnh tương tự trong cơ sở dữ liệu. CBIR liên quan đến nhiều lĩnh vực như xử lý ảnh, thị giác máy tính, cơ sở dữ liệu đa phương tiện, và mô hình hóa hành vi người dùng. Phân tích ảnh đóng vai trò cơ bản trong các hệ thống CBIR, cho phép trích chọn tự động các thông tin trực quan. Đồ án này tập trung vào việc sử dụng đặc trưng màu cho ứng dụng tra cứu ảnh dựa theo nội dung. Theo tài liệu gốc, "Các yếu tố mô tả nội dung có liên quan đến các đặc trưng cảm nhận như màu sắc, kết cấu, hình dạng, mối liên hệ về không gian chuyển động." Đây là cơ sở để phát triển các thuật toán trích chọn đặc trưng hiệu quả. Mục tiêu là nâng cao hiệu năng hệ thống CBIR thông qua việc sử dụng đặc trưng màu sắc. CBIR đóng vai trò quan trọng trong nhiều ứng dụng khác nhau, từ tìm kiếm ảnh trên internet đến các ứng dụng chuyên biệt trong y học, khoa học hình sự và địa lý. Việc phát triển các phương pháp trích chọn đặc trưng hiệu quả và các kỹ thuật tìm kiếm tối ưu là chìa khóa để nâng cao hiệu quả của các hệ thống CBIR.

1.1. Lịch Sử Phát Triển Của Tra Cứu Ảnh Dựa Trên Nội Dung

Tra cứu ảnh theo nội dung (CBIR) bắt đầu phát triển mạnh mẽ từ những năm 1990, khi sự bùng nổ của dữ liệu hình ảnh và sự phát triển của công nghệ xử lý ảnh đặt ra yêu cầu cấp thiết về các phương pháp tìm kiếm ảnh hiệu quả hơn so với các phương pháp dựa trên văn bản truyền thống. Trước đó, việc tìm kiếm ảnh chủ yếu dựa vào việc gán nhãn hoặc chú thích cho ảnh bằng văn bản, điều này thường tốn thời gian và mang tính chủ quan. CBIR ra đời với mục tiêu tự động trích xuất các đặc trưng trực quan từ ảnh và sử dụng chúng để so sánh và tìm kiếm. Các hệ thống CBIR ban đầu tập trung vào các đặc trưng đơn giản như màu sắc, kết cấu và hình dạng. Sau đó, các nghiên cứu đã tập trung vào việc phát triển các đặc trưng phức tạp hơn và các kỹ thuật tìm kiếm hiệu quả hơn. Theo thời gian, CBIR đã trở thành một lĩnh vực nghiên cứu đa ngành, kết hợp các kỹ thuật từ xử lý ảnh, thị giác máy tính, cơ sở dữ liệu và khai phá dữ liệu. Ngày nay, CBIR vẫn là một lĩnh vực nghiên cứu năng động, với nhiều hướng đi mới như sử dụng học sâu để trích xuất đặc trưng và phát triển các hệ thống CBIR tương tác.

1.2. Vai Trò Của Các Đặc Trưng Thị Giác Trong CBIR Hiện Đại

Các đặc trưng thị giác đóng vai trò trung tâm trong các hệ thống tra cứu ảnh dựa trên nội dung. Các đặc trưng này đại diện cho các thuộc tính trực quan của ảnh, cho phép so sánh và đánh giá sự tương đồng giữa các ảnh. Các đặc trưng thị giác phổ biến bao gồm màu sắc, kết cấu, hình dạng và bố cục không gian. Màu sắc là một trong những đặc trưng đơn giản và hiệu quả nhất, có thể được biểu diễn bằng các lược đồ màu, vector liên kết màu hoặc các mômen màu. Kết cấu mô tả các mẫu lặp đi lặp lại trong ảnh, có thể được biểu diễn bằng các ma trận đồng hiện, các đặc trưng Tamura hoặc các bộ lọc Gabor. Hình dạng mô tả hình dạng của các đối tượng trong ảnh, có thể được biểu diễn bằng các bất biến mômen, các ký hiệu mô tả Fourier hoặc các góc uốn. Bố cục không gian mô tả vị trí và mối quan hệ giữa các đối tượng trong ảnh. Việc lựa chọn các đặc trưng thị giác phù hợp phụ thuộc vào ứng dụng cụ thể và loại ảnh cần tìm kiếm. Trong nhiều trường hợp, việc kết hợp nhiều đặc trưng thị giác có thể cải thiện đáng kể hiệu quả của hệ thống CBIR. Theo tài liệu, "Các yếu tố mô tả nội dung có liên quan đến các đặc trưng cảm nhận như màu sắc, kết cấu, hình dạng, mối liên hệ về không gian chuyển động."

II. Thách Thức Trong Tra Cứu Ảnh Theo Nội Dung Vấn Đề Semantic Gap

Một trong những thách thức lớn nhất trong tra cứu ảnh theo nội dung là vấn đề "semantic gap" (khoảng cách ngữ nghĩa). Semantic gap đề cập đến sự khác biệt giữa cách máy tính biểu diễn ảnh (dưới dạng các giá trị pixel và các đặc trưng thị giác) và cách con người hiểu ảnh (dưới dạng các đối tượng, cảnh và ý nghĩa). Ví dụ, một hệ thống CBIR có thể xác định rằng hai ảnh có lược đồ màu tương tự, nhưng con người có thể nhận thấy rằng chúng mô tả các cảnh hoàn toàn khác nhau. Vấn đề semantic gap gây khó khăn cho việc phát triển các hệ thống CBIR có thể tìm kiếm ảnh một cách chính xác và phù hợp với mong muốn của người dùng. Để thu hẹp semantic gap, các nghiên cứu đã tập trung vào việc phát triển các đặc trưng thị giác cấp cao hơn, các kỹ thuật học máy để ánh xạ các đặc trưng thị giác vào các khái niệm ngữ nghĩa và các giao diện người dùng tương tác cho phép người dùng cung cấp phản hồi và điều chỉnh kết quả tìm kiếm.

2.1. Khoảng Cách Ngữ Nghĩa Semantic Gap Là Gì Trong CBIR

Khoảng cách ngữ nghĩa (Semantic Gap) trong tra cứu ảnh dựa trên nội dung (CBIR) là sự khác biệt đáng kể giữa cách máy tính biểu diễn một hình ảnh (thông qua các đặc trưng như màu sắc, kết cấu, hình dạng) và cách con người hiểu nội dung, ý nghĩa và ngữ cảnh của hình ảnh đó. Máy tính chỉ đơn thuần xử lý các giá trị số và thống kê, trong khi con người nhận thức và giải thích hình ảnh dựa trên kinh nghiệm, kiến thức và khả năng suy luận. Ví dụ, một hệ thống CBIR có thể nhận diện hai hình ảnh có sự tương đồng về màu sắc, nhưng con người có thể dễ dàng phân biệt chúng dựa trên các đối tượng, khung cảnh hoặc cảm xúc mà chúng gợi lên. Việc thu hẹp khoảng cách ngữ nghĩa là một trong những thách thức lớn nhất trong lĩnh vực CBIR. Các nhà nghiên cứu liên tục tìm kiếm các phương pháp mới để biểu diễn hình ảnh một cách hiệu quả hơn, sao cho chúng gần hơn với cách con người suy nghĩ và cảm nhận về hình ảnh.

2.2. Giải Pháp Thu Hẹp Khoảng Cách Ngữ Nghĩa Trong CBIR

Để thu hẹp khoảng cách ngữ nghĩa trong CBIR, nhiều giải pháp đã được đề xuất và nghiên cứu. Một trong số đó là phát triển các đặc trưng hình ảnh cấp cao hơn, không chỉ dựa trên các thuộc tính trực quan cơ bản mà còn cố gắng mô tả các đối tượng, thuộc tính và mối quan hệ giữa chúng trong hình ảnh. Học sâu (Deep Learning) đã chứng minh được khả năng mạnh mẽ trong việc tự động học các đặc trưng phức tạp từ dữ liệu hình ảnh, do đó, nó được ứng dụng rộng rãi trong CBIR. Các mô hình học sâu có thể học được các biểu diễn hình ảnh trừu tượng hơn, gần hơn với cách con người hiểu hình ảnh. Bên cạnh đó, phản hồi từ người dùng cũng đóng vai trò quan trọng. Các hệ thống CBIR có thể cho phép người dùng cung cấp phản hồi về kết quả tìm kiếm, từ đó điều chỉnh và cải thiện khả năng tìm kiếm của hệ thống. Các kỹ thuật như học tăng cường (Reinforcement Learning) có thể được sử dụng để tự động tối ưu hóa hệ thống CBIR dựa trên phản hồi của người dùng.

III. Trích Chọn Đặc Trưng Màu Sắc Histogram và Vector Liên Kết Màu

Màu sắc là một trong những đặc trưng thị giác quan trọng và phổ biến nhất trong tra cứu ảnh theo nội dung. Có nhiều phương pháp khác nhau để trích xuất đặc trưng màu sắc, bao gồm lược đồ màu (histogram) và vector liên kết màu (Color Coherence Vector - CCV). Lược đồ màu thể hiện phân bố màu sắc trong ảnh, trong khi vector liên kết màu kết hợp thông tin về phân bố màu sắc với thông tin về sự liên kết không gian giữa các pixel có màu sắc tương tự. Việc sử dụng các đặc trưng màu sắc phù hợp có thể giúp hệ thống CBIR tìm kiếm các ảnh có màu sắc tương tự, ngay cả khi chúng có nội dung hoặc bố cục khác nhau. Theo tài liệu, "Lược đồ màu là đại lượng đặc trưng cho phân bố màu cục bộ của ảnh." và "Trong [3] đã đề cập đến cách tiếp cận khác liên kết thông tin không gian vào lược đồ màu, các véctơ liên kết màu - CCV (Color Coherence Vectors), được đề xuất mỗi bin lược đồ được phân thành hai loại đó là: liên kết nếu nó thuộc về một vùng màu đồng nhất lớn, hoặc không gắn kết nếu nó không thuộc về một vùng màu đồng nhất lớn."

3.1. Lược Đồ Màu Histogram Ưu Điểm và Nhược Điểm

Lược đồ màu (Histogram) là một phương pháp đơn giản và hiệu quả để biểu diễn phân bố màu sắc trong một hình ảnh. Nó đếm số lượng pixel cho mỗi giá trị màu trong một không gian màu nhất định (ví dụ: RGB, HSV). Ưu điểm của lược đồ màu bao gồm tính đơn giản, dễ tính toán và bất biến với các phép biến đổi hình học như tịnh tiến, xoay và co giãn. Tuy nhiên, lược đồ màu cũng có những nhược điểm đáng kể. Nó chỉ mô tả phân bố màu sắc tổng thể của hình ảnh mà không quan tâm đến vị trí và mối quan hệ không gian giữa các màu. Do đó, các hình ảnh khác nhau có thể có lược đồ màu tương tự, dẫn đến kết quả tìm kiếm không chính xác. Ngoài ra, lược đồ màu nhạy cảm với sự thay đổi về ánh sáng và góc nhìn.

3.2. Vector Liên Kết Màu CCV Cải Thiện Độ Chính Xác CBIR

Vector liên kết màu (Color Coherence Vector - CCV) là một phương pháp cải tiến lược đồ màu bằng cách kết hợp thông tin về sự liên kết không gian giữa các pixel có màu sắc tương tự. CCV phân loại các pixel trong mỗi bin của lược đồ màu thành hai loại: liên kết (coherent) nếu chúng thuộc về một vùng màu đồng nhất lớn, và không liên kết (incoherent) nếu chúng không thuộc về một vùng màu đồng nhất lớn. Bằng cách này, CCV cung cấp thông tin chi tiết hơn về phân bố màu sắc và sự liên kết không gian trong hình ảnh. CCV có thể cải thiện độ chính xác của CBIR bằng cách phân biệt các hình ảnh có lược đồ màu tương tự nhưng có sự phân bố màu sắc khác nhau. Tuy nhiên, việc tính toán CCV phức tạp hơn so với lược đồ màu và đòi hỏi phải xác định ngưỡng để phân loại các pixel là liên kết hay không liên kết.

IV. Các Độ Đo Khoảng Cách Minkowsky Toàn Phương và Min Max

Để so sánh các đặc trưng màu sắc và đánh giá sự tương đồng giữa các ảnh, cần sử dụng các độ đo khoảng cách. Các độ đo khoảng cách phổ biến bao gồm khoảng cách Minkowsky, khoảng cách toàn phương và độ đo khoảng cách min-max. Khoảng cách Minkowsky là một độ đo tổng quát, trong khi khoảng cách toàn phương учитывает взаимосвязи между разными цветами. Độ đo khoảng cách min-max focuses on the intersection of histograms. Việc lựa chọn độ đo khoảng cách phù hợp có thể ảnh hưởng đáng kể đến hiệu quả của hệ thống CBIR.

4.1. Khoảng Cách Minkowsky Tổng Quan và Ứng Dụng

Khoảng cách Minkowsky là một độ đo khoảng cách tổng quát, bao gồm khoảng cách Euclid (khi p=2) và khoảng cách Manhattan (khi p=1) làm các trường hợp đặc biệt. Nó được định nghĩa như sau: D(x, y) = (Σ|xi - yi|^p)^(1/p) Trong đó, x và y là hai vector đặc trưng, xi và yi là các thành phần tương ứng của chúng, và p là một tham số dương. Giá trị của p ảnh hưởng đến độ nhạy của độ đo khoảng cách với các khác biệt lớn giữa các thành phần. Khoảng cách Minkowsky được sử dụng rộng rãi trong CBIR để so sánh các đặc trưng như lược đồ màu, vector liên kết màu và các đặc trưng kết cấu. Ưu điểm của khoảng cách Minkowsky là tính đơn giản và dễ tính toán. Tuy nhiên, nó không учитывает взаимосвязи между разными цветами, and is sensitive to the scale of the features.

4.2. Khoảng Cách Toàn Phương Ưu Điểm Trong So Sánh Hình Ảnh

Khoảng cách toàn phương là một độ đo khoảng cách учитывающая взаимосвязи между разными цветами. Nó được định nghĩa như sau: D(x, y) = (x - y)^T A (x - y) Trong đó, x và y là hai vector đặc trưng, và A là một ma trận учитывающая взаимосвязи между разными цветами. Ma trận A có thể được xác định dựa trên các đặc tính của không gian màu hoặc bằng cách sử dụng các kỹ thuật học máy. Ưu điểm của khoảng cách toàn phương là khả năng учитывать взаимосвязи между разными цветами, which can improve the accuracy of CBIR in some cases. Tuy nhiên, việc tính toán khoảng cách toàn phương phức tạp hơn so với khoảng cách Minkowsky, and requires the determination of the matrix A.

4.3. Độ Đo Khoảng Cách Min Max Phân Tích Ưu Nhược Điểm

Độ đo khoảng cách Min-Max được thiết kế để tìm phần giao giữa hai lược đồ, cung cấp một cách để đánh giá sự tương đồng. Theo tài liệu: "Được thực hiện trên ý tưởng lấy phần giao của hai lược đồ màu cần so sánh, ta sẽ được một lược đồ màu, tính tổng các giá trị có được từ lược đồ mày sẽ được độ đo min-max. Khoảng cách min-max thể hiện sự tương tự giữa hai lược đồ màu." Ưu điểm của độ đo này là đơn giản, nhưng nó có thể bỏ qua nhiều thông tin quan trọng. Do đó, khoảng cách min-max có thể phù hợp cho việc lọc nhanh, giảm bớt không gian tìm kiếm ban đầu.

V. Thực Nghiệm và Triển Khai Hệ Thống Tra Cứu Ảnh CBIR

Để đánh giá hiệu quả của các phương pháp trích chọn đặc trưng và các độ đo khoảng cách, cần thực hiện các thực nghiệm trên một tập dữ liệu ảnh. Các thực nghiệm này có thể bao gồm việc so sánh độ chính xác và độ thu hồi của các hệ thống CBIR sử dụng các phương pháp khác nhau. Kết quả của các thực nghiệm có thể được sử dụng để cải thiện các phương pháp trích chọn đặc trưng và các độ đo khoảng cách. Theo tài liệu, quy trình xây dựng phần mềm CBIR bao gồm các bước lựa chọn tập mẫu, lựa chọn phương pháp truy vấn ảnh và xây dựng ứng dụng.

5.1. Quy Trình Xây Dựng Phần Mềm Tra Cứu Ảnh CBIR

Quy trình xây dựng phần mềm tra cứu ảnh theo nội dung (CBIR) thường bao gồm các bước sau:

1. Thu thập và chuẩn bị tập dữ liệu ảnh: Bước này bao gồm việc thu thập một tập hợp các hình ảnh đại diện cho miền ứng dụng mong muốn. Hình ảnh cần được chuẩn hóa về kích thước, định dạng và chất lượng.
2. Trích xuất đặc trưng: Sử dụng các thuật toán trích xuất đặc trưng (ví dụ: lược đồ màu, vector liên kết màu, đặc trưng kết cấu) để tạo ra các biểu diễn số cho mỗi hình ảnh trong tập dữ liệu.
3. Xây dựng chỉ mục: Tạo một chỉ mục để tăng tốc quá trình tìm kiếm. Chỉ mục này có thể dựa trên các cấu trúc dữ liệu như cây k-d, cây R-tree hoặc các kỹ thuật băm.
4. Thiết kế giao diện người dùng: Phát triển một giao diện người dùng cho phép người dùng tải lên hình ảnh truy vấn và xem kết quả tìm kiếm.
5. Đánh giá hiệu năng: Đánh giá hiệu năng của hệ thống CBIR bằng cách sử dụng các độ đo như độ chính xác và độ thu hồi.

5.2. Lựa Chọn Tập Mẫu và Phương Pháp Truy Vấn Ảnh

Việc lựa chọn tập mẫu ảnh ảnh hưởng rất lớn đến khả năng tổng quát hóa của hệ thống. Tập mẫu cần có tính đa dạng và đại diện cho các trường hợp mà hệ thống sẽ gặp phải trong thực tế. Các phương pháp truy vấn ảnh thường sử dụng bao gồm truy vấn bằng ví dụ (Query by Example - QBE), truy vấn bằng phác thảo (Query by Sketch) và truy vấn bằng đặc trưng (Query by Feature). Việc lựa chọn phương pháp truy vấn ảnh phụ thuộc vào ứng dụng cụ thể và khả năng của người dùng. Trong tài liệu, phương pháp tra cứu ảnh theo nội dung dựa trên đặc trưng về màu sắc được đánh giá là "Dễ tiếp cận, Dễ cài đặt, Kết quả tương đối tốt trong một số trường hợp nhất định".

VI. Kết Luận và Hướng Phát Triển Tra Cứu Ảnh CBIR Trong Tương Lai

Tra cứu ảnh theo nội dung (CBIR) là một lĩnh vực nghiên cứu quan trọng và năng động, có nhiều ứng dụng tiềm năng trong các lĩnh vực khác nhau. Mặc dù đã có nhiều tiến bộ đáng kể trong lĩnh vực này, vẫn còn nhiều thách thức cần được giải quyết, đặc biệt là vấn đề semantic gap. Các hướng nghiên cứu trong tương lai bao gồm việc phát triển các đặc trưng thị giác cấp cao hơn, sử dụng các kỹ thuật học máy tiên tiến và phát triển các hệ thống CBIR tương tác, cho phép người dùng cung cấp phản hồi và điều chỉnh kết quả tìm kiếm.

6.1. Tổng Kết Các Phương Pháp Trích Chọn Đặc Trưng Tiêu Biểu

Các phương pháp trích chọn đặc trưng đóng vai trò quyết định đến hiệu quả của hệ thống CBIR. Các phương pháp trích chọn đặc trưng màu sắc (ví dụ: lược đồ màu, vector liên kết màu), đặc trưng kết cấu (ví dụ: ma trận đồng hiện, đặc trưng Tamura) và đặc trưng hình dạng (ví dụ: bất biến mômen, ký hiệu mô tả Fourier) đều có những ưu điểm và nhược điểm riêng. Việc lựa chọn các phương pháp trích chọn đặc trưng phù hợp phụ thuộc vào ứng dụng cụ thể và loại ảnh cần tìm kiếm. Trong nhiều trường hợp, việc kết hợp nhiều loại đặc trưng có thể cải thiện đáng kể hiệu quả của hệ thống CBIR.

6.2. Hướng Nghiên Cứu và Phát Triển CBIR Trong Tương Lai

Trong tương lai, lĩnh vực CBIR sẽ tiếp tục phát triển mạnh mẽ với nhiều hướng đi mới. Việc sử dụng học sâu (Deep Learning) để tự động trích xuất đặc trưng và học các biểu diễn hình ảnh cấp cao sẽ ngày càng phổ biến. Các hệ thống CBIR tương tác, cho phép người dùng cung cấp phản hồi và điều chỉnh kết quả tìm kiếm, cũng sẽ trở nên quan trọng hơn. Ngoài ra, việc phát triển các hệ thống CBIR có khả năng xử lý các loại dữ liệu đa phương tiện khác nhau (ví dụ: hình ảnh, video, âm thanh) sẽ mở ra nhiều cơ hội ứng dụng mới.

Trích đoạn nội dung tài liệu

Chương 1: Tổng quan về tra cứu ảnh theo nội dung. Chương 2: Các khái niệm cơ bản. Chương 3: Kỹ thuật tra cứu ảnh theo nội dung. Chương 4: Triển khai và thực nghiệm.

12 Chƣơng 1: TỔNG QUAN 1. Tổng quan về tra cứu ảnh theo nội dung Tra cứu ảnh dựa theo nội dung (CBIR) có nguồn gốc từ năm 1992. Tra cứu ảnh theo nội dung là tra cứu thông tin trực quan (VIR - Visual Information Retrieval). Tra cứu thông tin trực quan là chủ đề nghiên cứu mới trong lĩnh vực công nghệ thông tin.

Tương tác với nội dung trực quan là cách thiết yếu nhất để tra cứu thông tin trực quan. Các yếu tố trực quan như màu sắc, kết cấu, hình dạng và bố cục không gian trực tiếp liên quan đến khía cạnh của cảm nhận nội dung ảnh, cùng với các khái niệm ở mức cao như ý nghĩa đối tượng, khung cảnh trong ảnh, được dùng như là manh mối cho tìm kiếm hình ảnh với nội dung tương tự từ cơ sở dữ liệu. Tra cứu thông tin, mô hình hóa và thể hiện dữ liệu trực quan, phân tích và xử lý phim ảnh, nhận dạng và thị giác máy tính (computer vision), tổ chức cơ sở dữ liệu đa phương tiện (multimedia), lập chỉ mục đa chiều, mô hình hóa tâm lí hành vi người dùng, hệ thống tương tác người - máy và trực quan hóa dữ liệu, là các lĩnh vực nghiên cứu quan trọng nhất đóng góp cho tra cứu thông tin trực quan. Các yếu tố mô tả nội dung có liên quan đến các đặc trưng cảm nhận như màu sắc, kết cấu, hình dạng, mối liên hệ về không gian chuyển động.

Các yếu tố cơ sở nguồn gốc của màu sắc như đối tượng, vai trò, sự kiên, hay các thông tin có liên hệ với màu sắc như cảm giác, cảm tưởng hay ý nghĩa của hình ảnh. Do vậy, phân tích ảnh, nhận dạng và thị giác máy tính đóng vai trò cơ bản trong các hệ thống tra cứu thông tin trực quan. Nó cho phép tự động trích chọn hầu hết các thông tin trực quan, thông qua việc phân tích phân bố điểm ảnh và rút ra các độ đo nội dung trực quan. Trong đồ án này, em chỉ tập trung vào đặc trưng màu cho ứng dụng tra cứu ảnh dựa theo nội dung.

Các chức năng của một hệ thống tra cứu ảnh dựa vào nội dung tiêu biểu Một hệ thống tra cứu ảnh dựa theo nội dung (Content-Based Image Retrieval) tiêu biểu không chỉ xử lý các nguồn thông tin khác nhau mà ở các khuôn dạng khác nhau (như văn bản, hình ảnh và video) mà còn giải quyết được các nhu cầu của người sử dụng. Về cơ bản hệ thống phân tích cả các nội dung của nguồn thông tin cũng như các truy vấn sử dụng, và đem so sánh các nội dung này để tra cứu các mục tin liên quan. Các chức năng chỉnh của một hệ thống tra cứu ảnh bao gồm các nội dung sau:. 13 Phân tích các nội dung của các nguồn thông tin, và biểu diễn các nội dung của các nguồn được phân tích theo cách thích hợp cho so sánh các truy vấn sử dụng.

Bước này thông thuờng cần rất nhiều thời gian do nó phải xử lý lần lượt các thông tin nguồn (các ảnh) trong cơ sở dữ liệu. Tuy nhiên, bước này được thực hiện chỉ một lần. Phân tích các truy vấn người sử dụng và biểu diễn chúng ở dạng thích hợp cho so sánh với cơ sở dữ liệu nguồn. Bước này là tương tự bước trước, nhưng chỉ được áp dụng với ảnh truy vấn.

Định nghĩa một chiến lược để so sánh các truy vấn tìm kiếm với thông tin trong cơ sở dữ liệu được lưu trữ. Tra cứu thông tin liên quan theo một cách hiệu quả. Bước này được thực hiên trực tuyến và được yêu cầu rất nhanh. Các kỹ thuật đánh chỉ số hiện đại có thể được sử dụng để tổ chức lại không gian đặc trưng để tăng tốc quá trình đối sánh.

Thực hiện các điều chỉnh cần thiết trong hệ thống dựa trên phản hồi từ người sử dụng hoặc các ảnh được tra cứu. Người Tạo Trích chọn đặc trưng Cơ sở sử dụng truy vấn dữ liệu nh Phản hồi Véc tơ đặc Cơ sở dữ liệu liên quan trưng đặc trưng Đánh chỉ số So sánh độ tương tự Các kết quả tra cứu Ảnh Hình 1.1: Mô hình hệ thống tra cứu ảnh dựa theo nội dung. Truy vấn ngƣời sử dụng Có nhiều cách gửi một truy vấn trực quan. Một phương pháp truy vấn tốt là một phương pháp tự nhiên đối với người sử dụng cũng như thu được đủ thông tin từ người sử dụng để trích rút các kết quả có ý nghĩa.

Các phương pháp truy vấn dưới đây sử dụng phổ biến trong nghiên cứu tra cứu ảnh dựa theo nội dung: 1. Truy vấn bởi ảnh mẫu (QBE – Query By Example) Trong kiểu truy vấn này, người sử dụng hệ thống chỉ rõ một ảnh truy vấn đích dựa vào cơ sở dữ liệu sẽ tìm kiếm được các ảnh tương tự nhất. Ảnh truy vấn có thể là ảnh thường, một ảnh quét có độ phân giải thấp, hoặc một phác thảo sử dụng công cụ mô tả giao diên đồ họa. Ưu điểm của hệ thống này đó là nó là một cách tự nhiên cho những người sử dụng chung và để tra cứu ảnh trong cơ sở dữ liệu.

Truy vấn bởi đặc trƣng (QBF – Query By Feature) Trong hệ thống QBF tiêu biểu, những người sử dụng chỉ rõ truy vấn bằng việc chỉ rõ các đặc trưng được quan tâm trong tìm kiếm. Như người dùng có thể truy vấn cơ sở dữ liệu ảnh bằng cách đưa ra một lệnh để tra cứu tất cả các ảnh có góc phần tử trái chứa 25% pixel màu vàng. Truy vấn này được chỉ rõ bằng việc sử dụng các công cụ giao diện đồ họa chuyên dụng. Những người sử dụng hệ thống tra cứu ảnh chuyên nghiệp thì có thể thấy loại truy vấn này là bình thường, nhưng người sử dụng chung thì không thể.

QBIC [3] là một ví dụ về hệ thống tra cứu ảnh dựa theo nội dung sử dụng loại phương pháp truy vấn này. Các truy vấn dựa vào thuộc tính (Attribute – Based queries) Các truy vấn dựa vào thuộc tính sử dụng các chú thích văn bản, trích rút bởi nỗ lực của con người, như một khoá tra cứu chính. Loại biểu diễn này đòi hỏi một độ trừu tượng cao khó để thu được bằng các phương pháp tự động hoàn toàn do một ảnh chứa một số lượng lớn các thông tin mà khó tóm tắt khi sử dụng một số ít các từ khoá. Phương pháp này nhìn chung là nhanh hơn và dễ hơn để thực hiện, nhưng có một độ chủ quan và nhập nhằng cao xuất hiện như chúng ta đã đề cập.

Hầu hết nỗ lực nghiên cứu và thương mại tập trung vào xây dựng các hệ thống thực hiện tốt với các phương pháp QBE. Đánh chỉ số nhiều chiều Để thực hiện tra cứu ảnh dựa vào nội dung đối với các cơ sở dữ liệu ảnh lớn, các kỹ thuật đánh chỉ số nhiều chiều cần được sử dụng. Có ba cộng đồng nghiên cứu chính đóng góp vào lĩnh vực này: hình học tính toán, quản trị cơ sở dữ liệu, và nhận dạng mẫu. Các kỹ thuật đánh chỉ số nhiều chiều phổ biến đã có gồm thuật toán bucketing, cây k-d, cây k-d ưu tiên, cây tứ phân, cây K-D-B, cây hB, cây R-tree và các biến thể của nó cây R+ và R*.

Lịch sử của các kỹ thuật đánh chỉ số nhiều chiều có thể quay lại giữa những năm 1970, khi các phương pháp khối, cây tứ phân, và cây k d được giới thiệu lần đầu tiên. Tuy nhiên, hiệu năng của nó thì còn xa so với mong muốn. Bị thúc đẩy bởi nhu cầu cấp bách của đánh chỉ số không gian từ các hệ thống GIS và CAD, Guttman đã đề xuất cấu trúc đánh chỉ số R-tree [2]. Dựa trên nghiên cứu của ông, nhiều biến thể khác của R- tree đã được phát triển [1].

Năm 1990, Beckmann và Kriegel đã đề xuất biến thể R-tree động, R* tree trong [5]. Tuy nhiên, R* tree không thực hiện tốt với số chiều lớn hơn 20. Đánh giá hiệu năng tra cứu Để đánh giá hiệu năng của hệ thống tra cứu, người ta đưa ra hai số đo đó là độ thu hồi (recall) và độ chính xác (precision). Các số đo này được lấy từ hệ thống tra cứu thông tin truyền thống.

Đối với một truy vấn q , tập hợp các ảnh trong cơ sở dữ liệu thích hợp với truy vấn q được ký hiệu là R q còn kết quả tra cứu của truy vấn q được ký hiệu là Q q. Độ chính xác của việc tra cứu được định nghĩa là tỉ lệ những kết quả thu được thích hợp với truy vấn.2 R( q ) Việc lựa chọn R q lại rất không ổn định do sự đa đạng của cách hiểu về một bức ảnh. Hơn nữa, khi số lượng ảnh thích hợp lại lớn hơn số lượng ảnh hệ thống tìm. 16 được thì lúc đó khái niệm độ thu hồi trở thành vô nghĩa.

Do đó, độ chính xác và độ thu hồi chỉ là các mô tả ở dạng thô về hiệu năng của một hệ thống tra cứu. Gần đây MPEG7 có đề nghị một cách đánh giá mới về hiệu năng của các hệ thống tra cứu gọi là ANMRR(average normalized modified retrieval rank). Theo cách này độ chính xác và độ thu hồi được kết hợp thành một số đo duy nhất. Ký hiệu số lượng ảnh hoàn toàn đúng với truy vấn q là N(q) và số lượng lớn nhất của các ảnh hoàn toàn đúng với tất cả Q truy vấn tức là max N q1 , N q 2 ,.Sau đó đối với mỗi truy vấn q thì mỗi bức ảnh hoàn toàn đúng k được gán một giá trị xếp hạng rank(k) giá trị này là thứ hạng của nó trong số những ảnh hoàn toàn đúng nếu ảnh đó nằm trong k kết quả truy vấn đầu tiên ( k min 4 N q ,2M ) hoặc có giá trị k 1 nếu ảnh đó không nằm trong k kết quả truy vấn đầu tiên.

Thứ hạng trung bình AVR q đối với truy vấn q được tính: N q rank q AVR (q ) 1.3 k 1 N q Thứ hạng tra cứu sửa đổi MRR q được tính là: MRR q AVG q 0.4 MRR q nhận giá trị 0 khi tất cả các ảnh hoàn toàn đúng đều nằm trong k kết quả truy vấn đầu tiên. Thứ hạng tra cứu sửa đổi và chuẩn hoá NMRR q ) nhận giá trị từ 0 đến 1 được tính: MRR (q) NMRR (q) 1.5 * N (q) Thứ hạng tra cứu sửa đổi và chuẩn hoá trung bình ANMRR xét trên tất cả các truy vấn Q là: 1 Q ANMRR NMRR q 1.