Nghiên Cứu Tra Cứu Ảnh Dựa Vào Nội Dung Với Học Biểu Diễn

LỜI CAM ĐOAN

LỜI CẢM ƠN

MỤC LỤC

1. MỞ ĐẦU

1.1. Tính cấp thiết của luận án

1.2. Mục tiêu nghiên cứu của luận án

1.3. Đối tượng và phạm vi nghiên cứu của luận án

1.4. Phương pháp nghiên cứu của luận án

1.5. Đóng góp chính của luận án

1.6. Bố cục của luận án

2. TỔNG QUAN VỀ TRA CỨU ẢNH DỰA VÀO NỘI DUNG VỚI PHẢN HỒI LIÊN QUAN

2.1. Tra cứu ảnh dựa vào nội dung. Các đặc trưng mức thấp

2.2. Các đặc trưng toàn cục

2.3. Đặc trưng màu

2.4. Đặc trưng kết cấu

2.5. Đặc trưng hình

2.6. Thông tin không gian

2.7. Các đặc trưng cục bộ

2.8. Biến đổi đặc trưng bất biến tỉ lệ

2.9. Các đặc trưng mạnh và nhanh

2.10. Mẫu nhị phân cục bộ. Lựa chọn đặc trưng

2.11. Kỹ thuật trọng số Fisher. Thuật toán Relief

2.12. Thuật toán Relief-F

2.13. Trích rút đặc trưng. Phân tích thành phần chính

2.14. Phân tích phân biệt tuyến tính. Học máy cho tra cứu ảnh dựa vào nội dung

2.15. Học không giám sát cho CBIR

2.16. Học có giám sát cho CBIR

2.17. Máy véc tơ hỗ trợ

2.18. Mạng nơ ron nhân tạo

2.19. Học sâu cho CBIR

2.20. Học kết hợp. Cơ chế phản hồi liên quan

2.21. Đo độ tương tự giữa các ảnh

2.22. Một số nghiên cứu về CBIR. Nghiên cứu quốc tế

2.23. Nghiên cứu trong nước

2.24. Tổ chức thực nghiệm và đánh giá hiệu năng

2.25. Môi trường thực nghiệm

2.26. Cơ sở dữ liệu ảnh thực nghiệm

2.27. Tập dữ liệu ảnh COREL

2.28. Tập dữ liệu ảnh CIFAR-100

2.29. Phương pháp đánh giá hiệu năng

2.30. Kết luận

3. PHƯƠNG PHÁP TRA CỨU ẢNH VỚI PHÂN TÍCH PHÂN BIỆT THƯA

3.1. Nghiên cứu liên quan

3.2. Giới thiệu chuẩn ℓ2,1. Một số phương pháp liên quan

3.3. Phương pháp LDA (phân tích phân biệt tuyến tính)

3.4. Phương pháp RSLDA (phân tích phân biệt tuyến tính thưa)

3.5. Phương pháp tra cứu ảnh được đề xuất

3.5.1. Mô hình của phương pháp

3.5.2. Lựa chọn tập đặc trưng quan trọng qua mô hình học chiếu

3.5.3. Mô hình học cho phân lớp

3.5.4. Thuật toán tra cứu ảnh đề xuất

3.5.5. Độ phức tạp tính toán

3.6. Kết quả thực nghiệm

3.6.1. Tập dữ liệu ảnh CIFAR-100

3.6.2. Trích rút đặc trưng

3.6.2.1. Tự tương quan màu (Color auto-correlogram)

3.6.2.2. Gray-level Co-occurrence matrix

3.6.2.3. Histogram of oriented gradients (HOG)

3.6.3. Thực nghiệm về hiệu năng của phương pháp đề xuất

3.6.3.1. Kiểm tra hiệu năng toàn bộ của phương pháp đề xuất

3.6.3.2. Thực nghiệm về hiệu quả tra cứu ảnh khi loại bỏ các đặc trưng dư thừa và giải quyết vấn đề cỡ lớp nhỏ

3.6.4. Kết luận

4. HỌC CÁC BIỂU DIỄN ẢNH VỚI MẠNG NƠ RON TÍCH CHẬP SÂU AUTOENCODER CHO TRA CỨU ẢNH VỚI PHẢN HỒI LIÊN QUAN

4.1. Nghiên cứu liên quan

4.2. Phương pháp đề xuất

4.2.1. Học các biểu diễn ảnh với mạng nơ ron tích chập sâu autoencoder

4.2.2. Mạng nơ ron tích chập autoencoder

4.2.3. Kiến trúc mạng tích chập autoencoder

4.2.4. Huấn luyện các tham số

4.2.5. Tra cứu ảnh với phản hồi liên quan dựa vào máy véc tơ hỗ trợ

4.2.6. Máy véc tơ hỗ trợ (SVM)

4.2.7. Tra cứu ảnh

4.3. Đánh giá thực nghiệm

4.3.1. Các kết quả trên tập dữ liệu ảnh CIFAR-100

4.3.2. Các kết quả trên tập dữ liệu ảnh Corel

4.4. Kết luận

KẾT LUẬN VÀ KIẾN NGHỊ

DANH MỤC CÔNG TRÌNH CỦA TÁC GIẢ

TÀI LIỆU THAM KHẢO

I. CBIR và Học Biểu Diễn Tổng Quan Tiềm Năng Ứng Dụng

Tra cứu ảnh dựa vào nội dung (CBIR) đang trở thành một lĩnh vực nghiên cứu quan trọng trong bối cảnh dữ liệu ảnh số ngày càng gia tăng. CBIR hướng đến việc tìm kiếm ảnh dựa trên phân tích nội dung trực quan, thay vì dựa vào chú thích bằng văn bản như TBIR (Text-Based Image Retrieval). Điều này giúp khắc phục hạn chế về tính chủ quan và công sức trong việc tạo chú thích thủ công. Tuy nhiên, CBIR phải đối mặt với thách thức lớn, đó là "khoảng trống ngữ nghĩa" giữa các đặc trưng mức thấp (ví dụ: màu sắc, kết cấu) và các khái niệm mức cao (ví dụ: đối tượng, cảnh quan) mà con người nhận thức. Học biểu diễn (Representation Learning), đặc biệt là các kỹ thuật từ học sâu (Deep Learning), được kỳ vọng sẽ thu hẹp khoảng trống này bằng cách tự động học các biểu diễn dữ liệu phức tạp và trừu tượng hơn. Việc kết hợp học biểu diễn vào CBIR mở ra tiềm năng lớn trong việc cải thiện độ chính xác và hiệu quả của việc tìm kiếm ảnh.

1.1. CBIR Phương Pháp Tiếp Cận Dựa Trên Nội Dung Trực Quan

CBIR sử dụng các thuật toán để phân tích và so sánh các đặc trưng của ảnh, bao gồm đặc trưng màu, đặc trưng kết cấu, và đặc trưng hình dạng. Các đặc trưng này được biểu diễn bằng vector đặc trưng (Feature Vectors), và độ tương đồng ảnh (Image Similarity) được tính toán dựa trên các khoảng cách (distances) như khoảng cách Euclid (Euclidean Distance) hoặc khoảng cách Cosin (Cosine Distance) giữa các vector đặc trưng. CBIR đang được ứng dụng rộng rãi trong nhiều lĩnh vực như y tế, thương mại điện tử và an ninh. Tuy nhiên, hiệu quả của CBIR phụ thuộc lớn vào khả năng trích xuất đặc trưng ảnh (Image Feature Extraction) phù hợp và việc lựa chọn giải thuật CBIR (CBIR Algorithms) hiệu quả.

1.2. Học Biểu Diễn Cầu Nối Giữa Đặc Trưng Mức Thấp và Ngữ Nghĩa Cao

Học biểu diễn là một lĩnh vực của học máy (Machine Learning) tập trung vào việc tự động học các biểu diễn hữu ích từ dữ liệu thô. Các phương pháp học biểu diễn, như Autoencoders và GANs (Generative Adversarial Networks), có khả năng trích xuất các đặc trưng phức tạp và trừu tượng hơn so với các phương pháp thủ công. Học sâu (Deep Learning), với các kiến trúc mạng nơ-ron sâu, là một công cụ mạnh mẽ để thực hiện học biểu diễn. Việc áp dụng học biểu diễn vào CBIR giúp hệ thống hiểu rõ hơn về ngữ nghĩa của ảnh, từ đó cải thiện khả năng tìm kiếm và phân loại.

II. Thách Thức Trong Tra Cứu Ảnh CBIR và Vai Trò Học Biểu Diễn

Mặc dù CBIR có nhiều ưu điểm so với TBIR, nó vẫn phải đối mặt với nhiều thách thức. "Khoảng trống ngữ nghĩa" là một vấn đề lớn, khi các đặc trưng mức thấp không thể hiện đầy đủ thông tin ngữ nghĩa của ảnh. Điều này dẫn đến việc kết quả tìm kiếm thường trả về những ảnh không liên quan hoặc không đáp ứng được mong đợi của người dùng. Một thách thức khác là sự đa dạng của dữ liệu ảnh, bao gồm sự khác biệt về độ phân giải, góc nhìn, điều kiện ánh sáng và các yếu tố môi trường khác. Học biểu diễn có thể giúp giải quyết những thách thức này bằng cách học các đặc trưng không thay đổi theo các yếu tố trên, đồng thời nắm bắt được thông tin ngữ nghĩa quan trọng của ảnh. Hơn nữa, việc đánh giá hiệu năng CBIR (CBIR Performance Evaluation) một cách chính xác cũng là một thách thức, đòi hỏi các độ đo phù hợp như độ chính xác (Precision), độ thu hồi (Recall) và mAP (Mean Average Precision).

2.1. Khoảng Trống Ngữ Nghĩa Rào Cản Lớn Của Hệ Thống CBIR

Vấn đề "khoảng trống ngữ nghĩa" nảy sinh do sự khác biệt giữa cách máy tính "nhìn" ảnh (dưới dạng các đặc trưng mức thấp) và cách con người hiểu ảnh (dựa trên các khái niệm mức cao). Ví dụ, máy tính có thể nhận diện các đặc trưng màu và kết cấu trong một bức ảnh về biển, nhưng nó có thể không hiểu rằng đó là một "bãi biển đẹp" hoặc "một ngày hè thư giãn". Học biểu diễn hướng đến việc xây dựng các biểu diễn ảnh (Image Representation) trung gian, giúp thu hẹp khoảng cách này bằng cách học các đặc trưng phản ánh cả thông tin trực quan và ngữ nghĩa của ảnh.

2.2. Đa Dạng Hóa Dữ Liệu Ảnh Yêu Cầu Tính Ổn Định Của Đặc Trưng

Dữ liệu ảnh trong thế giới thực rất đa dạng, với sự biến đổi về nhiều yếu tố như góc nhìn, ánh sáng, kích thước và độ phân giải. Một hệ thống CBIR hiệu quả cần phải có khả năng xử lý những biến đổi này và trích xuất các đặc trưng ổn định, không bị ảnh hưởng bởi các yếu tố nhiễu. Các phương pháp học biểu diễn, như sử dụng mạng nơ-ron tích chập (Convolutional Neural Networks - CNNs), có thể học các đặc trưng mạnh mẽ và không thay đổi, giúp cải thiện độ tin cậy của hệ thống CBIR.

III. Học Sâu CNN và Autoencoders Phương Pháp CBIR Tiên Tiến

Học sâu (Deep Learning), đặc biệt là mạng nơ-ron tích chập (CNNs), đã chứng minh được hiệu quả vượt trội trong nhiều bài toán thị giác máy tính, bao gồm phân loại ảnh (Image Classification), phát hiện đối tượng (Object Detection) và phân đoạn ảnh (Image Segmentation). CNNs có khả năng tự động học các đặc trưng phân cấp từ dữ liệu ảnh thô, giúp thu hẹp "khoảng trống ngữ nghĩa". Autoencoders, một loại mạng nơ-ron đặc biệt, được sử dụng để học biểu diễn dữ liệu bằng cách mã hóa ảnh thành một không gian tiềm ẩn và sau đó giải mã trở lại. Việc sử dụng Autoencoders trong CBIR giúp tạo ra các biểu diễn ảnh nén và hiệu quả, đồng thời loại bỏ nhiễu và các thông tin không liên quan.

3.1. Mạng Nơ ron Tích Chập CNNs Tự Động Trích Xuất Đặc Trưng Phân Cấp

CNNs sử dụng các lớp tích chập để học các đặc trưng cục bộ của ảnh, sau đó kết hợp các đặc trưng này để tạo ra các biểu diễn toàn cục. Kiến trúc sâu của CNNs cho phép học các đặc trưng ở nhiều mức độ trừu tượng khác nhau, từ các cạnh và góc đơn giản đến các đối tượng phức tạp. Việc sử dụng CNNs trong CBIR giúp hệ thống tự động trích xuất các đặc trưng quan trọng, giảm bớt sự phụ thuộc vào các đặc trưng được thiết kế thủ công.

3.2. Autoencoders Học Biểu Diễn Nén và Loại Bỏ Nhiễu

Autoencoders hoạt động bằng cách huấn luyện một mạng nơ-ron để tái tạo lại dữ liệu đầu vào. Quá trình này buộc mạng nơ-ron phải học một biểu diễn nén của dữ liệu, loại bỏ các thông tin dư thừa và chỉ giữ lại các thông tin quan trọng nhất. Việc sử dụng Autoencoders trong CBIR giúp tạo ra các biểu diễn ảnh hiệu quả, đồng thời cải thiện độ chính xác và tốc độ tìm kiếm.

IV. Phản Hồi Liên Quan Học Chuyển Giao Cho CBIR Hiệu Quả

Phản hồi liên quan (Relevant Feedback - RF) là một kỹ thuật quan trọng trong CBIR, cho phép người dùng cung cấp thông tin phản hồi về kết quả tìm kiếm ban đầu, giúp hệ thống điều chỉnh và cải thiện kết quả tìm kiếm tiếp theo. RF giúp thu hẹp "khoảng trống ngữ nghĩa" bằng cách cho phép người dùng tương tác trực tiếp với hệ thống và cung cấp thông tin về mức độ liên quan của các ảnh được trả về. Học chuyển giao (Transfer Learning), một kỹ thuật học máy, cho phép sử dụng các mô hình đã được huấn luyện trên một cơ sở dữ liệu ảnh (Image Database) lớn để cải thiện hiệu năng của CBIR trên một cơ sở dữ liệu nhỏ hơn. Học chuyển giao giúp tận dụng kiến thức đã được học từ các dữ liệu khác, giảm bớt yêu cầu về dữ liệu huấn luyện và cải thiện độ chính xác của CBIR.

4.1. Phản Hồi Liên Quan Cầu Nối Giữa Người Dùng và Hệ Thống CBIR

Phản hồi liên quan (RF) cho phép người dùng đánh giá kết quả tìm kiếm ban đầu và chỉ ra các ảnh liên quan hoặc không liên quan. Thông tin này được sử dụng để điều chỉnh mô hình tìm kiếm, giúp hệ thống hiểu rõ hơn về nhu cầu của người dùng và cải thiện kết quả tìm kiếm tiếp theo. RF là một kỹ thuật quan trọng để giảm thiểu "khoảng trống ngữ nghĩa" và cá nhân hóa kết quả tìm kiếm.

4.2. Học Chuyển Giao Tận Dụng Kiến Thức Từ Cơ Sở Dữ Liệu Lớn

Học chuyển giao (Transfer Learning) cho phép sử dụng các mô hình đã được huấn luyện trên một cơ sở dữ liệu ảnh lớn (ví dụ: ImageNet) để cải thiện hiệu năng của CBIR trên một cơ sở dữ liệu nhỏ hơn. Kỹ thuật này giúp tận dụng kiến thức đã được học từ các dữ liệu khác, giảm bớt yêu cầu về dữ liệu huấn luyện và cải thiện độ chính xác của CBIR. Học chuyển giao đặc biệt hữu ích trong trường hợp cơ sở dữ liệu ảnh nhỏ hoặc không có nhãn.

V. Ứng Dụng CBIR trong Thực Tế và Hướng Nghiên Cứu Tương Lai

CBIR có nhiều ứng dụng tiềm năng trong thực tế, bao gồm tìm kiếm sản phẩm trong thương mại điện tử, chẩn đoán y tế dựa trên hình ảnh, quản lý thư viện ảnh số và hỗ trợ điều tra tội phạm. Trong thương mại điện tử, CBIR có thể giúp người dùng tìm kiếm sản phẩm dựa trên hình ảnh, thay vì phải nhập từ khóa. Trong y tế, CBIR có thể giúp bác sĩ tìm kiếm các hình ảnh y tế tương tự để hỗ trợ chẩn đoán. Trong tương lai, CBIR sẽ tiếp tục phát triển với sự ra đời của các kỹ thuật học sâu tiên tiến và sự gia tăng của dữ liệu ảnh lớn. Các hướng nghiên cứu tiềm năng bao gồm phát triển các giải thuật CBIR có khả năng xử lý dữ liệu đa phương thức (ví dụ: kết hợp hình ảnh và văn bản), cải thiện khả năng đánh giá hiệu năng CBIR (CBIR Performance Evaluation) và ứng dụng CBIR trong các lĩnh vực mới.

5.1. CBIR Trong Thương Mại Điện Tử Y Tế và Quản Lý Thư Viện Ảnh

CBIR đang được triển khai trong nhiều ứng dụng thực tế, bao gồm: Thương mại điện tử: Cho phép người dùng tìm kiếm sản phẩm bằng hình ảnh. Y tế: Hỗ trợ chẩn đoán bệnh bằng cách tìm kiếm các hình ảnh y tế tương tự. Quản lý thư viện ảnh số: Giúp người dùng tìm kiếm ảnh dựa trên nội dung trực quan.

5.2. Hướng Nghiên Cứu Tương Lai Dữ Liệu Đa Phương Thức Đánh Giá Hiệu Năng

Các hướng nghiên cứu tiềm năng trong CBIR bao gồm: Xử lý dữ liệu đa phương thức: Kết hợp hình ảnh và văn bản để cải thiện độ chính xác. Cải thiện đánh giá hiệu năng: Phát triển các độ đo mới để đánh giá chính xác hơn hiệu năng của CBIR. Ứng dụng trong các lĩnh vực mới: Khám phá các ứng dụng tiềm năng của CBIR trong các lĩnh vực chưa được khai thác.

VI. Kết Luận Học Biểu Diễn Định Hình Tương Lai Tra Cứu Ảnh CBIR

Tóm lại, CBIR là một lĩnh vực nghiên cứu đầy tiềm năng trong bối cảnh dữ liệu ảnh ngày càng gia tăng. Học biểu diễn, đặc biệt là các kỹ thuật từ học sâu, đóng vai trò quan trọng trong việc giải quyết các thách thức của CBIR, như "khoảng trống ngữ nghĩa" và sự đa dạng của dữ liệu ảnh. Việc kết hợp học biểu diễn và các kỹ thuật khác, như phản hồi liên quan và học chuyển giao, sẽ giúp CBIR trở nên hiệu quả và ứng dụng rộng rãi hơn trong tương lai. Các nghiên cứu tiếp theo cần tập trung vào việc phát triển các giải thuật CBIR có khả năng xử lý dữ liệu phức tạp và đáp ứng nhu cầu ngày càng cao của người dùng. Ngoài ra, cần chú trọng đến việc đánh giá hiệu năng CBIR (CBIR Performance Evaluation) để đảm bảo rằng các giải thuật mới thực sự cải thiện khả năng tìm kiếm.

6.1. Tầm Quan Trọng Của Học Biểu Diễn Trong CBIR Hiện Đại

Học biểu diễn là yếu tố then chốt để nâng cao hiệu quả của CBIR bằng cách tự động học các đặc trưng mạnh mẽ và trừu tượng, giúp thu hẹp "khoảng trống ngữ nghĩa" và cải thiện khả năng tìm kiếm.

6.2. Hướng Đi Tương Lai Cho Nghiên Cứu Và Phát Triển CBIR

Nghiên cứu trong tương lai nên tập trung vào việc phát triển các giải thuật CBIR có khả năng xử lý dữ liệu phức tạp, tận dụng các kỹ thuật học sâu tiên tiến và đáp ứng nhu cầu ngày càng cao của người dùng. Đồng thời, cần chú trọng đến việc đánh giá hiệu năng CBIR để đảm bảo các cải tiến thực sự mang lại hiệu quả.