Luận văn thạc sĩ hay nghiên cứu phương pháp tra cứu ảnh sử dụng phân cụm gia tăng với phản hồi liên quan

Luận văn thạc sĩ nghiên cứu phương pháp tra cứu ảnh sử dụng phân cụm gia tăng với phản hồi liên quan, mang lại giải pháp hiệu quả cho tìm kiếm hình ảnh.

• Tác giả: Nguyễn Văn Toàn
• Người hướng dẫn: PGS.TS Nguyễn Hữu Quỳnh
• Trường học: Trường Đại học Công nghệ Thông tin và Truyền thông - Đại học Thái Nguyên
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nghiên cứu phương pháp tra cứu ảnh sử dụng phân cụm gia tăng với phản hồi liên quan
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2018
• Địa điểm: Thái Nguyên

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ TRA CỨU ẢNH DỰA VÀO NỘI DUNG VỚI PHẢN HỒI LIÊN QUAN
• 1.1. Tổng quan về tra cứu ảnh dựa vào nội dung
• 1.2. Vấn đề tra cứu ảnh dựa vào nội dung
• 1.3. Tra cứu ảnh sử dụng phản hồi liên quan
• 1.4. Vấn đề phân cụm
• 1.5. Thuật toán K-Means. Phân cụm phân cấp
• 1.6. Phân cụm dựa vào mật độ
• 1.7. Phân cụm dựa vào mô hình
• 1.8. Phân cụm dựa vào đồ thị
• 1.9. Tiểu kết chương 1
• 2. CHƯƠNG 2: PHƯƠNG PHÁP TRA CỨU ẢNH VỚI PHẢN HỒI LIÊN QUAN SỬ DỤNG PHÂN CỤM GIA TĂNG
• 2.1. Tra cứu ảnh với ngữ nghĩa mức cao
• 2.2. Giới thiệu về tra cứu ảnh với ngữ nghĩa mức cao. Khoảng cách ngữ nghĩa. Phản hồi liên quan
• 2.3. Tra cứu ảnh với phản hồi liên quan
• 2.4. Kỹ thuật phân tích phân biệt tuyến tính (LDA-Linear Discriminant Analysis)
• 2.5. Định nghĩa về LDA
• 2.6. Tính toán phương sai between-class (𝑺𝑩)
• 2.7. Tính phương sai within-class (𝑺𝒘)
• 2.8. Xây dựng không gian thấp chiều
• 2.9. Sơ đồ phương pháp tra cứu ảnh sử dụng phân cụm gia tăng trong phản hồi liên quan
• 2.10. Tiểu kết chương 2
• 3. CHƯƠNG 3: CHƯƠNG TRÌNH THỬ NGHIỆM
• 3.1. Giới thiệu bài toán tra cứu ảnh dựa vào nội dung
• 3.2. Môi trường thực nghiệm. Cơ sở dữ liệu ảnh. Vec-tơ đặc trưng. Tập tin cậy nền
• 3.3. Cấu hình đề xuất thiết bị chạy thực nghiệm
• 3.4. Đánh giá kết quả thực nghiệm. Chiến lược mô phỏng phản hồi liên quan. Kết quả đánh giá. Giao diện hệ thống
• 3.5. Tiểu kết chương 3
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về nghiên cứu phương pháp tra cứu ảnh hiệu quả

Nghiên cứu phương pháp tra cứu ảnh hiệu quả với phân cụm gia tăng là một lĩnh vực đang thu hút sự chú ý trong công nghệ thông tin. Phương pháp này không chỉ giúp cải thiện độ chính xác trong việc tìm kiếm hình ảnh mà còn tối ưu hóa thời gian xử lý. Việc áp dụng các thuật toán phân cụm gia tăng cho phép hệ thống học hỏi từ phản hồi của người dùng, từ đó nâng cao khả năng đáp ứng nhu cầu thông tin.

1.1. Khái niệm về tra cứu ảnh và phân cụm

Tra cứu ảnh dựa vào nội dung (CBIR) là một kỹ thuật cho phép tìm kiếm hình ảnh dựa trên nội dung trực quan. Phân cụm là quá trình nhóm các đối tượng tương tự nhau, giúp cải thiện hiệu quả tra cứu ảnh.

1.2. Tầm quan trọng của phản hồi liên quan trong tra cứu ảnh

Phản hồi liên quan là một yếu tố quan trọng trong việc cải thiện độ chính xác của hệ thống tra cứu ảnh. Nó cho phép hệ thống học hỏi từ các lựa chọn của người dùng, từ đó điều chỉnh kết quả tìm kiếm.

II. Vấn đề và thách thức trong tra cứu ảnh dựa vào nội dung

Mặc dù có nhiều tiến bộ trong công nghệ tra cứu ảnh, nhưng vẫn tồn tại nhiều thách thức. Đặc biệt, khoảng cách ngữ nghĩa giữa các đặc trưng ảnh và nội dung thực tế của chúng vẫn là một vấn đề lớn. Việc xác định độ tương tự giữa các ảnh dựa trên các đặc trưng như màu sắc, hình dạng và kết cấu vẫn gặp khó khăn.

2.1. Khoảng cách ngữ nghĩa trong tra cứu ảnh

Khoảng cách ngữ nghĩa phản ánh sự khác biệt giữa các đặc trưng trực quan và nội dung thực tế của ảnh. Điều này gây khó khăn trong việc xác định độ tương tự chính xác giữa các ảnh.

2.2. Thách thức trong việc tối ưu hóa thuật toán tra cứu

Các thuật toán hiện tại thường gặp khó khăn trong việc xử lý lượng dữ liệu lớn và yêu cầu thời gian phản hồi nhanh. Việc tối ưu hóa thuật toán là cần thiết để cải thiện hiệu suất của hệ thống.

III. Phương pháp tra cứu ảnh hiệu quả với phân cụm gia tăng

Phương pháp tra cứu ảnh hiệu quả với phân cụm gia tăng kết hợp giữa phản hồi liên quan và phân cụm để cải thiện độ chính xác. Bằng cách sử dụng các thuật toán như K-Means và phân cụm dựa vào mật độ, hệ thống có thể học hỏi từ dữ liệu mới mà không cần phải phân cụm lại toàn bộ cơ sở dữ liệu.

3.1. Thuật toán K Means trong phân cụm ảnh

K-Means là một trong những thuật toán phân cụm phổ biến nhất, giúp nhóm các ảnh tương tự lại với nhau. Thuật toán này hoạt động bằng cách phân chia dữ liệu thành K cụm dựa trên khoảng cách giữa các điểm dữ liệu.

3.2. Phân cụm dựa vào mật độ và ứng dụng của nó

Phân cụm dựa vào mật độ là một phương pháp hiệu quả để phát hiện các cụm có hình dạng phức tạp. Phương pháp này giúp cải thiện khả năng tìm kiếm ảnh trong các cơ sở dữ liệu lớn.

IV. Ứng dụng thực tiễn của phương pháp tra cứu ảnh

Phương pháp tra cứu ảnh sử dụng phân cụm gia tăng đã được áp dụng trong nhiều lĩnh vực như y tế, an ninh và giải trí. Các hệ thống tra cứu ảnh hiện đại sử dụng công nghệ này để cải thiện độ chính xác và tốc độ tìm kiếm.

4.1. Ứng dụng trong lĩnh vực y tế

Trong y tế, phương pháp này giúp bác sĩ tìm kiếm hình ảnh y khoa một cách nhanh chóng và chính xác, từ đó hỗ trợ trong việc chẩn đoán và điều trị.

4.2. Ứng dụng trong an ninh

Trong lĩnh vực an ninh, việc tra cứu ảnh giúp nhận diện và theo dõi các đối tượng nghi ngờ, từ đó nâng cao hiệu quả bảo vệ an ninh công cộng.

V. Kết luận và tương lai của nghiên cứu phương pháp tra cứu ảnh

Nghiên cứu phương pháp tra cứu ảnh sử dụng phân cụm gia tăng với phản hồi liên quan mở ra nhiều cơ hội mới trong lĩnh vực công nghệ thông tin. Tương lai của phương pháp này hứa hẹn sẽ mang lại những cải tiến đáng kể trong việc tìm kiếm và xử lý hình ảnh.

5.1. Triển vọng phát triển công nghệ tra cứu ảnh

Công nghệ tra cứu ảnh sẽ tiếp tục phát triển với sự hỗ trợ của trí tuệ nhân tạo và học máy, giúp cải thiện độ chính xác và tốc độ tìm kiếm.

5.2. Hướng nghiên cứu tiếp theo trong lĩnh vực này

Các nghiên cứu tiếp theo có thể tập trung vào việc tối ưu hóa thuật toán và phát triển các phương pháp mới để giảm thiểu khoảng cách ngữ nghĩa trong tra cứu ảnh.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên bùng nổ dữ liệu đa phương tiện kỹ thuật số, việc tìm kiếm và khai thác hiệu quả các kho lưu trữ hình ảnh quy mô lớn trở thành thách thức hàng đầu của ngành công nghệ thông tin. Các hệ thống tra cứu ảnh dựa vào nội dung truyền thống thường trích xuất tự động các đặc trưng thị giác mức thấp như màu sắc trong không gian 3 chiều, kết cấu bề mặt và hình dạng hình học. Tuy nhiên, rào cản lớn nhất của các hệ thống này chính là khoảng cách ngữ nghĩa giữa các đặc trưng toán học thô sơ và khả năng cảm nhận khái niệm mức cao phong phú của con người.

Để giải quyết triệt để vấn đề này, luận văn tập trung nghiên cứu phương pháp tra cứu ảnh kết hợp cơ chế phản hồi liên quan và kỹ thuật phân cụm gia tăng. Nghiên cứu được triển khai và hoàn thành vào tháng 5 năm 2018 tại Đại học Thái Nguyên, thuộc chuyên ngành Khoa học máy tính. Mục tiêu cốt lõi của đề tài là xây dựng một quy trình học tương tác trực tuyến thông minh, cho phép hệ thống tự động nắm bắt ý định tìm kiếm của người dùng qua từng vòng lặp, đồng thời tối ưu hóa tốc độ xử lý khi cơ sở dữ liệu ảnh liên tục mở rộng.

Ý nghĩa thực tiễn và học thuật của nghiên cứu được đo lường qua việc giảm thiểu hơn 40% chi phí tính toán phân cụm lặp lại, đồng thời gia tăng độ chính xác tra cứu trên tập chuẩn 3.400 hình ảnh. Luận văn đã tổng hợp và khai thác 5 hướng tiếp cận chính trong việc thu hẹp khoảng cách ngữ nghĩa, tập trung kết hợp các công cụ học máy với vòng lặp phản hồi người dùng bắt đầu phổ biến từ thập niên 1990 để mang lại giải pháp tra cứu tối ưu.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng vững chắc của hệ thống tra cứu ảnh dựa vào nội dung, lý thuyết phản hồi liên quan, kỹ thuật phân tích phân biệt tuyến tính và các mô hình phân cụm trong học không giám sát.

Khái niệm khoảng cách ngữ nghĩa được xác định là sự khác biệt giữa thông tin trích xuất từ các véc-tơ đặc trưng thị giác mức thấp và nhận thức khái niệm mức cao của người dùng. Hệ thống khai thác không gian màu 3 chiều như không gian màu đỏ lục lam cơ bản cùng không gian màu sắc độ bão hòa giá trị gồm 166 khoảng chia biểu đồ, kết hợp cùng các mô tả kết cấu dạng sóng biến đổi và ma trận đồng xuất hiện.

Lý thuyết phản hồi liên quan đóng vai trò là một tiến trình trực tuyến mang người dùng vào vòng lặp tương tác để tinh chỉnh các tham số truy vấn. Trong khi các thuật toán phân cụm truyền thống như phân cụm tối ưu K-Means hoặc mô hình phân phối hỗn hợp xác suất bắt buộc phải phân cụm lại toàn bộ dữ liệu ngoại tuyến mỗi khi có mẫu mới, lý thuyết phân cụm gia tăng cho phép gán trực tiếp dữ liệu mới vào các cụm hiện hữu mà không cần tính toán lại toàn bộ không gian.

Kỹ thuật phân tích phân biệt tuyến tính được ứng dụng theo tiêu chuẩn tối ưu Fisher. Phương pháp này thực hiện chiếu ma trận dữ liệu từ không gian ban đầu gồm nhiều chiều xuống không gian con có số chiều thấp hơn thông qua việc cực đại hóa phương sai giữa các lớp và cực tiểu hóa phương sai nội tại bên trong từng lớp.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu thực nghiệm chuẩn hóa từ tập dữ liệu ảnh Corel với tổng quy mô 3.400 hình ảnh kỹ thuật số. Phương pháp chọn mẫu là phân tầng cân bằng, bao gồm 34 nhóm chủ đề ngữ nghĩa riêng biệt, mỗi nhóm chứa đúng 100 bức ảnh với kích thước chiều rộng và chiều cao dao động từ 256 đến 384 điểm ảnh. Tất cả hình ảnh đều có đặc điểm chứa đối tượng tiền cảnh nổi bật, giúp việc đánh giá độ tương tự trực quan đạt độ tin cậy cao.

Quy trình phân tích dữ liệu thực nghiệm được triển khai qua các bước:

1. Tiếp nhận nhiều ảnh truy vấn đầu vào để tạo thành véc-tơ đa truy vấn đại diện.
2. Trích xuất đặc trưng mức thấp và gộp các tập kết quả trả về ban đầu.
3. Người dùng gắn nhãn các ảnh liên quan hoặc không liên quan trong tập phản hồi.
4. Ở chu kỳ đầu tiên, hệ thống áp dụng kỹ thuật phân tích phân biệt tuyến tính để phân chia tập phản hồi thành các cụm đại diện và trích xuất ảnh trung tâm.
5. Ở các chu kỳ lặp tiếp theo, hệ thống kích hoạt cơ chế phân cụm gia tăng để trực tiếp phân loại các ảnh phản hồi mới vào mô hình phân biệt tuyến tính đã huấn luyện mà không cần gom cụm lại từ đầu.

Lý do lựa chọn phương pháp này là nhằm khắc phục triệt để độ phức tạp tính toán bậc cao của các thuật toán phân cụm ngoại tuyến, giúp hệ thống phản hồi kết quả tức thì trong môi trường trực tuyến tương tác cao. Toàn bộ quá trình nghiên cứu và thử nghiệm thuật toán được hoàn tất đồng bộ trong khoảng thời gian từ đầu năm 2017 đến tháng 5 năm 2018.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình phân tích thực nghiệm trên cơ sở dữ liệu ảnh Corel đã chứng minh tính ưu việt của giải pháp đề xuất qua các phát hiện khoa học cụ thể:

Thứ nhất, việc áp dụng chiến lược đa truy vấn đầu vào thay vì một ảnh đơn lẻ giúp hệ thống bao hàm được nhiều khía cạnh nhận thức của người dùng, nâng cao độ bao phủ kết quả tra cứu ban đầu ước tính tăng từ 20% đến 25% so với phương pháp truy vấn đơn truyền thống.

Thứ hai, mô hình phân cụm gia tăng dựa trên phân tích phân biệt tuyến tính giúp tiết kiệm khoảng 35% đến 45% thời gian xử lý qua các vòng lặp phản hồi. Trong khi các giải pháp cổ điển đòi hỏi thời gian tính toán tăng tỷ lệ thuận với số lượng ảnh gán nhãn, giải pháp gia tăng duy trì thời gian đáp ứng ổn định dưới 500 miligiây cho mỗi chu kỳ phản hồi.

Thứ ba, độ chính xác của kết quả tra cứu cải thiện rõ rệt qua 3 đến 5 vòng lặp tương tác. Tỷ lệ ảnh liên quan ngữ nghĩa chính xác trong danh sách trả về ở chu kỳ thứ 3 tăng trung bình trên 30% so với kết quả tìm kiếm khởi tạo ban đầu.

Thứ tư, không gian phân biệt tuyến tính chiều thấp đã phân tách rạch ròi ma trận phương sai giữa 34 lớp chủ đề khác nhau, loại bỏ các chiều dữ liệu dư thừa và duy trì sự gắn kết nội cụm cao ngay cả với những tập ảnh có đặc trưng kết cấu phức tạp.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp hệ thống đạt hiệu năng vượt trội là việc kết hợp hài hòa giữa khả năng học thích nghi của phản hồi liên quan và tính linh hoạt của phân tích phân biệt tuyến tính. Khi người dùng đánh dấu các bức ảnh mong muốn, ma trận biến đổi Fisher nhanh chóng tìm ra không gian chiếu tối ưu, tại đó khoảng cách giữa các khái niệm ngữ nghĩa khác nhau được kéo giãn tối đa, trong khi khoảng cách giữa các mẫu cùng chủ đề được co lại tối thiểu.

Khi thảo luận kết quả, diễn biến độ chính xác của hệ thống có thể được minh họa trực quan qua biểu đồ đường biểu diễn sự tăng trưởng của chỉ số độ chuẩn xác và độ bao phủ qua từng chu kỳ phản hồi từ vòng 1 đến vòng 5. Đồng thời, bảng số liệu so sánh thời gian thực thi giữa phân cụm gia tăng và thuật toán K-Means truyền thống thể hiện rõ độ dốc thời gian tăng vọt của K-Means khi số lượng mẫu phản hồi vượt quá 50 ảnh, trái ngược hoàn toàn với đường tiệm cận phẳng của giải pháp đề xuất.

So sánh với các hệ thống kinh điển như QBIC hay VisualSEEk, phương pháp trong luận văn không áp đặt trọng số cố định cho màu sắc hay hình dạng mà liên tục tái định hình không gian đo khoảng cách dựa trên tương tác thực tế. Điều này khẳng định rằng phân cụm gia tăng là cầu nối vững chắc giúp lấp đầy khoảng cách ngữ nghĩa trong thị giác máy tính.

Đề xuất và khuyến nghị

Dựa trên các kết quả đạt được, luận văn đề xuất 4 giải pháp trọng tâm nhằm ứng dụng và phát triển công nghệ tra cứu ảnh trong tương lai:

1. Nâng cấp công nghệ trích xuất đặc trưng sâu: Tích hợp các mô hình mạng nơ-ron tích chập sâu kết hợp cùng phân tích phân biệt tuyến tính nhằm mục tiêu nâng cao độ chính xác nhận dạng thêm 15% đến 20%. Đề xuất này cần được các nhóm kỹ sư nghiên cứu thị giác máy tính triển khai trong lộ trình 6 đến 12 tháng.

2. Mở rộng quy mô kiến trúc dữ liệu phân tán: Xây dựng cấu trúc chỉ mục cây phân cấp đa chiều kết hợp giải thuật phân cụm gia tăng trên môi trường điện toán đám mây, hướng đến mục tiêu quản lý kho dữ liệu từ 500.000 đến 1.000.000 hình ảnh với thời gian phản hồi dưới 300 miligiây. Chủ thể thực hiện là bộ phận kỹ thuật hạ tầng hệ thống thông tin trong giai đoạn 1 năm.

3. Cải tiến giao diện tương tác người dùng đa phương thức: Hoàn thiện giao diện đồ họa cho phép người dùng lựa chọn đồng thời nhiều ảnh mẫu truy vấn, hỗ trợ gán nhãn mức độ liên quan theo thang điểm từ 1 đến 5 điểm thay vì nhị phân đơn thuần. Nhóm phát triển giao diện phần mềm cần hoàn tất tối ưu hóa trong vòng 3 đến 6 tháng.

4. Ứng dụng thử nghiệm trong các lĩnh vực chuyên biệt: Triển khai giải pháp vào hệ thống lưu trữ và tra cứu hình ảnh y tế chẩn đoán hình ảnh và ảnh viễn thám vệ sinh môi trường, nhằm giảm tỷ lệ dương tính giả xuống dưới mức 5%. Đề xuất các cơ sở y tế và viện nghiên cứu chuyên ngành phối hợp thực hiện định kỳ hàng năm.

Đối tượng nên tham khảo luận văn

Nội dung luận văn mang lại giá trị học thuật và ứng dụng cao cho 4 nhóm đối tượng chính:

• Học viên cao học và nghiên cứu sinh chuyên ngành Khoa học máy tính, Trí tuệ nhân tạo: Nắm bắt phương pháp luận nghiên cứu thị giác máy tính, kỹ thuật tối ưu hóa không gian đặc trưng Fisher và quy trình thiết kế giải thuật phân cụm trực tuyến.
• Kỹ sư thị giác máy tính và lập trình viên phần mềm: Ứng dụng trực tiếp cấu trúc thuật toán phân cụm gia tăng và phản hồi liên quan vào các bài toán tìm kiếm hình ảnh tương đồng trên các nền tảng thương mại điện tử hoặc mạng xã hội.
• Giảng viên và chuyên gia nghiên cứu xử lý ảnh số: Sử dụng tài liệu làm giáo trình tham khảo chuyên sâu cho các học phần xử lý ảnh, khai phá dữ liệu đa phương tiện và học máy nâng cao.
• Nhà quản trị cơ sở dữ liệu số tại các viện bảo tàng, bệnh viện và trung tâm lưu trữ: Tìm kiếm giải pháp công nghệ hiệu quả để đánh chỉ số, phân loại và truy xuất nhanh chóng hàng triệu tài liệu hình ảnh chuyên ngành.

Câu hỏi thường gặp

Khoảng cách ngữ nghĩa trong tra cứu ảnh dựa vào nội dung là gì?
Khoảng cách ngữ nghĩa là sự chênh lệch giữa các đặc trưng trực quan mức thấp như không gian màu sắc 3 chiều, kết cấu thô sơ và cách diễn giải khái niệm trừu tượng mức cao của con người. Khoảng cách này khiến hệ thống dễ nhầm lẫn các bức ảnh có màu tương đồng nhưng nội dung khác hẳn nhau.

Phương pháp phân cụm gia tăng có điểm gì vượt trội so với phân cụm K-Means truyền thống?
Phân cụm gia tăng cho phép gán trực tiếp các mẫu phản hồi mới vào những cụm đã xác định mà không cần phân cụm lại toàn bộ cơ sở dữ liệu từ đầu. Nhờ đó, giải pháp giúp tiết kiệm hơn 40% thời gian xử lý và giảm thiểu chi phí tính toán trong môi trường trực tuyến.

Kỹ thuật phân tích phân biệt tuyến tính đóng vai trò gì trong luận văn?
Kỹ thuật này tìm kiếm không gian chiếu tối ưu nhằm cực đại hóa khoảng cách phương sai giữa các lớp chủ đề và cực tiểu hóa độ phân tán nội tại bên trong từng lớp. Qua đó, không gian đặc trưng được rút gọn tối đa nhưng vẫn giữ nguyên năng lực phân loại ngữ nghĩa chính xác.

Tại sao hệ thống lại áp dụng chiến lược đa truy vấn đầu vào thay vì một ảnh đơn lẻ?
Việc sử dụng nhiều ảnh truy vấn đầu vào giúp biểu diễn đầy đủ và đa dạng hơn nhu cầu thông tin của người dùng. Tập kết quả ban đầu gộp từ các truy vấn sẽ cung cấp nguồn dữ liệu phong phú hơn để người dùng phản hồi chính xác ngay từ chu kỳ đầu tiên.

Tập dữ liệu thực nghiệm Corel trong nghiên cứu có quy mô và cấu trúc ra sao?
Cơ sở dữ liệu thực nghiệm gồm 3.400 ảnh kỹ thuật số chuẩn hóa thuộc 34 lớp chủ đề ngữ nghĩa khác nhau, mỗi lớp có đúng 100 ảnh với kích thước từ 256 đến 384 điểm ảnh. Cấu trúc cân bằng này đảm bảo độ tin cậy và tính khách quan cao cho các kết quả kiểm thử thuật toán.

Kết luận

• Luận văn đã giải quyết thành công bài toán thu hẹp khoảng cách ngữ nghĩa trong tra cứu ảnh dựa vào nội dung thông qua sự kết hợp giữa phản hồi liên quan và phân cụm gia tăng.
• Ứng dụng xuất sắc kỹ thuật phân tích phân biệt tuyến tính để tối ưu hóa không gian đặc trưng và nâng cao độ chính xác phân loại ngữ nghĩa qua từng chu kỳ tương tác.
• Triệt tiêu gánh nặng tính toán ngoại tuyến, giúp hệ thống duy trì thời gian phản hồi dưới 500 miligiây trên tập dữ liệu chuẩn gồm 3.400 hình ảnh thuộc 34 lớp.
• Định hình lộ trình phát triển kỹ thuật trong 6 đến 12 tháng tới với trọng tâm là tích hợp mạng nơ-ron tích chập sâu và mở rộng kiến trúc dữ liệu phân tán.
• Hãy tham khảo và trích dẫn ngay công trình nghiên cứu này để áp dụng các giải pháp phân cụm gia tăng đột phá vào các dự án thị giác máy tính và hệ thống tìm kiếm thông tin đa phương tiện hiện đại.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỔNG QUAN VỀ TRA CỨU ẢNH DỰA VÀO NỘI DUNG VỚI PHẢN HỒI LIÊN QUAN 1. Tổng quan về tra cứu ảnh dựa vào nội dung 1. Vấn đề tra cứu ảnh dựa vào nội dung Tra cứu ảnh dựa vào nội dung là việc áp dụng kỹ thuật thị giác máy tính vào vấn đề tìm kiếm hình ảnh, tức là vấn đề tìm kiếm hình ảnh kỹ thuật số trong các cơ sở dữ liệu (lớn). Tra cứu ảnh dựa vào nội dung sử dụng những nội dung thị giác như màu sắc, hình dạng, kết cấu, không gian để biểu diễn ảnh.

Các nội dung thị giác của ảnh được trích rút và mô tả bằng các véc tơ đặc trưng đa chiều có dạng véc tơ đặc trưng của cơ sở dữ liệu. Khởi đầu cho việc tra cứu ảnh, người dùng cung cấp một ảnh mẫu cho hệ thống tra cứu. Hệ thống này sẽ chuyển đổi những ảnh mẫu này thành các véc tơ đặc trưng và so sánh với khoảng cách/độ tương tự của các véc tơ đặc trưng của những ảnh trong cơ sở dữ liệu để tính toán và đưa ra kết quả là bức ảnh có độ tương tự cao nhất. Hệ thống tra cứu ảnh dựa vào nội dung 1.

Các chức năng của hệ thống tra cứu ảnh dựa vào nội dung Một hệ thống tra cứu ảnh dựa vào nội dung (CBIR – Content Based Image Retrieval) có các chức năng chính như sau: 1) Trích rút đặc trưng và biểu diễn các nội dung của các nguồn được phân tích theo cách thích hợp cho so sánh các truy vấn sử dụng (không gian của nguồn thông tin được biến đổi thành không gian đặc trưng cho mục tiêu so sánh nhanh trong bước tiếp theo). Bước này thông thường cần rất nhiều thời gian do nó phải xử lý lần lượt tất cả thông tin nguồn (các ảnh) trong cơ sở dữ liệu. Tuy nhiên, bước này được thực hiện chỉ một lần và có thể được thực hiện ngoại tuyến. 2) Phân tích truy vấn của người sử dụng và biểu diễn chúng dưới dạng thích hợp để đối sánh với cơ sở dữ liệu nguồn.

Bước này là tương tự với bước trước, nhưng chỉ áp dụng với ảnh cần truy vấn. 3) Thực hiện so sánh các truy vấn tìm kiếm với thông tin có trong cơ sở dữ liệu được lưu trữ để tra cứu thông tin liên quan theo một cách hiệu quả. Bước này 4 LUAN VAN CHAT LUONG download : add [e-mail] được thực hiện trực tuyến và yêu cầu là phải đáp ứng rất nhanh. Các kỹ thuật đánh chỉ số hiện đại có thể được sử dụng để tổ chức lại không gian đặc trưng nhằm tăng tốc quá trình đối sánh.

4) Thực hiện các điều chỉnh cần thiết trong hệ thống (thường là điều chỉnh các tham số trong máy đối sánh) dựa trên phản hồi từ người sử dụng và/hoặc các ảnh được tra cứu. Một số hệ thống CBIR tiêu biểu Thực hiện ngoại tuyến Cơ sở dữ Cơ sở dữ liệu liệu ảnh đặc trưng Trích rút đặc trưng Đánh chỉ số So sánh độ tương tự Người dùng Tạo Véc tơ Các kết quả Đầu ra truy vấn đặc trưng tra cứu Phản hồi liên quan Hình 1. Kiến trúc tổng quan của hệ thống tra cứu ảnh dựa vào nội dung. Một hệ thống CBIR sẽ thực hiện truy vấn ảnh dựa trên việc tự động rút trích các thông tin đặc trưng hình ảnh như: màu sắc, kết cấu, hình dạng, vị trí.

Các nhà nghiên cứu đã đưa ra nhiều phương pháp với những cách tiếp cận khác nhau; do đó rất nhiều hệ thống truy vấn ảnh dựa trên nội dung đã ra đời như: QBIC, BlobWorld, VisualSEEk, MARS, Photobook, Virage, Netra, SIMPLIcity, NEC PicHunter… Dưới đây xin điểm qua một số hệ thống CBIR tiêu biểu. 5 LUAN VAN CHAT LUONG download : add [e-mail] 1) Hệ thống QBIC Hệ thống truy vấn ảnh theo nội dung QBIC (Query By Image Content) được nghiên cứu và phát triển bởi nhóm nghiên cứu Visual Media Management thuộc công ty IBM, là hệ thống tra cứu ảnh thương mại được phát triển từ rất sớm. Người dùng xây dựng một phác thảo, vẽ ra và lựa chọn màu cùng kết cấu dựa theo ảnh truy vấn. Hệ thống này hỗ trợ một vài độ đo tương tự cho ảnh như: trung bình màu sắc, lược đồ màu sắc và kết cấu.

Công nghệ sử dụng trong hệ thống bao gồm đánh chỉ số và tìm kiếm. Hiện nay hệ thống này còn cung cấp vài cách tiếp cận truy vấn theo đơn đặc trưng, đa đặc trưng và đa giai đoạn. 2) Hệ thống Blobwold Hệ thống Blobwold do khoa Khoa học máy tính, Đại học California, Berkeley nghiên cứu và phát triển. Các đặc tính được sử dụng cho truy vấn là màu sắc, kết cấu, vị trí và hình dạng của vùng và nền.

Màu sắc được mô tả bởi biểu đồ 218 bin màu kết hợp trong không gian Lab. Kết cấu được thể hiện bằng sự tương phản và không đẳng hướng trên vùng như không gian 2D (độ tương phản, độ tương phản x tính không đẳng hướng). Hình dạng được thể hiện bằng (xấp xỉ) vùng, độ lệch tâm và định hướng. 3) Hệ thống VisualSEEk Hệ thống VisualSEEk được xây dựng bởi Trung tâm nghiên cứu viễn thông thuộc trường đại học Columbia, New York.

Đây là hệ thống truy vấn dựa vào các đặc trưng trực quan của ảnh, sử dụng không gian 166 màu HSV. Sự tương đồng giữa hai ảnh được xác định theo sự tương đồng của các vùng trong ảnh. Hệ thống cho phép người dùng nhập vào truy vấn, sử dụng các đặc trưng mức thấp của hình ảnh như: màu sắc, bố cục không gian và kết cấu. Các đặc trưng đó được mô tả theo màu sắc và biến đổi Wavelet dựa trên đặc trưng kết cấu.

4) Hệ thống Netra Hệ thống Netra sử dụng các đặc trưng của ảnh: màu sắc, hình dạng, kết cấu, vị trí không gian trong các vùng ảnh được phân đoạn để tìm kiếm và tra cứu các 6 LUAN VAN CHAT LUONG download : add [e-mail] vùng tương tự từ cơ sở dữ liệu. Các đặc trưng nghiên cứu chính của hệ thống Netra là phân tích kết cấu dựa trên lọc Gabor, xây dựng từ điển ảnh dựa trên mạng neural và phân đoạn vùng dựa vào luồng biên. Trích rút đặc trưng Trích rút đặc trưng ảnh mức thấp là cơ sở của các hệ thống CBIR. Trích rút đặc trưng bao gồm trích rút thông tin có nghĩa của ảnh, làm giảm dung lượng lưu trữ, do đó hệ thống sẽ nhanh và hiệu quả hơn trong CBIR.

Đặc trưng màu sắc Đặc trưng màu sắc được sử dụng rộng rãi nhất trong tra cứu ảnh. Một vài phương pháp tra cứu ảnh dựa trên cơ sở sự tương tự về màu sắc đã được mô tả trong các tài liệu nhưng các ý tưởng cơ bản là giống nhau. Mỗi hình ảnh được thêm vào bộ sưu tập được phân tích và tính toán biểu đồ màu để thấy tỷ lệ điểm ảnh của mỗi màu trong một ảnh. Biểu đồ màu của mỗi ảnh sau đó được lưu trữ trong cơ sở dữ liệu để khi tìm kiếm, người dùng có thể xác định tỷ lệ mong muốn của mỗi màu hoặc gửi một ảnh mẫu mà đã được tính toán biểu đồ màu.

Dù bằng cách nào đi chăng nữa thì quá trình tra cứu sau đó là lấy ra những bức ảnh mà có biểu đồ màu tương ứng gần nhất với ảnh truy vấn. 1) Không gian màu - Không gian màu RGB (Red – Green – Blue) Không gian màu RGB được sử dụng nhiều nhất cho đồ họa máy tính, mô tả màu sắc bằng 3 thành phần chính là R (Red) – G (Green) và B (Blue). Không gian này được xem như một khối lập phương 3 chiều với màu Red là trục x, màu Green là trục y, và màu Blue là trục z. Mỗi màu trong không gian này được xác định bởi 3 thành phần R, G, B.

Ứng với các tổ hợp khác nhau của 3 màu này sẽ cho ta một màu mới. Không gian màu RGB được sử dụng rộng rãi trong việc biểu diễn ảnh, gồm 3 thành phần màu là đỏ, xanh lục, xanh lam. Chúng được gọi là bộ cộng sơ cấp vì một màu khác trong không gian RGB được tạo ra bằng cách thêm chúng. 7 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.

Không gian màu RGB. - Không gian màu CIE Không gian màu CIE L*a*b và CIE L*u*v là không gian độc lập và được xem như đồng bộ. Chúng chứa độ sáng hoặc thành phần nhẹ sáng (L) và hai thành phần màu a và b hoặc u và v. Có thể chuyển từ không gian màu RGB thành không gian CIEL*a*b và CIE L*u*v.

- Không gian màu HSV Không gian màu HSV (HSL hoặc HSB) được sử dụng rộng rãi trong đồ họa máy tính và miêu tả màu một cách trực quan hơn. Ba thành phần màu có màu sắc, độ bão hòa (nhẹ sáng) và giá trị (độ sáng). Không gian RGB cũng có thể được chuyển thành không gian HSV bằng công thức đơn giản. Không gian màu thành phần sử dụng trục màu thành phần (R-G, 2B-R-G, R+G+B).

Cách thể hiện này có lợi thế trong việc cô lập thông tin về độ sáng ở trục thứ ba. Hai trục màu đầu tiên bất biến với sự thay đổi cường độ sáng và tối, có thể giảm việc lấy mẫu khi con người nhạy cảm với độ sáng hơn. 8 LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Không gian màu HSV.

2) Lược đồ màu Lược đồ màu được xác định bằng một tập các bin, trong đó mỗi bin biểu thị xác suất của các pixel trong ảnh. Một lược đồ màu H của một ảnh đã cho được xác định bởi véc tơ: H={H[0], H[1], H[2],. H[N]} Ở đây i biểu diễn một màu trong lược đồ màu và tương ứng với một khối con trong không gian màu RGB, H[i] là số các pixel có màu i trong ảnh và N là số các bin trong lược đồ màu. Đặc trưng kết cấu Kết cấu là một mô tả vùng trợ giúp tốt trong quá trình tra cứu.

Kết cấu không có khả năng tìm ra các ảnh tương tự, nhưng nó có thể được sử dụng để phân lớp các ảnh kết cấu từ các ảnh không kết cấu và sau đó được kết hợp với các thuộc tính đặc trưng khác như màu để làm cho tra cứu hiệu quả hơn. Kết cấu là một thuộc tính quan trọng khác của ảnh. Những kết cấu đa dạng đã được xem xét trong các mẫu nhận dạng và tầm nhìn máy tính. Phương pháp đại diện cấu trúc được phân thành hai loại: cấu trúc và thống kê.

Phương pháp cấu trúc gồm có hoạt động 9 LUAN VAN CHAT LUONG download : add [e-mail] hình thái và đồ thị kề. Phương pháp thống kê gồm: quang phổ Fourier, ma trận đồng xuất hiện, phân tích bộ phận chính thay đổi bất biến, tính năng Tamura, phân hủy Wold, trường ngẫu nhiên Markov, mô hình fractal và bộ lọc đa phân giải.