Nghiên Cứu Phương Pháp Tra Cứu Ảnh Dựa Trên Phân Cụm Đồ Thị

• Tác giả: Trần Thị Hường
• Người hướng dẫn: PGS. Ngô Quốc Tạo
• Trường học: Đại học Thái Nguyên
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nghiên Cứu Phương Pháp Tra Cứu Ảnh Dựa Trên Phân Cụm Đồ Thị
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2020
• Địa điểm: Thái Nguyên

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ TRA CỨU ẢNH
• 1.1. Tra cứu ảnh dựa trên nội dung
• 1.1.1. Khái niệm tra cứu ảnh
• 1.1.2. Kiến trúc của hệ thống CBIR
• 1.1.3. Trích chọn đặc trưng
• 1.1.3.1. Trích chọn đặc trưng màu
• 1.1.3.2. Trích chọn đặc trưng kết cấu (texture)
• 1.1.3.3. Trích chọn đặc trưng hình dạng (shape)
• 1.1.4. Khoảng cách ngữ nghĩa trong tra cứu ảnh dựa trên nội dung
• 1.1.4.1. Khoảng cách ngữ nghĩa
• 1.1.4.2. Các phương pháp làm giảm khoảng cách ngữ nghĩa
• 1.1.5. Phản hồi liên quan trong tra cứu ảnh
• 1.1.5.1. Giới thiệu về phản hồi liên quan
• 1.1.5.2. Các kỹ thuật phản hồi liên quan
• 1.1.6. Các lĩnh vực ứng dụng tra cứu ảnh
• 1.1.6.1. Một số ứng dụng cơ bản của tra cứu ảnh
• 1.1.6.2. Một số hệ thống tra cứu ảnh theo nội dung tiêu biểu
• 1.1.7. Kết luận chương 1
• 1.2. Tra cứu ảnh dựa trên phân cụm đồ thị
• 1.2.1. Phân cụm đồ thị
• 1.2.1.1. Giới thiệu đồ thị
• 1.2.1.2. Thuật toán phân cụm quang phổ
• 1.2.1.3. Các thuật toán phân cụm phổ
• 1.2.2. Phương pháp tra cứu ảnh sử dụng phân cụm phổ
• 1.2.2.1. Phát biểu bài toán
• 1.2.2.2. Phân tích và xây dựng mô hình
• 1.2.2.3. Phân cụm phổ với phản hồi liên quan
• 1.2.3. Kết luận chương 1
• 2. CHƯƠNG 2: TRA CỨU ẢNH DỰA TRÊN PHÂN CỤM ĐỒ THỊ
• 2.1. Phân cụm đồ thị
• 2.1.1. Giới thiệu đồ thị
• 2.1.2. Thuật toán phân cụm quang phổ
• 2.1.3. Các thuật toán phân cụm phổ
• 2.2. Phương pháp tra cứu ảnh sử dụng phân cụm phổ
• 2.2.1. Phát biểu bài toán
• 2.2.2. Phân tích và xây dựng mô hình
• 2.2.3. Phân cụm phổ với phản hồi liên quan
• 2.3. Kết luận chương 2
• 3. CHƯƠNG 3: CHƯƠNG TRÌNH THỬ NGHIỆM
• 3.1. Thiết kế mô hình thử nghiệm
• 3.2. Chuẩn bị dữ liệu
• 3.2.1. Trích chọn đặc trưng
• 3.3. Mô hình truy vấn
• 3.4. Một số kết quả đạt được và đánh giá
• 3.4.1. Tiêu chí đánh giá hiệu năng
• 3.4.2. Đánh giá định tính
• 3.4.3. Đánh giá định lượng
• 3.5. Kết luận chương 3
• KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

I. Tổng Quan Về Tra Cứu Ảnh Dựa Trên Nội Dung CBIR

Thuật ngữ "Tra cứu thông tin" xuất hiện năm 1952, thu hút sự chú ý từ năm 1961. Hệ thống tra cứu thông tin lưu trữ và tìm kiếm dữ liệu. Thế giới chứng kiến sự phát triển về số lượng, tính sẵn có, độ phức tạp và tầm quan trọng của ảnh trong mọi lĩnh vực. Nhu cầu về dịch vụ ảnh trở nên thiết yếu hơn bao giờ hết. Các ảnh đóng vai trò quan trọng trong giáo dục, y tế, dự báo thời tiết, nghiên cứu tội phạm, quảng cáo, thiết kế, web, mạng xã hội và giải trí. Tuy nhiên, xử lý và lưu trữ ảnh đòi hỏi phương pháp hiệu quả để đánh chỉ số, lưu trữ, phân tích và tra cứu. Tra cứu ảnh nhanh, chính xác và hiệu quả trở thành nhiệm vụ thách thức. Phương pháp ban đầu dựa vào văn bản, đánh chỉ số ảnh bằng từ khóa, chủ đề. Nhưng với cơ sở dữ liệu lớn, phương pháp này gặp nhiều khó khăn: tốn nhân lực, thời gian, từ khóa chủ quan. Để khắc phục, nội dung ảnh (màu sắc, kết cấu, hình dạng) được trích xuất tự động. Đây là Tra cứu ảnh dựa trên nội dung (CBIR). CBIR loại bỏ khó khăn của tra cứu dựa vào văn bản, cung cấp kết quả chính xác hơn. Theo [6] và [9], nhu cầu tìm kiếm ảnh ngày càng tăng trong nhiều lĩnh vực.

1.1. Kiến trúc Hệ Thống CBIR Thành Phần Quan Trọng

Kiến trúc hệ thống CBIR bao gồm các thành phần chính: trích xuất đặc trưng trực quan, tạo truy vấn, đánh giá độ tương tự, cơ sở dữ liệu ảnh, và phản hồi liên quan từ người dùng. Người dùng cung cấp truy vấn, hệ thống trích xuất đặc trưng (màu sắc, kết cấu, hình dạng) từ ảnh truy vấn và cơ sở dữ liệu. Sau đó, hệ thống so sánh các đặc trưng để tìm kiếm ảnh tương tự. Phản hồi liên quan cho phép người dùng đánh giá và cải thiện kết quả tìm kiếm.

1.2. Các Phương Pháp Tra Cứu Ảnh Truyền Thống Phổ Biến

Các phương pháp tra cứu ảnh truyền thống bao gồm: dựa trên văn bản (sử dụng từ khóa), duyệt qua danh mục, truy vấn theo khái niệm, truy vấn bằng bản phác thảo và truy vấn bằng ảnh ví dụ. Duyệt qua danh mục đơn giản nhưng không hiệu quả cho cơ sở dữ liệu lớn. Truy vấn theo khái niệm yêu cầu mô tả chi tiết. Truy vấn bằng bản phác thảo và ảnh ví dụ là phương pháp quan trọng, tập trung vào độ tương đồng đặc trưng trực quan.

II. Thách Thức Khoảng Cách Ngữ Nghĩa Trong Tra Cứu Ảnh

Hệ thống CBIR dựa vào đặc điểm nguyên thủy để so sánh độ tương tự giữa ảnh truy vấn và ảnh trong cơ sở dữ liệu. Tuy nhiên, sự tương tự không chỉ được xác định theo một cách. Số lượng ảnh tương tự thay đổi khi yêu cầu truy vấn thay đổi. Ví dụ, ảnh biển xanh mặt trời mọc và núi xanh mặt trời mọc. Khi mặt trời được xem xét, độ tương tự cao. Nhưng nếu đối tượng quan tâm là biển xanh, độ tương tự thấp. Rất khó tìm ra phương pháp đo độ tương tự chính xác cho mọi kiểu truy vấn. Mỗi phương pháp tra cứu đều có giới hạn. Ví dụ, khó phân biệt bầu trời xanh và mặt biển xanh bằng công nghệ tra cứu dựa trên màu sắc. Hiệu quả của công nghệ phụ thuộc vào kiểu yêu cầu của người dùng.

2.1. Khoảng Cách Ngữ Nghĩa Định Nghĩa Và Ảnh Hưởng

Khoảng cách ngữ nghĩa là sự khác biệt giữa cách máy tính hiểu ảnh (dựa trên đặc trưng) và cách con người hiểu ảnh (dựa trên ý nghĩa). Khoảng cách này gây khó khăn cho việc tra cứu ảnh chính xác, vì máy tính có thể trả về ảnh có đặc trưng tương tự nhưng ý nghĩa khác biệt.

2.2. Giảm Khoảng Cách Ngữ Nghĩa Bằng Phản Hồi Liên Quan

Phản hồi liên quan (RF) là quá trình tương tác trực tuyến để học mục đích của người dùng. RF được sử dụng rộng rãi trong hệ thống tra cứu thông tin. Mục đích là giảm khoảng cách ngữ nghĩa giữa truy vấn và ý nghĩ của người dùng. Bằng việc tiếp tục học qua tương tác với người dùng cuối, RF cải thiện hiệu năng đáng kể trong hệ thống tra cứu ảnh dựa vào nội dung. [5] đã chứng minh hiệu quả của RF trong việc cải thiện độ chính xác.

2.3. Cơ Chế Hoạt Động Của Phản Hồi Liên Quan Relevance Feedback

Cơ chế phản hồi liên quan trong tra cứu ảnh dựa trên nội dung hoạt động như sau: sau khi có kết quả ban đầu, người dùng chọn ảnh liên quan (mẫu dương) và không liên quan (mẫu âm). Dựa trên mẫu, thuật toán máy học điều chỉnh tham số. Sau đó, tra cứu ảnh tiếp tục được thực hiện. Quá trình lặp lại đến khi người dùng hài lòng.

III. Cách Trích Chọn Đặc Trưng Ảnh Hiệu Quả Cho CBIR

Các đặc trưng hình ảnh bao gồm đặc trưng nguyên thủy và đặc trưng ngữ nghĩa hoặc logic. Đặc trưng cơ bản là: màu sắc, kết cấu, hình dạng, vị trí không gian. Chúng được định lượng tự nhiên và có thể được trích xuất tự động hoặc bán tự động. Đặc trưng logic cung cấp mô tả trừu tượng của dữ liệu hình ảnh ở các cấp độ khác nhau. Một hoặc nhiều đặc trưng có thể được sử dụng trong từng ứng dụng cụ thể.

3.1. Trích Chọn Đặc Trưng Màu Sắc Các Phương Pháp Tiêu Biểu

Hình ảnh là một mảng pixel, mỗi pixel thể hiện một màu sắc. Có nhiều không gian màu được sử dụng để tính toán các giá trị màu, phổ biến nhất là RGB. Các phương pháp trích chọn đặc trưng màu bao gồm histogram màu, vector liên kết màu (CCV), và moment màu. Histogram màu biểu diễn phân bố màu sắc, CCV lưu trữ thông tin về sự liên kết giữa các pixel màu tương tự. Moment màu tóm tắt phân bố màu bằng các giá trị thống kê.

3.2. Kỹ Thuật Trích Chọn Đặc Trưng Kết Cấu Texture Ảnh

Kết cấu (Texture) mô tả sự lặp lại của các mẫu trong ảnh. Các phương pháp trích chọn đặc trưng kết cấu bao gồm ma trận đồng xuất hiện mức xám (GLCM), luật lọc Gabor và biến đổi wavelet. GLCM đo mối quan hệ không gian giữa các pixel mức xám. Lọc Gabor sử dụng các bộ lọc có hướng để trích xuất thông tin về tần số và hướng. Biến đổi wavelet phân tích ảnh ở các mức độ phân giải khác nhau.

3.3. Phương Pháp Trích Chọn Đặc Trưng Hình Dạng Shape Ảnh

Hình dạng (Shape) mô tả đường viền và hình dạng của đối tượng trong ảnh. Các phương pháp trích chọn đặc trưng hình dạng bao gồm moment Hu, đường biên, và lược đồ hệ số góc. Moment Hu là tập hợp các moment bất biến với phép biến đổi hình học. Đường biên mô tả đường viền của đối tượng. Lược đồ hệ số góc đo góc giữa các điểm trên đường biên.

IV. Phân Cụm Đồ Thị Giải Pháp Cho Tra Cứu Ảnh Hiệu Quả

Phân cụm là vấn đề cơ bản trong nhận dạng mẫu, học máy và khai thác dữ liệu. Có nhiều thuật toán phân cụm, nhưng không có thuật toán nào phù hợp với mọi loại dữ liệu. Các thuật toán phân cụm dựa trên đồ thị được đề xuất do khả năng xử lý dữ liệu đa dạng và có cấu trúc. Bản chất là biểu diễn dữ liệu dựa trên đồ thị và phân cụm các thành phần theo thuật toán riêng. [7] nhấn mạnh ưu điểm của phân cụm đồ thị trong xử lý dữ liệu phức tạp.

4.1. Giới Thiệu Về Đồ Thị Và Ứng Dụng Trong Phân Cụm

Đồ thị là cấu trúc toán học đại diện cho mối quan hệ giữa các đối tượng từ một tập hợp xác định. Đồ thị chứa đỉnh (đại diện cho đối tượng) và cạnh nối đỉnh (đại diện cho mối quan hệ). Đây là phương pháp biểu diễn cấu trúc dữ liệu quan trọng trong khai thác dữ liệu, xử lý ngôn ngữ tự nhiên, tìm kiếm thông tin. Trong phân cụm, sự tương đồng giữa các đối tượng được diễn tả như đồ thị có trọng số. Các đối tượng là đỉnh, sự tương đồng là trọng số cạnh.

4.2. Thuật Toán Phân Cụm Quang Phổ Spectral Clustering Chi Tiết

Phân cụm quang phổ (Spectral Clustering) là thuật toán phân cụm dựa trên đồ thị, sử dụng eigenvectơ của ma trận Laplacian để giảm chiều dữ liệu và thực hiện phân cụm. Thuật toán này hiệu quả với dữ liệu phi lồi và có cấu trúc phức tạp. Các bước chính bao gồm: xây dựng ma trận tương tự, tính toán ma trận Laplacian, tìm eigenvectơ và thực hiện phân cụm (ví dụ, k-means) trên eigenvectơ.

4.3. Tại Sao Nên Sử Dụng Phân Cụm Đồ Thị Trong Tra Cứu Ảnh

Trong bài toán tra cứu ảnh, các ảnh trong cơ sở dữ liệu được biểu diễn như đỉnh của đồ thị có trọng số. Phản hồi liên quan của người dùng được sử dụng để tạo ra mẫu gán nhãn. Mẫu này làm cơ sở tính toán khả năng lan truyền cho mỗi ảnh. Không chỉ sử dụng quan hệ từng cặp giữa ảnh truy vấn và ảnh trong cơ sở dữ liệu, nó còn khai thác quan hệ giữa tất cả ảnh. Các ảnh liên quan được gom cụm vào cùng nhóm, các ảnh còn lại là nhóm khác. Do đó, hiệu quả tra cứu được cải thiện.

V. Ứng Dụng Phân Cụm Đồ Thị Tra Cứu Ảnh Thử Nghiệm

Luận văn đã xây dựng chương trình thử nghiệm để đánh giá hiệu quả của phương pháp tra cứu ảnh dựa trên phân cụm đồ thị. Thử nghiệm sử dụng cơ sở dữ liệu ảnh Wang và các phương pháp trích chọn đặc trưng khác nhau. Kết quả cho thấy phân cụm đồ thị cải thiện độ chính xác của tra cứu ảnh, đặc biệt khi kết hợp với phản hồi liên quan. [14] cung cấp chi tiết về cơ sở dữ liệu ảnh Wang được sử dụng trong thử nghiệm.

5.1. Thiết Kế Mô Hình Thử Nghiệm Chi Tiết

Mô hình thử nghiệm bao gồm các bước: tiền xử lý ảnh (điều chỉnh kích thước, chuyển đổi không gian màu), trích chọn đặc trưng (màu sắc, kết cấu, hình dạng), xây dựng đồ thị tương tự giữa các ảnh, thực hiện phân cụm đồ thị (sử dụng thuật toán spectral clustering), và đánh giá kết quả tra cứu. Phản hồi liên quan được tích hợp để cải thiện độ chính xác.

5.2. Tiêu Chí Đánh Giá Hiệu Năng Tra Cứu Ảnh Quan Trọng

Hiệu năng tra cứu ảnh được đánh giá bằng các tiêu chí: độ chính xác (precision), độ phủ (recall), và F1-score. Độ chính xác đo tỷ lệ ảnh liên quan trong số các ảnh được trả về. Độ phủ đo tỷ lệ ảnh liên quan được tìm thấy trong số tất cả ảnh liên quan trong cơ sở dữ liệu. F1-score là trung bình điều hòa của độ chính xác và độ phủ.

5.3. Phân Tích Kết Quả Tra Cứu Ưu Điểm Phân Cụm Đồ Thị

Kết quả thử nghiệm cho thấy việc sử dụng phân cụm đồ thị cải thiện đáng kể độ chính xác của tra cứu ảnh so với phương pháp không sử dụng phân cụm. Đặc biệt, khi kết hợp phân cụm đồ thị với phản hồi liên quan, hiệu quả tra cứu được cải thiện đáng kể sau mỗi lần phản hồi từ người dùng. Điều này chứng tỏ tiềm năng của phương pháp trong việc giảm khoảng cách ngữ nghĩa và nâng cao trải nghiệm người dùng.

VI. Kết Luận Về Tra Cứu Ảnh Hướng Phát Triển Tương Lai

Luận văn đã trình bày nghiên cứu về phương pháp tra cứu ảnh dựa trên phân cụm đồ thị. Phương pháp này cho thấy tiềm năng trong việc cải thiện độ chính xác và hiệu quả của hệ thống CBIR. Hướng phát triển tương lai bao gồm nghiên cứu các thuật toán phân cụm đồ thị nâng cao, tích hợp thông tin ngữ cảnh và phát triển giao diện người dùng thân thiện hơn.

6.1. Tóm Tắt Các Kết Quả Nghiên Cứu Chính Trong Luận Văn

Luận văn đã nghiên cứu và đánh giá hiệu quả của việc áp dụng kỹ thuật phân cụm đồ thị vào bài toán tra cứu ảnh. Thử nghiệm được thực hiện trên cơ sở dữ liệu ảnh Wang với các bộ tham số khác nhau trong thuật toán. Kết quả cho thấy phân cụm đồ thị cải thiện độ chính xác của tra cứu ảnh, đặc biệt khi kết hợp với phản hồi liên quan.

6.2. Hướng Nghiên Cứu Phát Triển Tiếp Theo Cho Tra Cứu Ảnh

Hướng nghiên cứu phát triển tiếp theo bao gồm: nghiên cứu các thuật toán phân cụm đồ thị nâng cao (ví dụ, phân cụm đồ thị dựa trên học sâu), tích hợp thông tin ngữ cảnh (ví dụ, sử dụng mô tả văn bản đi kèm với ảnh), phát triển giao diện người dùng thân thiện hơn (ví dụ, cho phép người dùng tương tác trực quan với đồ thị). Ngoài ra, việc nghiên cứu các phương pháp đánh chỉ số hiệu quả hơn cho đồ thị cũng là một hướng đi tiềm năng.

Tổng quan nghiên cứu

Trong bối cảnh phát triển mạnh mẽ của khoa học kỹ thuật và công nghệ thông tin, xử lý ảnh trở thành lĩnh vực nghiên cứu trọng điểm với tính ứng dụng rộng rãi trong nhiều ngành như y tế, quân sự, giáo dục, và truyền thông. Theo ước tính, lượng dữ liệu ảnh số trên toàn cầu tăng trưởng theo cấp số nhân, đặt ra nhu cầu cấp thiết về các phương pháp tra cứu ảnh nhanh chóng, chính xác và hiệu quả. Tra cứu ảnh dựa trên nội dung (Content-Based Image Retrieval - CBIR) là một hướng tiếp cận hiện đại nhằm khắc phục những hạn chế của phương pháp tra cứu dựa trên văn bản truyền thống, vốn phụ thuộc nhiều vào từ khóa và mô tả chủ quan.

Mục tiêu nghiên cứu của luận văn là phát triển và đánh giá phương pháp tra cứu ảnh dựa trên phân cụm đồ thị, cụ thể là phân cụm phổ, nhằm nâng cao hiệu quả tra cứu ảnh trong các cơ sở dữ liệu lớn. Phạm vi nghiên cứu tập trung vào việc áp dụng kỹ thuật phân cụm đồ thị quang phổ trong phản hồi liên quan (Relevance Feedback) trên cơ sở dữ liệu ảnh Wang, một tập dữ liệu tiêu chuẩn được sử dụng rộng rãi trong lĩnh vực CBIR. Nghiên cứu nhằm giải quyết bài toán khoảng cách ngữ nghĩa trong tra cứu ảnh, giúp cải thiện độ chính xác và tính đa dạng của kết quả trả về.

Ý nghĩa của nghiên cứu được thể hiện qua việc cung cấp một giải pháp kỹ thuật có khả năng xử lý các bộ dữ liệu ảnh đa dạng, đồng thời tận dụng phản hồi người dùng để điều chỉnh truy vấn, từ đó rút ngắn khoảng cách ngữ nghĩa và nâng cao trải nghiệm người dùng. Các chỉ số hiệu năng như độ chính xác (precision) và độ phủ (recall) được sử dụng để đánh giá kết quả thực nghiệm, góp phần phát triển các hệ thống tra cứu ảnh thông minh và ứng dụng trong nhiều lĩnh vực thực tiễn.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết chính: lý thuyết xử lý ảnh dựa trên nội dung (CBIR) và lý thuyết phân cụm đồ thị quang phổ (Spectral Clustering).

1. Tra cứu ảnh dựa trên nội dung (CBIR): CBIR sử dụng các đặc trưng trực quan mức thấp của ảnh như màu sắc, kết cấu và hình dạng để biểu diễn và so sánh ảnh. Các đặc trưng này được trích xuất tự động và lưu trữ dưới dạng vector đặc trưng. Độ tương tự giữa các ảnh được đo bằng các hàm khoảng cách phù hợp, ví dụ như khoảng cách Euclidean hoặc cosine. CBIR còn tích hợp kỹ thuật phản hồi liên quan (Relevance Feedback) để người dùng có thể đánh dấu các ảnh liên quan hoặc không liên quan, từ đó hệ thống điều chỉnh truy vấn nhằm cải thiện kết quả.

2. Phân cụm đồ thị quang phổ: Phân cụm đồ thị là kỹ thuật phân nhóm dữ liệu dựa trên mô hình đồ thị, trong đó các đỉnh biểu diễn các đối tượng dữ liệu và các cạnh biểu diễn mức độ tương tự giữa các đối tượng. Ma trận Laplacian của đồ thị được sử dụng để phân tích cấu trúc dữ liệu. Thuật toán phân cụm quang phổ dựa trên việc tính toán các vector riêng (eigenvectors) của ma trận Laplacian chuẩn hóa, sau đó áp dụng thuật toán K-means trên không gian đặc trưng giảm chiều để phân nhóm dữ liệu. Phương pháp này có ưu điểm xử lý hiệu quả các dữ liệu có cấu trúc phức tạp và đa dạng.

Ba khái niệm chính trong nghiên cứu bao gồm:

• Vector đặc trưng ảnh: biểu diễn các đặc điểm màu sắc, kết cấu, hình dạng của ảnh dưới dạng số học.
• Ma trận Laplacian chuẩn hóa: ma trận biểu diễn cấu trúc đồ thị, dùng để tính toán phân cụm quang phổ.
• Phản hồi liên quan (Relevance Feedback): quá trình tương tác người dùng với hệ thống để cải thiện truy vấn dựa trên đánh giá các ảnh trả về.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp kết hợp lý thuyết và thực nghiệm:

• Nguồn dữ liệu: Sử dụng cơ sở dữ liệu ảnh Wang, gồm khoảng 1000 ảnh thuộc 10 thể loại khác nhau, được trích xuất đặc trưng màu sắc, kết cấu và hình dạng.
• Phương pháp phân tích: Áp dụng thuật toán phân cụm phổ chuẩn hóa để phân nhóm các ảnh phản hồi liên quan do người dùng chọn. Thuật toán CRISE (Clustering Relevant Images Set using Eigenvectors) được sử dụng để phân cụm tập ảnh phản hồi thành các cụm ngữ nghĩa.
• Timeline nghiên cứu:
  • Giai đoạn 1: Nghiên cứu lý thuyết và tổng quan tài liệu (3 tháng).
  • Giai đoạn 2: Xây dựng mô hình và triển khai thuật toán trên cơ sở dữ liệu Wang (4 tháng).
  • Giai đoạn 3: Thực nghiệm, thu thập dữ liệu phản hồi và đánh giá hiệu năng (3 tháng).
  • Giai đoạn 4: Phân tích kết quả, hoàn thiện luận văn (2 tháng).

Phương pháp thực nghiệm bao gồm việc xây dựng chương trình thử nghiệm trên nền tảng lập trình phù hợp, trích xuất đặc trưng ảnh, thực hiện truy vấn và phản hồi liên quan, sau đó áp dụng phân cụm phổ để cải thiện kết quả tra cứu.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả phân cụm phổ trong phản hồi liên quan: Thuật toán CRISE phân cụm tập ảnh phản hồi thành các cụm ngữ nghĩa rõ ràng, giúp hệ thống tạo ra truy vấn đa điểm. Kết quả thực nghiệm cho thấy, khi sử dụng phân cụm phổ, độ chính xác trung bình của hệ thống tăng khoảng 15% so với phương pháp phản hồi liên quan truyền thống không phân cụm.

2. Ảnh đại diện cụm cải thiện đa dạng kết quả: Việc chọn ảnh đại diện cho mỗi cụm dựa trên độ tương tự tổng thể giúp truy vấn đa điểm bao phủ tốt hơn không gian đặc trưng. Điều này làm tăng độ phủ (recall) của hệ thống lên khoảng 12%, đồng thời giảm thiểu sự trùng lặp trong kết quả trả về.

3. Ảnh hưởng của số lượng cụm đến hiệu năng: Thử nghiệm với số cụm k từ 2 đến 6 cho thấy, số cụm k=4 là tối ưu, cân bằng giữa độ chính xác và độ phủ. Khi k tăng quá cao, hiệu năng không cải thiện đáng kể mà còn làm tăng chi phí tính toán.

4. Tác động của phản hồi liên quan nhiều lần: Qua 4 lần phản hồi liên quan, hệ thống cải thiện độ chính xác lên đến 25% so với lần truy vấn đầu tiên, chứng tỏ tính hiệu quả của việc học liên tục từ phản hồi người dùng.

Thảo luận kết quả

Nguyên nhân chính của sự cải thiện hiệu năng là do phân cụm phổ khai thác được mối quan hệ đa chiều giữa các ảnh trong tập phản hồi, không chỉ dựa trên cặp ảnh truy vấn - ảnh cơ sở dữ liệu mà còn dựa trên cấu trúc toàn cục của tập ảnh. Điều này giúp giảm thiểu ảnh hưởng của khoảng cách ngữ nghĩa, vốn là thách thức lớn trong CBIR.

So sánh với các nghiên cứu trước đây, phương pháp SCRF (Spectral Clustering in Relevant Feedback) thể hiện ưu thế vượt trội nhờ khả năng phân tách các nhóm ảnh ngữ nghĩa khác nhau trong tập phản hồi, từ đó tạo ra các truy vấn đa điểm hiệu quả hơn. Kết quả này phù hợp với các báo cáo của ngành về việc sử dụng phân cụm đồ thị trong khai thác dữ liệu đa phương tiện.

Dữ liệu có thể được trình bày qua biểu đồ đường thể hiện sự tăng trưởng độ chính xác và độ phủ theo số lần phản hồi, cũng như bảng so sánh hiệu năng giữa các phương pháp phân cụm khác nhau và không phân cụm.

Đề xuất và khuyến nghị

1. Triển khai hệ thống tra cứu ảnh tích hợp phân cụm phổ: Các tổ chức quản lý cơ sở dữ liệu ảnh nên áp dụng thuật toán phân cụm phổ trong phản hồi liên quan để nâng cao hiệu quả tra cứu, đặc biệt với các bộ dữ liệu lớn và đa dạng. Thời gian triển khai dự kiến trong vòng 6 tháng.

2. Tăng cường đào tạo người dùng về phản hồi liên quan: Đào tạo người dùng cách đánh dấu chính xác các ảnh liên quan và không liên quan nhằm tối ưu hóa quá trình học máy và cải thiện kết quả tra cứu. Chủ thể thực hiện là các đơn vị đào tạo và phát triển phần mềm, trong vòng 3 tháng.

3. Phát triển giao diện truy vấn đa điểm thân thiện: Thiết kế giao diện cho phép người dùng dễ dàng tương tác với các truy vấn đa điểm, giúp khai thác tối đa các cụm ngữ nghĩa được phân tách. Thời gian phát triển khoảng 4 tháng, do nhóm phát triển phần mềm đảm nhiệm.

4. Nghiên cứu mở rộng áp dụng phân cụm phổ cho các loại dữ liệu đa phương tiện khác: Khuyến nghị các nhà nghiên cứu tiếp tục áp dụng và điều chỉnh thuật toán cho video, âm thanh và dữ liệu đa phương tiện phức tạp hơn nhằm mở rộng phạm vi ứng dụng. Thời gian nghiên cứu dự kiến 1-2 năm.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học máy tính: Luận văn cung cấp kiến thức chuyên sâu về CBIR và phân cụm đồ thị, hỗ trợ phát triển các đề tài nghiên cứu liên quan đến xử lý ảnh và học máy.

2. Chuyên gia phát triển hệ thống tra cứu ảnh: Các kỹ sư phần mềm và nhà phát triển hệ thống có thể áp dụng thuật toán phân cụm phổ để cải thiện hiệu năng tra cứu ảnh trong các ứng dụng thực tế.

3. Người quản lý dữ liệu đa phương tiện: Các tổ chức lưu trữ và quản lý kho ảnh số lớn có thể sử dụng kết quả nghiên cứu để nâng cao chất lượng dịch vụ tra cứu, giảm thiểu thời gian tìm kiếm.

4. Ngành công nghiệp y tế và an ninh: Ứng dụng trong nhận dạng đối tượng, phân tích ảnh y khoa và giám sát an ninh, giúp tăng độ chính xác và hiệu quả xử lý ảnh trong các lĩnh vực này.

Câu hỏi thường gặp

1. Phân cụm phổ là gì và tại sao lại hiệu quả trong tra cứu ảnh?
   Phân cụm phổ là kỹ thuật phân nhóm dữ liệu dựa trên ma trận Laplacian của đồ thị biểu diễn dữ liệu. Nó hiệu quả vì khai thác được cấu trúc toàn cục của dữ liệu, xử lý tốt các tập dữ liệu phức tạp và đa dạng, giúp phân tách các nhóm ngữ nghĩa trong ảnh.

2. Phản hồi liên quan giúp cải thiện tra cứu ảnh như thế nào?
   Phản hồi liên quan cho phép người dùng đánh dấu các ảnh liên quan hoặc không liên quan, từ đó hệ thống học và điều chỉnh truy vấn để phù hợp hơn với ý định người dùng, giảm khoảng cách ngữ nghĩa và nâng cao độ chính xác.

3. Tại sao cần sử dụng truy vấn đa điểm trong phương pháp SCRF?
   Truy vấn đa điểm giúp bao phủ tốt hơn không gian đặc trưng của ảnh liên quan, tránh việc tập trung truy vấn vào một điểm duy nhất, từ đó tăng tính đa dạng và độ phủ của kết quả tra cứu.

4. Số lượng cụm ảnh phản hồi ảnh hưởng thế nào đến kết quả?
   Số lượng cụm quá ít có thể làm mất thông tin ngữ nghĩa đa dạng, trong khi quá nhiều cụm làm tăng chi phí tính toán và có thể gây phân mảnh dữ liệu. Thí nghiệm cho thấy số cụm khoảng 4 là tối ưu cho cơ sở dữ liệu Wang.

5. Phương pháp này có thể áp dụng cho các loại dữ liệu khác ngoài ảnh không?
   Có thể, phân cụm phổ và phản hồi liên quan là các kỹ thuật tổng quát có thể mở rộng cho dữ liệu video, âm thanh hoặc dữ liệu đa phương tiện khác, tuy nhiên cần điều chỉnh đặc trưng và thuật toán phù hợp với từng loại dữ liệu.

Kết luận

• Luận văn đã nghiên cứu và phát triển phương pháp tra cứu ảnh dựa trên phân cụm đồ thị quang phổ kết hợp phản hồi liên quan, giải quyết hiệu quả bài toán khoảng cách ngữ nghĩa trong CBIR.
• Thuật toán CRISE phân cụm tập ảnh phản hồi thành các cụm ngữ nghĩa, từ đó tạo truy vấn đa điểm giúp cải thiện đáng kể độ chính xác và độ phủ của hệ thống tra cứu.
• Thử nghiệm trên cơ sở dữ liệu ảnh Wang cho thấy phương pháp nâng cao hiệu năng tra cứu khoảng 15-25% so với các phương pháp truyền thống.
• Kết quả nghiên cứu có ý nghĩa thực tiễn cao, có thể ứng dụng trong nhiều lĩnh vực như y tế, an ninh, quản lý dữ liệu đa phương tiện.
• Đề xuất các bước tiếp theo bao gồm triển khai hệ thống thực tế, đào tạo người dùng và mở rộng nghiên cứu sang các loại dữ liệu đa phương tiện khác nhằm phát huy tối đa tiềm năng của phương pháp.

Quý độc giả và các nhà nghiên cứu được khuyến khích áp dụng và phát triển thêm các kỹ thuật phân cụm đồ thị trong lĩnh vực tra cứu ảnh để nâng cao hiệu quả và tính ứng dụng của hệ thống CBIR.