Tổng quan nghiên cứu

Sự bùng nổ của công nghệ số và internet đã tạo ra các kho lưu trữ dữ liệu đa phương tiện khổng lồ với hàng triệu hình ảnh được tạo mới mỗi ngày. Thực trạng này đặt ra thách thức lớn đối với bài toán quản lý, lập chỉ mục và truy xuất dữ liệu trực quan một cách nhanh chóng và chính xác. Trở ngại cốt lõi của các hệ thống tìm kiếm ảnh truyền thống là sự tồn tại của khoảng cách ngữ nghĩa giữa các đặc trưng vật lý cấp thấp như màu sắc, hình dạng, kết cấu và nhận thức ngữ nghĩa cấp cao gần với ngôn ngữ tự nhiên của con người. Các phương pháp tìm kiếm dựa trên văn bản đòi hỏi chi phí gán nhãn thủ công rất lớn, trong khi kỹ thuật truy vấn theo nội dung đơn thuần thường thiếu tính ngữ cảnh và suy diễn logic.

Nhằm giải quyết triệt để bài toán này, luận văn thạc sĩ chuyên ngành Công nghệ thông tin thực hiện vào tháng 9 năm 2023 tại Trường Đại học Bà Rịa - Vũng Tàu đã đề xuất mô hình tìm kiếm ảnh kết hợp mạng nơ-ron học sâu Faster R-CNN, cấu trúc túi từ thị giác và kỹ nghệ tri thức Ontology. Nghiên cứu hướng đến mục tiêu tự động hóa quá trình nhận dạng, phân lớp đối tượng và biểu diễn tri thức ảnh dưới dạng đồ thị ngữ nghĩa RDF/OWL, cho phép thực thi các câu truy vấn SPARQL linh hoạt.

Phạm vi thực nghiệm của đề tài được triển khai toàn diện trên 4 bộ dữ liệu ảnh chuẩn quốc tế gồm COREL với 10 phân lớp, Oxford Flowers 17 với 17 phân lớp, MS-COCO với 80 phân lớp và Flickr 30k với 80 phân lớp. Kết quả nghiên cứu mang lại giá trị thực tiễn to lớn khi giúp giảm thiểu khoảng 35% độ trễ xử lý ngữ nghĩa và nâng cao độ chính xác truy xuất vượt trội so với các mô hình đối sánh đặc trưng truyền thống.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn xây dựng trên nền tảng tích hợp giữa lý thuyết thị giác máy tính hiện đại và công nghệ Web ngữ nghĩa, bao gồm hai trụ cột lý thuyết chính:

Thứ nhất, lý thuyết mạng nơ-ron tích chập sâu và mô hình Faster R-CNN. Kỹ thuật này kế thừa cơ chế mạng nơ-ron đa tầng và mạng đề xuất vùng để phát hiện chính xác ranh giới cũng như phân lớp đa đối tượng trong cùng một khung hình. Mô hình vượt qua giới hạn của các mạng nơ-ron truyền thẳng một lớp cổ điển, giúp trích xuất các đặc trưng phân cấp từ đường nét cục bộ đến các hình thái ngữ nghĩa phức tạp.

Thứ hai, khung biểu diễn tri thức Ontology và mô hình dữ liệu đồ thị RDF/OWL. Ontology thiết lập cấu trúc phân cấp các lớp khái niệm, thuộc tính dữ liệu và thuộc tính đối tượng trong một miền xác định. Cấu trúc bộ ba Chủ thể - Vị từ - Đối tượng trong RDF cho phép liên kết các cá thể hình ảnh với các nhãn phân loại một cách chặt chẽ.

Các khái niệm chính được làm rõ bao gồm: khoảng cách ngữ nghĩa giữa đặc trưng cấp thấp và nhận thức cấp cao, túi từ thị giác đóng vai trò gom cụm các vectơ đặc trưng tương đồng, và ngôn ngữ truy vấn SPARQL dùng để tra cứu dữ liệu đồ thị tri thức với độ phức tạp tính toán tối ưu.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu thực nghiệm chuẩn hóa quốc tế với kích thước mẫu đa dạng, bao gồm tập COREL với 1.000 hình ảnh đơn đối tượng, tập Oxford Flowers 17 với 1.360 hình ảnh sinh học, tập MS-COCO với hơn 30.000 thể hiện đối tượng phức tạp và tập Flickr 30k với 31.783 hình ảnh đời sống đa ngữ cảnh.

Phương pháp chọn mẫu áp dụng kỹ thuật lấy mẫu phân tầng mang tính đại diện cao, bao phủ từ các tập dữ liệu đơn đối tượng có cấu trúc rõ ràng đến các tập dữ liệu đa đối tượng chứa nhiều nhiễu và bối cảnh phức tạp. Lý do lựa chọn phương pháp phân tích này là nhằm kiểm chứng toàn diện khả năng thích ứng và tính tổng quát hóa của mô hình trên nhiều miền dữ liệu khác nhau.

Quy trình phân tích và cài đặt bao gồm việc sử dụng công cụ Protégé để thiết kế khung ontology bán tự động, huấn luyện mạng Faster R-CNN nhằm tự động hóa khâu phân lớp, kết hợp thuật toán phân cụm để tạo túi từ thị giác và tự động sinh mã truy vấn SPARQL. Toàn bộ tiến trình nghiên cứu và thử nghiệm được triển khai từ năm 2022 đến tháng 9 năm 2023.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Phát hiện thứ nhất: Mạng Faster R-CNN đạt khả năng nhận dạng và định vị đa đối tượng chính xác trên các khung cảnh phức tạp. Trong các thử nghiệm trên tập dữ liệu MS-COCO và Flickr 30k với 80 phân lớp, hệ thống phát hiện đồng thời nhiều thực thể như người, tách nước, bàn ăn với độ tin cậy phân lớp đạt trên 90%, giảm thiểu tỷ lệ nhận dạng nhầm lẫn giữa các đối tượng có nền tương đồng.

Phát hiện thứ hai: Việc ứng dụng cấu trúc túi từ thị giác kết hợp Ontology giúp tối ưu hóa không gian lưu trữ và biểu diễn dữ liệu. Thay vì lưu trữ toàn bộ các vectơ đặc trưng thô nhiều chiều, mô hình gom nhóm các đặc trưng vào các túi từ đại diện và phân bổ vào cây phân cấp Ontology, giúp giảm khoảng 40% dung lượng lập chỉ mục siêu dữ liệu so với cách tiếp cận lập chỉ mục đặc trưng toàn cục.

Phát hiện thứ ba: Hiệu suất truy vấn ngữ nghĩa thông qua câu lệnh SPARQL trên cấu trúc Ontology vượt trội rõ rệt. Trên hai tập dữ liệu đơn đối tượng COREL và Oxford Flowers 17, độ chính xác tìm kiếm trung bình đạt mức cao từ 88% đến 92%. Đồng thời, thời gian truy xuất trung bình giảm khoảng 60% so với phương pháp tìm kiếm láng giềng gần nhất K-NN trên toàn bộ không gian đặc trưng.

Phát hiện thứ tư: Khung Ontology bán tự động thể hiện tính mở rộng mạnh mẽ khi làm việc với các kho dữ liệu tăng trưởng. Khi bổ sung các tập ảnh mới vào hệ thống, cấu trúc đồ thị tri thức chỉ cần tạo thêm các cá thể và cập nhật liên kết bộ ba mà không cần tái cấu trúc lại toàn bộ cơ sở dữ liệu, loại bỏ hơn 30% các kết quả tìm kiếm trùng lặp hoặc sai lệch ngữ cảnh.

Thảo luận kết quả

Hiệu quả vượt trội của mô hình bắt nguồn từ sự kết hợp tương hỗ giữa hai thành phần: Faster R-CNN đóng vai trò như một bộ trích xuất đặc trưng và gán nhãn tự động chuẩn xác, trong khi Ontology cung cấp một khung suy luận logic giúp liên kết các nhãn này theo mối quan hệ ngữ nghĩa phân cấp. Sự kết hợp này đã triệt tiêu nhược điểm của các hệ thống CBIR thuần túy vốn chỉ dựa vào khoảng cách toán học Euclide giữa các điểm ảnh.

Dữ liệu thực nghiệm của nghiên cứu có thể được trực quan hóa sinh động thông qua biểu đồ cột so sánh độ chính xác trung bình giữa mô hình đề xuất và các phương pháp truyền thống trên 4 bộ dữ liệu, kết hợp với đồ thị đường thể hiện thời gian đáp ứng truy vấn khi quy mô tập dữ liệu tăng từ 1.000 lên hơn 30.000 hình ảnh.

Khi so sánh với các công trình liên quan trước đây như mô hình phân lớp CIFAR-10 của Manjunath Jogin năm 2018 đạt độ chính xác 85,97% hay các nghiên cứu truy vấn RDF của Vijayarajan năm 2016, mô hình trong luận văn không chỉ đạt độ chính xác phân loại cạnh tranh mà còn vượt trội ở khả năng tự động sinh câu truy vấn SPARQL và trích xuất ngữ nghĩa mô tả hoàn chỉnh cho người dùng.

Đề xuất và khuyến nghị

Thứ nhất: Nâng cấp kiến trúc mạng nơ-ron phát hiện đối tượng bằng cách tích hợp các mô hình tiên tiến như Vision Transformer hoặc YOLO thế hệ mới nhằm rút ngắn thời gian xử lý phân lớp xuống dưới 50 mili-giây cho mỗi hình ảnh. Giải pháp này cần được đội ngũ kỹ sư trí tuệ nhân tạo triển khai hoàn thành trong quý 2 năm 2024.

Thứ hai: Tự động hóa hoàn toàn quy trình xây dựng và làm giàu Ontology thông qua các thuật toán học ontology tự động từ dữ liệu văn bản đi kèm, mở rộng phạm vi khái niệm từ 80 phân lớp hiện tại lên hơn 1.000 phân lớp ngữ nghĩa. Nhiệm vụ này do các chuyên gia kỹ nghệ tri thức chủ trì thực hiện trong giai đoạn 2024 đến 2025.

Thứ ba: Tối ưu hóa hiệu năng lưu trữ và truy vấn đồ thị RDF bằng cách tích hợp các hệ quản trị cơ sở dữ liệu đồ thị phân tán chuyên dụng như Apache Jena Fuseki hoặc GraphDB, hướng đến mục tiêu đáp ứng hơn 1.000 lượt truy vấn đồng thời với độ trễ dưới 200 mili-giây. Đội ngũ kỹ sư hạ tầng dữ liệu cần hoàn thiện giải pháp trong vòng 6 tháng.

Thứ tư: Chuyển giao và mở rộng ứng dụng mô hình vào các lĩnh vực chuyên ngành trọng điểm như hệ thống lưu trữ và truyền hình ảnh y tế PACS hay các kho lưu trữ di sản văn hóa số hóa quốc gia, nhằm đạt tỷ lệ truy xuất chính xác trên 95% trước quý 4 năm 2025 dưới sự phối hợp của các cơ quan quản lý và đơn vị phát triển phần mềm.

Đối tượng nên tham khảo luận văn

Nhóm thứ nhất: Học viên cao học, nghiên cứu sinh và các nhà nghiên cứu trong lĩnh vực Khoa học máy tính và Trí tuệ nhân tạo. Luận văn cung cấp phương pháp luận chi tiết về việc kết hợp thị giác máy tính và Web ngữ nghĩa, là tài liệu tham khảo giá trị để phát triển các đề tài liên quan đến mạng nơ-ron tích chập và kỹ nghệ tri thức.

Nhóm thứ hai: Kỹ sư phát triển phần mềm tìm kiếm đa phương tiện và xử lý ảnh số. Nhóm đối tượng này có thể ứng dụng trực tiếp kiến trúc hệ thống, quy trình xây dựng túi từ thị giác và module tự động sinh truy vấn SPARQL vào các sản phẩm thương mại tìm kiếm hình ảnh quy mô lớn.

Nhóm thứ ba: Chuyên gia quản trị dữ liệu và kiến trúc sư thông tin tại các bệnh viện, thư viện số và cơ quan lưu trữ. Luận văn mang đến giải pháp chuẩn hóa siêu dữ liệu hình ảnh, giúp tổ chức hệ thống tra cứu hồ sơ bệnh án hình ảnh X-quang, MRI hay tư liệu lịch sử một cách khoa học và chính xác.

Nhóm thứ tư: Giảng viên các trường đại học khối ngành công nghệ thông tin. Tài liệu đóng vai trò là giáo trình tham khảo chuyên sâu phục vụ giảng dạy các học phần về Học sâu, Xử lý ảnh nâng cao, Cơ sở dữ liệu hướng ngữ nghĩa và Web ngữ nghĩa.

Câu hỏi thường gặp

Mô hình RCNNOnIR giải quyết khoảng cách ngữ nghĩa như thế nào? Mô hình sử dụng mạng Faster R-CNN để ánh xạ các đặc trưng điểm ảnh cấp thấp thành các nhãn đối tượng cụ thể. Sau đó, các nhãn này được tích hợp vào cây phân cấp Ontology để thiết lập các mối quan hệ ngữ nghĩa logic. Nhờ cơ chế truy vấn SPARQL, người dùng có thể tìm kiếm hình ảnh theo đúng khái niệm ngôn ngữ tự nhiên thay vì phụ thuộc vào các chỉ số màu sắc hay hình dạng thô.

Tại sao luận văn lại kết hợp cả túi từ thị giác và khung Ontology? Túi từ thị giác giúp gom cụm các vectơ đặc trưng tương đồng, làm giảm chiều dữ liệu và đơn giản hóa việc tính toán. Khung Ontology tiếp nhận các túi từ này để xây dựng cấu trúc tri thức có tổ chức, bổ sung các thuộc tính và mô tả ngữ cảnh. Sự kết hợp này vừa đảm bảo tốc độ lập chỉ mục nhanh chóng, vừa duy trì tính suy diễn ngữ nghĩa chặt chẽ.

Mô hình có khả năng mở rộng trên các kho dữ liệu hình ảnh quy mô lớn không? Mô hình có tính mở rộng rất cao. Thực nghiệm trên các tập dữ liệu lớn như MS-COCO và Flickr 30k chứng minh rằng cấu trúc đồ thị RDF của Ontology cho phép bổ sung liên tục các cá thể hình ảnh và lớp mới mà không làm gián đoạn hệ thống hay yêu cầu tái huấn luyện lại toàn bộ mô hình, giữ vững tốc độ phản hồi ổn định.

Sự khác biệt cốt lõi giữa hệ thống SBIR trong luận văn và CBIR truyền thống là gì? Hệ thống CBIR truyền thống chỉ so sánh độ tương đồng dựa trên khoảng cách số học giữa các vectơ đặc trưng màu sắc hoặc kết cấu, dẫn đến nhiều kết quả sai lệch ngữ cảnh. Ngược lại, hệ thống SBIR trong luận văn truy xuất ảnh dựa trên sự hiểu biết về đối tượng và mối quan hệ ngữ nghĩa, mang lại độ chính xác cao và kết quả sát với ý định người dùng.

Hệ thống tự động sinh câu truy vấn SPARQL từ hình ảnh đầu vào như thế nào? Khi người dùng tải lên một hình ảnh truy vấn, mạng Faster R-CNN lập tức phân tích, phát hiện các đối tượng và trích xuất các từ vựng thị giác tương ứng. Hệ thống sau đó tự động chuyển đổi các từ vựng này thành cú pháp lệnh SPARQL chuẩn để truy vấn trực tiếp trên cơ sở dữ liệu Ontology và trả về danh sách ảnh tương đồng nhất.

Kết luận

Những đóng góp trọng tâm và định hướng phát triển của luận văn bao gồm:

  • Đề xuất thành công kiến trúc tìm kiếm ảnh đột phá kết hợp giữa mạng học sâu Faster R-CNN, cấu trúc túi từ thị giác và khung Ontology ngữ nghĩa.
  • Khắc phục hiệu quả bài toán khoảng cách ngữ nghĩa, nâng cao độ chính xác truy xuất trên cả tập dữ liệu đơn đối tượng và đa đối tượng phức tạp.
  • Xây dựng quy trình tạo lập Ontology bán tự động và cơ chế sinh truy vấn SPARQL tự động hóa giúp tối ưu hóa thời gian tìm kiếm dữ liệu trực quan.
  • Minh chứng tính khả thi và hiệu năng vượt trội của mô hình qua các thực nghiệm toàn diện trên 4 bộ dữ liệu chuẩn quốc tế gồm COREL, Oxford Flowers 17, MS-COCO và Flickr 30k.
  • Mở ra hướng tiếp cận mới đầy tiềm năng cho các ứng dụng thực tế trong quản lý thư viện số, chẩn đoán hình ảnh y khoa và hệ sinh thái dữ liệu lớn đa phương tiện.

Trong giai đoạn 2024 đến 2026, nhóm nghiên cứu sẽ tiếp tục mở rộng mô hình với các kiến trúc học sâu đa phương thức và hệ thống cơ sở dữ liệu đồ thị phân tán quy mô lớn. Quý độc giả, nhà nghiên cứu và doanh nghiệp quan tâm có thể tham khảo toàn văn luận văn thạc sĩ của tác giả Đỗ Xuân Hiệp tại thư viện Trường Đại học Bà Rịa - Vũng Tàu để khai thác chi tiết giải pháp kỹ thuật và mã nguồn thực nghiệm.