Tổng quan nghiên cứu

Sự bùng nổ của kỷ nguyên số đã dẫn đến sự gia tăng nhanh chóng của các kho dữ liệu đa phương tiện, với hàng tỷ hình ảnh được tải lên và lưu trữ mỗi ngày trên toàn cầu. Trước thực trạng các kho dữ liệu hình ảnh liên tục tăng trưởng quy mô, bài toán truy xuất thông tin thị giác đòi hỏi những giải pháp vừa đảm bảo tốc độ phản hồi nhanh, vừa đạt độ chính xác cao về mặt nội dung. Các kỹ thuật tìm kiếm ảnh dựa trên văn bản truyền thống thường bộc lộ hạn chế lớn do phụ thuộc vào quá trình gán nhãn thủ công tốn kém, trong khi các phương pháp truy xuất dựa trên đặc trưng hình ảnh cấp thấp như màu sắc, kết cấu hay hình dạng lại vướng phải rào cản khoảng cách ngữ nghĩa giữa dữ liệu thô và khả năng nhận thức của con người.

Nhằm giải quyết triệt để bài toán này, luận văn thạc sĩ chuyên ngành Công nghệ thông tin mã số 8480201 được hoàn thành vào tháng 9 năm 2023 đã đề xuất mô hình tìm kiếm ảnh ngữ nghĩa mang tên RCNNOnIR. Mục tiêu cốt lõi của nghiên cứu là thiết lập cơ chế kết hợp giữa mạng nơ-ron học sâu phân vùng Faster R-CNN, cấu trúc túi từ thị giác và khung tri thức Ontology. Phạm vi nghiên cứu được kiểm nghiệm toàn diện trên 4 bộ dữ liệu chuẩn quốc tế với quy mô từ 1.000 đến hơn 30.000 hình ảnh, bao gồm cả dạng đơn đối tượng lẫn đa đối tượng phức tạp. Kết quả đạt được mang ý nghĩa khoa học và thực tiễn sâu sắc, giúp thu hẹp khoảng cách ngữ nghĩa, tối ưu hóa thời gian truy vấn thông qua ngôn ngữ SPARQL và nâng cao hiệu suất tìm kiếm hình ảnh trong các kho dữ liệu quy mô lớn.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng vững chắc của hai nhóm lý thuyết chủ đạo: Lý thuyết thị giác máy tính hiện đại và Lý thuyết kỹ nghệ tri thức Web ngữ nghĩa. Trong lĩnh vực thị giác máy tính, nghiên cứu ứng dụng kiến trúc mạng nơ-ron tích chập theo vùng Faster R-CNN để tự động phát hiện, định vị và phân loại đối tượng nhờ mạng đề xuất vùng chuyên biệt. Đồng thời, mô hình túi từ thị giác được áp dụng để lượng tử hóa và gom nhóm các vectơ đặc trưng thành các từ vựng trực quan mang tính đại diện.

Về phía Web ngữ nghĩa, nghiên cứu khai thác khung mô tả tài nguyên RDF, lược đồ RDFS và ngôn ngữ bản thể học OWL nhằm thiết lập mô hình biểu diễn tri thức dạng đồ thị. Các khái niệm trung tâm bao gồm:

  1. Khoảng cách ngữ nghĩa biểu thị sự sai lệch giữa biểu diễn điểm ảnh cấp thấp và khái niệm trừu tượng cấp cao của người dùng.
  2. Bộ ba RDF cấu thành từ Chủ thể, Vị từ và Đối tượng đóng vai trò lưu trữ các mối quan hệ ngữ nghĩa.
  3. Bản thể học đối tượng tổ chức các lớp thực thể, thuộc tính và cá thể ảnh có tính phân cấp.
  4. Ngôn ngữ truy vấn SPARQL thực thi các câu lệnh tìm kiếm logic trên đồ thị tri thức với độ chính xác tuyệt đối.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp thực nghiệm kết hợp phân tích định lượng trên 4 bộ dữ liệu mẫu chuẩn hóa:

  1. Bộ COREL gồm 1.000 ảnh phân bổ đều trong 10 phân lớp.
  2. Bộ Oxford Flowers 17 gồm 1.360 ảnh đại diện cho 17 loài hoa.
  3. Bộ MS-COCO quy mô hơn 120.000 ảnh chứa 80 lớp đối tượng phức tạp.
  4. Bộ Flickr 30k với 31.783 ảnh đời sống thực tế đa dạng ngữ cảnh.

Phương pháp chọn mẫu phân tầng có chủ đích được lựa chọn nhằm đảm bảo tính bao quát, kiểm thử năng lực mô hình từ các bài toán đơn đối tượng có bối cảnh đồng nhất đến các trường hợp đa đối tượng với nền phức tạp.

Lý do lựa chọn phương pháp phân tích kết hợp là nhằm tối ưu hóa thế mạnh của từng công nghệ: Faster R-CNN chịu trách nhiệm trích xuất đặc trưng không gian tự động, khắc phục sự chủ quan của con người; cấu trúc túi từ thị giác làm giảm chiều dữ liệu; và phần mềm Protégé hỗ trợ xây dựng khung Ontology bán tự động giúp chuẩn hóa tri thức. Timeline nghiên cứu được thực hiện xuyên suốt trong 12 tháng, hoàn thiện quá trình thử nghiệm và nghiệm thu chính thức vào tháng 9 năm 2023.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đã chứng minh tính ưu việt của mô hình tìm kiếm ảnh kết hợp mạng R-CNN và Ontology qua các chỉ số định lượng cụ thể:

Thứ nhất, mô hình Faster R-CNN thể hiện năng lực phân lớp vượt trội trên các hình ảnh đa đối tượng. Điển hình trên ảnh mẫu kiểm thử thuộc tập MS-COCO, hệ thống phát hiện chính xác 3 đối tượng người, 4 đối tượng cốc, 1 đối tượng bát và 1 bàn ăn, tạo cơ sở dữ liệu đầu vào chuẩn xác cho túi từ thị giác.

Thứ hai, hệ thống RCNNOnIR đạt mức cải thiện độ chính xác trung bình đáng kể so với các phương pháp tìm kiếm nội dung truyền thống, nâng cao hiệu suất truy xuất trung bình thêm khoảng 18,5% trên tập dữ liệu COREL và đạt mức tăng trưởng 22,3% trên bộ dữ liệu Oxford Flowers 17.

Thứ ba, việc chuyển đổi câu truy vấn thị giác sang định dạng SPARQL giúp tối ưu hóa thời gian thực thi. Tốc độ tìm kiếm trung bình trên tập dữ liệu lớn Flickr 30k giảm hơn 65% so với phương pháp so khớp vectơ láng giềng gần nhất k-NN truyền thống, do phạm vi tìm kiếm được khoanh vùng cục bộ theo các nhánh cá thể trên Ontology.

Thứ tư, phương pháp xây dựng Ontology bán tự động đã mô hình hóa thành công toàn bộ 80 lớp đối tượng của MS-COCO và Flickr 30k thành đồ thị tri thức với hơn 100.000 bộ ba RDF, đảm bảo tính liên kết chặt chẽ giữa định danh ảnh và mô tả ngữ nghĩa.

Thảo luận kết quả

Hiệu năng vượt trội của mô hình bắt nguồn từ việc phân tách quy trình thành hai pha tiền xử lý ngoại tuyến và truy vấn trực tuyến. Trong pha tiền xử lý, việc nạp các túi từ thị giác vào cấu trúc bản thể học đã giúp cấu trúc hóa dữ liệu phi cấu trúc thành các bộ ba có ý nghĩa logic. Khi người dùng thực hiện truy vấn, hệ thống không cần quét toàn bộ kho dữ liệu hàng triệu điểm ảnh mà chỉ thực thi truy vấn SPARQL trên cây phân cấp lớp đã được định vị trước.

Các bảng biểu thống kê trong nghiên cứu thể hiện rõ sự khác biệt: Bảng so sánh độ chính xác cho thấy tỷ lệ trả về ảnh tương tự chính xác của RCNNOnIR luôn vượt trên ngưỡng 82% ở các tập kiểm thử. Đồng thời, biểu đồ đường biểu diễn thời gian truy vấn theo dung lượng ảnh minh chứng rằng khi kích thước tập dữ liệu tăng từ 1.000 lên hơn 30.000 ảnh, thời gian phản hồi của mô hình đề xuất chỉ tăng nhẹ theo hàm logarit, trái ngược hoàn toàn với đường tăng trưởng tuyến tính dốc đứng của các thuật toán so khớp đặc trưng thô.

Đề xuất và khuyến nghị

Nhằm hoàn thiện và nhân rộng mô hình trong môi trường công nghiệp, nghiên cứu đề xuất 4 nhóm giải pháp trọng tâm:

  1. Nâng cấp mạng nơ-ron học sâu sang các kiến trúc tiên tiến hơn như Mask R-CNN hoặc YOLOv8 nhằm tối ưu hóa thời gian phân đoạn đối tượng, hướng tới mục tiêu xử lý dưới 30 mili-giây trên mỗi khung hình, do nhóm kỹ sư thị giác máy tính thực hiện trong lộ trình 6 tháng.
  2. Tự động hóa hoàn toàn quy trình xây dựng và làm giàu Ontology để cắt giảm 90% sự can thiệp thủ công từ chuyên gia, hoàn thành việc xây dựng module chuyển đổi siêu dữ liệu tự động trong vòng 9 tháng bởi các kỹ sư phát triển Web ngữ nghĩa.
  3. Mở rộng thử nghiệm trên các cơ sở dữ liệu chuyên ngành đặc thù như hệ thống hồ sơ bệnh án hình ảnh y khoa hoặc kho lưu trữ di sản văn hóa, phấn đấu nâng độ chính xác chẩn đoán và phân loại tài liệu lên trên 92%, triển khai trong 12 tháng tại các cơ sở thực nghiệm.
  4. Tích hợp công nghệ cơ sở dữ liệu đồ thị phân tán như GraphDB hoặc Virtuoso để nâng cao năng lực chịu tải của bộ máy truy vấn SPARQL, đáp ứng quy mô lưu trữ vượt mức 1 triệu hình ảnh với độ trễ thấp, do đội ngũ quản trị hệ thống đảm nhiệm trong vòng 3 quý.

Đối tượng nên tham khảo luận văn

Nội dung luận văn mang lại giá trị tham khảo thiết thực cho nhiều nhóm độc giả trong cộng đồng nghiên cứu và ứng dụng:

  1. Học viên cao học và nghiên cứu sinh ngành Công nghệ thông tin, Trí tuệ nhân tạo: Tài liệu cung cấp cơ sở lý luận chi tiết về cách thức kết hợp giữa mạng nơ-ron tích chập và Web ngữ nghĩa để giải quyết bài toán biểu diễn tri thức.
  2. Kỹ sư thị giác máy tính và xử lý ảnh số: Cung cấp mã nguồn và quy trình thực nghiệm rõ ràng về việc trích xuất đặc trưng bằng Faster R-CNN kết hợp túi từ thị giác phục vụ phân cụm dữ liệu.
  3. Chuyên gia kiến trúc dữ liệu và phát triển Semantic Web: Cung cấp phương pháp luận mẫu trong việc thiết kế bản thể học OWL trên phần mềm Protégé và tối ưu hóa truy vấn dữ liệu lớn bằng SPARQL.
  4. Nhà quản lý hệ thống lưu trữ đa phương tiện tại các bảo tàng, bệnh viện và thư viện số: Nắm bắt giải pháp công nghệ hiện đại để xây dựng các công cụ tìm kiếm tư liệu số thông minh, giảm thiểu chi phí quản lý vận hành.

Câu hỏi thường gặp

  1. Mô hình RCNNOnIR khác biệt như thế nào so với các công cụ tìm kiếm ảnh dựa trên từ khóa truyền thống? Hệ thống truyền thống chỉ dựa vào văn bản chú thích được nhập thủ công nên dễ phát sinh thiếu sót và phụ thuộc ngôn ngữ. Mô hình RCNNOnIR tự động nhận diện các đối tượng trực quan từ hình ảnh thô thông qua Faster R-CNN, sau đó ánh xạ vào mạng Ontology để tìm kiếm dựa trên bản chất ngữ nghĩa, giúp tăng độ chính xác tìm kiếm thêm khoảng 20%.

  2. Tại sao Faster R-CNN lại được ưu tiên lựa chọn thay cho các mạng CNN cơ bản trong nghiên cứu này? Mạng CNN cơ bản chỉ có khả năng phân lớp toàn bộ bức ảnh vào một nhãn duy nhất và hoạt động kém hiệu quả trên ảnh phức tạp. Faster R-CNN sử dụng mạng đề xuất vùng chuyên dụng, cho phép phát hiện đồng thời nhiều đối tượng ở các tọa độ khác nhau trên cùng một khung hình với độ chính xác định vị rất cao.

  3. Vai trò mấu chốt của Ontology trong việc khắc phục khoảng cách ngữ nghĩa là gì? Ontology đóng vai trò như một bộ từ điển tri thức chuẩn hóa, liên kết các đặc trưng hình ảnh với các khái niệm và mối quan hệ trừu tượng. Việc biểu diễn dữ liệu dưới dạng các bộ ba RDF giúp máy tính có khả năng suy luận logic, hiểu được ngữ cảnh phức tạp của bức ảnh thay vì chỉ so sánh các điểm ảnh đơn thuần.

  4. Mô hình có thể mở rộng để đáp ứng kho dữ liệu hàng triệu hình ảnh hay không? Hoàn toàn khả thi nhờ cơ chế phân vùng tìm kiếm theo cấu trúc túi từ thị giác và lưu trữ dạng đồ thị RDF. Khi quy mô dữ liệu mở rộng, hệ thống chỉ cần cập nhật thêm các cá thể vào các lớp có sẵn trên Ontology mà không làm thay đổi cấu trúc cốt lõi, đảm bảo thời gian truy vấn tăng trưởng ổn định.

  5. Hệ thống xử lý thế nào trong tình huống ảnh đầu vào chứa các vật thể bị che khuất hoặc có độ phân giải thấp? Nhờ cơ chế trích xuất đặc trưng đa tầng của mạng học sâu kết hợp với tính linh hoạt của cấu trúc túi từ thị giác, mô hình vẫn nhận diện được các phần đặc trưng cục bộ chưa bị che khuất. Ontology sau đó sẽ hỗ trợ liên kết các đặc trưng này với các khái niệm tương đồng nhất để đưa ra kết quả truy vấn phù hợp.

Kết luận

  1. Nghiên cứu đã đề xuất thành công mô hình RCNNOnIR kết hợp toàn diện giữa mạng nơ-ron học sâu Faster R-CNN, túi từ thị giác và khung tri thức Ontology.
  2. Giải quyết triệt để rào cản khoảng cách ngữ nghĩa trong bài toán truy xuất thông tin hình ảnh từ đặc trưng cấp thấp đến ngữ nghĩa cấp cao.
  3. Kiểm nghiệm thực nghiệm vững chắc trên 4 bộ dữ liệu chuẩn quốc tế với hơn 30.000 ảnh, chứng minh độ chính xác truy vấn tăng trên 18% và thời gian phản hồi giảm hơn 65%.
  4. Đóng góp quy trình xây dựng bản thể học bán tự động chuẩn hóa trên Protégé, cho phép mở rộng linh hoạt cho các kho dữ liệu đa phương tiện lớn.
  5. Định hình lộ trình phát triển trong giai đoạn tiếp theo hướng tới tự động hóa toàn diện hệ thống và tối ưu hóa xử lý thời gian thực.

Công trình là tài liệu khoa học giá trị, mở ra hướng ứng dụng rộng rãi cho các hệ thống lưu trữ và tìm kiếm dữ liệu đa phương tiện thế hệ mới. Độc giả quan tâm có thể tiếp tục nghiên cứu và triển khai ứng dụng mô hình vào các bài toán thực tiễn chuyên ngành.