Mô Hình Mạng Học Sâu Tự Động Tạo Chú Thích Hình Ảnh

Image Captioning là nhiệm vụ tự động tạo mô tả cho hình ảnh, đòi hỏi sự hiểu biết về ngữ nghĩa của hình ảnh, bao gồm các đối tượng chính, thuộc tính và sự tương tác của chúng. Mô hình cần suy luận những ý nghĩa ngữ nghĩa cơ bản để tạo ra chú thích có ý nghĩa [12]. Chú thích hình ảnh quan trọng vì nhiều lý do. Ví dụ, nó hỗ trợ người khiếm thị, phát triển công cụ tìm kiếm hình ảnh và tự động tạo mô tả trên mạng xã hội như Facebook và Twitter. Nó cũng có thể được sử dụng để tóm tắt sự kiện, hỗ trợ tương tác người-robot và truy xuất hình ảnh dựa trên văn bản [13].

Chú thích hình ảnh là một lĩnh vực nghiên cứu quan trọng, yêu cầu cả sự hiểu biết về hình ảnh (liên quan đến Computer Vision) và mô tả ngôn ngữ (liên quan đến Natural Language Processing - NLP). Khung chú thích hình ảnh điển hình bao gồm bộ mã hóa hình ảnh (CNN) để trích xuất đặc trưng và bộ giải mã ngôn ngữ (RNN/LSTM) để tạo chú thích. Thị giác máy tính cung cấp khả năng 'nhìn' và 'hiểu' hình ảnh, trong khi NLP xử lý việc tạo ra mô tả ngôn ngữ tự nhiên. Sự kết hợp này tạo nên nền tảng cho việc tự động tạo chú thích hình ảnh.

Các phương pháp dựa trên Deep Learning hiện tại thường nén toàn bộ cảnh thành một biểu diễn vector cố định, gây mất thông tin về các đối tượng quan trọng trong ảnh [33]. Điều này dẫn đến việc chú thích thiếu chi tiết và không phản ánh đầy đủ nội dung ngữ nghĩa của hình ảnh. Cần có những phương pháp chú thích hình ảnh không chỉ dựa trên các đối tượng hiện hữu, mà còn phải suy ra ngữ cảnh và mối quan hệ giữa các đối tượng, từ đó tạo ra chú thích có ý nghĩa hơn.

Chú thích hình ảnh không chỉ là việc nhận diện các đối tượng và thuộc tính, mà còn là khả năng suy luận thông tin ngữ nghĩa cơ bản từ hình ảnh. Bối cảnh và mối quan hệ giữa các đối tượng đóng vai trò quan trọng trong việc hiểu ngữ nghĩa. Việc ước tính bối cảnh phù hợp (ví dụ: quá khứ, tương lai) có thể giảm khoảng cách ngữ nghĩa giữa hình thức trực quan và mô tả văn bản phù hợp của hình ảnh. Do đó, cần có những mô hình có khả năng phân tích và hiểu được ngữ cảnh của hình ảnh để tạo ra chú thích có ý nghĩa.

Các kỹ thuật hiện tại sử dụng hình ảnh thực được con người chú thích để đào tạo và thử nghiệm, gây tốn kém và mất thời gian. Ngày nay, có rất nhiều nội dung, bao gồm cả hình ảnh, được tạo tự động (ví dụ: tin tức, minh họa, tác phẩm nghệ thuật, quảng cáo), cần phải sử dụng những hình ảnh được tạo/tổng hợp này để huấn luyện và thử nghiệm. Việc tạo chú thích cho những hình ảnh này cũng là một thách thức cần giải quyết.

Cơ chế mở rộng là yếu tố cốt lõi của ExpansionNet v2. Nó cho phép mô hình xử lý nội dung tuần tự với số lượng phần tử tăng lên hoặc tùy ý, sau đó khôi phục lại độ dài ban đầu. Điều này giúp mô hình vượt qua giới hạn về số lượng phần tử đầu vào cố định, từ đó tạo ra chú thích chất lượng cao hơn. Cơ chế này đặc biệt hữu ích khi xử lý các hình ảnh phức tạp với nhiều đối tượng và mối quan hệ phức tạp.

ExpansionNet v2 có kiến trúc độc đáo, được thiết kế để tận dụng tối đa cơ chế mở rộng. Quy trình huấn luyện bao gồm việc sử dụng các Image Captioning Datasets như MS COCO và Flickr30k, cùng với các Evaluation Metrics for Image Captioning như BLEU Score, CIDEr Score, ROUGE Score, SPICE Score để đánh giá hiệu quả của mô hình. Việc tối ưu hóa các tham số trong quá trình huấn luyện là rất quan trọng để đạt được kết quả tốt nhất.

ExpansionNet v2 vượt trội so với các mô hình Image Captioning khác nhờ khả năng xử lý linh hoạt số lượng phần tử đầu vào, tạo ra chú thích chi tiết và chính xác hơn. Cơ chế mở rộng cho phép mô hình khai thác tối đa thông tin từ hình ảnh, từ đó tạo ra chú thích có ý nghĩa ngữ nghĩa sâu sắc hơn. Điều này đặc biệt quan trọng trong việc xử lý các hình ảnh phức tạp với nhiều đối tượng và mối quan hệ phức tạp.

Mô hình Image Captioning được tích hợp vào Pixelfed để tự động tạo chú thích cho hình ảnh được tải lên. Điều này giúp người dùng tiết kiệm thời gian và công sức trong việc mô tả hình ảnh. Hệ thống tự động tạo chú thích dựa trên các đối tượng, thuộc tính và mối quan hệ được nhận diện trong ảnh, cung cấp mô tả ngắn gọn và chính xác.

Ứng dụng Image Captioning được phát triển cho thiết bị di động Android, cho phép người dùng chụp ảnh hoặc tải ảnh lên và nhận chú thích tự động. Ứng dụng này có thể hỗ trợ người khiếm thị trong việc nhận biết môi trường xung quanh bằng cách chuyển chú thích thành giọng nói thông qua Google Api text to speech. Ứng dụng cung cấp cả chú thích bằng tiếng Anh và tiếng Việt.

Luận văn đã xây dựng và đánh giá thành công mô hình ExpansionNet v2 cho nhiệm vụ Image Captioning. Mô hình này đạt được kết quả tốt trên các Image Captioning Datasets chuẩn như MS COCO và Flickr30k, chứng minh khả năng tạo ra chú thích chất lượng cao. Ứng dụng thực tiễn của mô hình trên Pixelfed và thiết bị di động Android cũng cho thấy tiềm năng ứng dụng rộng rãi của nghiên cứu.

Trong tương lai, có thể tập trung vào việc cải thiện khả năng hiểu ngữ cảnh của mô hình, đặc biệt là trong việc xử lý các hình ảnh phức tạp với nhiều đối tượng và mối quan hệ phức tạp. Nghiên cứu cũng có thể tập trung vào việc sử dụng các Transformer Networks và Self-Attention để cải thiện khả năng tạo chú thích chính xác và tự nhiên hơn. Một hướng phát triển khác là nghiên cứu các phương pháp tạo chú thích cho các loại hình ảnh khác nhau, chẳng hạn như ảnh 3D hoặc ảnh thực tế ảo.