Bối cảnh và vấn đề nghiên cứu

Khóa luận tốt nghiệp "Hỏi đáp tự động dựa trên hình ảnh chủ đề mở trong tiếng Việt" (Open-domain Visual Question Answering for Vietnamese) được thực hiện bởi sinh viên Nguyễn Hiếu Nghĩa và Võ Trần Đông Dương, dưới sự hướng dẫn của ThS. Nguyễn Văn Kiệt tại Khoa Khoa học và Kỹ thuật Thông tin, Trường Đại học Công nghệ Thông tin, Đại học Quốc gia TP. Hồ Chí Minh (2023), thuộc ngành Khoa học Dữ liệu. Nghiên cứu thuộc loại hình thực nghiệm kết hợp xây dựng tài nguyên dữ liệu và đánh giá các mô hình học sâu đa phương thức (multimodal deep learning).

Lý do chọn đề tài và bối cảnh thực tiễn

Hỏi đáp tự động dựa trên hình ảnh (Visual Question Answering - VQA) là bài toán giao thoa giữa hai lĩnh vực Thị giác máy tính (Computer Vision - CV) và Xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP). Đầu vào của bài toán là cặp hình ảnh và câu hỏi (Image - Question), đầu ra là câu trả lời bằng ngôn ngữ tự nhiên.

Dù các bộ dữ liệu VQA tiếng Anh đã phát triển mạnh (như VQAv1, VQAv2, TextVQA, DocVQA, VisualMRC), việc nghiên cứu VQA trên tiếng Việt vẫn đối mặt với các hạn chế thực tiễn:

  • Hạn chế của VQAv2: Câu trả lời quá ngắn (độ dài trung bình là 1), khiến bài toán bị chuyển đổi thành bài toán phân loại câu trả lời (classification) thay vì sinh câu trả lời tự nhiên (generation), đồng thời gặp hiện tượng thiên kiến ngôn ngữ (language-prior).
  • Hạn chế của TextVQA: Tập trung hoàn toàn vào việc đọc chữ trong ảnh (scene text) và câu hỏi luôn xoay quanh scene text, bỏ qua việc kết hợp hài hòa giữa văn bản và các thực thể/ngữ cảnh xung quanh.
  • Hạn chế của bộ dữ liệu tiếng Việt hiện có (ViVQA): ViVQA (2021) được xây dựng theo phương pháp bán tự động bằng cách dịch máy câu hỏi - câu trả lời từ tiếng Anh sang tiếng Việt, dẫn đến chất lượng câu từ chưa tự nhiên, tồn tại lỗi ngữ pháp, đồng thời tái sử dụng hình ảnh từ MS COCO nên mang bối cảnh phương Tây, không phản ánh đặc trưng đời sống và văn hóa Việt Nam.

Mục tiêu và nhiệm vụ nghiên cứu

Nghiên cứu đặt ra các mục tiêu và nhiệm vụ cụ thể:

  1. Thu thập hình ảnh phản ánh chân thực bối cảnh, giao thông, văn hóa và đời sống tại Việt Nam;
  2. Xây dựng quy trình, công cụ phần mềm gán nhãn và bộ nguyên tắc (guideline) để tạo lập thủ công bộ dữ liệu hỏi đáp mở tiếng Việt (OpenViVQA) chất lượng cao;
  3. Phân loại và kiểm định chất lượng các cặp câu hỏi - câu trả lời thành hai nhóm rõ rệt: Text QA (liên quan đến scene text) và Non-text QA (chỉ khai thác đối tượng và ngữ cảnh hình ảnh);
  4. Thử nghiệm, cải tiến và đánh giá toàn diện các kiến trúc mô hình học sâu đại diện (SAAA, MCAN, LoRRA, M4C) theo cả hai hướng tiếp cận: phân loại câu trả lời (classifier) và sinh câu trả lời (generator);
  5. Phân tích các yếu tố ảnh hưởng đến hiệu năng của hệ thống như mô hình OCR trích xuất scene text tiếng Việt, mô hình trích xuất đặc trưng ảnh và độ dài câu trả lời.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Bộ dữ liệu hỏi đáp mở trên hình ảnh tiếng Việt (OpenViVQA) và các mô hình học sâu kết hợp xử lý ảnh, nhận diện văn bản (scene text) và xử lý ngôn ngữ tự nhiên tiếng Việt.
  • Phạm vi không gian và dữ liệu: Dữ liệu hình ảnh thu thập qua công cụ tìm kiếm tại Việt Nam về văn hóa, sinh hoạt, giao thông, bảng hiệu đường phố. Toàn bộ ngôn ngữ câu hỏi và câu trả lời là tiếng Việt tự nhiên được gán nhãn thủ công bởi người Việt bản ngữ.
  • Phạm vi kỹ thuật: Đánh giá trên 4 kiến trúc mô hình học sâu gồm Show, Ask, Attend and Answer (SAAA), Modular Co-Attention Neural Network (MCAN), Look, Read, Reason and Answer (LoRRA), và Iterative Answer Prediction with Pointer-Augmented Multimodal Transformer (M4C).

Cơ sở lý thuyết và phương pháp

Khung lý thuyết và mô hình sử dụng

Nghiên cứu kế thừa và mở rộng các khung lý thuyết, kỹ thuật biểu diễn đa phương thức và kiến trúc học sâu bao gồm:

  • Cơ chế tập trung (Attention Mechanisms): Kỹ thuật Stacked Attention (SAN), Bottom-Up and Top-Down Attention, Self-Attention (SA) và Guided-Attention (GA) trong kiến trúc Transformer.
  • Trích xuất đặc trưng hình ảnh: Mô hình Faster R-CNN sử dụng backbone ResNeXt152++ (với cải tiến Dilated C5 và lớp ROI alignment) được huấn luyện sẵn trên bộ dữ liệu Visual Genome để trích xuất đặc trưng theo từng vùng (Region of Interest - RoI).
  • Trích xuất scene text tiếng Việt: Khác với các nghiên cứu tiếng Anh dùng hệ thống Rosetta, nhóm tác giả sử dụng mô hình SwinTextSpotter (huấn luyện trên bộ dữ liệu VinText của VinAI). Đặc trưng từ Transformer Encoder của SwinTextSpotter được dùng đại diện cho ngữ cảnh văn bản, và đặc trưng từ module Recognition Conversion được dùng đại diện cho hình hài ký tự.
  • Mô hình ngôn ngữ và sinh văn bản: Mạng LSTM, GloVe, mô hình ngôn ngữ BERT (BERT-base và cấu hình tinh gọn 3 lớp) kết hợp mạng chỉ trỏ động (Dynamic Pointer Network).

Phương pháp nghiên cứu

Nghiên cứu kết hợp phương pháp kiến tạo dữ liệu thực nghiệm và phương pháp kiểm thử benchmark mô hình:

  • Phương pháp thu thập và tiền xử lý dữ liệu: Thu thập 15.300 hình ảnh qua công cụ Octoparse từ Google và Bing. Lọc tự động các định dạng tĩnh (JPEG, JPG, PNG) với độ phân giải tối thiểu 500x400 pixels, sau đó lọc thủ công loại bỏ ảnh mờ, vỡ hạt, thu về 13.300 ảnh chuẩn để chia thành các subset.
  • Phương pháp gán nhãn và kiểm soát chất lượng: Thiết kế phần mềm giao diện chuyên dụng bằng C++ và Qt. Xây dựng guideline chi tiết; huy động đội ngũ sinh viên nhiều vùng miền gán nhãn; kiểm tra chéo ngữ pháp, chính tả; chuẩn hóa định dạng số tiền (--.--- đồng).
  • Độ đo thống kê đồng thuận: Sử dụng chỉ số Fleiss' Kappa và Percent Agreement để đánh giá mức độ đồng thuận giữa các cộng tác viên khi phân loại câu hỏi Text QA và Non-text QA.
  • Thiết lập huấn luyện: Sử dụng giải thuật tối ưu Adam, hàm mất mát Cross-Entropy và Multi-label Cross-Entropy. Áp dụng kỹ thuật dừng sớm (early stopping) sau 5 epoch nếu độ đo CIDEr trên tập kiểm định (dev set) không cải thiện.

Các độ đo đánh giá học thuật

Quá trình đánh giá câu trả lời dự đoán (hypothesis - hypo) so với câu trả lời chuẩn của con người (reference - ref) sử dụng 4 thang đo chuẩn của bài toán dịch máy và sinh chú thích ảnh:

  1. BLEU (Bilingual Evaluation Understudy): Đánh giá độ chính xác n-gram có áp dụng hệ số phạt độ dài ngắn (Brevity Penalty - BP);
  2. ROUGE (Recall-Oriented Understudy for Gisting Evaluation): Đánh giá dựa trên độ phủ Recall, cụ thể sử dụng ROUGE-L dựa trên dãy con chung dài nhất (Longest Common Subsequence - LCS);
  3. METEOR (Metrics for Evaluation of Translation with Explicit ORdering): Đánh giá dựa trên phép khớp unigram linh hoạt (alignment), kết hợp điều hòa Precision và Recall kèm hệ số phạt phân mảnh (chunk penalty);
  4. CIDEr (Consensus-based Image Description Evaluation): Sử dụng trọng số TF-IDF cho các n-gram trên toàn bộ tập dữ liệu và tính độ tương đồng Cosine, giúp giảm trọng số các từ xuất hiện phổ biến nhưng không mang thông tin đặc trưng của ảnh.

Nội dung chính theo từng chương

Chương 1. Mô tả bài toán

Chương này phân tích tổng quan các công trình liên quan trên thế giới và tại Việt Nam, nêu bật hạn chế của VQAv2, TextVQA và ViVQA, đồng thời trình bày toàn bộ quy trình xây dựng bộ dữ liệu OpenViVQA.

Quy trình tạo dữ liệu gồm các bước: thu thập hình ảnh, ban hành guideline, xây dựng phần mềm gán nhãn bằng C++/Qt, huy động nhân lực, thẩm định và chuẩn hóa dữ liệu. Guideline quy định:

  • Mỗi hình ảnh có tối thiểu 3 cặp QA; khuyến khích câu trả lời ở dạng cụm từ hoặc câu hoàn chỉnh, hạn chế câu trả lời 1 từ;
  • Không đặt câu hỏi Yes/No hoặc câu hỏi trắc nghiệm;
  • Giới hạn số lượng đối tượng đếm được không quá 10 đơn vị và phải viết bằng chữ (trừ số liệu trong scene text);
  • Quy định 11 từ chỉ màu sắc cơ bản (đen, trắng, đỏ, vàng, cam, xanh lá, xanh da trời, xanh dương, nâu, xám, tím), không dùng màu ghép; chuẩn hóa các từ "màu xanh" chung chung dựa trên ngữ cảnh ảnh;
  • Quy ước hướng không gian trái/phải dựa trên vật mốc hoặc góc nhìn của người xem.

Thử nghiệm trên 491 cặp QA với 8 người đánh giá độc lập cho kết quả Fleiss' Kappa đạt 0,8975 và Percent Agreement đạt 87,37%, khẳng định sự nhất quán cao trong phân loại Text QA và Non-text QA.

Bộ dữ liệu hoàn thiện OpenViVQA gồm 11.199 hình ảnh và 37.914 cặp câu hỏi - câu trả lời, được chia thành 3 tập train, dev, test theo tỷ lệ thống kê chi tiết:

Phân vùng dữ liệu Số lượng Text QA Số lượng Non-text QA Tổng số cặp QA
Tập huấn luyện (Train) 13.104 17.729 30.833
Tập kiểm định (Dev) 1.773 1.772 3.945
Tập kiểm tra (Test) 1.766 1.770 3.536
Tổng cộng 16.643 21.271 37.914

Phân tích thống kê độ dài cho thấy trên cả ba tập, độ dài câu trả lời ngắn nhất là 1 token (các trường hợp số điện thoại, tên thương hiệu tiếng Anh trong Text QA). Phân phối độ dài câu trả lời trên tập dev và test tương đồng nhau, với mật độ câu trả lời từ 5 đến 9 từ trên tập test cao hơn, tạo nên thách thức thực sự cho các mô hình sinh ngôn ngữ.

Chương 2. Các phương pháp thử nghiệm

Chương 2 mô tả chi tiết nền tảng toán học của các độ đo BLEU, ROUGE, METEOR, CIDEr; phương pháp trích xuất đặc trưng hình ảnh qua Faster R-CNN (backbone ResNeXt152++); và phương pháp trích xuất văn bản cảnh qua SwinTextSpotter.

Chương này trình bày chi tiết kiến trúc của 4 nhóm mô hình thí nghiệm:

  1. SAAA: Mô hình kết hợp nhúng câu hỏi qua LSTM, nhúng ảnh qua CNN và cơ chế Stacked Attention. Khóa luận triển khai 2 biến thể: SAAA+classifier (dùng tầng tuyến tính phân loại) và SAAA+generator (thay thế bộ phân loại bằng Transformer Decoder 3 lớp, 512 chiều, 8 đầu attention);
  2. MCAN: Sử dụng Deep Co-Attention gồm các khối Self-Attention và Guided-Attention. Triển khai 2 biến thể: MCAN+classifier và MCAN+generator (kết hợp Transformer Decoder 3 lớp, 512 chiều, 8 đầu);
  3. LoRRA: Mô hình tích hợp nhánh đọc chữ Contextual Attention. Triển khai 2 biến thể: LoRRA+classifier và LoRRA+generator (kết hợp MultiModal Encoder của M4C và Dynamic Pointer Network);
  4. M4C: Mô hình đa phương thức dựa trên biến đổi liên tiếp có khả năng trỏ và sao chép ký tự từ scene text vào câu trả lời. Triển khai 2 cấu hình kích thước: M4C-large (dùng BERT-base 12 lớp, 768 chiều, 12 đầu cho từ vựng và Multimodal BERT Encoder 4 lớp, 768 chiều) và M4C-small (tinh chỉnh xuống BERT 3 lớp, 512 chiều, 8 đầu và Multimodal Encoder 3 lớp, 512 chiều).

Chương 3. Các kết quả thử nghiệm và phân tích

Chương 3 tổng hợp và phân tích sâu các kết quả thực nghiệm đạt được trên bộ dữ liệu OpenViVQA:

  • Sự thất bại của hướng tiếp cận phân loại câu trả lời (classifier): Các mô hình classifier truyền thống trên VQAv2 bị suy giảm hiệu năng nghiêm trọng trên OpenViVQA do không gian câu trả lời mở, đa dạng từ ngữ và có độ dài lớn. Việc thay thế classifier bằng generator dựa trên Transformer Decoder giúp cải thiện rõ rệt các chỉ số BLEU, ROUGE, METEOR và CIDEr.
  • Tầm quan trọng của module đọc hiểu scene text: Các mô hình không có khả năng đọc (SAAA, MCAN) đạt điểm số rất thấp trên tập con Text QA so với các mô hình có khả năng đọc (LoRRA, M4C).
  • Hiệu năng của mô hình M4C: M4C chứng minh ưu thế vượt trội nhờ module Dynamic Pointer Network cho phép vừa trích xuất từ vựng định sẵn, vừa sao chép chính xác các token từ scene text sang câu trả lời.
  • Phân tích tác động thực nghiệm:
    • Mô hình trích xuất OCR: Độ chính xác của SwinTextSpotter ảnh hưởng trực tiếp đến kết quả của M4C trên Text QA. Ngưỡng tin cậy (confidence threshold) và số lượng bounding box cực đại ảnh hưởng đến sự cân bằng giữa nhiễu văn bản và độ bao phủ thông tin.
    • Mô hình biểu diễn hình ảnh: Faster R-CNN huấn luyện sẵn trên Visual Genome và VinVL bộc lộ hạn chế khi nhận diện các thực thể mang nét đặc thù Việt Nam (như sạp hàng chợ truyền thống, trang phục đặc thù, phương tiện xe máy đông đúc).
    • Độ dài chuỗi: Khi độ dài câu hỏi và câu trả lời tăng lên, hiệu năng sinh chuỗi của các mô hình generator có xu hướng giảm, đặt ra thách thức cho các nghiên cứu tiếp theo.

Kết quả và đóng góp

Kết quả nghiên cứu chính

  • Xây dựng thành công bộ dữ liệu OpenViVQA với quy mô 11.199 hình ảnh bối cảnh Việt Nam và 37.914 cặp câu hỏi - câu trả lời tiếng Việt tự nhiên, được thẩm định và phân loại rõ ràng thành 16.643 Text QA và 21.271 Non-text QA.
  • Chứng minh thực nghiệm rằng cách tiếp cận phân loại câu trả lời (classification) phổ biến ở các bộ benchmark VQA tiếng Anh cũ không còn phù hợp với dữ liệu hỏi đáp mở, đa dạng ngữ cảnh như OpenViVQA.
  • Xác lập đường cơ sở (benchmark baseline) vững chắc cho bài toán VQA tiếng Việt thông qua các thử nghiệm có hệ thống trên SAAA, MCAN, LoRRA và M4C với cả hai cấu hình classifier và generator.
  • Làm rõ vai trò không thể tách rời của module nhận diện văn bản cảnh (scene text spotter) và cơ chế sao chép động (pointer network) trong việc giải quyết các câu hỏi yêu cầu tương tác giữa thực thể ảnh và nội dung chữ viết.

Đóng góp học thuật do tác giả tự nêu

  1. Bộ dữ liệu VQA mở đầu tiên cho tiếng Việt: OpenViVQA là bộ dữ liệu VQA tiếng Việt đầu tiên được xây dựng hoàn toàn thủ công từ hình ảnh thực tế tại Việt Nam, khắc phục triệt để các hạn chế của phương pháp dịch máy từ ViVQA.
  2. Tích hợp đồng thời Text QA và Non-text QA: Đưa ra bài toán toàn diện yêu cầu mô hình học sâu vừa có khả năng quan sát thực thể thông thường, vừa phải đọc hiểu văn bản cảnh để trả lời linh hoạt.
  3. Bộ công cụ gán nhãn chuyên dụng: Xây dựng thành công công cụ phần mềm bằng C++ và Qt hỗ trợ trực quan hóa, phân loại và biên tập dữ liệu VQA, có khả năng chạy đa nền tảng và quản lý dữ liệu theo thư mục.
  4. Giải pháp cải tiến mô hình: Đề xuất phương pháp chuyển đổi các mô hình VQA phân loại truyền thống sang mô hình sinh chuỗi (generator) bằng Transformer Decoder, đồng thời kết hợp bộ trích xuất SwinTextSpotter tương thích ngôn ngữ tiếng Việt.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được ghi nhận

  • Sự phụ thuộc vào mô hình thị giác tiền huấn luyện từ dữ liệu nước ngoài: Các mô hình trích xuất đặc trưng thị giác (Faster R-CNN, VinVL) được huấn luyện trên MS COCO hoặc Visual Genome chưa bao quát hết các vật thể, bảng hiệu và phong cách sinh hoạt đặc thù tại Việt Nam, dẫn đến các lỗi nhận diện sai đối tượng hoặc sai lệch ngữ cảnh.
  • Nhiễu từ nhận diện chữ viết cảnh (OCR): SwinTextSpotter dù đạt kết quả tốt nhất trên dữ liệu VinText nhưng vẫn gặp sai sót khi văn bản bị che khuất, biến dạng, góc chụp nghiêng hoặc trong điều kiện ánh sáng phức tạp, làm sai lệch các token đầu vào của mô hình M4C.
  • Độ phức tạp khi sinh chuỗi dài: Khả năng sinh câu trả lời đúng ngữ pháp và sát nghĩa suy giảm khi độ dài câu trả lời chuẩn vượt quá 10 token.

Hướng phát triển

  • Huấn luyện hoặc tinh chỉnh (fine-tune) một mô hình trích xuất đặc trưng thị giác chuyên biệt trên tập dữ liệu hình ảnh bối cảnh Việt Nam để cải thiện khả năng nắm bắt thực thể địa phương.
  • Cải thiện chất lượng module OCR tiếng Việt nhằm nâng cao độ chính xác trích xuất tọa độ và ký tự scene text.
  • Nghiên cứu áp dụng các kiến trúc mô hình ngôn ngữ lớn thị giác (Vision-Language Large Models) hiện đại hơn nhằm nâng cao năng lực lập luận đa phương thức và sinh câu trả lời dài mạch lạc.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo chuyên môn giá trị cho:

  • Sinh viên và nhà nghiên cứu ngành Khoa học Dữ liệu, Trí tuệ Nhân tạo, CNTT: Cung cấp quy trình bài bản từ khâu thu thập ảnh, thiết kế guideline gán nhãn, xây dựng công cụ gán nhãn phần mềm, đến phương pháp đánh giá độ đồng thuận (Fleiss' Kappa).
  • Các nghiên cứu về xử lý đa phương thức (Multimodal Learning): Tham khảo chi tiết kỹ thuật tích hợp đặc trưng thị giác (RoI features) với đặc trưng văn bản cảnh (SwinTextSpotter) và cơ chế Dynamic Pointer Network trong mô hình M4C.
  • Phần đáng tham khảo nhất:
    • Chương 1: Phương pháp phân loại và quy chuẩn hóa các yếu tố màu sắc, vị trí không gian, số lượng trong dữ liệu hỏi đáp tiếng Việt.
    • Chương 2 và 3: Kiến trúc toán học của các độ đo BLEU, ROUGE, METEOR, CIDEr và phân tích so sánh thực nghiệm giữa cơ chế classifier và generator.

Câu hỏi thường gặp

1. Tại sao nhóm tác giả không sử dụng lại hình ảnh từ MS COCO hay Visual Genome như các nghiên cứu trước?

Hình ảnh trong MS COCO và Visual Genome được chụp chủ yếu ở Mỹ và các nước Tây Âu, không tương thích với bối cảnh thực tế tại Việt Nam (văn hóa giao thông xe máy đông đúc, biển hiệu tiếng Việt, sạp hàng chợ truyền thống). Việc sử dụng ảnh thu thập trực tiếp tại Việt Nam giúp đánh giá chính xác năng lực thực tế của mô hình VQA đối với đời sống trong nước.

2. Sự khác biệt cốt lõi giữa hai dạng câu hỏi Text QA và Non-text QA trong OpenViVQA là gì?

Non-text QA tập trung hoàn toàn vào việc khai thác thông tin vật thể, thuộc tính (màu sắc, vị trí, số lượng) và ngữ cảnh hình ảnh mà không cần đọc chữ trong ảnh. Ngược lại, Text QA bắt buộc phải khai thác hoặc sử dụng thông tin từ văn bản xuất hiện trong ảnh (scene text), hoặc dùng scene text làm mốc để trả lời về đối tượng khác.

3. Tại sao hướng tiếp cận phân loại câu trả lời (classifier) lại thất bại trên OpenViVQA?

Trên các bộ dữ liệu như VQAv2, câu trả lời đa phần có độ dài là 1 từ và tập câu trả lời hữu hạn, lặp lại. Trong khi đó, OpenViVQA khuyến khích câu trả lời tự nhiên ở dạng cụm từ hoặc câu hoàn chỉnh với độ dài lớn và phong cách ngôn ngữ cá nhân phong phú, khiến không gian đầu ra quá lớn và không thể mô hình hóa hiệu quả bằng tầng phân loại xác suất cố định.

4. Giải pháp trích xuất scene text tiếng Việt nào được nhóm tác giả lựa chọn thay thế cho Rosetta của Facebook?

Do hệ thống Rosetta không hỗ trợ tiếng Việt, nhóm tác giả đã sử dụng mô hình SwinTextSpotter được huấn luyện sẵn trên bộ dữ liệu VinText của VinAI. Tác giả đã trích xuất đặc trưng từ Transformer Encoders để biểu diễn ngữ cảnh văn bản và đặc trưng từ module Recognition Conversion để biểu diễn hình hài ký tự.

5. Công cụ gán nhãn dữ liệu của đề tài được phát triển bằng công nghệ gì và có ưu điểm gì?

Công cụ được xây dựng độc lập bằng ngôn ngữ C++ kết hợp framework Qt. Công cụ có ưu điểm tốc độ xử lý nhanh, vận hành ổn định trên nhiều hệ điều hành (Windows, Ubuntu), tích hợp sẵn khung hiển thị ảnh, ô nhập liệu QA, thanh chọn phân loại Text/Non-text và cơ chế lưu trữ tự động theo định dạng file JSON cho từng subset ảnh.

Kết luận

Khóa luận của Nguyễn Hiếu Nghĩa và Võ Trần Đông Dương đã giải quyết trọn vẹn bài toán xây dựng bộ dữ liệu hỏi đáp mở tiếng Việt dựa trên hình ảnh (OpenViVQA) với quy mô 11.199 hình ảnh và 37.914 cặp QA được chuẩn hóa công phu. Nghiên cứu chứng minh tính ưu việt của hướng tiếp cận sinh ngôn ngữ (generator) kết hợp cơ chế chỉ trỏ động so với phương pháp phân loại truyền thống khi xử lý câu hỏi đa phương thức. Công trình là một đóng góp học thuật thực chất, đặt nền móng dữ liệu và tiêu chuẩn thử nghiệm tin cậy cho cộng đồng nghiên cứu thị giác - ngôn ngữ tiếng Việt.