Bối cảnh và vấn đề nghiên cứu
Bài toán Hỏi đáp trực quan (Visual Question Answering - VQA) là một hướng nghiên cứu thuộc lĩnh vực Trí tuệ nhân tạo (AI), yêu cầu sự kết hợp giữa Thị giác máy tính (Computer Vision - CV) và Xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP). Mục tiêu của hệ thống VQA là tự động tiếp nhận một hình ảnh cùng một câu hỏi ngôn ngữ tự nhiên liên quan đến bức ảnh đó để đưa ra câu trả lời chính xác. Tác giả trình bày các bối cảnh ứng dụng thực tiễn của VQA trong nhiều lĩnh vực: hỗ trợ bác sĩ chẩn đoán hình ảnh y khoa (nhận diện bất thường như polyp hoặc viêm loét đại tràng qua ảnh nội soi); hỗ trợ giáo dục và nâng cao nhận thức cho trẻ em; trích xuất thông tin hành trình hỗ trợ xe tự hành và tài xế trong giao thông; cùng các ứng dụng xã hội khác như hỗ trợ người khiếm thị, thuyết minh du lịch và giám sát an ninh.
Bên cạnh yếu tố tương tác đa thể thức (multimodal), tác vụ VQA đa ngôn ngữ (Multilingual VQA - mVQA) đặt ra thách thức lớn khi phải xử lý các câu hỏi và sinh câu trả lời trên nhiều thứ tiếng, đặc biệt là tiếng Việt – một ngôn ngữ có nguồn tài nguyên số còn hạn chế (low-resource). Các nghiên cứu trước đây tại Việt Nam chủ yếu tiếp cận VQA dưới dạng bài toán phân lớp (classification) với bộ từ vựng đóng, dựa trên tập dữ liệu đơn ngữ ViVQA được dịch từ MS COCO, vốn không phản ánh đúng bối cảnh văn hóa Việt Nam và không hỗ trợ câu trả lời dạng mở (free-form). Trước thực trạng đó, cuộc thi VLSP2022-EVJVQA đã công bố bộ dữ liệu UIT-EVJVQA nhằm thúc đẩy giải pháp hỏi đáp đa ngữ trên các bức ảnh mang đậm nét sinh hoạt tại Việt Nam.
Nghiên cứu xác định các mục tiêu và nhiệm vụ cụ thể được đánh số như sau:
- Nghiên cứu tổng quan về bài toán Hỏi đáp trực quan đa ngôn ngữ, khảo sát các bộ dữ liệu đã công bố và các công trình nghiên cứu liên quan.
- Nghiên cứu tổng quan về bộ dữ liệu hỏi đáp trực quan UIT-EVJVQA công bố tại cuộc thi VLSP2022-EVJVQA với ba ngôn ngữ: tiếng Anh, tiếng Việt và tiếng Nhật.
- Nghiên cứu tổng quan các mô hình đạt hiệu suất cao nhất hiện nay (SOTA) kết hợp đa thể thức thị giác - ngôn ngữ gồm Vision-and-Language Transformer (ViLT) và OFA, mô hình thị giác Vision Transformer (ViT), kiến trúc và nguyên lý hoạt động của mô hình mạng Convolutional Sequence-to-Sequence (ConvS2S) cùng các độ đo đánh giá F1 và BLEU.
- Xây dựng phương pháp đề xuất nhằm tích hợp đặc trưng hình ảnh từ các mô hình tiền huấn luyện (pre-trained) SOTA gồm ViT, ViLT và OFA vào mô hình ConvS2S cho bài toán đặt ra, hướng tới tối ưu hóa tài nguyên tính toán và giảm thời gian huấn luyện.
- Thực nghiệm phương pháp đề xuất dưới các điều kiện khác nhau trên bộ dữ liệu UIT-EVJVQA; đánh giá kết quả thực nghiệm, phân tích lỗi, đưa ra kết luận và hướng phát triển.
Đối tượng nghiên cứu của khóa luận là bài toán Hỏi đáp trực quan đa ngôn ngữ và bộ dữ liệu UIT-EVJVQA. Phạm vi nghiên cứu về mặt ngôn ngữ tập trung vào ba thứ tiếng: tiếng Anh, tiếng Việt và tiếng Nhật; phạm vi hình ảnh giới hạn trong các bức ảnh chụp bối cảnh sinh hoạt, đời sống và con người tại Việt Nam; thời gian hoàn thành khóa luận là tháng 07 năm 2023.
Cơ sở lý thuyết và phương pháp
Khóa luận tiếp cận bài toán VQA theo hướng tạo sinh văn bản chuỗi sang chuỗi (Sequence-to-Sequence - Seq2Seq) nhằm sinh ra các câu trả lời tự nhiên có cấu trúc mở. Hệ thống lý thuyết và các mô hình học sâu nền tảng bao gồm:
- Mạng Convolutional Sequence-to-Sequence (ConvS2S): Mô hình mạng tích chập phục vụ tạo sinh chuỗi, gồm bộ mã hóa (Encoder) và bộ giải mã (Decoder). Khác với mạng RNN truyền thống, ConvS2S sử dụng các lớp tích chập 1D với kích thước bộ lọc (filter) cố định để tính toán song song các trạng thái ẩn, kết hợp hàm kích hoạt phi tuyến Gated Linear Units (GLU), kết nối tắt (residual connections) và cơ chế chú ý đa bước (Multi-step Attention).
- Vision Transformer (ViT): Biến thể ViT-B/16 gồm 12 lớp Transformer Encoder (kích thước ẩn 768, 8 head attention, 83 triệu tham số), chia ảnh thành các mảnh (patch) kích thước 16x16 pixel để trích xuất ma trận đặc trưng thị giác, tiền huấn luyện trên ImageNet-21k ở độ phân giải 224x224.
- Vision-and-Language Transformer (ViLT): Biến thể ViLT-B/32 gồm 12 lớp Transformer (kích thước ẩn 768, 12 head attention, 87 triệu tham số), tiền huấn luyện và tinh chỉnh 200.000 bước trên bộ dữ liệu VQAv2 với đầu vào là các patch 32x32 pixel kết hợp word embedding, phân lớp câu trả lời kèm xác suất.
- One For All (OFA): Biến thể OFAlarge (ResNet-152 mã hóa ảnh, Transformer backbone 1024 chiều ẩn, 16 head attention, 472 triệu tham số), tiền huấn luyện trên VQAv2, VG-QA và GQA, sinh câu trả lời dạng chuỗi văn bản ngắn liền mạch.
- Dịch vụ dịch máy: Google Translate API được tích hợp để chuyển đổi câu hỏi tiếng Việt và tiếng Nhật sang tiếng Anh trước khi đưa vào ViLT/OFA, sau đó dịch ngược câu trả lời gợi ý về ngôn ngữ gốc.
Phương pháp nghiên cứu thực nghiệm được xây dựng theo quy trình hai giai đoạn tuần tự:
- Giai đoạn 1 (Trích xuất gợi ý sơ khởi): Sử dụng ViLT-B/32 và OFAlarge để tạo ra các câu trả lời dự đoán ngắn gọn từ hình ảnh và câu hỏi. Với ViLT, tác giả lấy tối đa 5 gợi ý có xác suất cao nhất, lặp lại mỗi gợi ý trong chuỗi văn bản với số lần bằng phần nguyên của một nửa giá trị xác suất tương ứng. Với OFA, gợi ý chuỗi ngắn được thiết lập lặp lại 10 lần để tạo trọng số ngữ nghĩa.
- Giai đoạn 2 (Tích hợp đặc trưng và tạo sinh câu trả lời): Sử dụng ViT-B/16 trích xuất ma trận đặc trưng ảnh kích thước 196x768 (loại bỏ vector tại token
[CLS]). Ma trận này được nối trực tiếp với ma trận đặc trưng chuỗi văn bản (gồm câu hỏi và các chuỗi gợi ý) dọc theo chiều dài chuỗi mã hóa trong bộ mã hóa ConvS2S. Bộ giải mã ConvS2S áp dụng Multi-step Attention trên ma trận đại diện đa thể thức để sinh ra câu trả lời đích.
Nguồn dữ liệu thực nghiệm là bộ dữ liệu UIT-EVJVQA gồm 33.790 cặp câu hỏi - đáp trên 4.909 hình ảnh tại Việt Nam. Quy trình tiền xử lý bao gồm: loại bỏ dấu câu và ký tự đặc biệt, chuẩn hóa chữ thường; nhận diện ngôn ngữ dựa trên đặc điểm bảng chữ cái (Latin, Latin mở rộng có dấu, và ký tự Hiragana/Katakana/Kanji); sửa lỗi gõ Unicode sai và dấu câu tiếng Việt; thực hiện tách từ bằng thư viện Underthesea (tiếng Việt) và Trankit (tiếng Nhật). Sau tiền xử lý, tập Training có 23.774 mẫu (tiếng Anh: 7.193; tiếng Việt: 8.320; tiếng Nhật: 8.261) và tập Public Test có 5.015 mẫu (tiếng Anh: 1.686; tiếng Việt: 1.678; tiếng Nhật: 1.651).
Hệ thống được lập trình bằng ngôn ngữ Python, framework PyTorch và thư viện transformers. Quá trình huấn luyện triển khai trên nền tảng Kaggle với CPU Intel Xeon @ 2.00GHz, GPU Tesla P100 16GB, CUDA 11. Các siêu tham số cố định gồm: thuật toán tối ưu Adam, tốc độ học (learning rate) 2.50e-4, batch size 128, huấn luyện trong 30 epoch, hàm mất mát Cross Entropy Loss. Mạng ConvS2S được thiết lập với 3 lớp tích chập ở cả Encoder và Decoder, số chiều ẩn 512, 1024 filter kích thước 3, kích thước embedding 768, tỉ lệ dropout 0.5 và Teacher Forcing 0.5. Thời gian huấn luyện trung bình cho mỗi mô hình kết hợp là 45 phút.
Nội dung chính theo từng chương
Chương 1: Mở đầu
Chương 1 trình bày lý do chọn đề tài, nêu bật tính ứng dụng của VQA trong y tế, giáo dục, giao thông và các bài toán xã hội, đồng thời nhấn mạnh sự cần thiết của việc phát triển hệ thống VQA đa ngôn ngữ cho tiếng Việt. Tác giả xác định 5 nhiệm vụ nghiên cứu trọng tâm, làm rõ đối tượng và phạm vi nghiên cứu xoay quanh bộ dữ liệu UIT-EVJVQA. Chương này cũng tóm tắt 4 đóng góp chính của đề tài và trình bày tổng quan bố cục 6 chương của bản khóa luận.
Chương 2: Tổng quan đề tài
Chương 2 tổng hợp các nghiên cứu VQA và NLP trên thế giới và tại Việt Nam. Về dữ liệu quốc tế, tác giả phân tích các tập dữ liệu thị giác từ MS COCO, VQA, VQAv2, Visual Genome (VG-QA), GQA và các tập dữ liệu QA văn bản như SQuAD, DuReader, JaQuAD, KorQuAD. Về mặt kiến trúc, tác giả khảo sát các mạng Seq2Seq (LSTM, ConvS2S, Transformer, mT5), các mô hình thị giác (YOLO, VGG, ViT) và mô hình đa thể thức (ViLT, OFA). Tại Việt Nam, tác giả điểm qua các tập dữ liệu văn bản (ViQuAD, UIT-ViQuAD, UIT-ViNewsQA, ViMMRC, ViCoQA, UIT-ViCoV19QA) và tập dữ liệu hình ảnh ViVQA. Từ đó, tác giả chỉ ra các hạn chế trong nước: hệ thống VQA cũ chủ yếu dùng phương pháp phân lớp, sử dụng RNN tốn tài nguyên, chưa áp dụng mô hình ViT tiên tiến, chỉ xử lý đơn ngữ và dữ liệu thiếu bối cảnh thực tế Việt Nam.
Chương 3: Quá trình thực nghiệm
Chương 3 thiết lập phát biểu toán học cho bài toán mVQA và giới thiệu chi tiết bộ dữ liệu UIT-EVJVQA. Tác giả cung cấp bảng thống kê định lượng về kích thước từ vựng, độ dài trung bình, độ dài lớn nhất và nhỏ nhất của câu hỏi và câu trả lời trên cả ba ngôn ngữ ở hai tập Training và Public Test. Tiếp theo, tác giả trình bày chi tiết phương pháp đề xuất hai giai đoạn: trích xuất gợi ý (ViLT, OFA kết hợp Google Translate API) và tích hợp đa thể thức (ViT kết hợp ma trận văn bản vào ConvS2S). Toàn bộ cấu trúc bên trong khối tích chập của bộ mã hóa, bộ giải mã ConvS2S, hàm GLU, cơ chế Multi-step Attention, các phiên bản mô hình pre-trained (ViT-B/16, ViLT-B/32, OFAlarge) và thông số cài đặt phần cứng trên Kaggle đều được đặc tả chi tiết.
Chương 4: Kết quả thực nghiệm
Chương 4 định nghĩa hai độ đo đánh giá là F1-score và BLEU (từ BLEU-1 đến BLEU-4). Tác giả trình bày kết quả đánh giá sơ bộ các gợi ý độc lập từ ViLT và OFA; công bố bảng so sánh hiệu suất giữa 7 cấu hình mô hình ConvS2S trên tập Public Test và 2 cấu hình trên tập Private Test. Hiệu suất của phương pháp được đối chiếu với các đội thi tại cuộc thi VLSP2022-EVJVQA. Về phân tích định lượng, tác giả trực quan hóa đồ thị hàm mất mát qua 30 epoch và thống kê chi tiết trên 100 mẫu ngẫu nhiên (độ dài, kích thước từ vựng, nhãn từ loại POS). Về phân tích định tính, tác giả sử dụng bản đồ nhiệt (heatmap) ma trận Attention để phân tích cơ chế phân phối trọng số chú ý giữa từ vựng câu hỏi, vùng gợi ý và đặc trưng hình ảnh ViT, đồng thời chỉ ra các trường hợp sinh câu trả lời bị lỗi.
Chương 5: Chương trình minh họa
Chương 5 trình bày việc thiết kế và xây dựng giao diện ứng dụng thực tế cho hệ thống VQA đa ngôn ngữ. Ứng dụng cho phép người dùng tải lên hình ảnh bất kỳ và nhập câu hỏi bằng một trong ba thứ tiếng: tiếng Việt, tiếng Anh hoặc tiếng Nhật. Hệ thống xử lý đa thể thức theo mô hình đề xuất và hiển thị câu trả lời tự nhiên tương ứng. Tác giả minh họa trực quan kết quả thử nghiệm của chương trình qua các ảnh chụp sinh hoạt thực tế tại Việt Nam với câu hỏi và câu trả lời tương ứng trên từng ngôn ngữ.
Chương 6: Kết luận và hướng phát triển
Chương 6 tổng kết các kết quả đạt được, khẳng định tính khả thi và hiệu quả của phương pháp tích hợp đặc trưng ảnh ViT và gợi ý OFA vào mạng ConvS2S. Tác giả phân tích những hạn chế còn tồn đọng về mặt độ dài câu trả lời, sự phụ thuộc vào dịch máy trung gian và nguy cơ thiên vị từ gợi ý sai. Cuối cùng, chương đề xuất các hướng nghiên cứu tiếp theo nhằm nâng cao chất lượng mô hình và công bố kết quả nghiên cứu đã được báo cáo tại Hội thảo quốc tế VLSP 2022 tại Hà Nội.
Kết quả và đóng góp
Nghiên cứu công bố các kết quả thực nghiệm định lượng trên tập Public Test và Private Test của bộ dữ liệu UIT-EVJVQA:
| Cấu hình mô hình thực nghiệm |
F1 (Public Test) |
BLEU (Public Test) |
F1 (Private Test) |
BLEU (Private Test) |
| ConvS2S (không dùng ảnh) |
0.3005 |
0.2037 |
- |
- |
| ConvS2S + ViT |
0.3109 |
0.2085 |
- |
- |
| ConvS2S + OFA |
0.3340 |
0.2144 |
- |
- |
| ConvS2S + ViLT + OFA |
0.3442 |
0.2122 |
- |
- |
| ConvS2S + ViT + ViLT |
0.3342 |
0.2104 |
0.3228 |
0.2014 |
| ConvS2S + ViT + OFA |
0.3392 |
0.2156 |
0.4210 |
0.3482 |
| ConvS2S + ViT + ViLT + OFA |
0.3442 |
0.2078 |
- |
- |
Ở giai đoạn đánh giá sơ bộ gợi ý độc lập trên Public Test, mô hình OFA đạt F1 là 0.2608, trong khi ViLT đạt kết quả cao nhất là 0.1317 F1 khi sử dụng 2 từ gợi ý (giảm dần từ 0.1293 xuống 0.1208 khi tăng từ 3 lên 5 gợi ý). Khi tích hợp vào ConvS2S, việc bổ sung các gợi ý giúp cải thiện ít nhất 2.89% điểm F1 trên Public Test so với mô hình cơ sở không dùng ảnh. Tổ hợp ConvS2S + ViT + OFA đạt F1 là 0.4210 và BLEU là 0.3482 trên tập Private Test, giúp tác giả giành vị trí thứ Ba chung cuộc tại cuộc thi VLSP2022-EVJVQA. Kết quả này chỉ đứng sau hai đội thi sử dụng mô hình ViT + mT5 (CISTAI đạt F1 0.4485 và OhYeah đạt F1 0.4349), đồng thời vượt qua các giải pháp kết hợp phức tạp khác như ViT + mBERT (FCoin: 0.3549 F1) hay hệ thống đa thành phần BEiT + CLIP + Detectron-2 + mBERT + BM25 + FastText (VL-UIT: 0.2743 F1).
Về giải pháp, tác giả đề xuất kỹ thuật lặp từ gợi ý theo xác suất đối với ViLT và lặp chuỗi cố định đối với OFA để đưa thông tin ngữ nghĩa đa thể thức vào chuỗi biểu diễn văn bản, kết hợp ma trận ảnh 196x768 từ ViT. Kiến trúc ConvS2S chứng minh tính tối ưu về chi phí khi chỉ mất trung bình 45 phút huấn luyện trên một GPU Tesla P100 16GB.
Khóa luận tự xác định 4 đóng góp chính:
- Đề xuất phương pháp tích hợp đặc trưng ảnh vào mô hình sinh ngôn ngữ để tạo câu trả lời cấu trúc mở tự nhiên cho ba ngôn ngữ Anh, Việt, Nhật.
- Áp dụng thành công các mô hình tiền huấn luyện thị giác và đa thể thức SOTA (ViT, ViLT, OFA) để trích xuất đặc trưng thị giác và mô hình hóa sự tương tác giữa ảnh và câu hỏi.
- Thực nghiệm đạt vị trí thứ Ba tại cuộc thi VLSP2022-EVJVQA trên bộ dữ liệu ảnh chụp tại Việt Nam.
- Triển khai hoàn chỉnh một chương trình minh họa cho hệ thống VQA đa ngôn ngữ.
Hạn chế và hướng nghiên cứu tiếp
Khóa luận chỉ ra các hạn chế tồn tại trong quá trình thực nghiệm:
- Phụ thuộc vào mô-đun dịch thuật trung gian: Do hai mô hình đa thể thức ViLT và OFA chỉ hỗ trợ tiếng Anh, các câu hỏi tiếng Việt và tiếng Nhật phải chuyển ngữ qua Google Translate API và dịch ngược câu trả lời, dẫn đến nguy cơ sai lệch ngữ nghĩa và mất mát thông tin.
- Hiện tượng sinh câu trả lời quá dài và lặp từ: Thống kê trên 100 mẫu ngẫu nhiên cho thấy câu trả lời dự đoán tiếng Anh và tiếng Nhật dài hơn nhiều so với nhãn mẫu (độ dài trung bình câu trả lời tiếng Nhật là 7.63 từ so với mẫu là 4.20 từ, tương đương 1.81 lần), gây ra hiện tượng lặp từ và làm giảm điểm đánh giá F1, BLEU.
- Thiên vị chú ý từ gợi ý sai: Phân tích bản đồ nhiệt Attention cho thấy mô hình đôi khi tập trung trọng số quá mức vào các từ gợi ý không chính xác, gây sai lệch nội dung câu trả lời sinh ra.
- Giới hạn thời gian đánh giá: Do hạn chế thời gian nộp bài tại cuộc thi, hai tổ hợp đạt kết quả tốt nhất trên Public Test (ConvS2S + ViLT + OFA và ConvS2S + ViT + ViLT + OFA, cùng đạt F1 0.3442) chưa kịp triển khai đánh giá trên tập Private Test.
Hướng nghiên cứu tiếp theo được đề xuất bao gồm:
- Khảo sát và tích hợp các mô hình nền tảng đa thể thức hỗ trợ trực tiếp đa ngôn ngữ nhằm loại bỏ bước dịch máy trung gian.
- Tinh chỉnh cơ chế Attention và phương thức kết hợp đặc trưng để hạn chế hiện tượng lặp từ và khắc phục thiên vị sai lệch khi gặp gợi ý không chuẩn xác.
- Thử nghiệm mở rộng trên các kiến trúc backbone mạnh mẽ hơn nhằm tối ưu hóa khả năng tạo sinh văn bản tự nhiên.
Giá trị tham khảo
Bản khóa luận có giá trị tham khảo học thuật và kỹ thuật đối với:
- Sinh viên, học viên ngành Khoa học Dữ liệu, Trí tuệ nhân tạo và CNTT: Tài liệu cung cấp quy trình nghiên cứu thực nghiệm hoàn chỉnh từ tiền xử lý văn bản đa ngữ, ghép nối đặc trưng đa thể thức (ảnh và văn bản) đến phân tích định lượng và phân tích định tính qua cơ chế Attention.
- Các nhóm nghiên cứu về xử lý ngôn ngữ ít tài nguyên: Đề tài là tài liệu tham khảo thực tế về việc áp dụng kỹ thuật học máy đa thể thức cho tiếng Việt trên dữ liệu ảnh thực tế mang tính bản địa.
- Kỹ sư triển khai hệ thống học sâu trong điều kiện tài nguyên giới hạn: Phương pháp sử dụng mạng tích chập ConvS2S thay cho Transformer cồng kềnh giúp tối ưu hóa phần cứng, rút ngắn thời gian huấn luyện xuống 45 phút trên một GPU đơn lẻ (Tesla P100 16GB) mà vẫn đạt hiệu suất cạnh tranh.
Các phần có giá trị tham khảo chuyên sâu nhất trong văn bản gồm: phương pháp tích hợp ma trận đặc trưng ảnh ViT vào ConvS2S (Mục 3.4.6); kỹ thuật mã hóa xác suất gợi ý văn bản (Mục 3.4.5); và phương pháp phân tích định tính cơ chế tập trung chú ý qua bản đồ nhiệt Attention (Mục 4.3.2).
Câu hỏi thường gặp
1. Khóa luận giải quyết bài toán hỏi đáp trực quan trên những ngôn ngữ nào và sử dụng bộ dữ liệu gì?
Nghiên cứu giải quyết bài toán VQA đa ngôn ngữ trên ba thứ tiếng: tiếng Anh, tiếng Việt và tiếng Nhật. Bộ dữ liệu thực nghiệm là UIT-EVJVQA công bố tại cuộc thi VLSP2022-EVJVQA, gồm 33.790 cặp câu hỏi - đáp dựa trên 4.909 hình ảnh đời sống chụp tại Việt Nam với câu trả lời được gán nhãn dạng mở (free-form).
2. Tại sao tác giả lại lựa chọn mô hình ConvS2S thay vì mạng RNN hay Transformer truyền thống?
ConvS2S sử dụng các lớp tích chập 1D cho phép tính toán song song các trạng thái ẩn trên GPU, khắc phục hoàn toàn hạn chế xử lý tuần tự chậm chạp của RNN/LSTM. So với kiến trúc Transformer nặng về tham số, ConvS2S tối ưu hóa tài nguyên phần cứng tốt hơn, đạt tốc độ huấn luyện nhanh (khoảng 45 phút/mô hình trên GPU Tesla P100 16GB) và sinh câu trả lời linh hoạt, ít khuôn mẫu trên các câu văn có độ dài trung bình.
3. Cơ chế trích xuất và kết hợp gợi ý từ ViLT và OFA vào câu hỏi được thực hiện như thế nào?
ViLT và OFA được dùng để sinh gợi ý ban đầu bằng tiếng Anh (câu hỏi tiếng Việt và tiếng Nhật được dịch qua Google Translate API và dịch ngược lại). Với ViLT, tác giả lấy tối đa 5 gợi ý có xác suất cao nhất và lặp lại mỗi từ trong chuỗi văn bản với số lần bằng phần nguyên của xác suất chia đôi. Với OFA, câu gợi ý chuỗi ngắn được lặp lại 10 lần. Chuỗi gợi ý này được ghép trực tiếp sau câu hỏi trước khi đưa vào bộ mã hóa.
4. Kết quả thực nghiệm của mô hình đề xuất đạt được mức nào và xếp thứ mấy tại cuộc thi VLSP2022-EVJVQA?
Tổ hợp ConvS2S + ViT + OFA đạt điểm F1 là 0.3392 trên tập Public Test và đạt 0.4210 F1, 0.3482 BLEU trên tập Private Test. Kết quả này đưa nhóm tác giả (đội DS_STBFL) đạt vị trí thứ Ba chung cuộc tại cuộc thi VLSP2022-EVJVQA, xếp sau hai đội sử dụng mô hình ViT + mT5 và vượt qua nhiều đội sử dụng mBERT, CLIP hay BEiT.
5. Những nguyên nhân chính nào dẫn đến lỗi trong câu trả lời dự đoán theo phân tích của tác giả?
Các nguyên nhân chính gồm: lỗi sai lệch ngữ nghĩa phát sinh trong quá trình dịch thuật trung gian qua Google Translate API; hiện tượng mô hình sinh câu trả lời quá dài dẫn đến lặp từ ở tiếng Anh và tiếng Nhật; và hiện tượng phân phối trọng số Attention bị thiên vị khi mô hình tập trung quá mức vào các từ gợi ý không chính xác từ giai đoạn 1.
Kết luận
Khóa luận tốt nghiệp của sinh viên Thái Minh Triết đã nghiên cứu và triển khai thành công giải pháp tích hợp đặc trưng thị giác từ Vision Transformer cùng gợi ý đa thể thức từ ViLT và OFA vào mô hình mạng Convolutional Sequence-to-Sequence cho bài toán Hỏi đáp trực quan đa ngôn ngữ (Anh, Việt, Nhật) trên bộ dữ liệu UIT-EVJVQA. Thông qua việc tiếp cận bài toán theo hướng tạo sinh chuỗi văn bản dạng mở kết hợp tối ưu hóa tính toán song song, mô hình đề xuất chỉ mất 45 phút huấn luyện trên GPU Tesla P100 mà vẫn đạt hiệu suất 0.4210 F1 trên tập Private Test, giúp tác giả giành vị trí thứ Ba tại cuộc thi học thuật quốc gia VLSP2022-EVJVQA. Công trình đã làm rõ tính hiệu quả của việc kết hợp gợi ý đa thể thức trong việc điều hòa cơ chế Attention, đóng góp một giải pháp thực nghiệm có giá trị cho việc phát triển các hệ thống xử lý ngôn ngữ và thị giác máy tính trên ngôn ngữ ít tài nguyên như tiếng Việt.
