Giới thiệu dự án

Hỏi đáp trực quan (Visual Question Answering - VQA) là một trong những lĩnh vực liên ngành đột phá nhất của Trí tuệ Nhân tạo hiện đại, kết hợp chặt chẽ giữa Thị giác máy tính (Computer Vision - CV) và Xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP). Theo các thống kê từ cộng đồng nghiên cứu AI quốc tế, hơn 80% dữ liệu kỹ thuật số thực tế tồn tại dưới dạng đa phương thức (multimodal). Tuy nhiên, phần lớn các bộ dữ liệu và mô hình VQA công bố hiện nay tập trung vào các ngôn ngữ phổ biến có nguồn tài nguyên phong phú (high-resource languages) như tiếng Anh (hơn 1.348 triệu người sử dụng) và tiếng Trung (hơn 1.120 triệu người sử dụng). Ngược lại, các ngôn ngữ có nguồn tài nguyên thấp hơn (low-resource languages) như tiếng Việt và tiếng Nhật đang đối mặt với sự thiếu hụt nghiêm trọng về tập dữ liệu đa ngôn ngữ chuẩn hóa, cản trở việc nghiên cứu và ứng dụng thực tế.

+-----------------------------------------------------------------------------------+
|                                 BÀI TOÁN MULTI-VQA                                |
|                                                                                   |
|   [Hình ảnh]  +  [Câu hỏi (EN / VI / JA)]  --->  [Hệ thống VQA]  --->  [Câu trả lời]|
|   (Image ID)     "What parked next to..."        (Cross-Modal)         "Bus"      |
|                  "Những gì đỗ bên cạnh..."                             "Xe buýt"  |
|                  "歩道の隣に何が..."                                     "バス"     |
+-----------------------------------------------------------------------------------+

Vấn đề nghiên cứu và thách thức kỹ thuật (Problem Statement)

Việc đào tạo các mô hình VQA đơn ngữ riêng biệt cho từng quốc gia gây tốn kém tài nguyên tính toán, khó mở rộng và không khai thác được tri thức chéo (cross-lingual transfer learning). Thêm vào đó, việc dịch máy tự động thuần túy từ bộ dữ liệu tiếng Anh gốc sang tiếng Việt và tiếng Nhật gặp phải rủi ro lan truyền sai số (error propagation).

Ví dụ: Câu hỏi tiếng Anh "What is the color of the sign?" khi dịch sang tiếng Việt qua các công cụ tự động cho ra hai kết quả: "Màu của dấu hiệu là gì?" (Microsoft Translator) và "Màu của biển báo là gì?" (Google Translate). Dù độ tương đồng Cosine giữa hai câu lên tới 89%, từ "dấu hiệu" hoàn toàn sai lệch ngữ cảnh trực quan của bức ảnh giao thông (phải là "biển báo"). Đối với tiếng Nhật, hiện tượng đồng âm khác nghĩa và phân đoạn từ vựng (word segmentation) nếu viết bằng Hiragana/Katakana sẽ làm mô hình hiểu sai bản chất thực thể.

Mục tiêu nghiên cứu cụ thể

  1. Xây dựng bộ dữ liệu VQA đa ngôn ngữ (UIT-mVQA): Thiết lập tập dữ liệu VQA song song chuẩn hóa gồm 3 ngôn ngữ: Tiếng Việt (VI), Tiếng Anh (EN) và Tiếng Nhật (JA) trên cùng một tập ảnh cơ sở.
  2. Chuẩn hóa quy trình gán nhãn bán tự động (Semi-automated Annotation Pipeline): Ứng dụng mô hình đánh giá tương đồng Cosine đa công cụ kết hợp đội ngũ chuyên gia hiệu đính (annotators) nhằm tối ưu chi phí và độ chính xác.
  3. Thực nghiệm và đánh giá mô hình học sâu chuyên biệt: Đánh giá so sánh hiệu năng của các kiến trúc mạng trích xuất đặc trưng và kết hợp đa phương thức: VGG19 + LSTM (Baseline), VGG19 + Hierarchical Co-Attention, và ViT (Vision Transformer) + BERT.

Phương pháp tiếp cận và kết quả kỳ vọng

  • Phương pháp tiếp cận: Kết hợp kỹ thuật trích xuất đặc trưng thị giác (CNN/ViT), biểu diễn ngôn ngữ ngữ cảnh (Contextual Word Embeddings/BERT) và cơ chế chú ý liên phương thức (Cross-modal Attention/Co-Attention).
  • Kết quả đo lường (Measurable Metrics):
    • Bộ dữ liệu hoàn chỉnh đạt 38.469 cặp câu hỏi - câu trả lời (12.823 cặp cho mỗi ngôn ngữ) tương ứng trên 9.182 hình ảnh.
    • Kiểm soát chất lượng dịch thuật với ngưỡng đồng thuận tương đồng Cosine $\ge 90%$.
    • Đánh giá mô hình thông qua 3 thang đo chuẩn hóa: Accuracy, Wu-Palmer Similarity (WUPS @ 0.9 và WUPS @ 0.0).

Phạm vi và giới hạn đề tài

  • Dữ liệu ảnh kế thừa từ tập ảnh chuẩn quốc tế MS COCO (Microsoft Common Objects in Context) và Toronto QA.
  • Giới hạn 4 nhóm câu hỏi cốt lõi: Vật thể (Object), Số lượng (Number), Màu sắc (Color), và Địa điểm (Location).
  • Câu trả lời là các thực thể dạng từ đơn hoặc cụm từ ngắn đại diện cho nội dung quan sát trực tiếp trong ảnh.

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Tiêu chí FM-IQA (Gao et al., 2015) xGQA (Pfeiffer et al., 2022) UIT-ViVQA (Khánh et al., 2020) UIT-mVQA (Đề tài đề xuất)
Ngôn ngữ hỗ trợ Tiếng Anh, Tiếng Trung (2 ngôn ngữ) 8 ngôn ngữ (EN, DE, PT, RU, ID, BN, KO, ZH) Tiếng Việt (Đơn ngữ) Tiếng Việt, Tiếng Anh, Tiếng Nhật (3 ngôn ngữ)
Phương pháp xây dựng Dịch máy tự động hoàn toàn Dịch thủ công 100% Bán tự động (Ngưỡng Cosine 80%) Bán tự động (Ngưỡng Cosine 90% + Kiểm duyệt chuyên gia)
Quy mô tập dữ liệu ~300.000 cặp câu hỏi ~12.000 cặp câu hỏi/ngôn ngữ 15.000 cặp câu hỏi 12.823 cặp câu hỏi/ngôn ngữ (Tổng 38.469)
Hạn chế kỹ thuật Bản dịch gượng gạo, sai ngữ cảnh hình ảnh Chi phí nhân sự rất cao, không hỗ trợ tiếng Việt Tồn tại lỗi dịch sai sót ở ngưỡng tương đồng thấp Cân bằng tối ưu giữa chi phí và chất lượng dữ liệu

Phân tích yêu cầu hệ thống theo mô hình MoSCoW

  • Must have (Bắt buộc có): Pipeline bán tự động dịch đa ngôn ngữ; Bộ quy tắc chuẩn hóa văn bản tiếng Nhật (viết Kanji cho số lượng và vật thể, ngữ thể lịch sự です/ます); Mô-đun trích xuất đặc trưng ảnh (Visual Extractor) và ngôn ngữ (Textual Extractor).
  • Should have (Nên có): Cơ chế Hierarchical Co-Attention nhằm nắm bắt tương quan giữa từ/cụm từ/câu với từng vùng ảnh; Giao diện hỗ trợ gán nhãn 3 luồng ngôn ngữ trực quan song song cùng ảnh.
  • Could have (Có thể có): Khả năng mở rộng đa ngôn ngữ tự động qua pre-trained Multilingual Transformers (mBERT, XLM-RoBERTa).
  • Won't have (Chưa thực hiện trong phạm vi này): Xử lý các câu hỏi dạng suy luận mở (reasoning "Why", "How") hoặc hội thoại đa lượt (Multi-turn visual dialogue).

Thiết kế hệ thống

Kiến trúc tổng thể của hệ thống hỏi đáp trực quan đa ngôn ngữ được thiết kế theo luồng xử lý 3 giai đoạn (Three-stage Multimodal Pipeline):

                                  KIẾN TRÚC TỔNG THỂ HỆ THỐNG
                                  
   +---------------------+                        +-------------------------+
   |   Hình ảnh đầu vào  |                        |  Câu hỏi (VI / EN / JA) |
   +----------+----------+                        +------------+------------+
              |                                                |
              v                                                v
   +---------------------+                        +-------------------------+
   | Visual Extractor    |                        | Textual Extractor       |
   | (VGG19 / ViT)       |                        | (LSTM / BERT Embeddings)|
   +----------+----------+                        +------------+------------+
              | Feature Tensor (v)                             | Feature Tensor (q)
              |                                                |
              +-----------------------+------------------------+
                                      |
                                      v
                      +-------------------------------+
                      | Cross-Modal Fusion /          |
                      | Hierarchical Co-Attention     |
                      | - Word-Level Attention        |
                      | - Phrase-Level Attention      |
                      | - Question-Level Attention    |
                      +---------------+---------------+
                                      | Joint Representation (h)
                                      v
                      +-------------------------------+
                      | Multi-Layer Perceptron (MLP)  |
                      | & Softmax Classifier          |
                      +---------------+---------------+
                                      |
                                      v
                      +-------------------------------+
                      |     Dự đoán câu trả lời       |
                      +-------------------------------+

Technology Stack và môi trường thực nghiệm

  • Ngôn ngữ lập trình: Python 3.9
  • Thư viện Deep Learning: TensorFlow 2.9.1, PyTorch 1.12.0, Hugging Face Transformers 4.20.1
  • Xử lý ma trận & Dữ liệu: NumPy 1.22.4, Pandas 1.4.3, Scikit-learn 1.1.1
  • Phần cứng huấn luyện: Google Colab Pro, GPU NVIDIA Tesla P100 (16GB VRAM), 16GB System RAM.

Methodology

Quy trình nghiên cứu và xây dựng dữ liệu áp dụng phương pháp luận phát triển lặp kết hợp kiểm chuẩn chất lượng nghiêm ngặt:

+-----------------------------------------------------------------------------------+
|                     QUY TRÌNH XÂY DỰNG DỮ LIỆU BÁN TỰ ĐỘNG                        |
|                                                                                   |
| [Dữ liệu gốc (VI/EN)]                                                             |
|          |                                                                        |
|          v                                                                        |
| [3 Dịch máy: Google, Microsoft, Yandex] ---> [Tính độ tương đồng Cosine giữa bản dịch]|
|                                                              |                    |
|                               +------------------------------+                    |
|                               |                                                   |
|                               v (Cosine >= 0.90)              v (Cosine < 0.90)   |
|                      [Chấp nhận tự động]             [Hiệu đính thủ công (Annotators)]|
|                               |                      (5 chuyên viên JLPT N2/N3)   |
|                               |                               |                   |
|                               +------------->+<---------------+                   |
|                                              |                                    |
|                                              v                                    |
|                                    [Tập dữ liệu UIT-mVQA]                         |
+-----------------------------------------------------------------------------------+

Kế hoạch thực hiện (Timeline)

  • Tháng 1 - 2: Khảo sát tài liệu, thu thập tập ảnh MS COCO và tiền xử lý dữ liệu Toronto/ViVQA.
  • Tháng 3: Xây dựng công cụ gán nhãn, chạy 3 công cụ dịch máy và lọc tương đồng Cosine.
  • Tháng 4: Đội ngũ chuyên gia (5 nhân sự JLPT N3/N2) hiệu đính 5.262 cặp câu chưa đạt chuẩn.
  • Tháng 5: Cài đặt pipeline mô hình (VGG19+LSTM, VGG19+Co-Attention, ViT+BERT) và huấn luyện trên GPU P100.
  • Tháng 6: Đánh giá chéo đơn ngữ - đa ngôn ngữ, phân tích lỗi và hoàn thiện khóa luận.

Implementation và kết quả

Development Process

1. Quy tắc gán nhãn dữ liệu tiếng Nhật chuẩn hóa

Nhằm tránh hiện tượng đa nghĩa và nhập nhằng trong quá trình tách từ tiếng Nhật (Tokenization), nhóm nghiên cứu đã áp dụng bộ quy tắc chuẩn:

  • Mọi câu trả lời dạng số đếm phải được chuẩn hóa sang chữ Hán (Kanji), ví dụ: 1 $\rightarrow$ 一, 2 $\rightarrow$ 二.
  • Mọi câu hỏi và câu trả lời phải sử dụng thể lịch sự chuẩn mực (丁寧語 - Thể Desu/Masu: です/ます).
  • Các thực thể nhận diện bắt buộc phải quan sát được trực tiếp trên ảnh, không thêm suy đoán cảm tính.
+---------------------------------------------------------------------------+
| Phân bố tập dữ liệu UIT-mVQA (12.823 cặp câu hỏi/ngôn ngữ):                |
| - Dữ liệu tự động đạt chuẩn (Cosine >= 0.90):  7.561 cặp câu (58.97%)     |
| - Dữ liệu cần hiệu đính thủ công (Cosine < 0.90): 5.262 cặp câu (41.03%)  |
| - Độ dài trung bình câu hỏi tiếng Nhật: 18 từ (dao động từ 8 đến 25 từ)   |
+---------------------------------------------------------------------------+

2. Chi tiết toán học các giải thuật cốt lõi

Cơ chế Scaled Dot-Product Attention (Vaswani et al., 2017)

Mô hình tính toán tích vô hướng giữa ma trận truy vấn ($Q$) với ma trận khóa ($K$), chuẩn hóa theo căn bậc hai của chiều đặc trưng $d_k$, áp dụng Softmax và nhân với ma trận giá trị ($V$):

$$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$

Trong đó, trọng số tương đồng thành phần thứ $i$ được tính bằng hàm phân phối xác suất:

$$\text{softmax}(z_i) = \frac{e^{z_i}}{\sum_{j=1}^{N} e^{z_j}}$$

Cơ chế Hierarchical Co-Attention (Lu et al., 2016)

Mô hình trích xuất biểu diễn câu hỏi $Q = {q_1, q_2, \dots, q_T}$ thông qua 3 cấp độ phân tầng:

  1. Cấp độ từ (Word-level): $q_t^w = W_e q_t$ (Nhúng từ qua ma trận Embedding).
  2. Cấp độ cụm từ (Phrase-level): Sử dụng mạng tích chập 1 chiều (1D-CNN) với các kích thước filter $s \in {1, 2, 3}$:

$$q_{t, s}^p = \tanh\left(W_c^s q_{t:t+s-1}^w\right)$$

$$a_t = \max\left(q_{t, 1}^p, q_{t, 2}^p, q_{t, 3}^p\right), \quad t \in {1, 2, \dots, T}$$

  1. Cấp độ câu (Question-level): Mã hóa chuỗi $a_t$ bằng mạng hồi quy LSTM để thu được vector toàn cục $q^s$.

3. Mã nguồn mô-đun kết hợp đa phương thức (Multimodal Fusion Implementation)

import torch
import torch.nn as nn
import torch.nn.functional as F

class MultimodalVQAClassifier(nn.Module):
    """
    Mo-dun ket hop dac trung thi giac (Visual) va ngon ngu (Textual)
    phuc vu du doan cau tra loi trong bai toan Multilingual VQA.
    """
    def __init__(self, visual_dim: int = 4096, text_dim: int = 768, hidden_dim: int = 1024, num_classes: int = 1000):
        super(MultimodalVQAClassifier, self).__init__()
        
        # Chieu dac trung hinh anh (Visual Projection)
        self.visual_proj = nn.Sequential(
            nn.Linear(visual_dim, hidden_dim),
            nn.BatchNorm1d(hidden_dim),
            nn.ReLU(),
            nn.Dropout(p=0.5)
        )
        
        # Chieu dac trung ngon ngu (Textual Projection)
        self.text_proj = nn.Sequential(
            nn.Linear(text_dim, hidden_dim),
            nn.BatchNorm1d(hidden_dim),
            nn.ReLU(),
            nn.Dropout(p=0.5)
        )
        
        # Tich hop da phuong thuc qua Point-wise Multiplication & MLP
        self.classifier = nn.Sequential(
            nn.Linear(hidden_dim, hidden_dim // 2),
            nn.ReLU(),
            nn.Dropout(p=0.3),
            nn.Linear(hidden_dim // 2, num_classes)
        )

    def forward(self, visual_feat: torch.Tensor, text_feat: torch.Tensor) -> torch.Tensor:
        # visual_feat: [Batch_Size, 4096] tu VGG-19 / ViT
        # text_feat:   [Batch_Size, 768] tu LSTM / BERT
        v_proj = self.visual_proj(visual_feat)
        t_proj = self.text_proj(text_feat)
        
        # Point-wise Multiplication (Ket hop phan tu)
        joint_repr = v_proj * t_proj
        
        # Du doan phan phoi xac suat cau tra loi qua Softmax
        logits = self.classifier(joint_repr)
        return logits

Testing và validation

Hiệu năng của các mô hình được đánh giá thông qua thang đo Accuracy và độ tương đồng ngữ nghĩa phân cấp Wu-Palmer Similarity (WUPS) dựa trên cây từ vựng WordNet:

$$\text{WUPS}(A, T) = \frac{2 \cdot \text{depth}(\text{LCS}(A, T))}{\text{depth}(A) + \text{depth}(T)}$$

Trong đó $\text{LCS}(A, T)$ là nút tổ tiên chung gần nhất (Lowest Common Subsumer) giữa câu trả lời dự đoán $A$ và nhãn gốc $T$.

+-----------------------------------------------------------------------------------------+
|                  KẾT QUẢ ĐÁNH GIÁ CÁC MÔ HÌNH TRÊN TẬP DỮ LIỆU ĐA NGÔN NGỮ              |
+-----------------------------+-----------------+--------------------+--------------------+
| Mô hình thử nghiệm          | Accuracy (%)    | WUPS @ 0.9 (%)     | WUPS @ 0.0 (%)     |
+-----------------------------+-----------------+--------------------+--------------------+
| VGG19 + LSTM (Baseline)     | 38.42           | 45.18              | 73.25              |
| VGG19 + Hierarchical Co-Att | 44.85           | 52.30              | 78.60              |
| ViT + BERT (Đề xuất)        | 51.60           | 59.45              | 84.12              |
+-----------------------------+-----------------+--------------------+--------------------+

Kết quả đạt được

  1. Hiệu năng vượt bậc của Transformer: Kiến trúc kết hợp ViT + BERT đạt độ chính xác 51.60%, vượt trội +13.18% so với Baseline VGG19 + LSTM và +6.75% so với mô hình Co-Attention.
  2. Khả năng khái quát hóa đa ngôn ngữ: Mô hình đa ngôn ngữ được huấn luyện chung trên 3 thứ tiếng đạt hiệu năng ổn định, giảm thiểu suy giảm độ chính xác trên tiếng Việt và tiếng Nhật so với khi huấn luyện mô hình đơn ngữ độc lập.
  3. Phân loại câu hỏi: Độ chính xác trên nhóm câu hỏi Số lượng (Number) và Màu sắc (Color) đạt mức cao nhất nhờ vào việc chuẩn hóa Kanji và khả năng phân đoạn trực quan của Vision Transformer.

Đổi mới và đóng góp

  1. Bộ dữ liệu chuẩn VQA đa ngữ đầu tiên chứa cả Tiếng Việt và Tiếng Nhật: Khắc phục lỗ hổng tài nguyên nghiên cứu trong khu vực Châu Á - Thái Bình Dương với 38.469 cặp câu hỏi - đáp song song trên 9.182 ảnh.
  2. Quy trình lọc tương đồng Cosine đa tầng: Thiết lập ngưỡng chặn Cosine 0.90 từ 3 công cụ dịch máy giúp tiết kiệm hơn 58% chi phí và thời gian dịch thuật thủ công, đồng thời triệt tiêu hiện tượng dịch sai ngữ cảnh hình ảnh.
  3. Chuẩn hóa ngôn ngữ học cho tiếng Nhật trong thị giác máy tính: Giải pháp chuyển đổi toàn bộ số đếm và thực thể sang Kanji giải quyết triệt để bài toán nhập nhằng từ tố trong NLP tiếng Nhật.
  4. Khảo sát toàn diện các thế hệ mô hình: Đưa ra bức tranh so sánh chi tiết từ mạng tích chập/hồi quy cổ điển (CNN-LSTM) đến cơ chế chú ý phân tầng (Co-Attention) và kiến trúc Transformer thuần túy (ViT-BERT).

Ứng dụng thực tế và triển khai

Kịch bản ứng dụng trong đời sống

  • Hỗ trợ người khiếm thị: Tích hợp vào thiết bị đeo thông minh (Smart Glasses) giúp nhận diện biển báo, đồ vật xung quanh và trả lời câu hỏi trực tiếp bằng giọng nói đa ngôn ngữ.
  • Thương mại điện tử xuyên biên giới: Cho phép người dùng chụp ảnh sản phẩm và đặt câu hỏi chi tiết về thuộc tính (màu sắc, số lượng, chủng loại) bằng tiếng Việt hoặc tiếng Nhật.
  • Hệ thống Chatbot dịch vụ khách hàng đa ngôn ngữ: Tự động phân tích hình ảnh chứng từ, lỗi sản phẩm do khách hàng gửi về và phản hồi tức thì.
+-----------------------------------------------------------------------------------+
|                        SƠ ĐỒ TRIỂN KHAI HỆ THỐNG PRODUCTION                      |
|                                                                                   |
| [Mobile App / IoT Camera]                                                         |
|          |                                                                        |
|          v (HTTPS / RESTful API)                                                  |
| [API Gateway: NGINX Reverse Proxy]                                                |
|          |                                                                        |
|          v                                                                        |
| [FastAPI Application Server (Python 3.9)]                                         |
|          |                                                                        |
|          +---> [ViT Engine (TorchScript / TensorRT)] ---> Visual Vector (768-d)   |
|          |                                                      |                 |
|          +---> [mBERT Engine (ONNX Runtime)]        ---> Text Vector (768-d)     |
|                                                                 |                 |
|                                                                 v                 |
|                                                     [Multimodal Fusion Head]      |
|                                                                 |                 |
|                                                                 v                 |
|                                                     [JSON Answer Response]        |
+-----------------------------------------------------------------------------------+

Kiến trúc triển khai hệ thống (API Specifications)

  • Endpoint: POST /api/v1/vqa/predict
  • Headers: Content-Type: multipart/form-data
  • Request Body:
    • image: File ảnh nhị phân (.jpg, .png, tối đa 5MB).
    • question: Chuỗi câu hỏi (string).
    • lang: Ngôn ngữ câu hỏi (vi | en | ja).
  • Response Example:
{
  "status": "success",
  "data": {
    "question": "Con mèo đang ngồi ở đâu?",
    "lang": "vi",
    "predicted_answer": "bồn tắm",
    "confidence_score": 0.9428,
    "inference_time_ms": 48.5
  }
}

Hạn chế và hướng phát triển

Hạn chế kỹ thuật hiện tại

  • Phạm vi miền dữ liệu: Dữ liệu chỉ xoay quanh hình ảnh đời sống thông thường từ MS COCO, chưa bao quát các miền chuyên sâu như y tế, ảnh vệ tinh, tài liệu kỹ thuật.
  • Khả năng suy luận đa bước: Mô hình hoạt động tốt với câu hỏi nhận dạng thực thể nhưng còn hạn chế trước các câu hỏi đòi hỏi kiến thức tri thức ngoài (External Knowledge Graph) hoặc suy luận nhân quả.

Hướng phát triển trong tương lai

  1. Mở rộng mô hình ngôn ngữ thị giác lớn (Vision-Language Models - VLMs): Tích hợp các kiến trúc nền tảng như LLaVA, BLIP-2, hoặc PaLI để nâng cao khả năng sinh câu trả lời tự nhiên dạng câu hoàn chỉnh thay vì từ đơn.
  2. Gia tăng ngôn ngữ khu vực: Mở rộng tập dữ liệu sang các ngôn ngữ Đông Nam Á khác như tiếng Thái (TH), tiếng Indonesia (ID).
  3. Tối ưu hóa On-device AI: Áp dụng kỹ thuật lượng tử hóa (Quantization INT8/FP16) và chưng cất tri thức (Knowledge Distillation) để triển khai mô hình trực tiếp trên chip biên (Edge AI / Raspberry Pi / Jetson Nano).

Đối tượng hưởng lợi

+-----------------------------------------------------------------------------------+
|                            ĐỐI TƯỢNG HƯỞNG LỢI                                    |
|                                                                                   |
| [Sinh viên & Học viên]   ---> Bộ tài liệu tham khảo chuẩn mực về Cross-modal AI.   |
| [Kỹ sư Machine Learning] ---> Pipeline mã nguồn mở tối ưu trích xuất đặc trưng.   |
| [Doanh nghiệp Công nghệ] ---> Cắt giảm 60% chi phí R&D hệ thống hỏi đáp thị giác. |
| [Cộng đồng Nghiên cứu]   ---> Benchmark chuẩn hóa thúc đẩy NLP/CV tiếng Việt.     |
+-----------------------------------------------------------------------------------+
  • Sinh viên & Giảng viên: Nguồn học liệu tham khảo hoàn chỉnh về quy trình xây dựng tập dữ liệu đa phương thức và triển khai các mô hình Deep Learning từ CNN đến Transformer.
  • Kỹ sư AI & Lập trình viên: Tiếp cận mã nguồn mẫu, kỹ thuật fine-tune Vision Transformer và cơ chế xử lý dữ liệu đa ngôn ngữ chuẩn xác.
  • Doanh nghiệp EdTech / Retail / Healthcare: Tận dụng tập dữ liệu và trọng số mô hình đã huấn luyện sẵn để nhanh chóng thương mại hóa các ứng dụng tìm kiếm thị giác và trợ lý ảo.
  • Cộng đồng Nghiên cứu Khoa học: Đóng góp điểm chuẩn (benchmark) đáng tin cậy cho bài toán Multilingual VQA tại Việt Nam.

Câu hỏi thường gặp

1. Yêu cầu phần cứng tối thiểu để triển khai và huấn luyện mô hình là gì?

Để huấn luyện mô hình ViT + BERT trên tập dữ liệu UIT-mVQA (Batch size = 32), hệ thống cần GPU tối thiểu 8GB VRAM (khuyến nghị NVIDIA RTX 3060 hoặc Tesla T4/P100 trở lên) và 16GB System RAM. Khi triển khai suy luận (Inference), mô hình sau khi tối ưu qua ONNX Runtime có thể chạy mượt mà trên CPU đa nhân với thời gian phản hồi dưới 120ms.

2. Làm thế nào để giải quyết vấn đề đa nghĩa khi dịch câu hỏi tiếng Nhật?

Nhóm nghiên cứu áp dụng quy tắc chuyển đổi toàn bộ số đếm và danh từ chỉ vật thể sang chữ Hán (Kanji) thay vì để Hiragana/Katakana. Việc này giúp mô hình nhận diện chính xác hình thái từ tố, tránh phân đoạn sai khi sử dụng các thư viện tách từ như MeCab hay Fugashi.

3. Hệ thống có thể tích hợp vào các nền tảng Chatbot có sẵn không?

Hoàn toàn khả thi. Hệ thống được đóng gói dưới dạng Docker Container với chuẩn giao tiếp RESTful API (FastAPI). Bất kỳ hệ thống Chatbot nào (Facebook Messenger, Telegram, Zalo) đều có thể gửi ảnh và câu hỏi của người dùng qua Webhook và nhận câu trả lời dạng JSON.

4. Tại sao lại chọn ngưỡng tương đồng Cosine là 0.90 thay vì 0.80 như các nghiên cứu trước?

Thực nghiệm kiểm tra từ bộ dữ liệu tiền nhiệm UIT-ViVQA cho thấy ở ngưỡng Cosine 0.80 - 0.89, nhiều từ vựng quan trọng bị dịch sai ngữ cảnh thị giác (như "sign" dịch thành "dấu hiệu" thay vì "biển báo"). Ngưỡng 0.90 đảm bảo độ tin cậy tuyệt đối của bản dịch máy, giúp tối ưu hóa khối lượng công việc cho đội ngũ chuyên gia kiểm duyệt.

5. Chi phí xây dựng bộ dữ liệu theo phương pháp bán tự động này tiết kiệm bao nhiêu so với dịch thủ công hoàn toàn?

Phương pháp bán tự động đã tự động hóa hoàn toàn 7.561 cặp câu (58.97% tổng dữ liệu), chỉ cần thuê annotators hiệu đính 5.262 cặp câu (41.03%). So với việc dịch thủ công 100% toàn bộ 38.469 cặp câu, phương pháp này giúp tiết kiệm khoảng 60% chi phí nhân sự và rút ngắn 50% thời gian thực hiện.

Kết luận

Khóa luận tốt nghiệp "Nghiên cứu bộ dữ liệu và phát triển phương pháp cho hỏi đáp trực quan đa ngôn ngữ" của sinh viên Nguyễn Đức Huy Long và Thái Vĩnh Đức (Trường ĐH Công nghệ Thông tin - ĐHQG TP.HCM) đã giải quyết thành công bài toán thiếu hụt tài nguyên nghiên cứu VQA đa ngữ. Bằng việc xây dựng thành công bộ dữ liệu UIT-mVQA với 38.469 cặp câu hỏi - đáp trên 3 ngôn ngữ (Việt - Anh - Nhật) cùng quy trình bán tự động chuẩn hóa, đề tài đã tạo nên một đóng góp thực tiễn giá trị cho cộng đồng nghiên cứu AI.

Kết quả thực nghiệm khẳng định ưu thế vượt trội của kiến trúc Vision Transformer kết hợp BERT (Accuracy 51.60%), mở ra hướng tiếp cận triển vọng cho các hệ thống trí tuệ nhân tạo đa phương thức đa ngôn ngữ phục vụ đời sống và chuyển đổi số.