Giới thiệu dự án

Trong kỷ nguyên số hóa và bùng nổ dữ liệu, hình ảnh đồ họa thông tin (Infographic) đã trở thành định dạng truyền thông chủ lực nhờ khả năng trực quan hóa các tập dữ liệu phức tạp thành nội dung trực quan, ngắn gọn và thu hút. Theo các thống kê công nghiệp từ Forbes và Venngage, việc tích hợp Infographic giúp tăng hơn 12% lượng truy cập, cải thiện khả năng tiếp cận người dùng trên 90% so với định dạng thuần văn bản, và nâng cao hiệu quả truyền đạt thông tin lên gấp 30 lần. Đồng thời, gần 60% doanh nghiệp hiện đại yêu cầu ứng dụng Infographic trong báo cáo số liệu và truyền thông số.

Tuy nhiên, việc trích xuất và truy vấn thông tin tự động từ Infographic đặt ra thách thức công nghệ rất lớn. Khác với tài liệu scan phẳng thông thường (Document VQA) hay ảnh thế giới thực (Scene Text VQA), ảnh Infographic sở hữu cấu trúc đa tầng phi tuyến tính: văn bản xen lẫn đồ thị, sơ đồ tư duy, icon biểu tượng, bản đồ số liệu cùng các phối màu và phông chữ phức tạp.

Đồ án tốt nghiệp "Đánh giá một số phương pháp học sâu cho bài toán hỏi đáp trên ảnh Infographic tiếng Việt" (Evaluate Some Deep Learning Methods for Vietnamese Infographic Visual Question Answering) do nhóm tác giả Nguyễn Văn Tiến và Phạm Xuân Trí thực hiện dưới sự hướng dẫn của TS. Ngô Đức Thành và ThS. Đỗ Văn Tiến tại Khoa Khoa học Máy tính, Trường Đại học Công nghệ Thông tin - ĐHQG-HCM, tập trung giải quyết bài toán cốt lõi: Tiếp nhận đầu vào gồm ảnh Infographic $I$ và câu hỏi tự nhiên $Q$, từ đó mô hình đa phương thức (Multimodal) tự động suy luận để trích xuất hoặc sinh ra câu trả lời chính xác $A$.

           +-----------------------+
           |   Ảnh Infographic (I) |
           +-----------+-----------+
                       |
                       v
+---------------------------------------------+
|    Hệ thống Multimodal Infographic VQA      | ----> [ Câu trả lời chính xác (A) ]
+---------------------------------------------+
                       ^
                       |
           +-----------+-----------+
           |     Câu hỏi (Q)       |
           +-----------------------+

Mục tiêu nghiên cứu cụ thể

  1. Nghiên cứu tổng quan và phân loại hệ thống: Khảo sát có hệ thống các hướng tiếp cận học sâu (Modular vs. Monolithic) và các cơ chế tiền huấn luyện đa phương thức (Vision-Language Pre-training - VLP).
  2. Xây dựng tập ngữ liệu tiên phong ViInfographicVQA: Thu thập, chuẩn hóa, gán nhãn OCR token và biên soạn tập câu hỏi - câu trả lời đa dạng trên ảnh Infographic tiếng Việt đầu tiên phục vụ cộng đồng nghiên cứu.
  3. Thực nghiệm và đánh giá chuẩn mực (Benchmark): Cài đặt, huấn luyện chuyển giao và tinh chỉnh (Fine-tuning) 3 kiến trúc đại diện gồm BERT, M4C và LayoutLMv2 trên 2 bộ dữ liệu InfographicVQA (tiếng Anh) và ViInfographicVQA (tiếng Việt).
  4. Hiện thực hóa hệ thống ứng dụng: Xây dựng mô hình thử nghiệm Client - Server hoàn chỉnh phục vụ bài toán truy vấn trực quan thời gian thực.

Phạm vi và giới hạn nghiên cứu

  • Phạm vi dữ liệu: Tập trung vào định dạng ảnh Infographic tĩnh (2D Graphic/Chart/Document) tiếng Việt và tiếng Anh.
  • Giới hạn: Không bao gồm xử lý infographic động (GIF/Video) hay các định dạng vector đồ họa gốc như SVG, AI. Quá trình tiền xử lý ký tự dựa trên công nghệ nhận dạng quang học (OCR) có độ phụ thuộc nhất định vào chất lượng hình ảnh đầu vào.

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Trước sự xuất hiện của các mô hình biến đổi tự chú ý (Transformer-based), các bài toán VQA truyền thống thường áp dụng hướng tiếp cận dạng khối rời rạc (Modular Method) hoặc mô hình thống nhất sơ khai (Monolithic Feature Fusion).

Tiêu chí Hướng tiếp cận Modular (NMN, NS-CL) Hướng tiếp cận Monolithic cổ điển (CNN + LSTM, DualNet) Hướng tiếp cận Transformer / VLP (M4C, LayoutLMv2)
Cơ chế hoạt động Phân tích cú pháp câu hỏi thành cây thực thi, ghép nối các submodule (Filter, Find, Count). Trích xuất đặc trưng ảnh bằng CNN, văn bản bằng LSTM rồi kết hợp qua phép nhân/cộng Hadamard. Nhúng đồng thời đặc trưng thị giác, ngữ nghĩa văn bản và vị trí không gian (2D Spatial Coordinates) qua Cross-Attention.
Ưu điểm Khả năng diễn giải logic từng bước rõ ràng. Cấu trúc cố định, đơn giản trong huấn luyện. Nắm bắt tương quan đa phương thức sâu sắc, khai thác trọn vẹn bố cục không gian phức tạp.
Nhược điểm Phụ thuộc nặng vào bộ Parser; lỗi lan truyền qua từng module; không hỗ trợ xử lý song song. Khó đồng bộ chiều biểu diễn đa phương thức; hiệu quả thấp với ảnh chứa nhiều thông tin dày đặc. Chi phí tính toán huấn luyện trước (Pre-training) lớn; đòi hỏi phần cứng GPU chuyên dụng.

Phân tích yêu cầu hệ thống theo mô hình MoSCoW

  • Must-have (Bắt buộc): Pipeline trích xuất OCR token cùng tọa độ Bounding Box 2D; bộ mã hóa đa phương thức có khả năng biểu diễn ngữ nghĩa liên kết giữa câu hỏi và thực thể ảnh; hàm đánh giá chuẩn ANLS (Average Normalized Levenshtein Similarity).
  • Should-have (Nên có): Cơ chế không gian trực quan (Spatial-Aware Attention) để phân biệt các vùng thông tin độc lập trên Infographic; khả năng sao chép từ vựng trực tiếp từ ảnh qua mạng con trỏ (Pointer Network).
  • Could-have (Có thể có): Giao diện Web Client tương tác cho phép kéo thả ảnh, nhập câu hỏi và hiển thị kết quả trực quan kèm thời gian xử lý (Inference Latency).
  • Won't-have (Chưa thực hiện): Khả năng tự động chỉnh sửa lỗi OCR sai chính tả trực tiếp trên ảnh trước khi đưa vào bộ trích xuất đặc trưng.

Thiết kế hệ thống

Kiến trúc tổng thể của hệ thống xử lý bài toán Infographic VQA tích hợp 4 thành phần nền tảng:

+------------------------------------------------------------------------------------+
|                                 KIẾN TRÚC TỔNG THỂ                                 |
+------------------------------------------------------------------------------------+
       +--------------------+                    +---------------------+
       |  Ảnh Infographic   |                    |   Câu hỏi tự nhiên  |
       +---------+----------+                    +----------+----------+
                 |                                          |
                 v                                          v
      [ OCR Engine (Tesseract) ]                  [ BERT / FastText ]
                 |                                          |
                 +-------------------+  +-------------------+
                                     |  |
                                     v  v
                   +------------------------------------+
                   |    Không gian biểu diễn nhúng      |
                   |    (1D / 2D Spatial Embedding +    |
                   |     Visual Region Features)        |
                   +-----------------+------------------+
                                     |
                                     v
                   +------------------------------------+
                   |    Multimodal Transformer Core     |
                   |   (Spatial-Aware Self-Attention)   |
                   +-----------------+------------------+
                                     |
                                     v
                   +------------------------------------+
                   |     Bộ giải mã dự đoán đáp án      |
                   |  (Classification / Pointer Net)    |
                   +-----------------+------------------+
                                     |
                                     v
                           [ Output: Câu trả lời ]
  1. Rút trích đặc trưng thị giác (Visual Feature Extraction): Sử dụng Backbone ResNet-50 / ResNet-101 hoặc Faster R-CNN để ánh xạ ảnh Infographic kích thước lớn thành lưới đặc trưng không gian hoặc các vùng đối tượng cục bộ (Region Proposals).
  2. Rút trích đặc trưng văn bản & OCR (Textual & Spatial Feature Extraction): Công cụ Tesseract OCR trích xuất chuỗi ký tự kèm bounding box chuẩn hóa $[x_0, y_0, x_1, y_1]$ trên không gian $[0, 1000]$. Vector từ vựng được mã hóa qua các lớp Embedding kết hợp mã hóa vị trí 2 chiều (2D Positional Embeddings).
  3. Mô-đun tích hợp đa phương thức (Multimodal Integration): Sử dụng cấu trúc Multi-Head Self-Attention đa tầng để tính toán ma trận tương quan giữa từng Token của câu hỏi, từng Token OCR và các mảng đặc trưng thị giác.
  4. Dự đoán câu trả lời (Answer Prediction Engine): Áp dụng cơ chế phân lớp trên từ điển cố định kết hợp Pointer Network để trích xuất trực tiếp cụm từ (Span) xuất hiện trong ảnh đối với câu hỏi dạng Extractive.

Tech Stack và thông số kỹ thuật

Thành phần Công nghệ / Thư viện Phiên bản Vai trò kỹ thuật
Ngôn ngữ cốt lõi Python 3.8+ Môi trường lập trình và xử lý pipeline dữ liệu
Framework học sâu PyTorch 1.9.0 Xây dựng, tối ưu hóa và huấn luyện mạng nơ-ron
Thư viện Transformer Hugging Face Transformers 4.11.3 Cung cấp pre-trained weights LayoutLMv2, BERT
Khung thử nghiệm VQA MMF (Facebook AI Pythia) 0.5.0 Nền tảng huấn luyện mô hình M4C đa phương thức
Công cụ OCR Tesseract OCR / Pytesseract 4.1.1 Nhận dạng quang học ký tự tiếng Việt và tiếng Anh
Backend API Server Flask / FastAPI 2.0.1 Xây dựng RESTful API phục vụ suy luận thời gian thực
Giao diện Client ReactJS / HTML5 / CSS3 17.0.2 Web app UI cho phép tương tác trực quan người dùng

Methodology

Quy trình nghiên cứu và phát triển được tổ chức theo quy chuẩn thực nghiệm nghiêm ngặt gồm 4 pha chính:

[ Pha 1: Thu thập & Tiền xử lý ] 
[ Pha 2: Thiết kế & Xây dựng ViInfographicVQA ] 
[ Pha 3: Fine-tuning & Huấn luyện mô hình ] 
[ Pha 4: Đánh giá Benchmark & Triển khai Demo ]
  • Pha 1 (Data Acquisition & Preprocessing): Thu thập hàng nghìn ảnh Infographic đa chủ đề (Y tế, Giáo dục, Kinh tế, Thể thao, Xã hội). Loại bỏ ảnh chất lượng thấp, trùng lặp hoặc mờ nhạt.
  • Pha 2 (Annotation & Quality Assurance): Chạy OCR tự động, tiến hành kiểm duyệt thủ công (Human-in-the-loop) để sửa lỗi chính tả token tiếng Việt và hiệu chỉnh Bounding Box. Đội ngũ gán nhãn tạo câu hỏi đa dạng (Factoid, Arithmetic, Comparison, Counting) kèm nhãn loại câu hỏi.
  • Pha 3 (Model Fine-tuning): Thiết lập môi trường GPU huấn luyện các mô hình baseline (BERT), mô hình đa phương thức dạng tuần tự (M4C) và mô hình nhận biết bố cục đa chiều (LayoutLMv2).
  • Pha 4 (Evaluation & Deployment): Đo lường chất lượng bằng chỉ số ANLS chuẩn quốc tế, kiểm tra phân phối lỗi và đóng gói dịch vụ Client-Server.

Implementation và kết quả

Xây dựng bộ dữ liệu ViInfographicVQA

Do tính chất đặc thù của tiếng Việt có dấu và cấu trúc ngữ pháp riêng, nhóm tác giả đã xây dựng hoàn chỉnh tập dữ liệu ViInfographicVQA:

  1. Thu thập dữ liệu: Thu thập dựa trên các bộ từ khóa chuyên đề từ Google Images, Pinterest và các trang thông tin báo chí trực quan tại Việt Nam.
  2. Xử lý OCR: Trích xuất toàn bộ các hộp chứa văn bản (Bounding boxes) bằng Tesseract OCR, sau đó hiệu chỉnh thủ công tọa độ và ký tự tiếng Việt có dấu.
  3. Biên tập Question-Answer: Mỗi ảnh được gán tối thiểu 3-5 câu hỏi thuộc các nhóm thao tác logic khác nhau:
    • Image-span / Text-span: Câu trả lời trích xuất trực tiếp từ văn bản trên ảnh.
    • Counting / Sorting / Arithmetic: Câu hỏi đòi hỏi đếm thực thể, so sánh giá trị số liệu hoặc thực hiện phép tính cộng/trừ cơ bản.
    • Visual / Layout reasoning: Câu hỏi dựa trên màu sắc, icon đồ họa hoặc cấu trúc phân vùng bố cục.
+-----------------------------------------------------------------------+
|             THỐNG KÊ DỮ LIỆU TẬP VIINFOGRAPHICVQA                     |
+-----------------------------------------------------------------------+
|  Tổng số ảnh Infographic chuẩn hóa:                1.200+ ảnh         |
|  Tổng số cặp Câu hỏi - Câu trả lời:                5.000+ cặp QA      |
|  Tỷ lệ phân chia tập Train / Val / Test:           70% / 15% / 15%    |
|  Độ dài trung bình câu hỏi:                        9.4 từ             |
|  Độ dài trung bình câu trả lời:                    2.8 từ             |
|  Số lượng OCR Tokens trung bình mỗi ảnh:           78.6 tokens        |
+-----------------------------------------------------------------------+

Thuật toán và kỹ thuật cốt lõi

Một trong những đóng góp giải thuật quan trọng của mô hình đa phương thức LayoutLMv2 là cơ chế Spatial-Aware Self-Attention kết hợp nhúng tọa độ không gian 2D:

$$\mathbf{x}i^{(2D)} = \text{Concat}\left(\mathbf{Emb}{x}(x_0), \mathbf{Emb}{y}(y_0), \mathbf{Emb}{x}(x_1), \mathbf{Emb}{y}(y_1), \mathbf{Emb}{w}(w), \mathbf{Emb}_{h}(h)\right)$$

Ma trận chú ý nhận biết không gian được tính toán dựa trên sự tương tác giữa Query ($\mathbf{q}_i$), Key ($\mathbf{k}j$) và độ lệch vị trí tương đối ($\mathbf{b}{i,j}^{2D}$):

$$\alpha_{ij} = \text{Softmax}\left(\frac{\mathbf{q}i \mathbf{k}j^T}{\sqrt{d_k}} + \mathbf{b}{i,j}^{1D} + \mathbf{b}{i,j}^{2D}\right)$$

import torch
import torch.nn as nn
import Levenshtein

def compute_anls(prediction: str, ground_truth: str, tau: float = 0.5) -> float:
    """
    Tính điểm Average Normalized Levenshtein Similarity (ANLS)
    với ngưỡng phạt sai số tau = 0.5 theo chuẩn DocVQA / InfographicVQA.
    """
    pred_clean = prediction.strip().lower()
    gt_clean = ground_truth.strip().lower()
    
    # Trường hợp chuỗi rỗng
    if not pred_clean or not gt_clean:
        return 1.0 if pred_clean == gt_clean else 0.0
    
    # Tính khoảng cách chỉnh sửa Levenshtein
    edit_dist = Levenshtein.distance(pred_clean, gt_clean)
    max_len = max(len(pred_clean), len(gt_clean))
    norm_dist = edit_dist / max_len
    
    # Nếu khoảng cách chuẩn hóa lớn hơn ngưỡng tau, phạt về 0
    if norm_dist >= tau:
        return 0.0
    return 1.0 - norm_dist

class SpatialPositionalEmbedding(nn.Module):
    """Mã hóa tọa độ Bounding Box 2D thành vector nhúng không gian."""
    def __init__(self, dim_size: int = 768, max_pos: int = 1000):
        super().__init__()
        self.x_embed = nn.Embedding(max_pos + 1, dim_size // 4)
        self.y_embed = nn.Embedding(max_pos + 1, dim_size // 4)
        self.w_embed = nn.Embedding(max_pos + 1, dim_size // 4)
        self.h_embed = nn.Embedding(max_pos + 1, dim_size // 4)

    def forward(self, bbox: torch.Tensor) -> torch.Tensor:
        # bbox shape: (batch_size, seq_len, 4) -> [x0, y0, x1, y1]
        x0, y0, x1, y1 = bbox[:, :, 0], bbox[:, :, 1], bbox[:, :, 2], bbox[:, :, 3]
        w, h = torch.clamp(x1 - x0, min=0), torch.clamp(y1 - y0, min=0)
        
        return torch.cat([
            self.x_embed(x0), self.y_embed(y0),
            self.w_embed(w), self.h_embed(h)
        ], dim=-1)

Kết quả thực nghiệm và đánh giá chuẩn mực

Hiệu năng của các mô hình được đo lường bằng độ đo chính xác chuẩn ANLS (Average Normalized Levenshtein Similarity) với ngưỡng phạt sai số $\tau = 0.5$:

Mô hình (Architecture) Phương thức dữ liệu đầu vào Điểm ANLS trên InfographicVQA (Testset) Điểm ANLS trên ViInfographicVQA (Testset) Thời gian suy luận trung bình (Inference/ảnh)
BERT-Base / Large Text (Question + OCR Flat Text) 0.1824 0.1985 ~35 ms
M4C (Pythia) Multimodal (Text + Visual Objects + OCR) 0.2315 0.2460 ~120 ms
LayoutLMv2-Base Multimodal + 2D Spatial Layout 0.3120 0.3284 ~85 ms
LayoutLMv2-Large Multimodal + 2D Spatial Layout (Tối ưu) 0.3458 0.3621 ~145 ms 
+-----------------------------------------------------------------------------+
|               SO SÁNH ĐIỂM ANLS TRÊN TẬP DỮ LIỆU VIỆT NAM                   |
+-----------------------------------------------------------------------------+
BERT-Large         [====] 0.1985
M4C (v0)           [=====] 0.2460
LayoutLMv2-Base    [=======] 0.3284
LayoutLMv2-Large   [========] 0.3621
                   +---------+---------+---------+---------+
                   0.0       0.1       0.2       0.3       0.4

Phân tích chuyên sâu kết quả

  1. Sức mạnh của thông tin vị trí 2D: BERT chỉ nhận văn bản tuần tự 1D nên hoàn toàn mất đi cấu trúc dạng cột/bảng biểu của Infographic, dẫn đến điểm ANLS thấp nhất (< 0.20).
  2. Hạn chế của M4C: Dù M4C tích hợp Faster R-CNN để trích xuất Region Proposals, nhưng đối với Infographic, các đối tượng thị giác không theo cấu trúc đồ vật thông thường (như con người, xe cộ) mà là đồ thị, mũi tên, icon, khiến Faster R-CNN trích xuất đặc trưng kém hiệu quả.
  3. Sự vượt trội của LayoutLMv2: Bằng việc kết hợp trực tiếp đặc trưng ảnh ở mức điểm ảnh (Pixel-level Visual Grid) cùng bộ nhúng tọa độ 2D Spatial Embeddings, LayoutLMv2-Large đạt kết quả vượt bậc (0.3621 trên tập tiếng Việt), chứng minh tính khả thi của mô hình học đa phương thức có nhận biết không gian.

Đổi mới và đóng góp

  1. Bộ ngữ liệu ViInfographicVQA đầu tiên: Đóng góp cho cộng đồng nghiên cứu Trí tuệ Nhân tạo tại Việt Nam một tập dữ liệu chuẩn hóa, có gán nhãn chi tiết OCR và QA phân loại rõ ràng, xóa bỏ khoảng trống dữ liệu trong bài toán Multimodal Infographic Understanding.
  2. Khảo sát hệ thống và phân loại phương pháp học sâu: Đánh giá thực nghiệm toàn diện các phương pháp đại diện thuộc hai trường phái Modular và Monolithic, đưa ra khuyến nghị kiến trúc rõ ràng cho các bài toán xử lý tài liệu phức tạp.
  3. Tối ưu hóa pipeline Fine-tuning cho tiếng Việt: Thích ứng thành công các mô hình tiền huấn luyện đa phương thức tiên tiến (LayoutLMv2) trên tập dữ liệu tiếng Việt có dấu, cải thiện độ chính xác ANLS hơn 82.4% so với baseline văn bản thuần túy (BERT).
  4. Hệ thống ứng dụng hoàn chỉnh: Xây dựng thành công ứng dụng demo tương tác Client-Server, mở đường cho việc ứng dụng thực tế trong tự động hóa phân tích báo cáo và truy xuất tri thức trực quan.

Ứng dụng thực tế và triển khai

Tình huống ứng dụng thực tế

  • Hỗ trợ người khiếm thị: Tích hợp vào các thiết bị thông minh để đọc, phân tích và trả lời nhanh các thông tin quan trọng trên các tờ rơi y tế, biểu đồ cảnh báo hoặc thông báo công cộng định dạng Infographic.
  • Tự động hóa phân tích tài liệu doanh nghiệp (Enterprise Document Intelligence): Trích xuất và tra cứu dữ liệu thời gian thực từ các báo cáo tài chính, báo cáo thị trường, dashboard quản trị dạng infographic mà không cần nhập liệu thủ công.
  • Giáo dục thông minh (EdTech): Xây dựng trợ lý ảo học tập có khả năng giải đáp thắc mắc của học sinh/sinh viên từ các sơ đồ tóm tắt bài giảng trực quan.
+--------------------------------------------------------------------------+
|                  MÔ HÌNH TRIỂN KHAI CLIENT - SERVER                      |
+--------------------------------------------------------------------------+
  [ Client UI (ReactJS) ]
  [ NGINX Reverse Proxy ]
  [ Backend Server (FastAPI / Gunicorn) ]
  [ JSON Response: { "answer": "...", "confidence": 0.89, "latency_ms": 140 } ]

Phân tích chi phí và hiệu quả đầu tư (ROI)

  • Tối ưu hóa thời gian xử lý: Giảm thời gian trích xuất số liệu thủ công từ trung bình 3-5 phút/ảnh xuống dưới 150 mili-giây/truy vấn.
  • Hiệu quả kinh tế: Giảm hơn 70% chi phí nhân sự nhập liệu và rà soát báo cáo trực quan trong các tổ chức tài chính và truyền thông số.

Hạn chế và hướng phát triển

Hạn chế kỹ thuật hiện tại

  • Phụ thuộc vào OCR Engine: Các lỗi nhận diện chữ viết nghệ thuật, phông chữ cách điệu hoặc văn bản quá nhỏ từ Tesseract OCR trực tiếp làm giảm chất lượng đầu vào của mô hình Transformer.
  • Khả năng tính toán số học phức tạp: Mô hình hiện tại gặp khó khăn đối với các câu hỏi đòi hỏi tính toán số học đa bước (Multi-step Arithmetic Reasoning) hoặc so sánh tỉ lệ biểu đồ tròn/biểu đồ cột không có số liệu ghi kèm trực tiếp.
  • Tài nguyên tính toán: Mô hình LayoutLMv2-Large yêu cầu dung lượng bộ nhớ VRAM cao (~16GB+ khi huấn luyện), gây khó khăn khi triển khai trên các thiết bị biên (Edge Devices).

Hướng phát triển tương lai

  • Tích hợp các bộ OCR hiện đại hơn (như VietOCR, PaddleOCR) hoặc nghiên cứu các kiến trúc OCR-free (như Donut, Pix2Struct) để loại bỏ hoàn toàn giai đoạn trích xuất OCR độc lập.
  • Bổ sung cơ chế suy luận tri thức ngoài (External Knowledge-base Retrieval) để giải đáp các câu hỏi đòi hỏi kiến thức thực tế thế giới (World Knowledge).
  • Nén mô hình (Model Quantization INT8/FP16, Knowledge Distillation) nhằm tăng tốc độ suy luận và tối ưu hóa chi phí hạ tầng khi triển khai trên diện rộng.

Đối tượng hưởng lợi

+-----------------------------------------------------------------------+
|                       ĐỐI TƯỢNG HƯỞNG LỢI                             |
+-----------------------------------------------------------------------+
|  Sinh viên / Học viên:     Tài liệu tham khảo học thuật chuẩn mực về  |
|                            Multimodal Deep Learning & NLP tiếng Việt. |
|                                                                       |
|  Kỹ sư Trí tuệ Nhân tạo:   Mã nguồn, quy trình tiền xử lý tọa độ 2D   |
|                            và kỹ thuật fine-tuning Transformer.       |
|                                                                       |
|  Doanh nghiệp công nghệ:   Giải pháp tự động hóa trích xuất báo cáo,  |
|                            tiết kiệm 70% chi phí nhập liệu số.        |
|                                                                       |
|  Cộng đồng nghiên cứu:     Tập dữ liệu ViInfographicVQA tiên phong    |
|                            phục vụ nghiên cứu phát triển lâu dài.     |
+-----------------------------------------------------------------------+

Câu hỏi thường gặp

1. Yêu cầu phần cứng tối thiểu để triển khai và huấn luyện mô hình là gì?

  • Môi trường suy luận (Inference): CPU Intel Core i7 / AMD Ryzen 7 hoặc GPU NVIDIA GTX 1660 (6GB VRAM), RAM 16GB.
  • Môi trường huấn luyện (Fine-tuning): Tối thiểu 1x GPU NVIDIA RTX 3090 (24GB VRAM) hoặc NVIDIA V100/A100 để đảm bảo batch size tối ưu trong quá trình huấn luyện LayoutLMv2.

2. Mô hình xử lý như thế nào khi hình ảnh Infographic có độ phân giải quá cao?

Hệ thống áp dụng kỹ thuật căn chỉnh tỷ lệ (Resizing & Padding) chuẩn hóa ảnh về kích thước cố định ($224 \times 224$ hoặc $512 \times 512$ cho nhánh Visual Backbone) trong khi tọa độ Bounding Box của OCR tokens được chuẩn hóa tuyến tính về miền $[0, 1000]$ độc lập với độ phân giải gốc.

3. Làm cách nào để tích hợp hệ thống vào ứng dụng di động hoặc web sẵn có?

Hệ thống cung cấp chuẩn RESTful API qua giao thức HTTP/JSON. Phía Client chỉ cần gửi request dạng multipart/form-data chứa tệp ảnh và chuỗi câu hỏi:

curl -X POST "http://api.infographic-vqa.vn/v1/predict" \
     -F "image=@report_2021.png" \
     -F "question=Tỷ lệ phần trăm người dùng là bao nhiêu?"

4. Hệ thống có khả năng tự động sửa lỗi chính tả từ OCR tiếng Việt không?

Mô hình Transformer thông qua cơ chế Pre-trained Masked Visual-Language Modeling có khả năng tự hồi phục ngữ nghĩa của một số từ bị sai sót nhẹ nhờ ngữ cảnh không gian và từ vựng lân cận. Tuy nhiên, việc hiệu chỉnh bộ OCR (như áp dụng từ điển tiếng Việt sau xử lý) vẫn là giải pháp tốt nhất để nâng cao độ chính xác tổng thể.

5. Tại sao điểm ANLS trên ảnh Infographic thường thấp hơn so với ảnh tài liệu DocVQA thông thường?

Ảnh Infographic có tính nghệ thuật và độ tự do bố cục cao hơn rất nhiều so với văn bản hành chính thông thường (văn bản lồng trong hình vẽ, phông chữ đa dạng, màu nền phức tạp, mối liên kết phi tuyến tính giữa biểu đồ và chú thích). Do đó, việc hiểu và suy luận trên Infographic đòi hỏi khả năng kết hợp đa phương thức sâu sắc hơn.

Kết luận

Đồ án tốt nghiệp "Đánh giá một số phương pháp học sâu cho bài toán hỏi đáp trên ảnh Infographic tiếng Việt" đã giải quyết thành công bài toán học máy đa phương thức đầy thách thức tại Việt Nam. Thông qua việc xây dựng bộ ngữ liệu tiên phong ViInfographicVQA, nghiên cứu phân tích chuyên sâu các kiến trúc mạng hiện đại và chứng minh sự vượt trội của mô hình nhúng nhận biết không gian 2D (LayoutLMv2), đồ án đã tạo nền tảng học thuật và kỹ thuật vững chắc cho các ứng dụng trí tuệ nhân tạo thị giác - ngôn ngữ trong tương lai. Kết quả nghiên cứu không chỉ đóng góp trực tiếp cho cộng đồng khoa học dữ liệu trong nước mà còn mở ra tiềm năng thương mại hóa to lớn trong tự động hóa văn phòng, phân tích dữ liệu thông minh và công nghệ hỗ trợ tiếp cận.