Giới thiệu dự án

Trong bối cảnh cuộc Cách mạng Công nghiệp 4.0 và quá trình chuyển đổi số diễn ra mạnh mẽ, không gian mạng trở thành kênh tiếp nhận và phân phối thông tin chủ đạo. Theo thống kê từ tổ chức We Are Social và Cục Viễn thông, Việt Nam hiện có hơn 75% dân số sử dụng Internet (tương đương hơn 72 triệu người dùng). Sự gia tăng đột biến của luồng dữ liệu số đi kèm với một hệ quả nghiêm trọng: sự lan truyền nhanh chóng của tin giả (fake news), tin sai lệch (misinformation) và các thông tin chưa được kiểm chứng, gây thiệt hại nặng nề đến an ninh kinh tế, trật tự xã hội và uy tín tổ chức.

Thực trạng hiện nay cho thấy quy trình xác minh tính xác thực của thông tin phần lớn vẫn dựa vào sức người và chuyên gia phân tích thủ công (manual fact-checking). Phương pháp này bộc lộ những nút thắt cổ chai lớn: độ trễ cao, chi phí nhân sự đắt đỏ và không thể mở rộng (unscalable) trước hàng triệu luồng thông tin mới mỗi ngày. Đặc biệt, các giải pháp tự động hóa dành riêng cho ngôn ngữ tiếng Việt còn rất khan hiếm do sự phức tạp về mặt từ vựng học (từ ghép, hiện tượng đa nghĩa, cấu trúc ngữ pháp phong ngữ cảnh).

Đề tài "Hướng tới kiểm tra tính đúng đắn của thông tin dựa trên hệ thống hỏi và trả lời" (Towards Checking Information Based on Question and Answering Framework) được thực hiện nhằm giải quyết trực diện bài toán trên bằng cách tích hợp các mô hình Xử lý Ngôn ngữ Tự nhiên (Natural Language Processing - NLP) tiên tiến vào một kiến trúc hệ thống tự động hóa hoàn chỉnh.

                  KIẾN TRÚC TỔNG THỂ HỆ THỐNG
+-------------------------------------------------------------+
|              Giao diện người dùng (ReactJS Web App)         |
+------------------------------+------------------------------+
                               | (RESTful API / JSON)
+------------------------------v------------------------------+
|            Hệ thống Core Backend (Django Framework)         |
|  +-------------------------------------------------------+  |
|  |           Mô-đun Bộ điều phối & Tiền xử lý             |  |
|  +---------------------------+---------------------------+  |
+------------------------------|------------------------------+
                               |
            +------------------+------------------+
            |                                     |
+-----------v-----------+             +-----------v-----------+
| Giai đoạn 1: Truy hồi |             |  Giai đoạn 2: Xử lý   |
|   thông tin (IR)      |             |     thông tin         |
| +-------------------+ |             | +-------------------+ |
| |   Elasticsearch   | |             | |  Mô-đun Reader    | |
| | (Okapi BM25 Lexical)| |  Top-K doc  | | (Hỏi đáp - QA:    | |
| +---------+---------+ |------------>| |   XLM-RoBERTa)    | |
|           |           |             | +-------------------+ |
| +---------v---------+ |             | +-------------------+ |
| |    Khối FAISS     | |  Top-L sent | | Mô-đun Inferrer   | |
| | (Semantic Search: | |------------>| | (NLI / Xác thực:  | |
| |  Sentence-BERT)   | |             | |   XLM-RoBERTa)    | |
| +-------------------+ |             | +-------------------+ |
+-----------------------+             +-----------------------+

Mục tiêu của đề tài

  1. Xây dựng đường ống truy hồi thông tin lai (Hybrid Information Retrieval Pipeline): Kết hợp khả năng tìm kiếm toàn văn theo từ khóa (Lexical Search) và tìm kiếm theo ngữ nghĩa sâu (Dense Semantic Search) nhằm tối ưu hóa độ bao phủ (Recall) và độ chính xác (Precision) cho văn bản tiếng Việt.
  2. Thiết kế và triển khai mô-đun kiểm định tính đúng đắn (Information Verification / Fact-Checking): Tinh chỉnh (fine-tune) mô hình ngôn ngữ lớn XLM-RoBERTa cho bài toán Suy luận Ngôn ngữ Tự nhiên (Natural Language Inference - NLI), phân loại mối quan hệ giữa nhận định (claim) và bằng chứng (evidence) thành 3 nhãn: Ủng hộ (Support/Entailment), Bác bỏ (Refute/Contradiction), và Trung tính (Neutral).
  3. Phát triển hệ thống Trả lời Câu hỏi miền mở (Open-domain Question Answering - QA): Trích xuất trực tiếp câu trả lời dạng thực thể/đoạn văn ngữ cảnh (Answer Extraction) thay vì chỉ trả về liên kết văn bản đơn thuần.
  4. Hiện thực hóa hệ thống thành dịch vụ Web End-to-End: Cung cấp giao diện tương tác trực quan cho người dùng cuối và chuẩn hóa bộ giao diện lập trình ứng dụng (Application Programming Interface - API) cho phép tích hợp linh hoạt vào các hệ thống giám sát không gian mạng.

Giải pháp và Kết quả kỳ vọng

Hệ thống kết hợp sức mạnh của Elasticsearch (thuật toán BM25), FAISS (tìm kiếm vector mật độ cao), cơ sở dữ liệu quan hệ MySQL cùng các mô hình biến thể Transformer tiên tiến (Sentence-BERT, XLM-RoBERTa). Thời gian xử lý trung bình đạt mức ~1 giây/truy vấn, cho phép xác minh thông tin theo thời gian thực mà không làm tăng tiêu hao tài nguyên phần cứng khi kích thước tập dữ liệu mở rộng.

Phạm vi và Giới hạn

  • Phạm vi nghiên cứu: Tập trung vào văn bản tiếng Việt đơn ngữ trong các tập ngữ liệu chuẩn hóa (MLQA, XQuAD, Wikipedia tiếng Việt).
  • Giới hạn kỹ thuật: Hệ thống tập trung xử lý dữ liệu dạng văn bản (textual data); chưa mở rộng sang việc phân tích đa phương thức (multimodal: hình ảnh, video deepfake hoặc tệp âm thanh).

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Trước khi xây dựng hệ thống, các giải pháp trích xuất và xác thực thông tin hiện hành được so sánh chi tiết:

Giải pháp Ưu điểm Nhược điểm Khả năng áp dụng tiếng Việt
Regex / Rule-based Tốc độ xử lý cực nhanh, dễ triển khai cho các mẫu cố định. Không bắt được biến thể ngữ pháp, hoàn toàn thất bại trước từ đồng nghĩa/ngữ cảnh. Rất thấp đối với ngữ nghĩa phức tạp.
TF-IDF / Okapi BM25 thuần túy Khả năng truy xuất từ khóa chính xác cao, tính toán phân tán hiệu quả trên Elasticsearch. Không hiểu ngữ nghĩa ẩn (semantic gap), phụ thuộc hoàn toàn vào trùng khớp ký tự. Trung bình; yêu cầu bộ tách từ (word tokenizer) chuyên dụng.
Dense Retrieval thuần túy (DPR/FAISS) Hiểu được ngữ nghĩa câu hỏi/nhận định dù không trùng khớp từ vựng. Chi phí tính toán nhúng cao, dễ bỏ sót các thực thể danh từ riêng, mã số, tên người. Tốt nếu có mô hình nhúng (embedding) tiếng Việt chất lượng.
Hệ thống đề xuất (Hybrid: BM25 + FAISS + XLM-RoBERTa) Tối ưu hóa cả Lexical lẫn Semantic, lọc đa tầng từ Document đến Sentence, hỗ trợ cả QA lẫn Fact-Checking. Kiến trúc phức tạp, cần phối hợp nhiều dịch vụ lưu trữ và mô hình học sâu. Tối ưu, đáp ứng chính xác đặc thù ngữ pháp tiếng Việt.

Yêu cầu hệ thống theo mô hình MoSCoW

  • Must have (Bắt buộc):
    • Khả năng tách từ tiếng Việt tự động cho văn bản đầu vào.
    • Bộ truy xuất văn bản kết hợp Elasticsearch BM25 và FAISS vector indexing.
    • Phân loại 3 nhãn NLI (Support, Refute, Neutral) với độ chính xác cao.
    • Trích xuất vị trí chuỗi câu trả lời (Span Extraction) cho bài toán QA.
  • Should have (Nên có):
    • Giao diện người dùng Web responsive (ReactJS).
    • Chuẩn hóa RESTful API cho cả hai tác vụ.
  • Could have (Có thể có):
    • Cơ chế bộ đệm (Caching) cho các truy vấn phổ biến.
    • Bảng quản trị thống kê tài nguyên và số lượng truy vấn.
  • Won't have (Chưa hỗ trợ):
    • Xử lý dữ liệu âm thanh và hình ảnh trong phiên bản hiện tại.

Thiết kế hệ thống

Hệ thống được thiết kế theo cấu trúc phân tầng vi dịch vụ (Microservices-oriented), tách biệt rõ ràng giữa tầng lưu trữ, tầng tính toán NLP và tầng hiển thị:

graph TD
    User([Người dùng / Client]) -->|HTTP Request / JSON| Frontend[ReactJS Web Application]
    Frontend -->|REST API Calls| Backend[Django Core Service]
    
    subgraph Pipeline Giai đoạn 1: Truy hồi thông tin
        Backend -->|1. Lexical Query| ES[Elasticsearch Engine<br/>Analysis Vietnamese Plugin + BM25]
        ES -->|Top-K Documents| Backend
        Backend -->|2. Query Embedding Vector| SBERT[Sentence-BERT Encoder]
        SBERT -->|Query Vector| FAISS[FAISS Vector Database<br/>IndexFlatL2 / Cosine]
        Backend -->|Fetch Raw Sentences| MySQL[(MySQL Database<br/>Document & Sentence Tables)]
        FAISS -->|Top-L Sentences ID| Backend
    end

    subgraph Pipeline Giai đoạn 2: Xử lý thông tin chuyên sâu
        Backend -->|Claim + Evidence Sentences| NLI[Inferrer Module<br/>XLM-RoBERTa NLI]
        Backend -->|Question + Top Passages| QA[Reader Module<br/>XLM-RoBERTa QA]
    end

    NLI -->|Support / Refute / Neutral + Score| Backend
    QA -->|Extracted Answer Span + Confidence| Backend
    Backend -->|JSON Response| Frontend

Technology Stack và Phiên bản

  • Ngôn ngữ nền tảng: Python 3.9.12, JavaScript (ES6+), SQL.
  • Core Backend Framework: Django 4.0.4, Django REST Framework 3.13.1.
  • Search & Retrieval Engines: Elasticsearch 7.17.0 (kèm plugin elasticsearch-analysis-vietnamese), FAISS (faiss-cpu / faiss-gpu 1.7.2).
  • Deep Learning Frameworks: PyTorch 1.11.0, Hugging Face Transformers 4.18.0, Sentence-Transformers 2.2.0.
  • Pre-trained Models: xlm-roberta-base, sentence-transformers/paraphrase-multilingual-mpnet-base-v2.
  • Database: MySQL 8.0.28, SQLAlchemy 1.4.35.
  • Frontend Framework: ReactJS 18.1.0, Axios 0.27.2, TailwindCSS 3.0.x.
  • Containerization & Deployment: Docker 20.10.x, Docker-Compose 2.4.x, Nginx 1.21.x.

Thiết kế Cơ sở dữ liệu (Database Schema)

Hệ thống sử dụng cơ sở dữ liệu quan hệ MySQL để quản lý cấu trúc phân cấp giữa văn bản toàn vẹn (Document) và các câu đơn nguyên (Sentence) phục vụ quá trình liên kết vector:

-- Bảng quản lý văn bản nguồn (Document Table)
CREATE TABLE `documents` (
    `id` INT AUTO_INCREMENT PRIMARY KEY,
    `title` VARCHAR(255) NOT NULL,
    `content` LONGTEXT NOT NULL,
    `source_url` VARCHAR(512) NULL,
    `created_at` TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
    FULLTEXT KEY `ft_index_content` (`content`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;

-- Bảng quản lý câu phục vụ đối soát FAISS (Sentence Table)
CREATE TABLE `sentences` (
    `id` INT AUTO_INCREMENT PRIMARY KEY,
    `document_id` INT NOT NULL,
    `sentence_index` INT NOT NULL,
    `sentence_text` TEXT NOT NULL,
    `vector_id` BIGINT UNIQUE NOT NULL,
    FOREIGN KEY (`document_id`) REFERENCES `documents`(`id`) ON DELETE CASCADE,
    INDEX `idx_doc_sent` (`document_id`, `sentence_index`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;

Thiết kế RESTful API

Hệ thống cung cấp 2 Endpoint cốt lõi hỗ trợ giao tiếp đa nền tảng:

  1. Endpoint Kiểm tra tính đúng đắn thông tin:

    • URI: POST /api/v1/verify-claim/
    • Request Body: 
      {
  "claim": "Bệnh dịch hạch đã xuất hiện trong thế giới Hồi giáo trong khoảng từ 1500 đến 1850.",
  "top_k_evidence": 3
}
    • Response Body: 
      {
  "claim": "Bệnh dịch hạch đã xuất hiện trong thế giới Hồi giáo trong khoảng từ 1500 đến 1850.",
  "verdict": "SUPPORT",
  "confidence": 0.9428,
  "evidences": [
    {
      "sentence_id": 4812,
      "document_title": "Lịch sử dịch bệnh",
      "text": "Các đợt dịch hạch liên tục tái phát tại các đô thị Hồi giáo kéo dài từ năm 1500 cho tới tận năm 1850.",
      "label": "SUPPORT",
      "similarity_score": 0.8912
    }
  ]
}

  2. Endpoint Hỏi đáp - Trích xuất thông tin:

    • URI: POST /api/v1/question-answering/
    • Request Body: {"question": "Ai là người phát minh ra kính hiển vi?"}
    • Response Body: {"question": "...", "answer": "Zacharias Janssen", "context_doc_id": 1042, "score": 0.915}

Phương pháp nghiên cứu và quản lý dự án

Dự án áp dụng mô hình phát triển phần mềm linh hoạt (Agile/Scrum) kết hợp nghiên cứu khoa học ứng dụng với lộ trình 4 giai đoạn rõ ràng:

  1. Sprint 1 (Khảo cứu & Xây dựng Dataset): Thu thập dữ liệu tiếng Việt từ Wikipedia, tiền xử lý và tích hợp bộ dữ liệu chuẩn MLQA/XQuAD.
  2. Sprint 2 (Phát triển Pipeline Truy hồi thông tin): Cài đặt cụm Elasticsearch với plugin tiếng Việt, cấu hình FAISS index và thiết lập kết nối MySQL.
  3. Sprint 3 (Huấn luyện & Tinh chỉnh Mô hình NLP): Huấn luyện mô hình Reader (QA) và Inferrer (NLI) dựa trên nền tảng XLM-RoBERTa; đánh giá thông lượng.
  4. Sprint 4 (Tích hợp Hệ thống & Đóng gói Triển khai): Xây dựng Core Django API, giao diện ReactJS, viết Unit Test và đóng gói Docker container.

Thực hiện và Kết quả

Quá trình phát triển và Thuật toán cốt lõi

1. Thuật toán Xếp hạng BM25 trong Elasticsearch

Tại khâu tìm kiếm toàn văn, điểm tương đồng giữa câu truy vấn $q$ và tài liệu $d$ được tính toán theo công thức Okapi BM25:

$$\text{Score}{\text{BM25}}(q, d) = \sum{i=1}^{n} \text{IDF}(q_i) \cdot \frac{\text{TF}(q_i, d) \cdot (k_1 + 1)}{\text{TF}(q_i, d) + k_1 \cdot \left(1 - b + b \cdot \frac{|d|}{\text{avgdl}}\right)}$$

Trong đó:

  • $\text{TF}(q_i, d)$ là tần suất từ khóa $q_i$ trong văn bản $d$.
  • $\text{IDF}(q_i) = \ln \left( \frac{N - n(q_i) + 0.5}{n(q_i) + 0.5} + 1 \right)$, với $N$ là tổng số tài liệu và $n(q_i)$ là số tài liệu chứa từ $q_i$.
  • Nhóm thiết lập tham số chuẩn: $k_1 = 1.2$ (kiểm soát mức bão hòa tần suất từ) và $b = 0.75$ (điều chuẩn độ dài văn bản).

2. Kỹ thuật Sentence Embedding và FAISS Indexing

Mỗi văn bản sau khi lấy từ tầng Lexical được chia tách thành các câu độc lập thông qua công cụ tách câu tiếng Việt. Mỗi câu $s$ được mã hóa thành một vector đặc trưng không gian $d=768$ chiều thông qua Sentence-BERT:

import torch
import faiss
from transformers import AutoTokenizer, AutoModel

class VectorRetriever:
    def __init__(self, model_name: str, index_path: str = None):
        self.tokenizer = AutoTokenizer.from_pretrained(model_name)
        self.model = AutoModel.from_pretrained(model_name)
        self.model.eval()
        self.dimension = 768
        self.index = faiss.IndexFlatIP(self.dimension) # Inner Product (Cosine Similarity)

    def mean_pooling(self, model_output, attention_mask):
        token_embeddings = model_output[0] 
        input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
        return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)

    def encode(self, texts: list[str]) -> np.ndarray:
        encoded_input = self.tokenizer(texts, padding=True, truncation=True, max_length=256, return_tensors='pt')
        with torch.no_grad():
            model_output = self.model(**encoded_input)
        sentence_embeddings = self.mean_pooling(model_output, encoded_input['attention_mask'])
        # Chuẩn hóa L2 để chuyển tích vô hướng thành Cosine Similarity
        sentence_embeddings = torch.nn.functional.normalize(sentence_embeddings, p=2, dim=1)
        return sentence_embeddings.cpu().numpy()

3. Mô-đun Inferrer (Suy luận logic NLI)

Mô hình XLM-RoBERTa nhận đầu vào dạng chuỗi cặp: <s> Claim </s></s> Evidence </s>. Vector đại diện tại token <s> ([CLS]) được đưa qua tầng tuyến tính (Linear Layer) phân loại Softmax để trích xuất phân phối xác suất trên 3 nhãn:

class NLIInferrer:
    def __init__(self, checkpoint_path: str):
        self.tokenizer = AutoTokenizer.from_pretrained(checkpoint_path)
        self.model = AutoModelForSequenceClassification.from_pretrained(checkpoint_path)
        self.labels = ["SUPPORT", "NEUTRAL", "REFUTE"]

    def infer(self, claim: str, evidence: str) -> dict:
        inputs = self.tokenizer(claim, evidence, return_tensors="pt", truncation=True, max_length=256)
        with torch.no_grad():
            logits = self.model(**inputs).logits
            probs = torch.softmax(logits, dim=1).squeeze().tolist()
        
        predicted_idx = int(np.argmax(probs))
        return {
            "label": self.labels[predicted_idx],
            "confidence": probs[predicted_idx],
            "probabilities": {self.labels[i]: probs[i] for i in range(3)}
        }

Thử nghiệm và Đánh giá hiệu năng

Hệ thống được thử nghiệm trên hạ tầng máy chủ tiêu chuẩn với cấu hình: CPU Intel Xeon 8 vCPUs, 32GB RAM, GPU NVIDIA Tesla T4 16GB VRAM.

1. Đánh giá độ chính xác từng thành phần (Ablation Study)

Thành phần / Mô-đun Phương pháp / Mô hình sử dụng Tập kiểm thử Độ chính xác (Accuracy / F1)
Truy hồi tài liệu (IR) Elasticsearch BM25 đơn lẻ Wikipedia VN subset Recall@10: 71.4%
Truy hồi lai (Hybrid IR) BM25 + FAISS (S-BERT) Wikipedia VN subset Recall@10: 92.8%
Mô-đun Reader (QA) XLM-RoBERTa-base MLQA / XQuAD Tiếng Việt Exact Match (EM): 68.2%, F1: 82.5%
Mô-đun Inferrer (NLI) XLM-RoBERTa-base fine-tuned Bộ dữ liệu NLI dịch chuẩn Accuracy: 86.4%

2. Thử nghiệm Tải và Tiêu thụ Tài nguyên

Số lượng tài liệu trong Database Tốc độ phản hồi trung bình (Latency) Mức chiếm dụng GPU VRAM Mức chiếm dụng RAM hệ thống
10,000 văn bản (~150k câu) 0.88 giây 2.1 GB 3.4 GB
50,000 văn bản (~750k câu) 1.02 giây 2.1 GB 3.6 GB
100,000 văn bản (~1.5M câu) 1.15 giây 2.2 GB 3.9 GB

[!IMPORTANT] Nhận xét quan trọng về khả năng mở rộng: Nhờ cơ chế chỉ mục phân cấp (Elasticsearch lọc thô tập Document trước khi FAISS quét chi tiết mức Sentence), dung lượng vector nạp vào bộ nhớ chỉ tương ứng với tập con liên quan ($K$ tài liệu), giữ cho mức tiêu thụ tài nguyên phần cứng gần như không đổi khi cơ sở dữ liệu phình to.

Đổi mới và Đóng góp khoa học

  1. Kiến trúc Hybrid Retrieval hai tầng chuyên biệt cho tiếng Việt: Giải quyết triệt để sự thiếu hụt của các hệ thống tìm kiếm truyền thống khi phải xử lý các câu nhận định dài có cấu trúc cú pháp phức tạp.
  2. Cơ chế phân đoạn văn bản thông minh (Hierarchical Document-to-Sentence Mapping): Thay vì tính toán tương đồng ngữ nghĩa trên toàn bộ đoạn văn bản dài (vốn làm loãng vector đại diện), hệ thống chia nhỏ thành các đơn vị câu độc lập giúp tăng độ nhạy trong việc phát hiện bằng chứng phản bác (REFUTE).
  3. Đóng góp ứng dụng thực tiễn: Tạo tiền đề cho các cơ quan báo chí, trung tâm không gian mạng quốc gia xây dựng các cổng tự động cảnh báo và đối soát tin tức giả mạo bằng tiếng Việt.

Ứng dụng thực tế và Triển khai

Kịch bản ứng dụng trong đời sống

                          CÁC KỊCH BẢN ỨNG DỤNG THỰC TẾ
+---------------------------------------------------------------------------------+
|  1. Hệ thống hỗ trợ Tòa soạn báo & Cơ quan Báo chí                             |
|     Tự động rà soát, kiểm chứng nguồn tin mạng xã hội trước khi xuất bản.       |
|     -> Giảm 80% thời gian xác minh thủ công của biên tập viên.                  |
+---------------------------------------------------------------------------------+
|  2. Bộ lọc bảo vệ Người dùng Mạng Xã hội                                        |
|     Tích hợp Chatbot / Browser Extension tự động kiểm tra status/tin đồn.       |
|     -> Hiển thị nhãn cảnh báo kèm trích dẫn văn bản pháp quy/khoa học đối trọng.|
+---------------------------------------------------------------------------------+
|  3. Hệ thống Quản trị Tri thức Nội bộ Doanh nghiệp (Enterprise QA)             |
|     Tra cứu chính sách, quy chế và quy trình nội bộ chính xác dạng QA.         |
|     -> Cắt giảm thời gian tìm kiếm tài liệu từ vài giờ xuống dưới 2 giây.       |
+---------------------------------------------------------------------------------+

Hướng dẫn triển khai hệ thống (Deployment Guide)

Hệ thống được đóng gói hoàn chỉnh bằng Docker Compose, giúp việc triển khai lên môi trường Production diễn ra nhanh chóng:

# 1. Clone repository mã nguồn
git clone https://github.com/uit-research/vietnamese-fact-checking-qa.git
cd vietnamese-fact-checking-qa

# 2. Cấu hình biến môi trường
cp .env.example .env

# 3. Khởi chạy toàn bộ hạ tầng (Elasticsearch, MySQL, Django Core, React UI)
docker-compose up -d --build

# 4. Tạo chỉ mục Elasticsearch và nạp dữ liệu nền tảng
docker-compose exec backend python manage.py setup_es_indexes
docker-compose exec backend python manage.py ingest_knowledge_base --data_path=/data/wiki_vi/

Hạn chế và Hướng phát triển

Hạn chế kỹ thuật hiện tại

  • Phụ thuộc vào Tri thức Lưu trữ (Closed-world Knowledge Base): Hệ thống chỉ có thể xác thực thông tin dựa trên những tài liệu đã được nạp sẵn vào cơ sở dữ liệu; chưa thể kiểm chứng các sự kiện đang diễn ra trực tiếp theo thời gian thực (Breaking News).
  • Hiện tượng suy luận phụ thuộc từ vựng (Spurious Correlations): Ở một số cấu trúc câu phủ định kép phức tạp trong tiếng Việt, mô hình NLI đôi khi nhầm lẫn giữa nhãn Neutral và Refute.

Hướng phát triển trong tương lai

  • Tích hợp Kiến trúc RAG thế hệ mới với LLM tiếng Việt: Kết hợp với các mô hình ngôn ngữ lớn (Large Language Models) như Vistral, PhoGPT để sinh văn bản giải thích chi tiết lý do vì sao một nhận định là sai.
  • Mở rộng cơ chế Real-time Web Crawler: Tự động thu thập dữ liệu từ các trang tin tức chính thống của chính phủ và các tờ báo uy tín để làm giàu kho tri thức theo thời gian thực.
  • Xác thực Đa phương thức (Multimodal Fact-Checking): Kết hợp phân tích hình ảnh và văn bản để phát hiện ảnh chế, ảnh cắt ghép sai ngữ cảnh.

Đối tượng hưởng lợi

  • Sinh viên & Học viên cao học: Tiếp cận một tài liệu tham khảo hoàn chỉnh từ lý thuyết NLP, Information Retrieval đến triển khai thực tế một hệ thống Deep Learning quy mô lớn.
  • Kỹ sư AI / Lập trình viên: Kế thừa pipeline xử lý tiếng Việt chuyên biệt kết hợp Elasticsearch và FAISS, tiết kiệm hàng trăm giờ nghiên cứu cấu hình.
  • Doanh nghiệp & Đơn vị Báo chí: Sở hữu giải pháp kiến trúc có khả năng tùy biến cao để triển khai hệ thống quản trị tri thức hoặc kiểm soát thông tin truyền thông.
  • Nhà nghiên cứu (Researchers): Sử dụng các kết quả thực nghiệm và baseline benchmark để tiếp tục phát triển các thuật toán NLI và QA tiếng Việt chuyên sâu.

Câu hỏi thường gặp

1. Yêu cầu phần cứng tối thiểu để triển khai hệ thống là gì?

Hệ thống yêu cầu tối thiểu 16GB RAM, CPU 4 cores và ít nhất 50GB ổ cứng SSD. Để mô-đun NLP đạt tốc độ phản hồi tối ưu (~1s), khuyến nghị trang bị thêm GPU có tối thiểu 8GB VRAM (ví dụ: NVIDIA RTX 3060, T4 hoặc tương đương).

2. Hệ thống xử lý các từ viết tắt hoặc từ lóng tiếng Việt như thế nào?

Nhờ tầng nhúng ngữ nghĩa của mô hình Transformer đa ngôn ngữ (XLM-RoBERTa) kết hợp với bộ phân tích từ tiếng Việt trong Elasticsearch, hệ thống có khả năng nhận diện các từ đồng nghĩa và từ ngữ tương đương trong không gian vector đa chiều mà không bị phụ thuộc cứng vào cách viết chính xác.

3. Có thể thay thế cơ sở dữ liệu Elasticsearch hoặc FAISS bằng công cụ khác không?

Hoàn toàn có thể. Do hệ thống được thiết kế theo dạng mô-đun hóa độc lập thông qua tầng giao tiếp Core Backend, lập trình viên có thể thay thế Elasticsearch bằng Opensearch hoặc thay thế FAISS bằng Milvus/Qdrant/Pinecone mà không ảnh hưởng đến logic của mô-đun Reader và Inferrer.

4. Chi phí vận hành hệ thống ước tính trên môi trường Cloud (AWS/GCP) là bao nhiêu?

Với cấu hình triển khai cụm 1 VM GPU (ví dụ g4dn.xlarge trên AWS) phục vụ mô hình học sâu và 1 cụm managed database cơ bản, chi phí ước tính dao động trong khoảng 150 - 250 USD/tháng, đủ khả năng phục vụ hàng chục ngàn truy vấn kiểm tra mỗi ngày.

5. Độ tin cậy (Confidence Score) của câu trả lời được tính toán như thế nào?

Độ tin cậy là sự kết hợp có trọng số giữa: Điểm tương đồng Cosine của bằng chứng từ FAISS, xác suất Softmax lớn nhất từ đầu ra của mô hình NLI/QA, và điểm xếp hạng BM25 của tài liệu gốc.

Kết luận

Đồ án tốt nghiệp "Hướng tới kiểm tra tính đúng đắn của thông tin dựa trên hệ thống hỏi và trả lời" đã xây dựng thành công một giải pháp công nghệ toàn diện, giải quyết hiệu quả bài toán tự động hóa xác thực thông tin và trích xuất câu hỏi cho ngôn ngữ tiếng Việt. Bằng việc kết hợp tinh tế giữa tìm kiếm toàn văn (BM25) và tìm kiếm ngữ nghĩa sâu (FAISS/Sentence-BERT), cùng sự hỗ trợ của các mô hình học sâu tân tiến (XLM-RoBERTa), hệ thống không chỉ đạt độ chính xác cao mà còn đảm bảo thời gian phản hồi thời gian thực và khả năng mở rộng linh hoạt.

Đây là bước tiến quan trọng trong việc ứng dụng công nghệ Xử lý Ngôn ngữ Tự nhiên vào việc bảo vệ môi trường thông tin số trong sạch, góp phần tích cực vào công cuộc phòng chống tin giả tại Việt Nam.