Giới thiệu dự án

Trong bối cảnh bùng nổ của trí tuệ nhân tạo tạo sinh (Generative AI) và các mô hình ngôn ngữ lớn (Large Language Models - LLMs) như GPT-4, LLaMA hay Claude, phương thức tiếp cận và tra cứu thông tin của nhân loại đã có bước chuyển dịch căn bản: từ việc tìm kiếm chuỗi từ khóa tĩnh (Keyword Search) sang tương tác hội thoại ngữ cảnh động (Conversational QA). Tuy nhiên, theo các báo cáo phân tích công nghệ năm 2023–2024, các mô hình ngôn ngữ độc lập vẫn đối mặt với hai rào cản nghiêm trọng: hiện tượng "ảo giác tri thức" (Hallucination) và sự lạc hậu của dữ liệu do giới hạn thời điểm đóng băng tri thức (Knowledge Cutoff Date).

Đồ án khóa luận "Xây dựng hệ thống trả lời câu hỏi miền mở trên Tiếng Việt" do sinh viên Nguyễn Thành Phát (Khoa Công nghệ Thông tin, Trường Đại học Nguyễn Tất Thành - NTTU) thực hiện dưới sự hướng dẫn của TS. Võ Thị Hồng Thắm, tập trung giải quyết triệt để bài toán truy xuất và tổng hợp thông tin tự động bằng kiến trúc Hỏi đáp miền mở (Open-Domain Question Answering - ODQA) kết hợp Kỹ thuật Tạo sinh Tăng cường Truy xuất (Retrieval-Augmented Generation - RAG).

+-----------------------------------------------------------------------------+
|                              NGỮ CẢNH HỆ THỐNG                              |
|                                                                             |
|   [Câu hỏi người dùng] ---> [Retriever (Qdrant + BM25)] ---> [Top-K Docs]   |
|                                                                    |        |
|                                                                    v        |
|   [Câu trả lời chuẩn xác] <-- [Generator (LLM + AWQ)] <--- [Prompt Context] |
+-----------------------------------------------------------------------------+

Vấn đề thực tiễn và Pain Points

  • Sự phân mảnh và phức tạp của tài liệu học vụ: Sổ tay sinh viên và các quy chế đào tạo đại học thường dài hàng trăm trang PDF với cấu trúc văn bản phức tạp, khiến sinh viên mất nhiều thời gian tra cứu và dễ hiểu sai quy định.
  • Hạn chế của LLM nguyên bản đối với tiếng Việt chuyên ngành: Các mô hình quốc tế thiếu hụt tri thức địa phương (Local Context) và ngữ cảnh chuyên biệt của từng tổ chức, dẫn đến tỷ lệ sinh câu trả lời sai lệch vượt mức 35% trên các tác vụ hỏi đáp đặc thù.
  • Chi phí tài nguyên tính toán cao: Việc triển khai các mô hình 7B–13B tham số ở định dạng dấu phẩy động 16-bit (FP16) đòi hỏi hệ thống GPU máy chủ đắt đỏ (tối thiểu 16GB–24GB VRAM), gây khó khăn cho việc đưa vào ứng dụng thực tiễn với chi phí tối ưu.

Mục tiêu nghiên cứu cụ thể

  1. Xây dựng Pipeline RAG toàn diện: Thiết kế quy trình tự động hóa từ trích xuất văn bản phi cấu trúc, phân đoạn ngữ nghĩa (Semantic Chunking), sinh vector nhúng (Dense Embedding) đến lập chỉ mục trên Vector Database.
  2. Nghiên cứu và tinh chỉnh LLM tiếng Việt: Khảo sát, tinh chỉnh (Fine-tuning) và lượng tử hóa (Quantization) các mô hình ngôn ngữ mã nguồn mở hàng đầu tiếng Việt: vilm/vietcuna-7b-v3, vinai/PhoGPT-7B5-Instruct, và vietzephyr-7b-lora.
  3. Tối ưu hóa tài nguyên phần cứng: Áp dụng kỹ thuật Lượng tử hóa theo trọng số kích hoạt (Activation-aware Weight Quantization - AWQ) và LoRA để nén mô hình xuống 4-bit/8-bit mà không làm suy giảm độ chính xác ngữ nghĩa (Perplexity loss < 1.2%).
  4. Phát triển sản phẩm thực tế: Triển khai hoàn chỉnh hệ thống ứng dụng web tương tác người dùng với backend FastAPI độ trễ thấp và giao diện ReactJS trực quan, hỗ trợ tính năng minh bạch trích dẫn nguồn dữ liệu tham khảo.

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Tiêu chí so sánh Tìm kiếm truyền thống (TF-IDF / BM25) LLM nguyên bản (ChatGPT / LLaMA Zero-shot) Giải pháp ODQA RAG đề xuất (Hệ thống NTTU QA)
Cơ chế hoạt động Khớp từ khóa bề mặt (Lexical Matching) Tự sinh từ theo trọng số xác suất nội tại Truy xuất ngữ cảnh thực + Sinh văn bản kiểm chứng
Độ chính xác thông tin Thấp - trả về toàn bộ đoạn/tập tin Trung bình - dễ xuất hiện ảo giác (Hallucination) Rất cao - bám sát tài liệu nguồn của trường/Wikipedia
Khả năng cập nhật tri thức Tức thì (cập nhật chỉ mục văn bản) Rất chậm & tốn kém (cần Retrain mô hình) Tức thì (chỉ cần nhúng bổ sung chunk vào Qdrant)
Khả năng suy luận ngữ nghĩa Không có khả năng suy luận Tốt nhưng thiếu kiểm soát miền hẹp Xuất sắc, vừa suy luận vừa trích dẫn nguồn xác thực
Chi phí phần cứng Rất thấp (chạy trên CPU) Cực cao (hạ tầng Cloud LLM quy mô lớn) Tối ưu hóa (chạy ổn định trên GPU đơn lẻ 8GB–12GB VRAM)

Phân tích yêu cầu hệ thống theo mô hình MoSCoW

  • Must Have (Bắt buộc phải có):
    • Module bẻ nhỏ văn bản và vector hóa dữ liệu Sổ tay sinh viên NTTU 2023–2024.
    • Vector Database lưu trữ không gian nhúng đa chiều hỗ trợ Similarity Search.
    • Mô hình ngôn ngữ tiếng Việt đã lượng tử hóa (4-bit/8-bit) phản hồi câu trả lời tự nhiên.
    • Giao diện hội thoại người dùng có trích dẫn chỉ mục tài liệu tham khảo rõ ràng.
  • Should Have (Nên có):
    • Cơ chế Re-ranking bằng BERT để tối ưu hóa thứ hạng tài liệu liên quan trước khi đưa vào context.
    • Tích hợp kho tri thức mở rộng từ Wikipedia tiếng Việt.
  • Could Have (Có thể mở rộng):
    • Trang quản trị cập nhật tài liệu PDF trực tiếp và tự động Re-index.
    • Hệ thống thu thập phản hồi (Feedback/Bug report) từ người dùng theo thời gian thực.
  • Won't Have (Chưa thực hiện trong phạm vi đồ án):
    • Hỗ trợ xử lý trực tiếp các bảng biểu phức tạp và dữ liệu dạng hình ảnh (Multimodal).

Thiết kế hệ thống

Kiến trúc hệ thống được xây dựng theo mô hình Microservices phân tầng tách biệt, đảm bảo tính mô-đun hóa, khả năng mở rộng linh hoạt và tốc độ phản hồi cao.

                    +------------------------------------------+
                    |             CLIENT INTERFACE             |
                    |       (ReactJS 18 + TailwindCSS)         |
                    +--------------------+---------------------+
                                         | (RESTful API / JSON)
                                         v
+------------------------------------------------------------------------------------+
|                                 FASTAPI BACKEND                                    |
|                                                                                    |
|  [Query Preprocessing] ---> [Embedding Model (BERT)] ---> [Search Pipeline]        |
|                                                                  |                 |
|  +-------------------------+                                     v                 |
|  |     BERT Re-ranker      | <----------------------- [Top-K Semantic Chunks]      |
|  +------------+------------+                                                       |
|               |                                                                    |
|               v                                                                    |
|  [Prompt Context Builder] -> [Inference Engine (vLLM)] -> [Streamed Output]       |
+----------------------------------------+-------------------------------------------+
                                         |
                       +-----------------+-----------------+
                       |                                   |
                       v                                   v
        +----------------------------+      +-------------------------------+
        |    Qdrant Vector Engine    |      |  Quantized LLM Engine (AWQ)   |
        | (HNSW Indexing / Cosine)   |      | (vietcuna-7b / vietzephyr-7b) |
        +----------------------------+      +-------------------------------+

Technology Stack và phiên bản cụ thể

  • Machine Learning & NLP Core: PyTorch 2.1.0+cu118, Transformers 4.35.0, LangChain 0.1.0, vLLM 0.2.7, AutoAWQ 0.1.8, PEFT 0.7.1 (LoRA).
  • Vector Database: Qdrant Vector Database Server v1.7.0 (Giao thức gRPC/REST, cấu hình khoảng cách Distance.COSINE).
  • Backend API Gateway: FastAPI 0.104.1, Uvicorn 0.24.0, Pydantic v2.
  • Frontend Web Application: ReactJS 18.2.0, TailwindCSS 3.3.0, Axios, Lucide React Icons.

Cấu trúc chỉ mục Vector Database (Qdrant Schema)

{
  "collection_name": "nttu_student_handbook",
  "vectors": {
    "size": 768,
    "distance": "Cosine"
  },
  "payload_schema": {
    "chunk_id": "integer",
    "source": "string",
    "section_title": "string",
    "content": "text",
    "created_at": "datetime"
  }
}

Methodology

Đề tài áp dụng quy trình phát triển lặp kết hợp giữa phương pháp nghiên cứu thực nghiệm (Empirical Research) và quy trình phát triển phần mềm linh hoạt (Agile Methodology) trong 16 tuần:

Tuần 01-04: Khảo sát lý thuyết, thu thập tài liệu Sổ tay sinh viên, tiền xử lý dữ liệu.
Tuần 05-08: Xây dựng Vector DB Qdrant, thử nghiệm các mô hình Embedding và Re-ranking.
Tuần 09-12: Lượng tử hóa AWQ, Fine-tuning LoRA trên các LLM 7B, đo lường Perplexity/Loss.
Tuần 13-14: Đóng gói API FastAPI, tối ưu hóa suy luận bằng vLLM, xây dựng giao diện ReactJS.
Tuần 15-16: Đánh giá thực nghiệm qua BERTScore và Human Evaluation, hoàn thiện báo cáo.

Implementation và kết quả

Development Process

1. Pipeline tiền xử lý và chia tách văn bản (Text Processing & Chunking)

Dữ liệu Sổ tay sinh viên 2023–2024 được xử lý loại bỏ nhiễu, chuyển đổi bảng biểu điểm rèn luyện, học bổng thành dạng diễn giải tự nhiên, sau đó phân đoạn theo chiến lược trượt (Sliding Window):

$$\text{Chunk Size} = 800 \text{ ký tự}, \quad \text{Chunk Overlap} = 400 \text{ ký tự}$$

Tổng cộng tập dữ liệu học vụ sau khi phân tích thu được 184 chunks đảm bảo tính toàn vẹn ngữ nghĩa, không bị đứt đoạn thông tin giữa các điều khoản.

# Trích đoạn cấu hình nạp dữ liệu và lập chỉ mục Vector Database
from langchain.text_splitter import RecursiveCharacterTextSplitter
from qdrant_client import QdrantClient
from qdrant_client.models import VectorParams, Distance, PointStruct

# Khởi tạo thuật toán phân đoạn văn bản
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=800,
    chunk_overlap=400,
    length_function=len,
    separators=["\n\n", "\n", ".", " ", ""]
)

documents = text_splitter.split_text(raw_cleaned_handbook_text)

# Khởi tạo kết nối Qdrant Engine
client = QdrantClient(host="localhost", port=6333)
client.recreate_collection(
    collection_name="nttu_knowledge_base",
    vectors_config=VectorParams(size=768, distance=Distance.COSINE)
)

2. Kỹ thuật lượng tử hóa mô hình với AWQ (Activation-aware Weight Quantization)

Để khắc phục tình trạng suy giảm chất lượng khi ép kiểu thô bạo (RTN - Round-to-Nearest), kỹ thuật AWQ tiến hành scale ma trận trọng số $W$ dựa trên độ lớn của kênh kích hoạt $S$:

$$W' = W \cdot \operatorname{diag}(s), \quad X' = \operatorname{diag}(s)^{-1} \cdot X$$

Nhờ giữ lại $1%$ các trọng số quan trọng nhất tại các kênh kích hoạt lớn, mô hình vietcuna-7b-v3 giảm kích thước từ 14.2 GB (FP16) xuống còn 4.1 GB (INT4) mà không làm biến dạng phân phối xác suất sinh từ.

# Script lượng tử hóa mô hình ngôn ngữ sang định dạng 4-bit AWQ
from awq import AutoAWQForCausalLM
from transformers import AutoTokenizer

model_path = "vilm/vietcuna-7b-v3"
quant_path = "vietcuna-7b-v3-awq-int4"
quant_config = {
    "zero_point": True,
    "q_group_size": 128,
    "w_bit": 4,
    "version": "GEMM"
}

# Load model và tokenizer
model = AutoAWQForCausalLM.from_pretrained(model_path)
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)

# Tiến hành lượng tử hóa dựa trên tập dữ liệu hiệu chuẩn tiếng Việt
model.quantize(tokenizer, quant_config=quant_config)
model.save_quantized(quant_path)
tokenizer.save_pretrained(quant_path)

3. Tinh chỉnh mô hình bằng phương pháp LoRA (Low-Rank Adaptation)

Mô hình zephyr-7b-beta được huấn luyện thích nghi với tiếng Việt trên bộ dữ liệu vilm/OpenOrca-Viet sử dụng LoRA với các siêu tham số tối ưu:

  • Rank ($r$): 8, Alpha ($\alpha$): 16, Dropout: 0.05
  • Target Modules: q_proj, k_proj, v_proj, o_proj
  • Learning Rate: $2 \times 10^{-4}$ (Cosine Learning Rate Scheduler)
  • Chi phí tham số cần cập nhật: chỉ chiếm 0.06% tổng số tham số mô hình gốc.
       Training Loss Curve:
       Loss
        | 
       2.1 |*
           | *
       1.5 |  *
           |   **
       0.9 |     ****
           |         *************
       0.4 |                      **************** (Converged at step 1200)
        +--------------------------------------------------> Steps

Testing và validation

Hiệu năng của các biến thể mô hình được đánh giá toàn diện trên tập dữ liệu chuẩn gồm 146 câu hỏi - đáp thực tế của sinh viên NTTU bằng phương pháp tự động (BERTScore) và đánh giá mù từ chuyên gia (Human Evaluation).

BERTScore Evaluation Matrix:
-----------------------------------------------------------------------
Precision (P_BERT) = max_{r in R} (e_c . e_r)
Recall (R_BERT)    = max_{c in C} (e_c . e_r)
F1_BERT            = 2 . (P_BERT . R_BERT) / (P_BERT + R_BERT)
-----------------------------------------------------------------------

Kết quả đánh giá định lượng tự động (BERTScore)

Mô hình thử nghiệm Kiểu tối ưu hóa Precision (BERT) Recall (BERT) F1-Score (BERT) Suy hao Perplexity (PPL)
vietcuna-7b-v3 (Gốc) FP16 (Full Precision) 0.8142 0.8320 0.8229 Gốc (Chuẩn)
vietcuna-7b-v3-AWQ 4-bit AWQ (Đề xuất) 0.8095 0.8284 0.8188 +0.32 (Không đáng kể)
PhoGPT-7B5-Instruct 8-bit Quantization 0.7710 0.7985 0.7845 +1.45
vietzephyr-7b-8bit-lora LoRA + 8-bit BitsAndBytes 0.7925 0.8112 0.8017 +0.88 
                       BERTScore F1 Comparison
   1.0 +-------------------------------------------------------+
       |                                                       |
   0.8 |   [0.8229]         [0.8188]         [0.7845]         [0.8017]
       |  +--------+       +--------+       +--------+       +--------+
   0.6 |  | vietc. |       |  AWQ   |       | PhoGPT |       | Zephyr |
       |  |  FP16  |       | 4-bit  |       | 8-bit  |       |  LoRA  |
   0.4 |  |        |       |        |       |        |       |        |
       +--+--------+-------+--------+-------+--------+-------+--------+

Kết quả đánh giá bằng chuyên gia (Human Evaluation qua 15 ca kiểm thử đa dạng)

Thang điểm đánh giá từ 1 đến 5 dựa trên 3 tiêu chí: Tính chính xác (Accuracy), Tính đầy đủ (Completeness), và Độ tự nhiên (Fluency).

  • vietcuna-7b-v3-AWQ: Điểm trung bình 4.47 / 5.00 (Tỷ lệ trả lời chính xác thông tin học vụ đạt 93.3%).
  • PhoGPT-7B5-Instruct: Điểm trung bình 3.80 / 5.00 (Thường sinh câu trả lời ngắn, thiếu chi tiết trích dẫn).
  • vietzephyr-7b-8bit-lora: Điểm trung bình 4.13 / 5.00 (Khả năng diễn đạt tốt, ngữ điệu tự nhiên).

Kết quả đạt được

+----------------------------------------------------------------------------+
|                          CÁC CHỈ SỐ ĐẠT ĐƯỢC CHÍNH                         |
|                                                                            |
|   [*] Dung lượng VRAM phục vụ:      14.2 GB  --->  4.1 GB  (-71.1%)        |
|   [*] Tốc độ sinh từ (Inference):    12 tps  --->   38 tps  (+216.6%)      |
|   [*] Độ trễ phản hồi (End-to-End): 4.50 s   --->   1.42 s (-68.4%)        |
|   [*] Tỷ lệ đáp ứng câu hỏi mở:     93.3% trả lời chính xác ngữ cảnh       |
+----------------------------------------------------------------------------+

Hệ thống đã triển khai thành công một ứng dụng Web tương tác hoàn chỉnh:

  • Giao diện người dùng: Trang chủ NTTU Chatbot, màn hình trò chuyện đa lượt (Multi-turn Chat), bảng hiển thị trích dẫn tài liệu tham khảo theo thời gian thực, module FAQs và kênh tiếp nhận phản hồi.
  • Độ ổn định backend: Xử lý trơn tru các câu truy vấn phức tạp đồng thời nhờ công cụ phục vụ mô hình vLLM tận dụng kỹ thuật PagedAttention.

Đổi mới và đóng góp

Các đóng góp kỹ thuật nổi bật

  1. Tiên phong tích hợp AWQ cho LLM tiếng Việt: Đề tài là một trong những công trình thực nghiệm đầu tiên ứng dụng thành công kỹ thuật Activation-aware Weight Quantization lên mô hình vietcuna-7b, chứng minh khả năng nén 4-bit mà không làm suy giảm độ mạch lạc của tiếng Việt.
  2. Kiến trúc RAG nâng cao kết hợp Re-ranking: Không chỉ dựa vào khoảng cách Cosine thô, đồ án tích hợp mô hình BERT Re-ranker giúp tăng độ chính xác của Top-K tài liệu đầu vào cho Generator lên thêm 18.5%.
  3. Bộ dữ liệu chuẩn hóa đặc thù học vụ: Xây dựng thành công tập ngữ liệu 184 chunks chuẩn hóa từ Sổ tay sinh viên và tập test 146 cặp hỏi-đáp đối chuẩn có thể tái sử dụng cho các nghiên cứu NLP tiếng Việt sau này.
                           SO SÁNH CÁC HỆ THỐNG
+---------------------+-----------------------+-----------------------------+
|   Hệ thống cũ       |  Mô hình đề tài       |  Cải thiện đạt được         |
|   (BM25 / Keyword)  |  (AWQ RAG Pipeline)   |                             |
+---------------------+-----------------------+-----------------------------+
| Chỉ tìm đoạn chứa từ| Đọc hiểu ngữ nghĩa    | +100% khả năng trả lời trực |
| khóa, không trả lời | và tổng hợp câu trả   | tiếp vào trọng tâm câu hỏi. |
| trực tiếp.          | lời súc tích.         |                             |
|                     |                       |                             |
| Không thể xử lý câu | Trích xuất ý nghĩa    | Tăng 42% độ hài lòng của    |
| hỏi dạng ngữ cảnh.  | từ văn bản phức tạp.  | người dùng thử nghiệm.      |
+---------------------+-----------------------+-----------------------------+

Ứng dụng thực tế và triển khai

Kịch bản ứng dụng trong thực tế

  • Trợ lý ảo học vụ thông minh tại các trường đại học: Tích hợp trực tiếp vào Cổng thông tin đào tạo hoặc Fanpage/Zalo OA của nhà trường, hỗ trợ tự động giải đáp 24/7 hàng nghìn thắc mắc của sinh viên về tín chỉ, học bổng, điểm rèn luyện, giảm tải 80% áp lực cho Phòng Công tác Sinh viên.
  • Hệ thống quản trị tri thức nội bộ doanh nghiệp (Enterprise Knowledge Base): Áp dụng kiến trúc RAG + AWQ để hỏi đáp trên hàng chục nghìn trang tài liệu quy trình ISO, sổ tay nhân viên và hợp đồng mẫu với chi phí máy chủ tối thiểu.

Hướng dẫn triển khai hệ thống (Deployment Architecture)

# 1. Khởi chạy Vector Database Engine (Qdrant) qua Docker
docker run -d -p 6333:6333 -p 6334:6334 \
    -v $(pwd)/qdrant_storage:/qdrant/storage:z \
    qdrant/qdrant:v1.7.0

# 2. Khởi chạy LLM Inference Engine với vLLM tối ưu GPU
python3 -m vllm.entrypoints.api_server \
    --model vietcuna-7b-v3-awq-int4 \
    --quantization awq \
    --dtype half \
    --gpu-memory-utilization 0.85 \
    --port 8001

# 3. Khởi chạy Backend API Gateway (FastAPI)
uvicorn backend.main:app --host 0.0.0.0 --port 8000 --workers 4

Phân tích hiệu quả kinh tế (Cost-Benefit & ROI Analysis)

  • Chi phí hạ tầng phần cứng: Thay vì phải thuê các cụm GPU cao cấp (như A100/H100 chi phí từ $3.00 - $5.00/giờ), giải pháp nén AWQ cho phép vận hành trơn tru trên 01 GPU tầm trung phổ thông (NVIDIA RTX 3090 24GB hoặc T4 16GB với chi phí khoảng $0.35 - $0.50/giờ), tiết kiệm hơn 85% chi phí vận hành máy chủ.
  • Thời gian hoàn vốn (ROI): Ước tính trong vòng 3–6 tháng sau khi đưa vào vận hành thực tế nhờ cắt giảm giờ làm thủ công của nhân sự tư vấn học vụ.

Hạn chế và hướng phát triển

Hạn chế kỹ thuật hiện tại

  • Xử lý tài liệu dạng bảng phức tạp: Mặc dù đã xử lý thủ công các bảng biểu quan trọng, hệ thống vẫn gặp khó khăn khi trích xuất tự động các bảng số liệu lồng nhau phức tạp trực tiếp từ tệp PDF gốc.
  • Suy luận đa bước (Multi-hop Reasoning): Khi câu hỏi yêu cầu liên kết thông tin từ 3–4 điều khoản nằm cách xa nhau trong sổ tay, mô hình đôi khi chỉ tổng hợp được thông tin của 2 điều khoản có điểm tương đồng cao nhất.

Lộ trình nâng cấp mở rộng

  1. Tích hợp Graph RAG: Ứng dụng đồ thị tri thức (Knowledge Graph) kết hợp với Vector Search để xử lý triệt để các câu hỏi suy luận logic nhiều bước.
  2. Nâng cấp công nghệ OCR đa thể thức (Multimodal Ingestion): Tích hợp các mô hình Vision-Language (như ColPali / Nougat) để phân tích trực tiếp hình ảnh, sơ đồ và bảng biểu học phí phức tạp.
  3. Huấn luyện mô hình Embedding chuyên biệt cho tiếng Việt học vụ: Fine-tuning mô hình Sentence-BERT trên tập dữ liệu câu hỏi thực tế của sinh viên để nâng cao hơn nữa độ chính xác trong pha tìm kiếm (Retrieval Phase).

Đối tượng hưởng lợi

+-----------------------------------------------------------------------------+
|                          BẢN ĐỒ LỢI ÍCH TỔNG THỂ                            |
+------------------------------------+----------------------------------------+
| SINH VIÊN                          | LẬP TRÌNH VIÊN & KỸ SƯ AI              |
| Tra cứu quy chế 24/7 tức thì,      | Nắm vững kiến trúc RAG thực chiến,     |
| tránh sai sót trong đăng ký tín    | kỹ thuật lượng tử hóa AWQ và tối ưu    |
| chỉ và xét học bổng.               | hóa Inference Engine với vLLM.         |
+------------------------------------+----------------------------------------+
| NHÀ TRƯỜNG & TỔ CHỨC               | CỘNG ĐỒNG NGHIÊN CỨU NLP               |
| Tự động hóa giải đáp học vụ,       | Cung cấp bộ benchmark và dữ liệu       |
| giảm 80% khối lượng công việc hành | đối sánh giá trị cho các bài toán      |
| chính lặp lại của phòng ban.       | hỏi đáp tiếng Việt trên LLM mã nguồn mở|
+------------------------------------+----------------------------------------+

Câu hỏi thường gặp

1. Cấu hình phần cứng tối thiểu để triển khai hệ thống là gì?

Hệ thống yêu cầu máy chủ chạy hệ điều hành Linux (Ubuntu 20.04/22.04 LTS), CPU 4 Cores, 16GB RAM hệ thống và 01 GPU NVIDIA có tối thiểu 8GB VRAM (hỗ trợ kiến trúc Turing trở lên như RTX 2060 12GB, RTX 3060, RTX 3090, hoặc NVIDIA T4 Cloud GPU) để chạy mô hình 7B đã lượng tử hóa 4-bit AWQ.

2. Giới hạn mở rộng (Scalability) của hệ thống được giải quyết ra sao?

Qdrant Vector Database hỗ trợ kiến trúc phân tán (Distributed Deployment) và lưu trữ Sharding, cho phép xử lý hàng chục triệu vector tài liệu với thời gian truy vấn dưới 15ms. Ở tầng sinh văn bản, vLLM với cơ chế PagedAttention hỗ trợ Continuous Batching, cho phép phục vụ đồng thời hàng trăm người dùng với thông lượng sinh từ cao gấp 2–4 lần so với backend HuggingFace thông thường.

3. Làm thế nào để cập nhật dữ liệu mới khi trường thay đổi quy chế?

Quá trình cập nhật hoàn toàn không cần huấn luyện lại LLM. Quản trị viên chỉ cần đưa văn bản quy chế mới qua module Text Splitter, sinh vector embedding và đẩy trực tiếp vào Qdrant qua lệnh API upsert. Toàn bộ dữ liệu mới sẽ có hiệu lực ngay lập tức trong phiên hỏi đáp tiếp theo.

4. Hệ thống đảm bảo tính an toàn và chống ảo giác (Hallucination) như thế nào?

Hệ thống sử dụng kỹ thuật Strict Grounded Prompting, buộc mô hình ngôn ngữ chỉ được trả lời dựa trên nội dung các chunks được cung cấp bởi Retriever. Nếu điểm tương đồng ngữ nghĩa của các tài liệu trích xuất dưới ngưỡng cho phép ($\text{Cosine Similarity} < 0.65$), hệ thống sẽ phản hồi an toàn: "Xin lỗi, tài liệu quy chế hiện tại không có thông tin về vấn đề này", thay vì tự ý sinh thông tin giả.

5. Chi phí đầu tư và lộ trình thu hồi vốn ước tính?

Chi phí triển khai máy chủ GPU Cloud dao động khoảng 6.000.000 – 10.000.000 VNĐ/tháng. Nhờ giảm tải trung bình 300–500 giờ làm việc hành chính mỗi tháng của cán bộ tư vấn, dự án mang lại tỷ suất hoàn vốn ROI rõ rệt chỉ sau 3 đến 5 tháng vận hành chính thức.

Kết luận

Đồ án "Xây dựng hệ thống trả lời câu hỏi miền mở trên Tiếng Việt" của sinh viên Nguyễn Thành Phát đã giải quyết xuất sắc bài toán ứng dụng công nghệ AI tạo sinh vào môi trường giáo dục đại học. Thông qua sự kết hợp bài bản giữa kiến trúc RAG hiện đại, cơ sở dữ liệu vector Qdrant tốc độ cao, kỹ thuật lượng tử hóa tiên tiến AWQ và công cụ phục vụ suy luận vLLM, đề tài đã chứng minh tính khả thi vượt trội trong việc xây dựng một hệ thống hỏi đáp chuyên sâu tiếng Việt: Chính xác cao (F1 BERTScore 0.8188) - Phản hồi nhanh (1.42s) - Tiết kiệm tài nguyên (4.1GB VRAM).

Mô hình không chỉ dừng lại ở phạm vi một khóa luận tốt nghiệp xuất sắc mà còn là giải pháp kỹ thuật hoàn chỉnh, sẵn sàng chuyển giao công nghệ cho các trường đại học, tổ chức giáo dục và doanh nghiệp đang tìm kiếm giải pháp chuyển đổi số và khai phóng giá trị từ kho tri thức văn bản nội bộ.