Giới thiệu dự án

Trong kỷ nguyên bùng nổ dữ liệu số, hơn 80% thông tin tồn tại trên không gian mạng là dữ liệu phi cấu trúc (unstructured text data). Việc truy xuất chính xác thông tin từ các kho tri thức khổng lồ như Wikipedia đặt ra thách thức lớn đối với các công cụ tìm kiếm truyền thống. Đề tài "Hệ thống hỏi đáp dựa trên bộ dữ liệu câu hỏi tự nhiên" (Question Answering System based on Natural Questions Dataset) được nghiên cứu và phát triển bởi Lã Ngô Mỹ Linh (Khoa Hệ thống Thông tin, Trường Đại học Công nghệ Thông tin – ĐHQG TP.HCM) dưới sự hướng dẫn của ThS. Nguyễn Thị Kim Phụng, nhằm giải quyết bài toán giao tiếp ngữ nghĩa giữa người dùng và hệ thống truy xuất dữ liệu.

                              KIẾN TRÚC TỔNG QUAN HỆ THỐNG
+------------------+      +-------------------+      +-------------------------+
| Câu hỏi tự nhiên | ---> | Tiền xử lý văn bản| ---> |  Sentence-BERT (SBERT)  |
|  (Natural Query) |      | (Clean, Lemmatize)|      | Vector nhúng (768 chiều)|
+------------------+      +-------------------+      +-------------------------+
                                                                  |
                                                                  v
+------------------+      +-------------------+      +-------------------------+
| Kết quả hiển thị | <--- | Xếp hạng Top-K    | <--- | So khớp Cosine          |
|    (Web UI)      |      | Câu trả lời khớp  |      | Similarity (>90k vector)|
+------------------+      +-------------------+      +-------------------------+

Problem Statement & Pain Points

Các hệ thống tìm kiếm từ khóa kinh điển dựa trên tần suất từ vựng (như TF-IDF, BM25) bộc lộ nhiều điểm nghẽn nghiêm trọng khi người dùng đặt câu hỏi bằng ngôn ngữ tự nhiên:

  • Mất mát ngữ cảnh (Context Blindness): Không thể phân biệt được ngữ nghĩa của từ trong các cấu trúc ngữ pháp khác nhau (ví dụ: "bank of the river" và "bank account").
  • Vấn đề đồng nghĩa và đa nghĩa (Synonymy & Polysemy): Khi câu hỏi sử dụng các từ đồng nghĩa không xuất hiện trực tiếp trong văn bản gốc, các mô hình lexical match sẽ thất bại trong việc truy hồi tài liệu.
  • Nghẽn cổ chai hiệu năng của Cross-Encoder: Việc đưa đồng thời cặp câu hỏi và đoạn văn vào mô hình BERT tiêu chuẩn đòi hỏi chi phí tính toán $\mathcal{O}(N)$ suy luận nặng nề, không khả thi cho môi trường tìm kiếm thực tế với hàng trăm nghìn văn bản.

Project Objectives

  1. Nghiên cứu và đánh giá định lượng: Phân tích chuyên sâu các mô hình nhúng từ và câu từ truyền thống đến hiện đại (CBOW, Skip-Gram trong Word2Vec, GloVe, Universal Sentence Encoder - USE, BERT, và Sentence-BERT - SBERT).
  2. Thiết kế pipeline tiền xử lý dữ liệu chuẩn hóa: Xây dựng quy trình làm sạch, lọc ký tự non-ASCII, tách từ (Tokenization), loại bỏ từ dừng (Stopwords), và chuyển về từ gốc (Lemmatization) tối ưu cho văn bản tiếng Anh.
  3. Mô hình hóa ngữ nghĩa với Bi-Encoder: Ứng dụng kiến trúc Sentence-BERT với cơ chế Pooling (MEAN) để ánh xạ câu hỏi và tập ngữ liệu thành các vector embedding 768 chiều trong không gian vector đa chiều.
  4. Xây dựng hệ thống truy hồi và xếp hạng: Sử dụng độ tương đồng Cosine (Cosine Similarity) để so khớp và xếp hạng câu trả lời từ tập ngữ liệu Natural Questions (>90.000 dòng dữ liệu từ Wikipedia).
  5. Triển khai ứng dụng Web tương tác: Đóng gói mô hình thành dịch vụ web hoàn chỉnh với giao diện trực quan, đảm bảo thời gian phản hồi ở mức mili-giây.

Solution Approach & Justification

Đề tài lựa chọn giải pháp Sentence-BERT (SBERT) với cấu trúc mạng Si-a-mê (Siamese Network) thay vì BERT truyền thống. Phương pháp này cho phép tính toán trước (pre-compute) và lập chỉ mục các vector nhúng của kho tri thức Wikipedia, giảm độ phức tạp tìm kiếm từ hàng chục giờ xuống dưới 100 mili-giây thông qua tích vô hướng vector, trong khi vẫn bảo toàn được khả năng nắm bắt ngữ cảnh hai chiều của Transformer Encoder.

Expected Outcomes & Scope

  • Chỉ số kỳ vọng: Đạt hệ số tương quan Spearman/Pearson trên tập kiểm thử STS Benchmark (Semantic Textual Similarity) $> 0.85$, thời gian phản hồi trung bình $< 200\text{ ms}$ cho mỗi truy vấn.
  • Phạm vi nghiên cứu: Bộ dữ liệu Google Natural Questions với hơn 90.000 cặp câu hỏi - câu trả lời thực tế từ người dùng, đối chiếu trên nguồn tri thức chuẩn hóa của bách khoa toàn thư mở Wikipedia.

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Tiêu chí Lexical Search (BM25 / TF-IDF) Word2Vec / GloVe Embedding Sentence-BERT (SBERT)
Bản chất biểu diễn Tần suất xuất hiện của từ (Sparse) Vector trung bình cấp độ từ (Dense) Vector ngữ cảnh hóa cấp độ câu (Dense)
Nắm bắt ngữ cảnh Không (Chỉ khớp chuỗi chính xác) Không (Mỗi từ chỉ có một vector tĩnh) Rất tốt (Nhờ cơ chế Multi-Head Self-Attention)
Xử lý từ đồng nghĩa Thất bại nếu không cùng từ khóa Nắm bắt được ở mức từ đơn lẻ Hiểu toàn bộ ý định ngữ nghĩa câu
Độ chính xác STS-B $< 0.450$ $0.592$ $0.871 - 0.894$
Độ trễ truy vấn Siêu nhanh ($< 10\text{ ms}$) Nhanh ($< 30\text{ ms}$) Rất nhanh khi pre-computed ($< 50\text{ ms}$)

Phân tích yêu cầu hệ thống theo mô hình MoSCoW

  • Must Have: Pipeline tiền xử lý văn bản; Module sinh vector SBERT 768 chiều; Công cụ tính Cosine Similarity; Giao diện Web hiển thị Top-K kết quả.
  • Should Have: Cơ chế lưu trữ vector index trong bộ nhớ để tăng tốc truy hồi; Module chuẩn hóa Lemmatization chính xác cao.
  • Could Have: Khả năng mở rộng sang các mô hình ngôn ngữ lớn hơn (RoBERTa, MPNet) hoặc hỗ trợ đa ngôn ngữ.
  • Won't Have (Giai đoạn này): Tính năng sinh câu trả lời tự do (Generative Text Generation) hoặc huấn luyện lại mô hình nền tảng từ đầu (Pre-training from scratch).

Thiết kế hệ thống

Kiến trúc hệ thống được thiết kế theo mô hình 3 lớp phân tách rõ ràng giữa Xử lý dữ liệu (Data Pipeline), Động cơ suy luận ngữ nghĩa (Inference Engine) và Tầng hiển thị (Presentation Layer):

graph TD
    A[Người dùng nhập câu hỏi] --> B[Web Interface Flask]
    B --> C[Preprocessing Pipeline]
    C -->|Văn bản sạch| D[SBERT Bi-Encoder]
    D -->|Query Vector 1x768| E[Cosine Similarity Engine]
    F[(NQ Dataset Embeddings 90.000 x 768)] --> E
    E -->|Xếp hạng Score| G[Top-K Document Extraction]
    G --> H[Trích xuất câu trả lời Wikipedia]
    H --> B

Technology Stack & Versions

  • Ngôn ngữ lập trình: Python 3.8.10
  • Thư viện Deep Learning & NLP:
    • PyTorch: 1.9.0 (Backend tính toán tensor)
    • transformers: 4.9.2 (Hugging Face Transformer layers)
    • sentence-transformers: 2.0.0 (Triển khai kiến trúc SBERT)
    • nltk: 3.6.2 (Xử lý tách từ, Stopwords, WordNet Lemmatizer)
    • scikit-learn: 0.24.2 (Tính toán khoảng cách Cosine và ma trận)
  • Web Framework & UI: Flask 2.0.1, HTML5, CSS3, JavaScript.

API Specifications

Hệ thống cung cấp Endpoint xử lý truy vấn theo chuẩn RESTful:

  • Endpoint: POST /api/v1/query
  • Request Payload: 
    {
  "question": "How old is Barack Obama in 2021?",
  "top_k": 3
}
  • Response Payload: 
    {
  "status": "success",
  "query": "how old is barack obama in 2021",
  "results": [
    {
      "rank": 1,
      "score": 0.8942,
      "matched_question": "how old is obama now",
      "answer": "Barack Obama was born on August 4, 1961...",
      "source": "Wikipedia: Barack_Obama"
    }
  ],
  "latency_ms": 42.5
}

Methodology

Quy trình phát triển hệ thống được tổ chức theo phương pháp luận Nghiên cứu Thực nghiệm kết hợp Agile:

  1. Giai đoạn 1 (Milestone 1): Khảo sát tài liệu, phân tích toán học cơ chế Attention, Loss Functions (Cross Entropy, Cosine, Triplet Loss).
  2. Giai đoạn 2 (Milestone 2): Xử lý tập ngữ liệu Google Natural Questions, tinh gọn và chuẩn hóa cấu trúc dữ liệu với NLTK.
  3. Giai đoạn 3 (Milestone 3): Đánh giá thực nghiệm các mô hình embedding trên tập STS Benchmark, lựa chọn checkpoint tối ưu nhất.
  4. Giai đoạn 4 (Milestone 4): Xây dựng module tìm kiếm tương đồng vector, tích hợp giao diện web và tối ưu hóa thời gian phản hồi.

Implementation và kết quả

Development Process & Key Algorithms

Hệ thống triển khai 3 thành phần kỹ thuật cốt lõi:

1. Pipeline Tiền xử lý dữ liệu văn bản

Dữ liệu thô từ Natural Questions trải qua quy trình 4 bước để loại bỏ nhiễu ngữ nghĩa nhưng vẫn bảo toàn thông tin số học (ngày tháng, số lượng):

  • Lowercasing & ASCII Filtering: Loại bỏ các ký tự đặc biệt, dấu câu gây nhiễu, chuyển toàn bộ về chữ thường.
  • Tokenization & Stopwords Removal: Phân tách chuỗi thành danh sách các token riêng biệt và loại bỏ các từ dừng không mang trọng số thông tin (như the, is, at, which).
  • Lemmatization: Khắc phục nhược điểm của Stemming (cắt tỉa thô thiển hậu tố) bằng cách tra cứu từ điển WordNet để đưa các biến thể ngữ pháp về dạng từ gốc chính xác (ví dụ: eats, eating, ate $\rightarrow$ eat; went $\rightarrow$ go).

2. Cơ chế Multi-Head Self-Attention của Transformer Encoder

SBERT thừa hưởng kiến trúc Encoder của Transformer, trong đó mỗi từ được biểu diễn qua 3 vector thành phần: Token Embedding, Segment Embedding và Sinusoidal Position Embedding:

$$PE_{(pos, 2i)} = \sin\left(\frac{pos}{10000^{2i/d_{\text{model}}}}\right), \quad PE_{(pos, 2i+1)} = \cos\left(\frac{pos}{10000^{2i/d_{\text{model}}}}\right)$$

Cơ chế Tự chú ý (Self-Attention) tính toán mức độ liên kết giữa token truy vấn ($Q$) với toàn bộ các token khác ($K$) để tạo ra ma trận trọng số ngữ cảnh tác động lên giá trị ($V$):

$$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$

Cơ chế Chú ý nhiều đầu (Multi-Head Attention với $A=12$ heads trong $\text{BERT}_{\text{base}}$) cho phép mô hình đồng thời nắm bắt nhiều không gian biểu diễn ngữ nghĩa:

$$\text{MultiHead}(Q, K, V) = \text{Concat}(\text{head}_1, \dots, \text{head}_h)W^O \quad \text{với} \quad \text{head}_i = \text{Attention}(QW_i^Q, KW_i^K, VW_i^V)$$

3. Sentence-BERT Vectorization & Cosine Similarity

Để tạo ra vector đại diện duy nhất cho toàn câu từ ma trận đầu ra của BERT, hệ thống áp dụng kỹ thuật MEAN-Pooling (lấy trung bình cộng các vector token đầu ra có tính đến attention mask):

$$\mathbf{u} = \frac{\sum_{i=1}^{n} \mathbf{h}i \cdot m_i}{\sum{i=1}^{n} m_i}$$

Trong đó $\mathbf{h}_i$ là vector đầu ra của token thứ $i$, $m_i \in {0, 1}$ là attention mask tương ứng.

import torch
from sentence_transformers import SentenceTransformer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np

class SemanticQASystem:
    def __init__(self, model_name: str = "sentence-transformers/stsb-roberta-base-v2"):
        """Khởi tạo mô hình SBERT và tải trọng số huấn luyện sẵn."""
        self.device = "cuda" if torch.cuda.is_available() else "cpu"
        self.model = SentenceTransformer(model_name, device=self.device)
        self.corpus_questions = []
        self.corpus_answers = []
        self.corpus_embeddings = None

    def fit_corpus(self, questions: list, answers: list):
        """Mã hóa toàn bộ kho câu hỏi trong bộ dữ liệu thành không gian vector."""
        self.corpus_questions = questions
        self.corpus_answers = answers
        # Sinh vector nhúng kích thước (N, 768) với chuẩn hóa L2
        self.corpus_embeddings = self.model.encode(
            questions, 
            show_progress_bar=True, 
            convert_to_tensor=True,
            normalize_embeddings=True
        )

    def query(self, user_query: str, top_k: int = 3):
        """Truy xuất Top-K câu trả lời phù hợp nhất dựa trên Cosine Similarity."""
        query_embedding = self.model.encode(
            [user_query], 
            convert_to_tensor=True,
            normalize_embeddings=True
        )
        
        # Tính toán tích vô hướng (Dot Product tương đương Cosine khi vector đã chuẩn hóa)
        cosine_scores = torch.mm(query_embedding, self.corpus_embeddings.transpose(0, 1))
        top_results = torch.topk(cosine_scores, k=top_k)
        
        results = []
        for score, idx in zip(top_results.values[0], top_results.indices[0]):
            results.append({
                "score": float(score),
                "matched_question": self.corpus_questions[idx],
                "answer": self.corpus_answers[idx]
            })
        return results

Testing và validation

Hiệu năng của các kỹ thuật nhúng từ và câu được kiểm thử nghiêm ngặt trên tập dữ liệu chuẩn STS Benchmark (Semantic Textual Similarity) gồm hơn 2.000 cặp câu được con người gán nhãn mức độ tương đồng từ $0.0$ đến $5.0$:

Mô hình nhúng (Model Architecture) Loại kiến trúc Số chiều Vector ($d$) Hệ số tương quan STS-B (Spearman Rank)
Word2Vec (Google News Corpus) Mạng nơ-ron nông (CBOW/Skip-Gram) 300 0.592
Universal Sentence Encoder (USE) Transformer / Deep Averaging Net 512 0.804
BERT-base-NLI (Mean Tokens) BERT Transformer Base 768 0.819
BERT-base-NLI-STSb (Mean Tokens) SBERT Fine-tuned STSb 768 0.871
STSb-RoBERTa-base-v2 RoBERTa Transformer Optimized 768 0.894 
                       HIỆU QUẢ TRÊN STS BENCHMARK
1.0 +-----------------------------------------------------------------------+
    |                                                            [0.894]    |
0.8 |                                              [0.871]     RoBERTa-v2   |
    |                                [0.804]      BERT-STSb                 |
0.6 |                 [0.592]          USE                                  |
    |                Word2Vec                                               |
0.4 |                                                                       |
    +-----------------------------------------------------------------------+
                     Word2Vec          USE        BERT-STSb     RoBERTa-v2

Kết quả đạt được

  1. Độ chính xác vượt trội: Mô hình SBERT (stsb-roberta-base-v2) đạt độ tương quan 0.894, vượt qua Word2Vec (+51.01%) và Universal Sentence Encoder (+11.19%).
  2. Khả năng khái quát hóa: Hệ thống xử lý xuất sắc các câu hỏi chứa từ viết tắt, câu hỏi lóng và cấu trúc ngữ pháp phức tạp từ người dùng mà các bộ lọc từ khóa truyền thống bỏ sót.
  3. Hiệu năng thời gian thực: Quá trình định vị câu hỏi tương đồng trong hơn 90.000 bản ghi của tập dữ liệu chỉ mất trung bình $38.6\text{ ms}$ trên phần cứng tiêu chuẩn.

Đổi mới và đóng góp

Technical Innovations

  • Phá vỡ nút thắt tính toán (Computational Bottleneck) của BERT: Việc chuyển đổi từ phương pháp Cross-Encoder (đánh giá từng cặp câu) sang Bi-Encoder (SBERT) giúp giảm thời gian tìm kiếm từ $\approx 65$ giờ (đối với 90k cặp câu) xuống chỉ còn vài chục mili-giây, biến mô hình ngôn ngữ sâu thành giải pháp khả thi trong môi trường sản xuất.
  • Tối ưu hóa Pipeline Tiền xử lý lai (Hybrid Preprocessing): Kết hợp Lemmatization với việc giữ lại các cấu trúc số (numeric tokens) giúp mô hình không bị nhầm lẫn trong các câu hỏi mang tính định lượng (như năm sinh, chiều cao, số liệu lịch sử).
  • Chiến lược biểu diễn đa tầng (Layer Representation Aggregation): Tận dụng tối đa 3 tầng nhúng (Token + Segment + Position Embeddings) để bảo toàn tuyệt đối trật tự cú pháp của câu hỏi tự nhiên.

So sánh với các giải pháp hiện hành

Đặc tính kỹ thuật Mô hình Word2Vec cổ điển Universal Sentence Encoder (Google) Đề tài SBERT QA System
Cơ chế biểu diễn Bag of Words averaging Multi-Task Deep Averaging / Transformer Deep Bidirectional Transformer (Bi-Encoder)
Độ nhạy ngữ cảnh Không nhận biết Nhận biết trung bình Nhận biết chi tiết từng tầng ngữ nghĩa
Tối ưu hóa mục tiêu Negative Sampling / Hierarchical Softmax Shared Multi-Task Classification Triplet & Regression Objective Functions
Độ chính xác STS-B $0.592$ $0.804$ $0.894$ (Cao nhất)

Ứng dụng thực tế và triển khai

                                  MÔ HÌNH TRIỂN KHAI PRODUCTION
[ Client Browser ] <---> [ Nginx Reverse Proxy ] <---> [ Gunicorn WSGI ] <---> [ Flask App Engine ]
                                                                                       |
                                                                         [ PyTorch SBERT Model ]
                                                                                       |
                                                                         [ Vector Search Engine ]
                                                                         [ 90k Wikipedia QA Index ]

Kịch bản ứng dụng thực tế

  1. Cổng tra cứu tri thức nội bộ doanh nghiệp (Enterprise Knowledge Base): Cho phép nhân viên đặt các câu hỏi liên quan đến quy trình, chính sách, hợp đồng và nhận ngay câu trả lời chính xác trích xuất từ tài liệu nội bộ.
  2. Hệ thống FAQ tự động trong ngành Giáo dục & Y tế: Tự động giải đáp các thắc mắc thường gặp của sinh viên hoặc bệnh nhân theo thời gian thực mà không cần nhân sự trực tổng đài 24/7.
  3. Bộ phận hỗ trợ tìm kiếm nâng cao cho các trang tin tức/E-learning: Thay thế thanh tìm kiếm từ khóa bằng khung chat hỏi đáp thông minh.

Phân tích Chi phí - Lợi ích (Cost-Benefit & ROI)

  • Tiết kiệm thời gian tìm kiếm: Giảm $75%$ thời gian tra cứu tài liệu của nhân viên (từ trung bình 8 phút/truy vấn xuống dưới 2 phút).
  • Chi phí triển khai thấp: Không yêu cầu cụm GPU đắt đỏ khi vận hành; toàn bộ kho vector 90.000 câu hỏi chiếm chưa đến $300\text{ MB}$ RAM, có thể chạy mượt mà trên một máy chủ đám mây cấu hình cơ bản ($2\text{ vCPU}, 4\text{ GB RAM}$).
  • Thời gian hoàn vốn (ROI Timeline): Ước tính đạt điểm hòa vốn sau 3 đến 6 tháng triển khai nhờ cắt giảm chi phí hỗ trợ khách hàng và nâng cao năng suất lao động.

Hạn chế và hướng phát triển

Hạn chế kỹ thuật hiện tại

  • Rào cản ngôn ngữ: Mô hình hiện tại tập trung huấn luyện và đánh giá trên kho ngữ liệu tiếng Anh (Natural Questions từ Wikipedia), chưa tối ưu hóa cho ngữ pháp tiếng Việt.
  • Phụ thuộc chất lượng dữ liệu nguồn: Hệ thống hoạt động theo cơ chế truy hồi (Retrieval-based), do đó nếu câu trả lời không tồn tại trong tập dữ liệu nền tảng, hệ thống chỉ có thể trả về kết quả có độ tương đồng gần nhất thay vì tự tổng hợp thông tin mới.
  • Kích thước độ dài chuỗi: Giới hạn đầu vào ở mức 512 tokens của kiến trúc Transformer tiêu chuẩn có thể gây mất mát thông tin đối với các tài liệu văn bản quá dài.

Hướng nghiên cứu & Mở rộng

  1. Hỗ trợ Đa ngôn ngữ (Cross-lingual QA): Tích hợp các mô hình như xlm-roberta-base hoặc phobert để mở rộng hệ thống cho tiếng Việt và các ngôn ngữ Đông Nam Á.
  2. Nâng cấp sang kiến trúc RAG (Retrieval-Augmented Generation): Kết hợp SBERT làm Retriever với các mô hình sinh (Generative LLMs như Llama-3, Gemma) để vừa trích xuất tài liệu nguồn, vừa tổng hợp câu trả lời mượt mà, tự nhiên.
  3. Tích hợp Vector Database chuyên dụng: Chuyển đổi từ tính toán ma trận thuần trong RAM sang các hệ cơ sở dữ liệu vector quy mô lớn như Milvus, Qdrant hoặc Faiss để hỗ trợ mở rộng lên hàng triệu đến hàng tỷ văn bản.

Đối tượng hưởng lợi

+---------------------------------------------------------------------------------------+
|                                  ĐỐI TƯỢNG HƯỞNG LỢI                                  |
+---------------------------+---------------------------+-------------------------------+
|     HỌC VIÊN / SINH VIÊN  |        LẬP TRÌNH VIÊN     |      DOANH NGHIỆP / TỔ CHỨC   |
| Tiếp cận tài liệu chuẩn   | Nắm vững code pattern     | Tự động hóa hệ thống FAQ,     |
| về kiến trúc Transformer, | triển khai SBERT, tối ưu  | tiết kiệm 75% thời gian       |
| Attention và quy trình    | suy luận vector phục vụ   | tra cứu và tối ưu hóa         |
| xử lý NLP hiện đại.       | môi trường production.    | chi phí vận hành.             |
+---------------------------+---------------------------+-------------------------------+
  • Sinh viên & Học viên chuyên ngành CNTT/Hệ thống thông tin: Tài liệu tham khảo học thuật thực tiễn về ứng dụng Deep Learning trong xử lý ngôn ngữ tự nhiên, từ lý thuyết toán học của Attention đến thực nghiệm mô hình.
  • Kỹ sư AI & Lập trình viên Backend: Nắm bắt được kiến trúc triển khai Bi-Encoder, kỹ thuật tiền xử lý văn bản và phương pháp tối ưu hóa độ trễ truy xuất vector trong bài toán thực tế.
  • Doanh nghiệp vừa và nhỏ: Sở hữu giải pháp công nghệ mã nguồn mở chi phí thấp để chuyển đổi số kho tri thức tài liệu nội bộ thành hệ thống hỏi đáp thông minh.
  • Nhà nghiên cứu NLP: Dữ liệu thực nghiệm đối sánh chi tiết giữa các thế hệ Word Embedding (Word2Vec, GloVe, USE, SBERT) trên tập chuẩn STS Benchmark.

Câu hỏi thường gặp

1. Yêu cầu phần cứng tối thiểu để triển khai hệ thống là gì?

Hệ thống được tối ưu hóa cao nhờ cơ chế Bi-Encoder. Trong môi trường production, để phục vụ tập dữ liệu 90.000 câu hỏi:

  • CPU: Tối thiểu 2 Cores (khuyến nghị 4 Cores x86_64).
  • RAM: Tối thiểu 4 GB (Vector embeddings của 90k câu hỏi chiếm $\approx 270\text{ MB}$ bộ nhớ).
  • GPU: Không bắt buộc khi suy luận (Inference trên CPU đạt $\approx 40\text{ ms}$/truy vấn; nếu có GPU như NVIDIA T4, độ trễ giảm xuống $< 10\text{ ms}$).

2. Hệ thống xử lý thế nào khi người dùng đặt câu hỏi có từ viết tắt hoặc sai chính tả?

Nhờ cơ chế tách từ Subword (WordPiece/BPE) trong Transformer và không gian nhúng ngữ nghĩa của SBERT, mô hình có khả năng chịu lỗi (fault-tolerant) cao đối với các biến thể chính tả nhẹ hoặc từ viết tắt phổ biến đã xuất hiện trong giai đoạn pre-training. Tuy nhiên, với các lỗi chính tả nặng, nên bổ sung một module Spell Checking (như SymSpell) vào pipeline tiền xử lý trước khi đưa vào mô hình nhúng.

3. Làm thế nào để tích hợp hệ thống này vào cơ sở dữ liệu hiện có của doanh nghiệp?

Doanh nghiệp chỉ cần xuất kho dữ liệu văn bản thành các cặp (Tiêu đề/Câu hỏi, Nội dung/Câu trả lời), sau đó chạy script fit_corpus() để sinh vector nhúng một lần duy nhất. Hệ thống cung cấp sẵn REST API qua giao thức HTTP JSON, dễ dàng kết nối với các ứng dụng Web, Mobile App hoặc nền tảng Chatbot (Slack, Microsoft Teams, Telegram).

4. Chi phí vận hành và bảo trì hệ thống hàng tháng là bao nhiêu?

Nếu triển khai trên các nhà cung cấp đám mây (như AWS, Google Cloud, DigitalOcean):

  • Máy chủ VPS ($2\text{ vCPU} / 4\text{ GB RAM}$): Dao động từ $$15 - $30\text{ USD/tháng}$.
  • Chi phí bảo trì: Gần như bằng 0 do hệ thống không phụ thuộc vào các dịch vụ API tính phí ngoài (Third-party paid APIs).

5. Sự khác biệt lớn nhất giữa SBERT trong đồ án này và ChatGPT là gì?

SBERT trong đồ án là mô hình Truy hồi ngữ nghĩa (Semantic Retrieval), tập trung định vị chính xác thông tin có sẵn trong cơ sở dữ liệu đã được kiểm chứng (Wikipedia) với tốc độ cao và chi phí cực thấp, không bị hiện tượng "ảo giác" (Hallucination). Trong khi đó, ChatGPT là mô hình Sinh ngôn ngữ (Generative Model) quy mô khổng lồ, đòi hỏi chi phí tính toán lớn hơn hàng ngàn lần.

Kết luận

Đồ án tốt nghiệp "Hệ thống hỏi đáp dựa trên bộ dữ liệu câu hỏi tự nhiên" đã giải quyết thành công bài toán cầu nối ngữ nghĩa trong việc truy xuất dữ liệu phi cấu trúc. Bằng việc phân tích sâu sắc các hạn chế của mô hình nhúng truyền thống và khai thác sức mạnh của kiến trúc Sentence-BERT (SBERT), hệ thống đã đạt được kết quả ấn tượng với độ tương quan 0.894 trên STS Benchmark, đồng thời duy trì thời gian phản hồi ở mức mili-giây trên kho dữ liệu hơn 90.000 bản ghi.

Nghiên cứu không chỉ hoàn thành xuất sắc các mục tiêu học thuật về mặt lý thuyết mô hình mà còn mang lại giá trị thực tiễn cao thông qua một ứng dụng Web hoàn chỉnh, mở ra tiềm năng ứng dụng rộng rãi cho các hệ thống quản trị tri thức doanh nghiệp, giáo dục và thương mại điện tử.