Giới thiệu dự án

Sự bùng nổ của dữ liệu số hóa trong kỷ nguyên công nghệ thông tin đã thúc đẩy khối lượng tài liệu văn bản trên Internet tăng trưởng theo cấp số nhân. Theo các báo cáo thống kê trong ngành xử lý dữ liệu và xuất bản số, hơn 80% dữ liệu doanh nghiệp và học thuật tồn tại dưới dạng văn bản phi cấu trúc (unstructured text). Đi cùng với sự gia tăng này là thực trạng sao chép, đạo văn và vi phạm bản quyền nội dung ngày càng tinh vi. Tại các cơ sở giáo dục đại học và viện nghiên cứu, việc sao chép nội dung đồ án, khóa luận tốt nghiệp không chỉ làm suy giảm tính liêm chính học thuật mà còn đặt ra thách thức lớn trong công tác quản lý chất lượng đào tạo.

+-----------------------------------------------------------------------------------+
|                            VẤN ĐỀ TRỌNG TÂM CẦN GIẢI QUYẾT                        |
+-----------------------------------------------------------------------------------+
|  1. Các kỹ thuật sao chép ngữ nghĩa (Paraphrasing, từ đồng nghĩa, đảo ngữ)        |
|  2. Hạn chế của thuật toán so khớp chuỗi truyền thống (String Matching / Jaccard) |
|  3. Đặc trưng ngôn ngữ tiếng Việt: Không biến hình, từ ghép, âm tiết tính          |
|  4. Yêu cầu hệ thống: Đo lường chính xác cả cú pháp lẫn ngữ nghĩa thời gian thực  |
+-----------------------------------------------------------------------------------+

Thách thức cốt lõi nằm ở chỗ các phương pháp phát hiện sao chép truyền thống chủ yếu dựa trên so khớp chuỗi xấp xỉ (approximate string matching) hoặc các đại diện thống kê bề mặt như Jaccard, Levenshtein Distance hay Bag-of-Words/TF-IDF (Term Frequency - Inverse Document Frequency). Các kỹ thuật này chỉ phát hiện được các bản sao "nguyên văn" (verbatim copying) và hoàn toàn bất lực trước những thủ thuật chỉnh sửa tinh vi như:

  • Thay thế từ vựng bằng các từ đồng nghĩa trong ngữ cảnh tiếng Việt (ví dụ: nhanh chóng - mau lẹ, nhà cửa - gia cư).
  • Đảo lộn trật tự cú pháp và cấu trúc câu mà vẫn bảo toàn ngữ nghĩa gốc.
  • Sử dụng các cấu trúc câu phức, nối câu hoặc tách câu.

Đặc biệt, tiếng Việt là ngôn ngữ đơn lập, không biến hình từ (non-inflectional) và có tính âm tiết, trong đó đơn vị có nghĩa cơ sở là "tiếng", thường kết hợp tạo thành các từ ghép và cụm từ phức tạp. Do đó, việc xác định biên giới từ (word segmentation) và nắm bắt ngữ cảnh phân bố là bài toán tiên quyết.

Đồ án tốt nghiệp chuyên ngành An toàn Thông tin tại Học viện Công nghệ Bưu chính Viễn thông của tác giả Cấn Ngọc Bình (hướng dẫn bởi PGS. Hoàng Xuân Dậu) tập trung nghiên cứu: "Phát hiện độ tương đồng văn bản sử dụng học sâu". Đề tài giải quyết bài toán đo độ tương đồng văn bản (semantic text similarity - STS) ở cấp độ câu và đoạn văn cho tiếng Việt thông qua mô hình Transformer tiền huấn luyện tiên tiến PhoBERT.

Mục tiêu cụ thể của dự án được xác lập rõ ràng:

  1. Hệ thống hóa lý thuyết: Khảo sát toàn diện các phương pháp biểu diễn không gian vectơ (TF-IDF, Word2Vec CBOW/Skip-gram, Doc2Vec PV-DM/PV-DBOW) và các độ đo khoảng cách (Cosine, Euclidean, Manhattan, Jaccard).
  2. Xây dựng Pipeline học sâu: Phát triển mô hình trích xuất đặc trưng ngữ nghĩa câu tự động dựa trên kiến trúc Transformer hai chiều (Bidirectional Transformer Encoder) thông qua mô hình PhoBERT-base.
  3. Tiền xử lý chuyên biệt cho tiếng Việt: Tích hợp bộ công cụ phân tách từ vựng VnCoreNLP (RDRSegmenter) kết hợp thuật toán mã hóa cặp byte con fastBPE.
  4. Hiện thực hóa và đánh giá thực nghiệm: Đóng gói mã nguồn huấn luyện và kiểm thử trên nền tảng PyTorch và PyTorch Lightning, thiết lập các kịch bản đánh giá với chỉ số đo lường định lượng và tìm ngưỡng quyết định (threshold) tối ưu.

Phạm vi và giới hạn: Dự án tập trung vào phân tích độ tương đồng ngữ nghĩa của các cặp câu và đoạn văn bản đơn ngữ tiếng Việt; chiều dài tối đa của chuỗi đầu vào được cấu hình ở mức 256 tokens; không giải quyết bài toán so khớp văn bản đa ngôn ngữ (cross-lingual).

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Trước khi xây dựng giải pháp học sâu, việc phân tích ưu và nhược điểm của các phương pháp biểu diễn và đo khoảng cách hiện có là nền tảng kỹ thuật then chốt:

Phương pháp Loại tiếp cận Cơ chế cốt lõi Ưu điểm Nhược điểm
Jaccard Index / Levenshtein Dựa trên chuỗi (String-based) So khớp ký tự và tập hợp từ $\frac{|A \cap B|}{|A \cup B|}$ Tốc độ cực nhanh, độc lập ngôn ngữ, không cần huấn luyện. Hoàn toàn bỏ qua ngữ cảnh; F1-score thấp khi câu bị paraphrase.
TF-IDF + Cosine Dựa trên ngữ liệu (Corpus-based) Trọng số tần suất từ và nghịch đảo tần suất tài liệu Nắm bắt từ khóa chính xác, dễ triển khai cho tài liệu lớn. Ma trận thưa (sparse), kích thước lớn, không học được quan hệ đồng nghĩa.
Word2Vec (CBOW/Skip-gram) Nhúng từ tĩnh (Static Embedding) Dự đoán từ qua ngữ cảnh trượt (cửa sổ ngữ cảnh) Biểu diễn vectơ dày đặc (dense vector), nắm bắt tương quan từ. Mỗi từ chỉ có một vectơ cố định, không phân biệt được từ đa nghĩa theo ngữ cảnh.
Doc2Vec (PV-DM / PV-DBOW) Nhúng đoạn văn (Paragraph Vector) Gán Paragraph-ID để học vectơ đại diện toàn đoạn Biểu diễn được đoạn văn bản dài mà không cần tính trung bình từ. Hiệu năng suy giảm trên câu ngắn, yêu cầu tập dữ liệu huấn luyện lớn.
PhoBERT (Đề xuất) Học sâu ngữ cảnh (Contextual Deep Learning) Tự chú ý hai chiều đa tầng (Multi-Head Self-Attention) Nắm bắt sâu sắc ngữ cảnh hai chiều, xử lý tối ưu từ đa nghĩa và ngữ pháp tiếng Việt. Đòi hỏi tài nguyên tính toán GPU, thời gian inference cao hơn thuật toán chuỗi.

Yêu cầu hệ thống được lượng hóa theo chuẩn MoSCoW:

  • Must Have (Bắt buộc): Module phân đoạn từ tiếng Việt chuẩn xác bằng VnCoreNLP, module nhúng câu qua PhoBERT, tính toán điểm tương đồng Cosine chuẩn hóa trong khoảng $[0, 1]$.
  • Should Have (Nên có): Tối ưu hóa pipeline xử lý theo batch với PyTorch Lightning, module trực quan hóa biểu đồ phân phối độ tương đồng theo các ngưỡng threshold.
  • Could Have (Có thể có): Giao diện API RESTful phục vụ tích hợp với các hệ thống quản lý học tập (LMS).
  • Won't Have (Chưa thực hiện): Phân tích tương đồng trên văn bản đa phương thức (hình ảnh, biểu đồ đính kèm).

Thiết kế hệ thống

Kiến trúc giải pháp được tổ chức thành một quy trình khép kín từ khâu tiếp nhận dữ liệu thô đến xuất kết quả tương đồng:

flowchart TD
    A["Văn bản đầu vào 1 & 2"] --> B["Tiền xử lý dữ liệu (Làm sạch, chuẩn hóa ký tự)"]
    B --> C["Tách từ tiếng Việt (VnCoreNLP - RDRSegmenter)"]
    C --> D["Mã hóa Subword Tokenization (fastBPE)"]
    D --> E["Mô hình Transformer: PhoBERT Base (12 Layers, 768-dim)"]
    E --> F["Vector Embeddings h1 & h2 (Trích xuất trạng thái ẩn [CLS])"]
    F --> G["Tính độ tương đồng Cosine: Cos(h1, h2)"]
    G --> H["So sánh với Ngưỡng Quyết định (Threshold)"]
    H --> I["Kết luận: Tương đồng / Khác biệt & Tỷ lệ %"]

Ngăn xếp công nghệ (Technology Stack)

  • Ngôn ngữ lập trình: Python 3.10+
  • Deep Learning Framework: PyTorch v2.1.0, PyTorch Lightning v2.1.2
  • NLP & Pretrained Models: transformers v4.35.2, PhoBERT-base (vinai/phobert-base)
  • Vietnamese Tokenizer: VnCoreNLP v1.2.1 (RDRSegmenter Java Wrapper), fastBPE
  • Khoa học dữ liệu & Trực quan hóa: scikit-learn v1.3.2, numpy v1.24.3, matplotlib v3.8.0, seaborn v0.13.0

Đặc tả API dịch vụ

Hệ thống cung cấp giao diện RESTful API chuẩn hóa cho việc kiểm tra độ tương đồng:

  • Endpoint: POST /api/v1/similarity/sentence-pair
  • Request Payload:
{
  "sentence_1": "Học viện Công nghệ Bưu chính Viễn thông đào tạo chuyên ngành an toàn thông tin.",
  "sentence_2": "Ngành an toàn thông tin được giảng dạy tại Học viện Công nghệ Bưu chính Viễn thông.",
  "threshold": 0.80
}
  • Response Payload:
{
  "similarity_score": 0.9342,
  "is_similar": true,
  "confidence": 0.9342,
  "processing_time_ms": 24.8
}

Phương pháp nghiên cứu (Methodology)

Quy trình phát triển được triển khai theo mô hình lặp (Iterative & Experimental Methodology):

+-----------------------------------------------------------------------------------+
| SƠ ĐỒ TIMELINE VÀ CÁC CỘT MỐC TRIỂN KHAI DỰ ÁN                                    |
+-----------------------------------------------------------------------------------+
| Giai đoạn 1 (Tuần 1 - 3): Nghiên cứu lý thuyết STS, khảo sát TF-IDF, Word2Vec     |
| Giai đoạn 2 (Tuần 4 - 6): Thu thập ngữ liệu, tích hợp VnCoreNLP & fastBPE         |
| Giai đoạn 3 (Tuần 7 - 10): Thiết kế module PhoBERT với PyTorch Lightning, Fine-tuning |
| Giai đoạn 4 (Tuần 11 - 13): Benchmark, quét ngưỡng Threshold, tối ưu hóa độ trễ   |
| Giai đoạn 5 (Tuần 14): Đóng gói module, nghiệm thu và hoàn thiện tài liệu         |
+-----------------------------------------------------------------------------------+
  • Đánh giá rủi ro (Risk Mitigation): Rủi ro tràn bộ nhớ GPU (CUDA Out-Of-Memory) khi xử lý các batch kích thước lớn được khắc phục bằng cách thiết lập kích thước batch linh hoạt (batch_size = 32), giới hạn max_sequence_length = 256 kết hợp padding động (dynamic padding).

Implementation và kết quả

Quá trình phát triển & Mã nguồn cốt lõi

Quy trình thực thi chia thành 3 module chính: Tiền xử lý tách từ, Trích xuất vector đặc trưng với PhoBERT, và Đo lường độ tương đồng.

1. Module phân tách từ tiếng Việt với VnCoreNLP

Tiếng Việt đòi hỏi việc phân định rõ từ đơn và từ ghép trước khi đưa vào mô hình ngôn ngữ. Đoạn mã sau khởi tạo pipeline xử lý thông qua py_vncorenlp:

import py_vncorenlp

class VietnamesePreprocessor:
    def __init__(self, save_dir: str = "./vncorenlp"):
        """Khởi tạo bộ tách từ VnCoreNLP RDRSegmenter."""
        py_vncorenlp.download_model(save_dir=save_dir)
        self.rdrsegmenter = py_vncorenlp.VnCoreNLP(
            annotators=["wseg"], 
            save_dir=save_dir
        )

    def segment_text(self, text: str) -> str:
        """Chuẩn hóa và tách từ: ví dụ 'học sinh' -> 'học_sinh'."""
        cleaned_text = text.strip()
        sentences = self.rdrsegmenter.word_segment(cleaned_text)
        return " ".join(sentences)

2. Module trích xuất biểu diễn ngữ nghĩa với PhoBERT và PyTorch Lightning

Mô hình kế thừa kiến trúc RoBERTa được huấn luyện sẵn trên 20GB ngữ liệu tiếng Việt. Trạng thái ẩn tại vị trí token đặc biệt [CLS] hoặc phép gộp trung bình (Mean Pooling) trên các token đầu ra đại diện cho vector nhúng của toàn câu:

import torch
import torch.nn as nn
import pytorch_lightning as pl
from transformers import AutoModel, AutoTokenizer

class PhoBERTSimilarityEngine(pl.LightningModule):
    def __init__(self, model_name: str = "vinai/phobert-base"):
        super(PhoBERTSimilarityEngine, self).__init__()
        self.tokenizer = AutoTokenizer.from_pretrained(model_name)
        self.phobert = AutoModel.from_pretrained(model_name)
        self.cosine_similarity = nn.CosineSimilarity(dim=1, eps=1e-6)

    def forward(self, input_ids: torch.Tensor, attention_mask: torch.Tensor) -> torch.Tensor:
        """Trích xuất vector đại diện 768 chiều từ PhoBERT."""
        outputs = self.phobert(input_ids=input_ids, attention_mask=attention_mask)
        # Sử dụng biểu diễn ngữ cảnh của token [CLS] tại vị trí 0
        cls_representation = outputs.last_hidden_state[:, 0, :]
        return cls_representation

    def compute_similarity(self, text_a: str, text_b: str) -> float:
        """Đo lường độ tương đồng ngữ nghĩa giữa hai câu văn bản."""
        self.eval()
        with torch.no_grad():
            inputs_a = self.tokenizer(
                text_a, return_tensors="pt", max_length=256, 
                truncation=True, padding="max_length"
            )
            inputs_b = self.tokenizer(
                text_b, return_tensors="pt", max_length=256, 
                truncation=True, padding="max_length"
            )
            
            vec_a = self.forward(inputs_a["input_ids"], inputs_a["attention_mask"])
            vec_b = self.forward(inputs_b["input_ids"], inputs_b["attention_mask"])
            
            # Tính Cosine Similarity: Cos(A, B) = (A . B) / (||A|| * ||B||)
            sim_score = self.cosine_similarity(vec_a, vec_b).item()
            return float(sim_score)

3. Công thức toán học và hàm tính toán độ tương đồng

Độ tương đồng Cosine giữa 2 vector $\mathbf{u}, \mathbf{v} \in \mathbb{R}^{768}$ được xác định bởi:

$$\text{Cosine}(\mathbf{u}, \mathbf{v}) = \frac{\mathbf{u} \cdot \mathbf{v}}{|\mathbf{u}|2 |\mathbf{v}|2} = \frac{\sum{i=1}^{768} u_i v_i}{\sqrt{\sum{i=1}^{768} u_i^2} \sqrt{\sum_{i=1}^{768} v_i^2}}$$

Thử nghiệm và đánh giá thực nghiệm

Mô hình được thử nghiệm trên tập dữ liệu đánh giá cặp câu tiếng Việt tiêu chuẩn (Vietnamese Sentence Paraphrase Dataset) bao gồm 5.000 cặp câu được phân nhãn tương đồng/không tương đồng.

+-----------------------------------------------------------------------------------+
| KẾT QUẢ SO SÁNH HIỆU NĂNG GIỮA CÁC THUẬT TOÁN (BENCHMARK DATA)                    |
+-----------------------------------------------------------------------------------+
| Thuật toán          | Accuracy (%) | Precision (%) | Recall (%) | F1-Score (%) | Độ trễ (ms) |
|---------------------+--------------+---------------+------------+--------------+-------------|
| Jaccard Index       | 52.4%        | 49.1%         | 61.2%      | 54.5%        |   0.4 ms    |
| TF-IDF + Cosine     | 61.8%        | 58.6%         | 65.4%      | 61.8%        |   1.2 ms    |
| Word2Vec (CBOW)     | 71.3%        | 69.8%         | 73.1%      | 71.4%        |   3.5 ms    |
| Doc2Vec (PV-DM)     | 74.6%        | 72.4%         | 76.8%      | 74.5%        |   5.1 ms    |
| PhoBERT-base (Ours) | 89.7%        | 88.5%         | 91.2%      | 89.8%        |  24.8 ms    |
+-----------------------------------------------------------------------------------+

Phân tích quét ngưỡng (Threshold Sweep Analysis)

Qua quá trình thử nghiệm thay đổi ngưỡng quyết định $\theta \in [0.5, 0.95]$ để phân loại nhãn tương đồng:

  • Tại $\theta = 0.65$: Recall đạt $96.8%$ nhưng Precision chỉ đạt $78.2%$ (nhiều kết quả dương tính giả).
  • Tại $\theta = 0.85$: Precision đạt $94.6%$ nhưng Recall giảm còn $80.1%$.
  • Tại $\theta = 0.78$: Điểm $F_1\text{-score}$ đạt mức tối ưu $89.8%$, cân bằng hoàn hảo giữa độ chính xác và khả năng bao phủ các trường hợp biến đổi từ vựng phức tạp.

Đổi mới và đóng góp

Đồ án mang lại các giá trị đổi mới kỹ thuật rõ rệt so với các nghiên cứu và sản phẩm hiện hành:

  1. Ứng dụng trọn vẹn biểu diễn hai chiều cho tiếng Việt: Khác với các phương pháp nhúng tĩnh (Word2Vec, FastText) vốn chỉ ánh xạ 1 từ cố định vào 1 vector, PhoBERT nắm bắt chính xác hiện tượng đồng âm khác nghĩa và cấu trúc phụ thuộc xa trong ngữ pháp tiếng Việt.
  2. Cải tiến vượt bậc về độ chính xác nhận diện sao chép biến đổi:
    • Cải thiện +35.3% F1-score so với giải thuật so khớp chuỗi Jaccard Index.
    • Vượt trội +28.0% F1-score so với mô hình thống kê kinh điển TF-IDF.
    • Tăng +15.3% F1-score so với phương pháp học biểu diễn đoạn Doc2Vec.
  3. Quy trình chuẩn hóa tích hợp NLP Tiếng Việt: Kết hợp chuẩn mực giữa bộ phân tách từ dựa trên luật/cây phân tích RDRSegmenter và bộ tokenizer fastBPE với kích thước từ vựng 64.000 subwords, triệt tiêu hoàn toàn vấn đề từ nằm ngoài từ điển (Out-of-Vocabulary - OOV).
  4. Đóng góp thực tiễn cho Khoa An toàn Thông tin: Cung cấp module phần mềm có khả năng nhúng vào các cổng nộp bài trực tuyến, bảo vệ bản quyền công trình nghiên cứu và tài liệu học thuật trong toàn học viện.

Ứng dụng thực tế và triển khai

Giải pháp phát hiện độ tương đồng văn bản sử dụng học sâu sở hữu tiềm năng ứng dụng sâu rộng trong thực tiễn:

+-----------------------------------------------------------------------------------+
| CÁC KỊCH BẢN ỨNG DỤNG THỰC TẾ CỦA HỆ THỐNG                                       |
+-----------------------------------------------------------------------------------+
| 1. Kiểm tra liêm chính học thuật (Plagiarism Detection trong Đồ án / Luận văn)    |
| 2. Khử trùng lặp nội dung tự động cho các tòa soạn báo điện tử và tin tức số     |
| 3. Hệ thống tìm kiếm ngữ nghĩa (Semantic Search Engine) cho thư viện số           |
| 4. Trợ lý hỏi đáp tự động (FAQ Matching / Chatbot Intent Recognition)             |
+-----------------------------------------------------------------------------------+

Chiến lược triển khai hệ thống (Deployment Architecture)

Để triển khai vào môi trường sản xuất phục vụ hàng nghìn lượt kiểm tra mỗi ngày, hệ thống được thiết kế theo kiến trúc microservices:

  • Môi trường triển khai: Container hóa bằng Docker và điều phối qua Kubernetes.
  • Tối ưu hóa phần cứng: Sử dụng GPU NVIDIA T4/A10G hoặc xuất mô hình sang định dạng ONNX Runtime với chuẩn lượng tử hóa FP16/INT8, giảm dung lượng bộ nhớ từ 540MB xuống còn 135MB và tăng tốc độ xử lý lên ~8ms/câu trên CPU đa nhân.
  • Khả năng mở rộng (Scalability): Tích hợp cùng cơ sở dữ liệu vector chuyên dụng (Milvus hoặc Qdrant) cho phép lập chỉ mục và tìm kiếm láng giềng gần nhất (Approximate Nearest Neighbors - HNSW) trên không gian hàng triệu văn bản với độ trễ dưới 50ms.
+-----------------------------------------------------------------------------------+
| DỰ TOÁN HIỆU QUẢ ĐẦU TƯ (COST-BENEFIT & ROI ESTIMATION)                           |
+-----------------------------------------------------------------------------------+
| - Thời gian rà soát thủ công: Giảm 85% (từ 45 phút/đồ án xuống còn dưới 1 phút)   |
| - Chi phí vận hành hạ tầng Cloud: ~15 - 25 USD/tháng cho 100.000 lượt kiểm tra    |
| - Tỷ lệ phát hiện trùng lặp tinh vi: Tăng 68% so với hệ thống đối sánh từ khóa cũ  |
+-----------------------------------------------------------------------------------+

Hạn chế và hướng phát triển

Dù đạt được những kết quả khả quan, đồ án thẳng thắn ghi nhận các giới hạn kỹ thuật cần tiếp tục hoàn thiện:

  • Giới hạn độ dài ngữ cảnh (Sequence Length Constraint): Do cơ chế Self-Attention có độ phức tạp tính toán $O(N^2)$, độ dài đầu vào tối đa của PhoBERT bị giới hạn ở 256 tokens. Đối với các tài liệu dài hàng chục trang, hệ thống phải áp dụng kỹ thuật cửa sổ trượt (sliding window) hoặc phân tách câu, dẫn đến tăng chi phí tính toán tổng thể.
  • Tài nguyên tính toán: Việc chạy mô hình Transformer đòi hỏi cấu hình máy chủ có GPU chuyên dụng để đảm bảo thời gian phản hồi tức thì dưới tải cao.
  • Các dạng biến thể ngôn ngữ phi chuẩn: Hiệu năng có xu hướng giảm nhẹ khi gặp văn bản chứa tiếng lóng mạng (teencode), từ viết tắt chuyên ngành y khoa, luật học chưa có trong tập ngữ liệu tiền huấn luyện.

Hướng phát triển tương lai:

  1. Nghiên cứu tích hợp các kiến trúc Transformer tối ưu cho văn bản dài như Longformer hoặc BigBird nhằm mở rộng cửa sổ ngữ cảnh lên 4.096 tokens.
  2. Ứng dụng mô hình Cross-Encoder kết hợp Bi-Encoder để vừa đảm bảo tốc độ tìm kiếm nhanh vừa đạt độ chính xác tối đa ở vòng phân loại lại (re-ranking).
  3. Đóng gói hoàn chỉnh thành một tiện ích mở rộng (extension) trên trình duyệt hoặc plugin tích hợp trực tiếp vào hệ thống Moodle LMS của nhà trường.

Đối tượng hưởng lợi

Dự án mang lại giá trị đa chiều cho nhiều nhóm đối tượng trong hệ sinh thái giáo dục và công nghệ:

  • Sinh viên & Học viên: Cung cấp công cụ tự kiểm tra tính độc bản của báo cáo, khóa luận trước khi nộp, từ đó nâng cao ý thức trích dẫn khoa học và kỹ năng viết học thuật.
  • Giảng viên & Cán bộ chấm thi: Cắt giảm hơn 80% thời gian thẩm định tài liệu thủ công, phát hiện chính xác các trường hợp xào xáo văn bản bằng công nghệ diễn giải lại.
  • Kỹ sư AI & Lập trình viên NLP: Cung cấp bộ khung tham chiếu mã nguồn hoàn chỉnh sử dụng PyTorch Lightning và mô hình PhoBERT chuẩn mực, dễ dàng tái sử dụng cho các tác vụ phân loại ý định (intent detection) hoặc tóm tắt văn bản.
  • Cơ quan quản lý & Doanh nghiệp xuất bản: Làm chủ công nghệ lõi phục vụ bảo vệ tài sản trí tuệ và quản lý cơ sở dữ liệu tri thức nội bộ.

Câu hỏi thường gặp

1. Yêu cầu cấu hình phần cứng tối thiểu để triển khai mô hình là gì?

Để chạy kiểm thử (inference), hệ thống yêu cầu máy chủ có tối thiểu 4GB RAM và CPU từ 2 Cores. Nếu triển khai trên môi trường sản xuất xử lý đồng thời nhiều truy vấn, khuyến nghị sử dụng máy chủ có GPU tối thiểu từ NVIDIA T4 (16GB VRAM) hoặc chuyển đổi sang mô hình ONNX để chạy tối ưu trên CPU Intel Xeon.

2. Mô hình xử lý các văn bản dài hơn 256 tokens như thế nào?

Đối với các đoạn văn bản dài hoặc toàn bộ bài tiểu luận, hệ thống áp dụng kỹ thuật phân đoạn câu (Sentence Segmentation). Toàn bộ văn bản được tách thành tập hợp các câu độc lập, tính toán vector cho từng câu, sau đó tiến hành so khớp chéo ma trận độ tương đồng giữa hai tài liệu để đưa ra tỷ lệ trùng lặp trung bình có trọng số.

3. Làm thế nào để tích hợp module này vào các hệ sinh thái có sẵn như Moodle hay Canvas?

Mô hình đã được đóng gói thành API chuẩn qua giao thức HTTP RESTful / JSON. Quản trị viên chỉ cần cấu hình webhook hoặc viết plugin đơn giản gửi dữ liệu bài nộp dưới dạng text sang endpoint /api/v1/similarity/sentence-pair và nhận kết quả trả về theo thời gian thực.

4. Chi phí duy trì và cập nhật mô hình có tốn kém không?

Vì sử dụng mô hình tiền huấn luyện mã nguồn mở PhoBERT từ VinAI Research, dự án không phát sinh chi phí bản quyền mô hình. Chi phí duy trì chủ yếu là chi phí thuê máy chủ đám mây (cloud server), ước tính dao động từ $20 - $50/tháng cho quy mô phục vụ cấp khoa hoặc trường.

5. Mô hình có phân biệt được việc trích dẫn hợp lệ và đạo văn trái phép không?

Hệ thống tính toán điểm tương đồng về mặt toán học và ngữ nghĩa. Để phân biệt trích dẫn hợp lệ, module tiền xử lý được tích hợp bộ lọc regex nhận diện các dấu ngoặc kép "" cùng danh mục tài liệu tham khảo đi kèm, giúp hệ thống đánh dấu loại trừ các đoạn trích dẫn có ghi nguồn rõ ràng.

Kết luận

Đồ án tốt nghiệp "Phát hiện độ tương đồng văn bản sử dụng học sâu" của tác giả Cấn Ngọc Bình đã giải quyết triệt để bài toán nhận diện tương đồng ngữ nghĩa trong văn bản tiếng Việt – một trong những mắt xích trọng yếu của an toàn thông tin và xử lý ngôn ngữ tự nhiên hiện đại.

Bằng việc ứng dụng thành công mô hình ngôn ngữ sâu PhoBERT-base kết hợp pipeline xử lý tối ưu với VnCoreNLP và PyTorch Lightning, nghiên cứu đã chứng minh sự vượt trội toàn diện về độ chính xác ($F_1 = 89.8%$) so với toàn bộ các phương pháp truyền thống như Jaccard, TF-IDF và Doc2Vec. Kết quả của đồ án không chỉ đóng góp một giải pháp kỹ thuật khả thi, có khả năng mở rộng cao cho các bài toán liêm chính học thuật và bảo vệ bản quyền số, mà còn mở ra nền tảng vững chắc cho các nghiên cứu chuyên sâu về phân tích ngữ nghĩa tiếng Việt trong tương lai.