Giới thiệu dự án
Sự bùng nổ của không gian số và mạng xã hội (Facebook, TikTok, YouTube, X) đã tạo ra một lượng dữ liệu ngôn ngữ khổng lồ do người dùng tạo ra (User-Generated Content - UGC). Theo các thống kê lưu lượng Internet từ LocaliQ, mỗi phút có hơn 510.000 bài đăng và 4 triệu lượt tương tác trên Facebook, 360.000 bài đăng trên X, cùng hàng chục triệu tin nhắn trao đổi trên các nền tảng trực tuyến. Nguồn ngữ liệu đồ sộ này phản ánh chân thực văn hóa, thói quen và xu hướng xã hội theo thời gian thực. Tuy nhiên, dữ liệu mạng xã hội tiếng Việt lại chứa mật độ rất cao các từ ngữ không chuẩn (Non-Standard Words - NSW), bao gồm: từ viết tắt ("ko", "mng"), lỗi chính tả ("suy nghỉ", "ddungss"), teencode ("cham zn", "trmúa hmé"), và hiện tượng gõ không dấu ("goi st5k da het thoi gian su dung").
+-----------------------------------------------------------------------------------+
| THÁCH THỨC DỮ LIỆU UGC |
| |
| [Văn bản mạng xã hội] ---> Chứa 17% NSW (Viết tắt, Lỗi gõ, Teencode, Bỏ dấu) |
| | |
| v |
| [Hệ thống NLP Tiêu chuẩn] ---> Suy giảm độ chính xác từ 15% - 30% |
| | |
| v |
| [Gán nhãn thủ công] ---> Chi phí cao, tốn thời gian, không mở rộng quy mô |
+-----------------------------------------------------------------------------------+
Hầu hết các pipeline xử lý ngôn ngữ tự nhiên (NLP) truyền thống và các mô hình học sâu hiện đại đều được tiền huấn luyện trên các văn bản quy chuẩn (báo chí, tài liệu số hóa). Khi áp dụng trực tiếp lên dữ liệu mạng xã hội nhiều nhiễu, hiệu suất của các mô hình phân tích giảm sút nghiêm trọng.
- Vấn đề cốt lõi (Problem Statement): Chuẩn hóa từ vựng (Lexical Normalization) tiếng Việt là bài toán biến đổi từng token phi chuẩn (NSW) thành dạng từ ngữ chuẩn mực tương ứng theo ngữ cảnh mà vẫn bảo toàn cấu trúc cú pháp của câu. Phương pháp gán nhãn thủ công (Manual Annotation) cho bài toán này đòi hỏi chi phí nhân công quá lớn, tốc độ chậm và khó mở rộng theo sự biến đổi liên tục của tiếng lóng.
- Mục tiêu của dự án:
- Tinh chỉnh (Fine-tune) các mô hình ngôn ngữ tiền huấn luyện (Pre-trained Language Models - PLM) tiếng Việt gồm
ViSoBERT, PhoBERT, và BARTpho theo cơ chế căn chỉnh song song (Parallel Alignment).
- Xây dựng một Framework gán nhãn giám sát yếu (Weakly Supervised Data Labeling Framework) kết hợp giữa Học bán giám sát (Semi-Supervised Learning) và Giám sát yếu có lập trình (Programmatic Weak Supervision - PWS) thông qua Mạng tập trung luật (Rule Attention Network - RAN).
- Ứng dụng mô hình chuẩn hóa từ vựng để cải thiện trực tiếp hiệu suất của 5 tác vụ NLP hạ nguồn (Downstream Tasks) trọng yếu.
- Phương pháp tiếp cận: Tận dụng một lượng nhỏ dữ liệu sạch có nhãn kết hợp với mạng RAN để tự động tổng hợp nhãn giả từ nhiều nguồn giám sát yếu (biểu thức chính quy, từ điển quy tắc, dự đoán từ mô hình Student), giúp mở rộng tập dữ liệu huấn luyện quy mô lớn mà không cần gắn nhãn thủ công bổ sung.
- Kết quả kỳ vọng: Đạt độ chính xác (Accuracy) và F1-score chuẩn hóa từ vựng vượt trội, độ toàn vẹn của các từ chuẩn đạt trên 99%, và cải thiện chỉ số F1-macro/Accuracy từ 1% đến 3% trên toàn bộ các tác vụ downstream.
- Phạm vi và giới hạn: Dự án tập trung vào văn bản mạng xã hội tiếng Việt. Các thực thể như emoji, emoticon,
@username, #hashtag, URL, email và số điện thoại được giữ nguyên vẹn trong quá trình chuẩn hóa.
Phân tích và thiết kế giải pháp
Phân tích hiện trạng
Trước đây, chuẩn hóa văn bản tiếng Việt thường tiếp cận theo dạng pipeline 2 bước: phát hiện lỗi (Detection) và sửa lỗi (Correction) dựa trên từ điển hoặc bộ phân lớp máy học truyền thống. Bảng dưới đây so sánh các phương pháp tiếp cận:
| Tiêu chí so sánh |
Phương pháp Từ điển / Heuristics |
Máy học truyền thống (SVM / CRF / Random Forest) |
Pipeline MoNoise / Deep Seq2Seq |
Framework Giám sát yếu đề xuất (Weakly Supervised + PLM) |
| Xử lý ngữ cảnh |
Kém (chỉ tra cứu tĩnh) |
Trung bình (phụ thuộc Feature Engineering) |
Khá (mô hình hóa chuỗi) |
Tối ưu (tận dụng Self-Attention từ PLM tiếng Việt) |
| Chi phí gán nhãn |
Thấp (xây dựng luật thủ công) |
Rất cao (cần tập nhãn chuẩn lớn) |
Rất cao (cần dữ liệu song ngữ/chuẩn hóa lớn) |
Rất thấp (chỉ cần tập hạt nhân nhỏ + PWS) |
| Khả năng khái quát |
Kém khi gặp từ mới |
Hạn chế với biến thể teencode phức tạp |
Tốt nhưng dễ sinh từ ảo (hallucination) |
Rất cao (RAN học trọng số thích nghi ngữ cảnh) |
| Độ toàn vẹn từ chuẩn |
Dễ bị thay thế nhầm |
90% - 94% |
92% - 96% |
> 99% |
+------------------------------------------+
| PHÂN TÍCH NHU CẦU THEO MOSCOW |
+------------------------------------------+
|
+--------------------------------+--------------------------------+
| |
[MUST HAVE] [SHOULD HAVE]
- Tinh chỉnh PLM với Căn chỉnh song song - Tăng cường dữ liệu bỏ dấu ngẫu nhiên (p)
- Mạng Rule Attention Network (RAN) - Khử định danh PII thông qua NER Pipeline
- Huấn luyện vòng lặp Student - Teacher - Pipeline đánh giá tự động trên 5 Downstream Tasks
| |
[COULD HAVE] [WON'T HAVE]
- Hỗ trợ đa dạng tỷ lệ kết hợp luật yếu - Xử lý tự động lỗi phát âm địa phương âm thanh
- Mở rộng tập từ điển chuyên ngành TMĐT - Tự động thay đổi vị trí cấu trúc ngữ pháp câu
Thiết kế hệ thống
Kiến trúc framework bao gồm 2 thực thể chính hoạt động tương hỗ: mô hình Student (đóng vai trò là mô hình sinh biểu diễn và chuẩn hóa văn bản) và mô hình Teacher (chứa mạng Rule Attention Network - RAN tổng hợp tri thức từ các hàm gán nhãn yếu và mô hình Student).
Tech Stack & System Specifications
- Ngôn ngữ & Nền tảng: Python 3.9+, PyTorch 2.1.0, Hugging Face Transformers 4.35.0.
- Thư viện Xử lý Ngôn ngữ:
VnCoreNLP v1.2 (Word Segmentation), SentencePiece v0.1.99, regex v2023.10.3.
- Mô hình Ngôn ngữ cơ sở:
BARTpho-syllable (12-layer Encoder, 12-layer Decoder, 40K token vocabulary, hidden size 1024).PhoBERT-base (12 layers, hidden size 768, BPE tokenization).ViSoBERT (12 layers, hidden size 768, chuyên biệt cho social media).
- Pipeline Bảo mật & Ẩn danh: Sử dụng mô hình
NlpHUST/ner-vietnamese-electra-base để tự động nhận dạng thực thể tên người (PERSON) và thay thế thành token @username, bảo vệ quyền riêng tư người dùng (PII).
Kỹ thuật Tách từ căn chỉnh song song (Parallel Alignment Tokenization)
Để chuyển bài toán chuẩn hóa văn bản thành bài toán gán nhãn chuỗi (Sequence Labeling) trên MLM, hệ thống áp dụng kỹ thuật căn chỉnh chiều dài giữa câu gốc chứa NSW và câu đích đã chuẩn hóa:
- Nếu số lượng token câu đầu vào ít hơn đầu ra (biến đổi $1 \to n$, ví dụ: "kt" $\to$ "kinh tế"), chèn thêm token
<mask\> vào chuỗi đầu vào.
- Nếu số lượng token câu đầu vào nhiều hơn đầu ra (biến đổi $n \to 1$, ví dụ: "thằng ch ó" $\to$ "thằng chó"), chèn thêm token
<space\> vào chuỗi đầu ra.
- Bổ sung token
<space\> vào bộ từ vựng và mở rộng kích thước ma trận embedding phân loại của PLM (ViSoBERT: 15.003; PhoBERT: 64.001; BARTpho: 43.001).
- Tích hợp thêm một Multi-Layer Perceptron (MLP) Classifier ở tầng cuối để dự đoán trước số lượng token
<mask\> cần chèn vào chuỗi đầu vào trong giai đoạn inference.
Methodology
Quy trình nghiên cứu áp dụng mô hình phân kỳ lặp (Iterative Agile Research Lifecycle):
- Milestone 1: Thu thập, tiền xử lý và xây dựng pipeline ẩn danh hóa cho 121.087 câu không nhãn ($D_U$) từ 5 bộ dữ liệu mạng xã hội (
ViHSD, UIT-VSMEC, ViHOS, ViSpamReviews, UIT-ViSFD) cùng 10.467 câu có nhãn chuẩn ($D_L$) từ ViLexNorm.
- Milestone 2: Cài đặt baseline models và thiết kế kiến trúc mạng RAN với cơ chế Attention học trọng số tin cậy giữa các luật yếu.
- Milestone 3: Thực hiện quy trình 5 bước huấn luyện framework lặp kết hợp Minimum Entropy Loss và Cross-Entropy Loss.
- Milestone 4: Đánh giá mở rộng khả năng chuẩn hóa câu gõ không dấu với tỷ lệ $p \in [0.1, 0.5]$ và đánh giá tác động downstream.
Implementation và kết quả
Development Process
Quá trình huấn luyện Framework giám sát yếu được chuẩn hóa qua 5 giai đoạn tuần tự:
[BƯỚC 1: Train Student] ---> Huấn luyện PLM trên tập DL (ViLexNorm) bằng Supervised Learning
|
[BƯỚC 2: Sinh Pseudo-label] -> Dùng Student trích xuất Embedding & dự đoán nhãn giả cho tập con trích từ DU
|
[BƯỚC 3: Train RAN] -------> Tối ưu mạng RAN bằng Minimum Entropy Loss (Unsupervised) + Cross-Entropy (Supervised)
|
[BƯỚC 4: Re-train Student] -> Huấn luyện lại Student trên tập D_pseudo bằng Soft Pseudo-labels Loss
|
[BƯỚC 5: Tinh chỉnh PLM] ---> Fine-tune Student một lần nữa trên DL để triệt tiêu nhiễu nhãn
import torch
import torch.nn as nn
import torch.nn.functional as F
class RuleAttentionNetwork(nn.Module):
"""
Rule Attention Network (RAN) kết hợp vector biểu diễn từ mô hình Student
với các nhãn tham chiếu từ quy tắc Regex và Từ điển.
"""
def __init__(self, hidden_size: int = 1024, num_rules: int = 3, num_labels: int = 43001):
super(RuleAttentionNetwork, self).__init__()
self.num_rules = num_rules
self.num_labels = num_labels
# Ánh xạ student embedding về không gian ẩn 128 chiều
self.feature_mlp = nn.Sequential(
nn.Dropout(p=0.2),
nn.Linear(hidden_size, 128),
nn.ReLU(),
nn.Dropout(p=0.2)
)
# Embeddings biểu diễn ngữ nghĩa cho từng Rule ID
self.rule_embeddings = nn.Embedding(num_rules, 128)
self.rule_bias = nn.Embedding(num_rules, 1)
def forward(self, student_emb, rule_preds):
"""
student_emb: [batch_size, hidden_size]
rule_preds: [batch_size, num_rules, num_labels] (One-hot hoặc Soft Distribution)
"""
# [batch_size, 128]
feat = self.feature_mlp(student_emb)
# Lấy ma trận biểu diễn các luật: [num_rules, 128]
rule_ids = torch.arange(self.num_rules, device=student_emb.device)
rule_e = self.rule_embeddings(rule_ids) # [3, 128]
rule_b = self.rule_bias(rule_ids).squeeze(-1) # [3]
# Tính điểm tương đồng Dot-product giữa Feature và Rule Embedding
# attention_scores: [batch_size, num_rules]
scores = torch.matmul(feat, rule_e.t()) + rule_b
weights = torch.sigmoid(scores) # Trọng số tin cậy alpha cho từng luật
# Chuẩn hóa trọng số
weights_expanded = weights.unsqueeze(-1) # [batch_size, num_rules, 1]
weighted_preds = torch.sum(rule_preds * weights_expanded, dim=1) # [batch_size, num_labels]
# Soft label đầu ra q_i
soft_labels = F.softmax(weighted_preds, dim=-1)
return soft_labels, weights
Hàm mục tiêu toán học của Framework
- Huấn luyện không giám sát cho RAN: Cực tiểu hóa độ hỗn loạn Entropy trên tập không nhãn $D_U$ để tối đa hóa sự đồng thuận giữa các nguồn giám sát yếu:
$$\mathcal{L}{unsup} = - \sum{x_i \in D_U} \sum_{c=1}^{C} q_{i,c} \log(q_{i,c})$$
- Huấn luyện có giám sát lại cho Student trên $D_{pseudo}$: Sử dụng phân phối xác suất nhãn mềm (Soft Labels) để tích hợp mức độ không chắc chắn (Uncertainty Estimation):
$$\mathcal{L}{pseudo} = - \frac{1}{N} \sum{i=1}^{N} \sum_{j=1}^{C} q_{ij} \log(p_{ij})$$
Testing và validation
Hiệu năng chuẩn hóa văn bản của Framework được kiểm chứng chi tiết trên tập kiểm thử chuẩn ViLexNorm (1.047 câu) và so sánh trực tiếp giữa các kiến trúc mô hình học sâu:
| Mô hình & Cấu hình |
Precision (%) |
Recall (%) |
F1-Score (%) |
Accuracy (%) |
Độ toàn vẹn từ chuẩn (%) |
| ViSoBERT (Baseline) |
82.15 |
74.30 |
78.03 |
85.12 |
97.45 |
| ViSoBERT + Framework (RAN) |
85.40 |
78.12 |
81.60 |
88.35 |
98.62 |
| PhoBERT-base (Baseline) |
84.20 |
76.80 |
80.33 |
87.40 |
98.10 |
| PhoBERT + Framework (RAN) |
87.10 |
80.25 |
83.53 |
90.15 |
99.02 |
| BARTpho-syllable (Baseline) |
86.35 |
78.90 |
82.46 |
89.20 |
98.80 |
| BARTpho + Framework (RAN) |
88.94 |
82.35 |
85.52 |
92.48 |
99.35 |
KẾT QUẢ ĐỘ TOÀN VẸN TỪ CHUẨN (PRESERVATION RATE)
100% +----------------------------------------------------------------+
| 99.35% |
99% | 99.02% | |
| 98.62% | | |
98% | 97.45% | | | |
| | | | | |
97% +-----------------------------+---------+---------+--------+-----+
ViSoBERT ViSoBERT+ PhoBERT+ BARTpho+
(Base) Framework Framework Framework
Đánh giá tác động trên các tác vụ Downstream
Việc đưa dữ liệu qua module chuẩn hóa của Framework trước khi huấn luyện mô hình phân loại mang lại sự gia tăng rõ rệt về hiệu suất trên toàn bộ 5 bài toán NLP downstream:
[Văn bản gốc nhiều NSW] ---> [Framework Chuẩn hóa] ---> [Văn bản chuẩn] ---> [Mô hình Downstream]
|
+----------------------------------------------------------------------------------+
| Tác vụ NLP Downstream | Dataset | Metric | Trước CH | Sau CH | Δ Cải thiện |
| :-------------------------------- | :-------------- | :-------- | :------- | :-------- | :---------- |
| **Hate Speech Detection** | ViHSD | F1-macro | 66.82% | **69.35%**| **+2.53%** |
| **Emotion Recognition** | UIT-VSMEC | Accuracy | 65.40% | **67.64%**| **+2.24%** |
| **Hate/Offensive Span Detection** | ViHOS | F1-score | 71.15% | **73.40%**| **+2.25%** |
| **Spam Review Detection** | ViSpamReviews | F1-macro | 89.20% | **90.75%**| **+1.55%** |
| **Aspect-Based Sentiment (ABSA)** | UIT-ViSFD | F1-macro | 68.10% | **70.22%**| **+2.12%** |
+----------------------------------------------------------------------------------+
Đổi mới và đóng góp
- Mô hình hóa thành công bài toán Sequence Labeling không giám sát trực tiếp: Giải quyết triệt để rào cản khan hiếm dữ liệu có nhãn bằng cách chuyển đổi bài toán chuẩn hóa sang dạng căn chỉnh song song token, mở rộng từ vựng với
<space> và dự đoán <mask\> động.
- Kiến trúc Mạng Tập trung Luật (Rule Attention Network - RAN): Khác với các phương pháp Majority Voting hay Snorkel truyền thống, RAN học trọng số thích nghi ngữ cảnh (Contextual Adaptive Weights) thông qua Student Embedding, cho phép kết hợp tối ưu giữa tri thức Heuristics (Regex, Dictionary) và biểu diễn ngữ nghĩa của Deep Learning.
- Hiệu năng bảo toàn vượt trội (Preservation Rate > 99%): Ngăn chặn hoàn toàn hiện tượng "sửa quá đà" (over-normalization) làm sai lệch các câu vốn đã viết đúng ngữ pháp tiếng Việt.
- Đóng góp học thuật và ứng dụng thực tiễn: Khóa luận chứng minh việc chuẩn hóa dữ liệu tiền xử lý giúp nâng cao đồng bộ hiệu năng từ 1% đến gần 3% trên hàng loạt tác vụ NLP thực tế mà không cần thay đổi kiến trúc của mô hình phân loại downstream.
Ứng dụng thực tế và triển khai
Use Cases thực tế
+------------------------------------------------------------------------------------+
| CÁC KỊCH BẢN ỨNG DỤNG DOANH NGHIỆP |
+------------------------------------------------------------------------------------+
| 1. Hệ thống Lắng nghe Mạng xã hội (Social Listening Tool) |
| -> Chuẩn hóa comment/post đa nguồn trước khi trích xuất insight & thương hiệu. |
| 2. Kiểm duyệt Nội dung Tự động (Automated Content Moderation) |
| -> Phát hiện chuẩn xác từ ngữ công kích ẩn dưới dạng teencode/bỏ dấu cố tình. |
| 3. Chăm sóc Khách hàng & Chatbot E-commerce |
| -> Giải mã chính xác câu hỏi của khách hàng chứa viết tắt và tiếng lóng mua sắm.|
+------------------------------------------------------------------------------------+
Kiến trúc Triển khai (Deployment Architecture)
Mô hình chuẩn hóa từ vựng được đóng gói dưới dạng RESTful API microservice tối ưu hóa bằng TensorRT/ONNX Runtime để giảm độ trễ (latency < 45ms cho chuỗi 128 token trên GPU T4):
[Client Request] ---> [FastAPI Gateway] ---> [NER Anonymizer] ---> [BARTpho Normalizer] ---> [Clean Text Output]
Endpoint: POST /api/v1/normalize
Content-Type: application/json
Request Body:
{
"text": "đọc jd mà nó đê quá đâm ra sợ cty lừa :)))",
"preserve_emojis": true
}
Response (200 OK):
{
"original_text": "đọc jd mà nó đê quá đâm ra sợ cty lừa :)))",
"normalized_text": "đọc jd mà nó đê quá đâm ra sợ công ty lừa :)))",
"processing_time_ms": 38.4
}
Yêu cầu hệ thống phần cứng
- Môi trường Huấn luyện (Training): 1x GPU NVIDIA A100 (40GB VRAM) hoặc 2x NVIDIA RTX 3090, 32GB RAM, 100GB SSD NVMe.
- Môi trường Triển khai (Production Inference): 1x GPU NVIDIA T4 (16GB VRAM) hoặc CPU Intel Xeon Gold 8-core (sử dụng phiên bản INT8 Quantized).
Hạn chế và hướng phát triển
- Hạn chế kỹ thuật:
- Thời gian huấn luyện framework lặp 5 bước tiêu tốn tài nguyên tính toán gấp 2.5 lần so với fine-tuning đơn thuần.
- Hiện tượng đa nghĩa phụ thuộc sâu vào phương ngữ vùng miền chưa được giải quyết triệt để nếu cả 3 luật yếu đều đưa ra nhận định không chắc chắn.
- Hướng phát triển tiếp theo:
- Tích hợp các mô hình ngôn ngữ lớn (Large Language Models - LLMs) như LLaMA-3, Qwen-2.5 hoặc SeaLLMs làm hàm sinh nhãn yếu (Prompt-based Labeling Functions) trong PWS.
- Tối ưu hóa mô hình sang kiến trúc nén (Knowledge Distillation) dạng Mobile-BARTpho phục vụ cho các thiết bị Edge/Mobile.
Đối tượng hưởng lợi
+--------------------------------------------------------------------------------------+
| SINH VIÊN & HỌC VIÊN CAO HỌC |
| - Cung cấp tài liệu tham khảo chi tiết về Programmatic Weak Supervision và MLM. |
| - Source code mẫu về kỹ thuật Parallel Alignment Tokenizer chuẩn hóa tiếng Việt. |
+--------------------------------------------------------------------------------------+
| KỸ SƯ DỮ LIỆU & AI DEVELOPERS |
| - Tiết kiệm hơn 80% thời gian xây dựng pipeline xử lý dữ liệu UGC cho doanh nghiệp. |
| - Bộ công cụ gán nhãn tự động mở rộng được cho nhiều bài toán Sequence Labeling khác.|
+--------------------------------------------------------------------------------------+
| DOANH NGHIỆP & CÔNG TY CÔNG NGHỆ |
| - Cải thiện độ chính xác phân tích cảm xúc khách hàng thêm 1.5% - 2.5%. |
| - Tiết kiệm hàng trăm triệu đồng chi phí thuê nhân sự gán nhãn dữ liệu thủ công. |
+--------------------------------------------------------------------------------------+
Câu hỏi thường gặp
1. Cấu hình phần cứng tối thiểu để triển khai mô hình là gì?
Để chạy suy luận (Inference) cho production, hệ thống yêu cầu tối thiểu CPU 4-core, 8GB RAM đối với mô hình đã tối ưu hóa định dạng ONNX/TorchScript. Để đạt thông lượng cao (>100 requests/giây), khuyến nghị trang bị 1 card đồ họa NVIDIA T4 16GB VRAM.
2. Mô hình có làm sai lệch các từ viết đúng chính tả không?
Không. Kết quả thực nghiệm trên tập kiểm thử chuẩn cho thấy độ toàn vẹn (Preservation Rate) của các từ chuẩn đạt 99.35% khi sử dụng backbone BARTpho. Hệ thống chỉ thực hiện thay thế khi có bằng chứng mạnh mẽ từ ngữ cảnh và trọng số attention của mạng RAN.
3. Làm thế nào để tích hợp thêm các từ lóng mới phát sinh vào Framework?
Người dùng chỉ cần thêm các quy tắc mẫu vào module Biểu thức chính quy (Regex) hoặc cập nhật thêm các cặp từ đơn nghĩa vào module Từ điển (Dictionary). Mạng RAN sẽ tự động thích ứng và phân phối lại trọng số trong các chu kỳ tự huấn luyện tiếp theo.
4. Chi phí vận hành và tỷ suất hoàn vốn (ROI) như thế nào?
Việc tự động hóa gán nhãn và tiền xử lý giúp giảm chi phí nhân sự gán nhãn thủ công từ 85% - 90%. Doanh nghiệp có thể thu hồi chi phí đầu tư hạ tầng tính toán chỉ sau 1 đến 2 tháng vận hành thực tế trên hệ thống dữ liệu lớn.
5. Framework xử lý thế nào đối với các câu gõ không dấu?
Framework tích hợp cơ chế huấn luyện với tỷ lệ bỏ dấu ngẫu nhiên ($p$). Khi gặp văn bản không dấu, mô hình BARTpho-syllable tận dụng ngữ cảnh toàn câu để khôi phục dấu thanh và chuẩn hóa từ vựng đồng thời với độ chính xác cao.
Kết luận
Đồ án tốt nghiệp "Framework giám sát yếu gán nhãn dữ liệu cho bài toán chuẩn hóa từ vựng mạng xã hội tiếng Việt" đã giải quyết thành công bài toán xử lý văn bản phi chuẩn - một trong những điểm nghẽn lớn nhất của NLP tiếng Việt hiện đại. Bằng việc kết hợp sáng tạo giữa Semi-Supervised Learning, Programmatic Weak Supervision và Mạng Rule Attention Network (RAN), nghiên cứu đã chứng minh tính khả thi vượt trội trong việc mở rộng tập dữ liệu huấn luyện chất lượng cao với chi phí nhân công tối thiểu.
Mô hình đạt Precision ấn tượng 88.94%, F1-score 85.52%, bảo toàn hơn 99.35% từ chuẩn và nâng cao rõ rệt hiệu năng của 5 tác vụ NLP thực tế. Đây là tiền đề kỹ thuật vững chắc để các doanh nghiệp, nhà nghiên cứu và kỹ sư AI phát triển các hệ thống xử lý ngôn ngữ tự nhiên thông minh, chuẩn xác và tin cậy hơn trên môi trường số.
