Giới thiệu dự án

Trong bối cảnh bùng nổ của kỷ nguyên số, tiếng Việt hiện là ngôn ngữ phổ biến thứ 8 trên không gian Internet với hơn 85 triệu người dùng. Sự gia tăng vượt bậc của các nền tảng mạng xã hội (MXH) như Facebook (hơn 52 triệu người dùng tại Việt Nam), TikTok và YouTube đã biến không gian số thành kênh giao tiếp cốt lõi. Tuy nhiên, luồng dữ liệu khổng lồ này lại đặt ra bài toán phức tạp cho các hệ thống Xử lý Ngôn ngữ Tự nhiên (NLP): ngôn ngữ truyền thông xã hội mang tính phi chuẩn hóa cao, chứa dày đặc từ lóng (teencode), lỗi chính tả cố ý, biểu tượng cảm xúc (emoji), câu thiếu dấu hoặc lược bỏ thanh điệu tiếng Việt.

Vấn đề nghiên cứu và Điểm nghẽn kỹ thuật (Problem Statement)

Các mô hình ngôn ngữ tiền huấn luyện (Pre-trained Language Models - PLMs) phổ biến cho tiếng Việt như PhoBERT, viBERT hay vELECTRA chủ yếu được huấn luyện trên kho ngữ liệu văn phong chuẩn tắc (báo chí chính thống, Wikipedia tiếng Việt dung lượng từ 10GB đến 60GB). Khi áp dụng trực tiếp vào dữ liệu MXH:

  • Hiện tượng bùng nổ phân mảnh từ con (Subword Token Fragmentation): Bộ tách từ (tokenizer) chuẩn hóa biến các từ lóng hay emoji thành hàng loạt thẻ <unk> hoặc chia cắt thành chuỗi ký tự rời rạc (ví dụ: thằngngu bị cắt thành th@@, ằ@@, ng@@, ngu), làm triệt tiêu biểu diễn ngữ nghĩa.
  • Mất cân bằng nhãn và nhiễu dữ liệu cực đoan: Dữ liệu MXH có độ lệch nhãn rất cao (như tập UIT-HSD có 19.886 mẫu Clean nhưng chỉ có 1.606 mẫu Offensive và 2.556 mẫu Hate), đồng thời câu ngắn thiếu ngữ cảnh gây suy giảm nghiêm trọng độ chính xác phân loại.
  • Hạn chế của mô hình đa ngữ MXH: Các mô hình quốc tế như TwHIN-BERT, Bernice hay XLM-T được huấn luyện trên Twitter – nền tảng có hành vi sử dụng và phân bố người dùng rất thấp tại Việt Nam, không phản ánh được phương ngữ và văn hóa mạng bản địa.
                  THÁCH THỨC DỮ LIỆU MẠNG XÃ HỘI TIẾNG VIỆT

Mục tiêu của đồ án

  1. Thu thập và xây dựng tập ngữ liệu truyền thông xã hội quy mô lớn: Thu thập và tiền xử lý hơn 1GB văn bản thuần không nén từ hàng triệu bình luận trên Facebook Graph API, TikTok Research API và YouTube Data API (giai đoạn 2016–2022).
  2. Xây dựng mô hình ngôn ngữ chuyên biệt ViSoBERT: Thiết kế kiến trúc SentencePiece tokenizer đặc thù và huấn luyện trước mô hình đơn ngữ ViSoBERT trên kiến trúc XLM-RoBERTa base nhằm tối ưu hóa biểu diễn ngữ cảnh mạng xã hội.
  3. Phát triển kiến trúc lai ViSoGCN (BERTology + Graph Convolutional Network): Tích hợp biểu diễn ngữ nghĩa cục bộ từ ViSoBERT với mạng nơ-ron tích chập đồ thị (GCN) thông qua đồ thị không đồng nhất văn bản - từ ngữ (Heterogeneous Text Graph) để nắm bắt phụ thuộc cú pháp toàn cục.
  4. Đánh giá toàn diện trên 5 bài toán chuẩn (Benchmarks): Kiểm chứng mô hình trên 5 tập dữ liệu: UIT-VSMEC (Nhận diện cảm xúc), UIT-HSD (Phát hiện phát ngôn thù ghét), SA-VLSP2016 (Phân tích cảm xúc), ViSpamReviews (Phát hiện đánh giá rác) và ViHOS (Xác định đoạn ngôn từ thù địch).

Phạm vi và Giới hạn

  • Phạm vi: Tập trung vào văn bản mạng xã hội tiếng Việt dạng ngắn (Short-text comments/posts) trên 3 nền tảng MXH phổ biến nhất tại Việt Nam.
  • Giới hạn: Nghiên cứu tập trung vào phân loại văn bản đơn tầng và phân loại nút quy nạp (Transductive graph learning), chưa mở rộng sang xử lý đa phương thức (Multimodal Image-Text).

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Tiêu chí so sánh PhoBERT (Nguyen et al., 2020) TwHIN-BERT (Zhang et al., 2022) ViSoBERT (Đề xuất) ViSoGCN (Đề xuất tích hợp)
Kiến trúc cốt lõi RoBERTa-base / large RoBERTa-base / large XLM-RoBERTa-base ViSoBERT + 2-layer GCN
Dữ liệu huấn luyện 20GB ViWiki + ViNews 7 tỷ Multilingual Tweets 1GB MXH Việt Nam thực tế 1GB MXH + Graph Corpus
Tokenizer MXH Không (BPE chuẩn báo chí) Có (Đa ngữ trên Twitter) Có (SentencePiece 15K) Có (SentencePiece 15K)
Xử lý Emoji & Teencode Xử lý thành <unk> / vỡ từ Tương đối tốt đa ngữ Bảo toàn ngữ nghĩa Bảo toàn ngữ nghĩa
Cấu trúc liên kết toàn cục Không (Chỉ Attention cục bộ) Không Không Có (PPMI + TF-IDF Graph)
Độ nhạy thiếu dấu tiếng Việt Giảm sâu hiệu năng Giảm sâu Chống chịu nhiễu cao Tối ưu hóa phân loại

Ma trận ưu tiên yêu cầu kỹ thuật (MoSCoW)

  • Must Have: Tokenizer tối ưu cho teencode và emoji tiếng Việt; cơ chế Dynamic Masking cải tiến; kiến trúc GCN xử lý ma trận kề không đồng nhất; phân lớp phân loại tuyến tính lai (Weighted Interpolation).
  • Should Have: Cơ chế nội suy động siêu tham số $\lambda$; pipeline tiền xử lý giữ lại emoji; quy trình trích xuất đặc trưng cho BiLSTM/BiGRU.
  • Could Have: Tối ưu hóa kích thước mô hình để giảm thiểu VRAM triển khai dưới 6GB.
  • Won't Have: Mở rộng tiền huấn luyện Seq2Seq cho bài toán sinh sinh văn bản (Text Generation) trong phạm vi nghiên cứu này.

Thiết kế hệ thống

Ngăn xếp công nghệ (Technology Stack)

  • Framework học sâu: PyTorch v2.1.0 kết hợp CUDA 12.1
  • Xử lý NLP & Graph: HuggingFace Transformers v4.35.2, DGL (Deep Graph Library) v1.1.2, SimpleTransformers v0.64.3
  • Tokenization: Google SentencePiece v0.1.99
  • Tối ưu hóa: AdamW Optimizer với tỷ lệ học $2\times 10^{-5}$, Linear Warmup Scheduler
  • Môi trường phần cứng: 02 cụm GPU NVIDIA GeForce RTX 4090 24GB VRAM, CPU AMD EPYC 7763 64-Core, 128GB RAM ECC.

Cơ chế biểu diễn toán học của ViSoGCN

  1. Thiết lập Đồ thị Không đồng nhất (Heterogeneous Graph): Đồ thị $G = (V, E)$ bao gồm tổng số nút $|V| = N_{doc} + N_{word}$. Trọng số cạnh giữa nút $i$ và nút $j$ trong ma trận kề $A$ được xác định qua Pointwise Mutual Information (PPMI) và TF-IDF:

$$A_{ij} = \begin{cases} \text{PPMI}(i, j) & \text{khi } i, j \text{ là các nút từ (word-word) và } i \neq j \ \text{TF-IDF}(i, j) & \text{khi } i \text{ là nút tài liệu, } j \text{ là nút từ (doc-word)} \ 1 & \text{khi } i = j \ 0 & \text{ngược lại} \end{cases}$$

Trong đó, $\text{PPMI}(i, j) = \max\left( \log \frac{p(i, j)}{p(i)p(j)}, 0 \right)$ với cửa sổ trượt (sliding window) kích thước cố định để tính xác suất đồng xuất hiện.

  1. Lan truyền tích chập đồ thị (GCN Layer): Ma trận đặc trưng ban đầu $X \in \mathbb{R}^{(N_{doc} + N_{word}) \times d}$ được khởi tạo kết hợp giữa vector ngữ cảnh từ ViSoBERT cho nút tài liệu và ma trận đơn vị cho nút từ. Tích chập qua lớp thứ $l$:

$$L^{(l+1)} = \rho \left( \tilde{D}^{-\frac{1}{2}} \tilde{A} \tilde{D}^{-\frac{1}{2}} L^{(l)} W^{(l)} \right)$$

  1. Cơ chế nội suy tuyến tính đa mục tiêu: Dự đoán cuối cùng kết hợp phân phối xác suất từ nhánh GCN và nhánh phân loại phụ trợ ViSoBERT trực tiếp thông qua hệ số $\lambda \in [0, 1]$:

$$Z = \lambda Z_{GCN} + (1 - \lambda) Z_{ViSoBERT}$$

Phương pháp nghiên cứu (Methodology)

Quy trình phát triển được triển khai theo mô hình lặp thực nghiệm khoa học (Iterative ML Research Lifecycle):

       QUY TRÌNH THỰC NGHIỆM KHOA HỌC (RESEARCH ROADMAP)
  • Giai đoạn 1 (Tuần 1–4): Thu thập dữ liệu API, xây dựng module làm sạch dữ liệu nhiễu, lọc tài khoản spam lặp, bảo toàn emoji.
  • Giai đoạn 2 (Tuần 5–10): Huấn luyện SentencePiece Tokenizer (Vocab 15.000), thiết lập cấu hình XLM-R (12 layers, 12 heads, 768 hidden units). Huấn luyện Pre-training MLM qua 1.200.000 steps trên 12 epochs.
  • Giai đoạn 3 (Tuần 11–16): Xây dựng module đồ thị TextGCN, trích xuất đặc trưng từ ViSoBERT đưa vào mạng GCN, tinh chỉnh siêu tham số $\lambda$.
  • Giai đoạn 4 (Tuần 17–20): Thực hiện thử nghiệm Ablation Study (tỷ lệ masking, emoji, teencode, dấu câu, feature extraction cho BiLSTM/BiGRU) và kiểm định thống kê Pairwise t-test ($p < 0.01$).

Implementation và kết quả

Quy trình phát triển (Development Process)

Mô hình ViSoGCN được hiện thực hóa qua PyTorch và DGL với đoạn mã cốt lõi xử lý kết hợp đặc trưng:

import torch
import torch.nn as nn
import torch.nn.functional as F
from dgl.nn.pytorch import GraphConv

class ViSoGCNClassifier(nn.Module):
    def __init__(self, visobert_model, in_feats, n_hidden, n_classes, lambda_param=0.6):
        super(ViSoGCNClassifier, self).__init__()
        self.visobert = visobert_model
        self.lambda_param = lambda_param
        
        # Nhánh phân loại trực tiếp ViSoBERT
        self.cls_classifier = nn.Linear(in_feats, n_classes)
        
        # Nhánh Mạng nơ-ron Tích chập Đồ thị 2 lớp
        self.gcn1 = GraphConv(in_feats, n_hidden, activation=F.relu)
        self.gcn2 = GraphConv(n_hidden, n_classes)
        self.dropout = nn.Dropout(p=0.5)

    def forward(self, g, features, doc_idx, cls_feats):
        # 1. Dự đoán từ nhánh phụ trợ ViSoBERT
        cls_logit = self.cls_classifier(cls_feats)
        cls_pred = F.softmax(cls_logit, dim=1)

        # 2. Lan truyền qua mạng GCN trên toàn đồ thị
        h = self.gcn1(g, features, edge_weight=g.edata['edge_weight'])
        h = self.dropout(h)
        gcn_logit = self.gcn2(g, h, edge_weight=g.edata['edge_weight'])
        gcn_pred = F.softmax(gcn_logit[doc_idx], dim=1)

        # 3. Kết hợp xác suất tuyến tính có trọng số
        final_pred = (gcn_pred + 1e-10) * self.lambda_param + cls_pred * (1.0 - self.lambda_param)
        return final_pred

Thử nghiệm và Đánh giá (Testing and Validation)

Dữ liệu thử nghiệm chuẩn

  1. UIT-VSMEC (7 lớp): 5.548 mẫu Train, 686 mẫu Dev, 693 mẫu Test (Emotion Recognition).
  2. UIT-HSD (3 lớp): 24.048 mẫu Train, 2.672 mẫu Dev, 6.680 mẫu Test (Hate Speech Detection).
  3. SA-VLSP2016 (3 lớp): 5.100 mẫu Train, 1.050 mẫu Test (Sentiment Analysis).
  4. ViSpamReviews (4 lớp): 14.306 mẫu Train, 1.590 mẫu Dev, 3.974 mẫu Test (Spam Detection).
  5. ViHOS (3 lớp): 8.844 mẫu Train, 1.106 mẫu Dev, 1.106 mẫu Test (Hate Speech Spans).

Tối ưu hóa tỷ lệ che (Masking Rate Ablation)

Nghiên cứu phá vỡ giả định truyền thống của BERT (vốn cố định tỷ lệ Masking 15%). Thử nghiệm trên dải từ 10% đến 50% chỉ ra: Tỷ lệ 30% đem lại điểm Macro-F1 tối ưu toàn diện trên các tác vụ MXH tiếng Việt nhờ việc bù đắp mật độ thông tin thấp của câu ngắn.

Macro-F1 (%) theo Tỷ lệ Masking trên ViSoBERT:
10% Masking:  ████████████████████░░░░  (74.82%)
20% Masking:  ██████████████████████░░  (76.41%)
30% Masking:  ████████████████████████  (78.95% - TỐI ƯU)
40% Masking:  █████████████████████░░░  (75.90%)
50% Masking:  ████████████████████░░░░  (74.15%)

Kết quả đạt được

Bảng tổng hợp hiệu năng thực nghiệm (Đo lường bằng Macro-F1 - MF1 %):

Mô hình kiểm nghiệm VSMEC (ER) HSD (HSD) VLSP (SA) ViSpam (SRD) ViHOS (HSSD) Trung bình (Avg)
viBERT 61.24 84.10 73.50 88.92 88.75 79.30
PhoBERT-base 65.43 87.21 75.80 90.12 90.45 81.80
PhoBERT-large 66.16 87.65 76.22 90.74 91.03 82.36
TwHIN-BERT-large 64.42 86.03 75.95 90.20 90.88 81.50
ViSoBERT (Đơn lẻ) 68.88 88.77 78.14 90.92 91.80 83.70
PhoBERT-large-GCN 67.76 89.41 77.68 91.07 91.22 83.43
TwHIN-BERT-large-GCN 65.19 88.24 77.30 92.65 92.35 83.15
ViSoGCN (Đề xuất) 69.85* 89.92* 78.90* 92.95* 93.41* 85.01*

* Kết quả vượt trội có ý nghĩa thống kê với $p < 0.01$ qua kiểm định Pairwise t-test so với mô hình xếp thứ hai.

Nghiên cứu khả năng chịu lỗi loại bỏ dấu tiếng Việt (Diacritics Robustness)

Khi loại bỏ lần lượt 25%, 50%, 75% và 100% dấu phụ trong văn bản:

  • PhoBERT & TwHIN-BERT: Hiệu năng suy giảm mạnh (giảm từ 12.4% đến 28.6% MF1) do tokenizer không nhận diện được âm tiết không dấu, dẫn đến tràn ngập token lạ.
  • ViSoBERT: Duy trì mức sụt giảm thấp nhất (< 6.2% MF1 ở mức 100% không dấu), chứng minh năng lực hiểu ngữ cảnh vững chắc đối với văn bản mạng xã hội cực kỳ thiếu chuẩn hóa.

Đổi mới và đóng góp

  1. Bộ Tokenizer chuyên biệt đầu tiên cho MXH Tiếng Việt: ViSoBERT giải quyết triệt để sự cố phân tách từ con (Out-Of-Vocabulary) của PhoBERT đối với teencode và emoji thông qua từ vựng SentencePiece 15.000 tokens tối ưu, giúp biểu diễn câu ngắn gọn hơn đáng kể.
  2. Cải tiến chiến lược Tiền huấn luyện (Masking Strategy): Chứng minh thực nghiệm rằng tỷ lệ che 30% vượt trội hoàn toàn so với chuẩn 15% thông thường trên dữ liệu văn bản mạng xã hội tiếng Việt.
  3. Kiến trúc tích hợp ViSoGCN tiên phong: Mô hình đầu tiên kết hợp giữa đại diện ngữ cảnh hóa sâu của PLM với mạng nơ-ron đồ thị văn bản không đồng nhất (Heterogeneous Text Graph) trên dữ liệu tiếng Việt, thiết lập kỷ lục hiệu năng mới (SOTA) trên cả 5 tập dữ liệu kiểm chuẩn.
  4. Trích xuất đặc trưng hội tụ siêu tốc: Khi sử dụng nhúng từ ViSoBERT cho mạng BiLSTM và BiGRU, mô hình đạt điểm Macro-F1 tối đa chỉ sau 1–3 epochs, so với mức 8–10 epochs của PhoBERT-large và TwHIN-BERT-large.
  5. Đóng góp học thuật mở: Toàn bộ trọng số mô hình và mã nguồn kiểm thử được công bố công khai trên HuggingFace Hub uitnlp/visobert phục vụ cộng đồng nghiên cứu NLP Việt Nam.

Ứng dụng thực tế và triển khai

Kịch bản ứng dụng thực tế

  • Hệ thống Lắng nghe Mạng xã hội (Social Listening & Brand Monitoring): Tự động phát hiện phản hồi tiêu cực, khủng hoảng truyền thông của nhãn hàng trong thời gian thực trên Facebook và TikTok.
  • Kiểm duyệt nội dung tự động (Automated Content Moderation): Tích hợp vào các nền tảng diễn đàn và sàn thương mại điện tử (Shopee, Lazada, Tiki) để gắn cờ ngôn từ thù địch (Hate Speech), xúc phạm hoặc đánh giá rác (Spam Reviews).
  • Phân luồng chăm sóc khách hàng tự động: Phân loại cảm xúc khách hàng (vui vẻ, tức giận, thất vọng) để ưu tiên xử lý khiếu nại khẩn cấp.

Kiến trúc triển khai hệ thống (Deployment Specification)

             [CPU Node: Text Graph Build]               [GPU Node: TensorRT / ONNX]
             - Tokenize & Clean                         - ViSoBERT Backbone
             - PPMI/TF-IDF Sparse Matrix                - GCN Graph Convolution
                                 [Response: Class Probs & Spans]
  • Yêu cầu phần cứng tối thiểu (Production Edge):
    • CPU: 4 Cores (Intel Xeon / AMD EPYC)
    • RAM: 8GB System Memory
    • GPU: NVIDIA T4 16GB hoặc RTX 3060 12GB (Inference Latency $\le 35$ms/request)
  • Chi phí & Lợi ích (ROI): Giảm thiểu 80% nhân sự kiểm duyệt thủ công; tăng tốc độ phản hồi xử lý bình luận độc hại từ hàng giờ xuống dưới 50 mili-giây.

Hạn chế và hướng phát triển

Hạn chế kỹ thuật

  • Tính chất Transductive của TextGCN: Đồ thị văn bản đòi hỏi phải xây dựng lại ma trận kề khi xuất hiện các nút tài liệu mới trong quá trình suy luận quy mô lớn.
  • Kích thước kho ngữ liệu tiền huấn luyện: Dữ liệu huấn luyện tiền xử lý dừng ở mức 1GB văn bản thuần; mở rộng lên quy mô 50GB–100GB sẽ khai phá tiềm năng biểu diễn sâu hơn.

Hướng phát triển tương lai

  • Chuyển đổi sang Inductive Graph Learning: Áp dụng GraphSAGE hoặc FastGCN để hỗ trợ suy luận trực tiếp trên các mẫu văn bản chưa từng xuất hiện trong đồ thị huấn luyện.
  • Tích hợp vào Kiến trúc Mô hình Ngôn ngữ Lớn (LLM): Sử dụng ViSoBERT làm bộ mã hóa biểu diễn (Encoder Backbone) tích hợp trong các mô hình chỉ dẫn tiếng Việt (Vietnamese Instruction-tuned LLMs).
  • Mở rộng Đa phương thức (Multimodal): Kết hợp phân tích hình ảnh đính kèm trong bài đăng MXH cùng với văn bản bình luận.

Đối tượng hưởng lợi

  • Sinh viên & Học viên cao học: Cung cấp tài liệu tham khảo hoàn chỉnh, chuẩn mực về phương pháp kết hợp Graph Neural Networks với Transformer và quy trình huấn luyện Pre-trained Model từ đầu.
  • Kỹ sư AI & NLP Developers: Sở hữu bộ mô hình mã nguồn mở đạt SOTA để tích hợp ngay vào các pipeline sản phẩm thực tế mà không cần tốn chi phí xây dựng từ đầu.
  • Doanh nghiệp & Đơn vị Quản lý MXH: Có giải pháp kỹ thuật chính xác cao để bảo vệ thương hiệu, thanh lọc không gian mạng và phân tích hành vi khách hàng mục tiêu.
  • Cộng đồng Nghiên cứu Khoa học: Đóng góp dữ liệu đo lường, thiết lập chuẩn so sánh (baseline) tin cậy cho các nghiên cứu tiếp theo về xử lý ngôn ngữ tiếng Việt không chuẩn hóa.

Câu hỏi thường gặp

1. ViSoBERT có cần tiền xử lý chuẩn hóa teencode và xóa emoji trước khi đưa vào mô hình không?

Không. ViSoBERT được thiết kế với tokenizer SentencePiece 15K học trực tiếp trên văn bản mạng xã hội thực tế. Thực nghiệm cho thấy việc xóa emoji hoặc chuẩn hóa teencode cưỡng bức thậm chí làm giảm từ 0.78% đến 1.42% điểm Macro-F1 do làm mất mát ngữ cảnh tự nhiên của câu.

2. Sự khác biệt cốt lõi giữa ViSoBERT và PhoBERT là gì?

PhoBERT huấn luyện trên Wikipedia và báo chí chính thống với bộ tách từ theo âm tiết chuẩn, gặp lỗi nghiêm trọng với teencode và emoji (xem là token <unk>). ViSoBERT huấn luyện 100% trên dữ liệu Facebook, TikTok, YouTube với khả năng chống chịu lỗi chính tả và thiếu dấu tiếng Việt vượt trội.

3. Tại sao mô hình kết hợp ViSoGCN lại cho kết quả cao hơn mô hình đơn lẻ ViSoBERT?

ViSoBERT mạnh về biểu diễn ngữ cảnh cục bộ trong phạm vi một câu, trong khi module GCN trên đồ thị không đồng nhất nắm bắt được mối liên hệ đồng xuất hiện từ vựng toàn cục (PPMI) và tần suất văn bản (TF-IDF) trên toàn bộ kho ngữ liệu, giúp phân loại chính xác các câu ngắn, mơ hồ ngữ nghĩa.

4. Hệ số nội suy $\lambda = 0.6$ mang ý nghĩa gì trong ViSoGCN?

Siêu tham số $\lambda$ điều tiết mức độ đóng góp giữa biểu diễn cấu trúc đồ thị ($Z_{GCN}$) và biểu diễn ngữ cảnh máy học sâu ($Z_{ViSoBERT}$). Giá trị $\lambda \in [0.6, 0.8]$ qua thực nghiệm chứng minh sự cân bằng tối ưu giữa cấu trúc toàn cục và ngữ nghĩa cục bộ.

5. Chi phí phần cứng để fine-tune và deploy mô hình là bao nhiêu?

Mô hình có số lượng tham số tinh gọn (~89M parameters), cho phép tinh chỉnh (Fine-tuning) dễ dàng trên 01 GPU phổ thông (RTX 3090 / RTX 4090 24GB hoặc Google Colab T4) với batch size 40 trong vòng dưới 2 giờ cho tập dữ liệu 20.000 mẫu.

Kết luận

Khóa luận tốt nghiệp đã giải quyết trọn vẹn bài toán nan giải trong xử lý dữ liệu truyền thông xã hội tiếng Việt bằng việc giới thiệu hai đóng góp công nghệ mang tính đột phá: mô hình ngôn ngữ chuyên biệt ViSoBERT và kiến trúc lai ViSoGCN. Thông qua thiết kế tokenizer SentencePiece độc quyền, chiến lược Dynamic Masking 30% và cơ chế kết hợp mạng nơ-ron đồ thị không đồng nhất, nghiên cứu đã thiết lập các kỷ lục hiệu năng mới (SOTA) trên 5 tập dữ liệu kiểm chuẩn khắt khe nhất (UIT-VSMEC, UIT-HSD, SA-VLSP2016, ViSpamReviews, ViHOS). Công trình không chỉ khẳng định giá trị học thuật xuất sắc mà còn mở ra tiềm năng ứng dụng công nghiệp to lớn, cung cấp nền tảng vững chắc cho cộng đồng AI trong việc giải mã và khai thác dữ liệu mạng xã hội Việt Nam.