Giới thiệu dự án

Trong kỷ nguyên số hóa ngành dịch vụ và thương mại điện tử, hơn 85% người tiêu dùng tra cứu và dựa vào các đánh giá trực tuyến (online reviews) trên các nền tảng như Google Maps, TripAdvisor hay Yelp trước khi đưa ra quyết định trải nghiệm ẩm thực. Nguồn dữ liệu phản hồi khổng lồ này chứa đựng những hiểu biết sâu sắc về trải nghiệm của khách hàng nhưng đồng thời tạo ra thách thức lớn trong việc xử lý thông tin. Các phương pháp Phân tích cảm xúc (Sentiment Analysis - SA) truyền thống ở cấp độ văn bản hoặc câu chỉ gán nhãn tổng quan (tích cực, tiêu cực, trung tính), hoàn toàn thất bại trong việc nắm bắt các đánh giá phức hợp chứa nhiều khía cạnh đối lập (ví dụ: "Thức ăn quán này ngon nhưng phục vụ quá tệ").

Do đó, bài toán Phân tích cảm xúc theo khía cạnh (Aspect-Based Sentiment Analysis - ABSA) ra đời nhằm giải quyết triệt để vấn đề trên. Trong cấu trúc phân tầng của ABSA, Phát hiện danh mục khía cạnh (Aspect Category Detection - ACD) là bài toán con then chốt với nhiệm vụ xác định toàn bộ các cặp Thực thể - Thuộc tính ($E#A$) được đề cập trong văn bản dựa trên một tập nhãn định sẵn.

                    [Văn bản đánh giá từ người dùng]
   [FOOD#QUALITY: Positive]                  [SERVICE#GENERAL: Negative]

Vấn đề cốt lõi và Thách thức kỹ thuật

Hầu hết các nghiên cứu học sâu (Deep Learning) hiện đại trong Xử lý ngôn ngữ tự nhiên (NLP) đều phụ thuộc nghiêm trọng vào các tập dữ liệu gán nhãn quy mô lớn và tập trung chủ yếu vào các ngôn ngữ giàu tài nguyên (High-Resource Languages) như tiếng Anh. Ngược lại, hàng nghìn ngôn ngữ khác trên thế giới rơi vào tình trạng thiếu hụt dữ liệu (Low-Resource Languages), khiến việc huấn luyện các mô hình phân loại đa nhãn độc lập trở nên bất khả thi hoặc tốn kém chi phí gán nhãn thủ công cực lớn.

Mục tiêu của dự án

Đồ án tập trung nghiên cứu, thiết kế và thực nghiệm toàn diện các phương pháp Học chuyển tiếp đa ngôn ngữ (Cross-lingual Transfer Learning) ứng dụng các mô hình ngôn ngữ lớn học sẵn (Pre-trained Multilingual Language Models - MMTs) gồm mBERT và XLM-RoBERTa (XLM-R) trên bộ dữ liệu tiêu chuẩn quốc tế SemEval 2016 Task 5 (miền Nhà hàng) trên 6 ngôn ngữ: Tiếng Anh (en), Tiếng Pháp (fr), Tiếng Hà Lan (nl), Tiếng Tây Ban Nha (es), Tiếng Nga (ru) và Tiếng Thổ Nhĩ Kỳ (tr).

Dự án giải quyết 4 mục tiêu cụ thể:

  1. Đánh giá năng lực tổng quát hóa không mẫu (Zero-shot) của MMTs từ một hoặc nhiều ngôn ngữ nguồn sang ngôn ngữ đích hoàn toàn mới.
  2. Xây dựng và so sánh hiệu năng của hai chiến lược học chuyển tiếp khi có lượng nhỏ dữ liệu ngôn ngữ đích ($K \in {10, 50, 100, 500, 1000}$): Cross-lingual Transfer Learning with Additional Target Language Data và Few-shot Cross-lingual Transfer Learning.
  3. Đánh giá ảnh hưởng của các kỹ thuật trích xuất mẫu dữ liệu (Random Sampling, Shortest Tokens, Longest Tokens) và phân tích hiện tượng suy giảm hiệu năng do bất đồng họ ngôn ngữ (Curse of Multilingualism).
  4. Thiết lập khung tiêu chí khoa học cho việc lựa chọn ngôn ngữ nguồn tối ưu thay vì chỉ mặc định sử dụng tiếng Anh.

Phạm vi và Giới hạn

  • Bộ dữ liệu chuẩn: SemEval 2016 Task 5 Subtask 1 (Restaurant domain).
  • Không gian nhãn: 12 danh mục khía cạnh cố định (RESTAURANT#GENERAL, SERVICE#GENERAL, FOOD#QUALITY, FOOD#STYLE_OPTIONS, DRINKS#STYLE_OPTIONS, DRINKS#PRICES, RESTAURANT#PRICES, RESTAURANT#MISCELLANEOUS, AMBIENCE#GENERAL, FOOD#PRICES, LOCATION#GENERAL, DRINKS#QUALITY).
  • Mô hình nghiên cứu: Multilingual BERT (bert-base-multilingual-cased) và XLM-RoBERTa (xlm-roberta-base).

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Trước khi ứng dụng MMTs, các giải pháp phân loại văn bản đa ngôn ngữ thường dựa trên ba hướng tiếp cận chính với những ưu nhược điểm rõ rệt:

Phương pháp Kiến trúc kỹ thuật Ưu điểm Nhược điểm & Rào cản
Monolingual Baseline (SVM / CNN) Feature engineering (n-grams, POS, Lexicons) + One-vs-All SVM / CNN Tối ưu tốt trên một ngôn ngữ duy nhất khi có đủ dữ liệu Hoàn toàn không thể chuyển giao tri thức; chi phí gán nhãn độc lập cho từng ngôn ngữ rất cao
Machine Translation (Translate-Train / Test) Dịch máy (Google Translate API / MarianMT) đưa về tiếng Anh Tận dụng được các mô hình phân loại tiếng Anh mạnh Lỗi lan truyền dịch thuật (Translation noise); mất mát cấu trúc cú pháp và từ lóng bản địa; chi phí API lớn
Cross-lingual MMTs (mBERT / XLM-R) Shared Transformer Encoder tiền huấn luyện đa ngữ (MLM) Ánh xạ không gian ngữ nghĩa chung giữa >100 ngôn ngữ; khả năng Zero-shot và Few-shot vượt trội Yêu cầu tài nguyên tính toán GPU; nhạy cảm với khoảng cách phả hệ ngôn ngữ (Linguistic typology)

Phân tích yêu cầu hệ thống theo mô hình MoSCoW

  • Must have: Module tiền xử lý và mã hóa Tokenizer chuẩn hóa đa ngôn ngữ; Module phân loại đa nhãn (Multi-label classification head) với hàm mất mát Binary Cross-Entropy; Khung đánh giá hiệu năng theo chuẩn Micro-F1 và Macro-F1.
  • Should have: Cơ chế tinh chỉnh đa ngôn ngữ nguồn (Multi-source fine-tuning); Module lấy mẫu phân tầng theo độ dài Token (Shortest/Longest Token Sampling).
  • Could have: Cổng giao tiếp API suy luận thời gian thực cho văn bản đánh giá đa ngữ.
  • Won't have: Huấn luyện lại MMTs từ đầu (Pre-training from scratch) do rào cản chi phí tính toán phần cứng.

Thiết kế hệ thống

Công thức toán học của bài toán ACD

Bài toán Phát hiện danh mục khía cạnh được mô hình hóa dưới dạng bài toán phân loại đa nhãn (Multi-label Classification). Cho một câu đánh giá đầu vào $S = (w_1, w_2, \dots, w_n)$, mô hình trích xuất vector trạng thái ẩn của token đại diện toàn câu $\mathbf{h}_{[CLS]} \in \mathbb{R}^d$ ($d=768$). Vector này được đưa qua một lớp kết nối đầy đủ (Fully Connected Layer) để ánh xạ về không gian 12 nhãn danh mục:

$$\mathbf{z} = \mathbf{W} \mathbf{h}_{[CLS]} + \mathbf{b}, \quad \mathbf{W} \in \mathbb{R}^{C \times d}, , \mathbf{b} \in \mathbb{R}^C \quad (C = 12)$$

Xác suất xuất hiện của mỗi khía cạnh $c \in {1, \dots, C}$ được tính độc lập thông qua hàm kích hoạt Sigmoid:

$$\hat{p}_c = \sigma(z_c) = \frac{1}{1 + e^{-z_c}}$$

Nhãn dự đoán cuối cùng được xác định thông qua ngưỡng nhị phân $\tau = 0.5$:

$$\hat{y}_c = \begin{cases} 1 & \text{nếu } \hat{p}_c \ge 0.5 \ 0 & \text{nếu } \hat{p}_c < 0.5 \end{cases}$$

Hàm mất mát Binary Cross-Entropy (BCE) tổng quát cho toàn bộ $C$ nhãn:

$$\mathcal{L}{BCE}(\mathbf{y}, \hat{\mathbf{p}}) = -\frac{1}{C} \sum{c=1}^C \left[ y_c \log(\hat{p}_c) + (1 - y_c) \log(1 - \hat{p}_c) \right]$$

Technology Stack chi tiết

  • Ngôn ngữ lập trình: Python v3.8.10
  • Deep Learning Framework: PyTorch v1.9.0+cu111
  • Mô hình tiền huấn luyện: Hugging Face transformers v4.11.3
  • Xử lý số liệu & Đánh giá: NumPy v1.21.2, Pandas v1.3.3, Scikit-learn v0.24.2
  • Phần cứng thực nghiệm: NVIDIA Tesla V100 16GB GPU / NVIDIA RTX 3090 24GB

Methodology

Quy trình nghiên cứu áp dụng phương pháp thực nghiệm khoa học lặp (Iterative Empirical Methodology):

  1. Phân tích Phả hệ Ngôn ngữ (Linguistic Typology): Khảo sát 6 ngôn ngữ chia thành hai nhóm chính:
    • Họ Ấn-Âu (Indo-European): Nhánh Germanic (en, nl), nhánh Romance (fr, es), nhánh Slavic (ru).
    • Họ Altai (Altaic / Turkic): Nhánh Western Oghuz (tr).
  2. Kế hoạch Thực nghiệm 3 Hướng tiếp cận:
    • Kịch bản 1 - Zero-shot Cross-lingual: Tinh chỉnh trên 1 ngôn ngữ nguồn ($Source \rightarrow Target$) và trên liên minh đa ngôn ngữ nguồn ($Multi\text{-}source \rightarrow Target$).
    • Kịch bản 2 - Cross-lingual with Additional Target Data: Tinh chỉnh mô hình đồng thời trên dữ liệu ngôn ngữ nguồn kết hợp $K$ mẫu dữ liệu gán nhãn của ngôn ngữ đích ($Source + K_{target} \rightarrow Target$).
    • Kịch bản 3 - Few-shot Cross-lingual Transfer: Tinh chỉnh trước trên ngôn ngữ nguồn, sau đó tiếp tục tinh chỉnh (second-phase fine-tuning) trên $K$ mẫu của ngôn ngữ đích ($Source \rightarrow K_{target} \rightarrow Target$).
  3. Chiến lược Quản lý Rủi ro:
    • Rủi ro mất cân bằng nhãn: Sử dụng vi phân phối nhãn qua hệ số ngưỡng F1 tối ưu.
    • Rủi ro quá khớp (Overfitting) trên tập Few-shot nhỏ ($K \le 50$): Áp dụng Early Stopping với Patience = 3, kết hợp Learning Rate Warmup và Weight Decay ($0.01$).

Implementation và kết quả

Development process

Cấu trúc mã nguồn triển khai mô hình phân loại đa nhãn kế thừa kiến trúc Transformer được thiết kế chuẩn mực theo mô hình hướng đối tượng:

import torch
import torch.nn as nn
from transformers import AutoModel, AutoConfig

class MultilingualACDClassifier(nn.Module):
    """
    Mo hinh Phat hien Danh muc Khia canh (ACD) Da ngon ngu
    su dung Backbone mBERT / XLM-RoBERTa
    """
    def __init__(self, model_name: str, num_labels: int = 12, dropout_rate: float = 0.1):
        super(MultilingualACDClassifier, self).__init__()
        self.num_labels = num_labels
        self.config = AutoConfig.from_pretrained(model_name)
        self.transformer = AutoModel.from_pretrained(model_name, config=self.config)
        self.dropout = nn.Dropout(dropout_rate)
        self.classifier = nn.Linear(self.config.hidden_size, num_labels)
        
    def forward(self, input_ids: torch.Tensor, attention_mask: torch.Tensor, token_type_ids: torch.Tensor = None):
        if token_type_ids is not None:
            outputs = self.transformer(input_ids=input_ids, attention_mask=attention_mask, token_type_ids=token_type_ids)
        else:
            outputs = self.transformer(input_ids=input_ids, attention_mask=attention_mask)
            
        # Trich xuat bieu dien cua token [CLS] (vi tri index 0)
        cls_output = outputs.last_hidden_state[:, 0, :]
        cls_output = self.dropout(cls_output)
        logits = self.classifier(cls_output)
        return logits

def compute_multilabel_loss(logits: torch.Tensor, targets: torch.Tensor) -> torch.Tensor:
    loss_fn = nn.BCEWithLogitsLoss()
    return loss_fn(logits, targets.float())

Testing và validation

Thống kê bộ dữ liệu SemEval 2016 Task 5 (Restaurant Domain)

Ngôn ngữ Mã ISO Số câu tập Huấn luyện (Train) Số nhãn khía cạnh (Train) Số câu tập Kiểm tra (Test) Số nhãn khía cạnh (Test)
Tiếng Anh en 2,000 2,507 676 859
Tiếng Pháp fr 1,733 2,530 696 954
Tiếng Hà Lan nl 1,711 1,860 575 613
Tiếng Tây Ban Nha es 2,070 2,720 881 1,072
Tiếng Thổ Nhĩ Kỳ tr 1,104 1,535 144 159
Tiếng Nga ru 3,490 4,022 1,209 1,300

Siêu tham số huấn luyện chuẩn (Hyperparameters)

  • Tối ưu hóa (Optimizer): AdamW ($\beta_1 = 0.9, \beta_2 = 0.999, \epsilon = 10^{-8}$)
  • Tốc độ học (Learning Rate): $2 \times 10^{-5}$ đối với Transformer Encoder; $1 \times 10^{-4}$ đối với Linear Head
  • Batch Size: 16 / 32
  • Độ dài chuỗi tối đa (Max Sequence Length): 128 tokens
  • Số Epochs: 5 - 10 epochs (với Early Stopping trên Validation Loss)
  • Kỹ thuật lấy mẫu ($K$ mẫu): Ngẫu nhiên (Random), Ngắn nhất (Shortest), Dài nhất (Longest)

Kết quả đạt được

Các thí nghiệm chuyên sâu đã cung cấp lời giải toàn diện cho 6 câu hỏi nghiên cứu (RQ1 - RQ6):

Tổng hợp phân tích các kết quả cốt lõi:

  1. Năng lực Zero-shot ấn tượng (RQ1): Mô hình XLM-R đạt hiệu năng vượt trội trong kịch bản Zero-shot không cần bất kỳ mẫu dữ liệu ngôn ngữ đích nào. Điển hình, khi chuyển giao tri thức từ tiếng Pháp sang tiếng Hà Lan ($fr \rightarrow nl$), XLM-R đạt F1-score cao hơn 13.947% so với mô hình đơn ngữ từng chiến thắng chính thức tại cuộc thi SemEval 2016. Mô hình mBERT đạt 61.08% khi chuyển giao $en \rightarrow fr$, chỉ kém mô hình chiến thắng 0.127%.
  2. Hiệu quả của Tinh chỉnh Đa nguồn (Multi-source Fine-tuning) (RQ2): Huấn luyện trên nhiều ngôn ngữ nguồn kết hợp giúp cải thiện độ bền vững của vector không gian đa ngữ. Hiệu năng của XLM-R tăng đồng đều trên toàn bộ các ngôn ngữ thử nghiệm. Đối với mBERT, hiệu suất trung bình tăng 0.85%, ngoại trừ tiếng Thổ Nhĩ Kỳ giảm 5.9% do hiện tượng xung đột không gian biểu diễn (Curse of Multilingualism).
  3. Giá trị đột phá từ lượng nhỏ dữ liệu đích ($K \ge 10$) (RQ3):
    • Cross-lingual with Additional Target Data: Chỉ cần bổ sung $K=10$ mẫu đích vào tập nguồn, mBERT và XLM-R đã lập tức vượt ngưỡng hiệu năng Zero-shot trên hầu hết các ngôn ngữ.
    • Few-shot Transfer: Hiệu năng tăng trưởng tuyến tính và ổn định tuyệt đối khi $K$ tăng từ 10 lên 1,000 mẫu.
  4. Giải pháp đặc trị cho ngôn ngữ khác họ phả hệ (RQ4):
    • Đối với ngôn ngữ đích cùng họ Ấn-Âu với ngôn ngữ nguồn: Phương pháp Cross-lingual with Additional Target Data mang lại hiệu năng cao nhất.
    • Đối với ngôn ngữ đích khác biệt họ ngôn ngữ hoàn toàn (Tiếng Thổ Nhĩ Kỳ - họ Altai): Phương pháp Few-shot Cross-lingual Transfer là giải pháp tối ưu nhất, giúp xóa bỏ hiện tượng suy giảm hiệu năng đột ngột (hiệu năng khi fine-tune $K=500$ cao hơn mô hình đơn ngữ huấn luyện trên 1,000 mẫu từ 0.0% đến 7.49% trên mBERT và +0.36% trên XLM-R).
  5. Tiêu chuẩn chọn ngôn ngữ nguồn tối ưu (RQ5): Nghiên cứu chứng minh tiếng Anh không phải lúc nào cũng là lựa chọn duy nhất hoặc tốt nhất. Việc chọn ngôn ngữ nguồn phụ thuộc vào 4 yếu tố:
    • Quan hệ phả hệ và cấu trúc cú pháp giữa ngôn ngữ nguồn và đích.
    • Quy mô tập dữ liệu tinh chỉnh chuyên miền của ngôn ngữ nguồn.
    • Dung lượng kho ngữ liệu tiền huấn luyện ban đầu của ngôn ngữ nguồn trong mô hình gốc.
    • Sự tương đồng trong xu hướng phân bố nhãn ($E#A$) giữa tập nguồn và tập đích.
  6. So sánh tổng thể giữa hai Backbone MMTs (RQ6): Mô hình XLM-RoBERTa (XLM-R) vượt trội toàn diện so với mBERT trên toàn bộ các kịch bản thực nghiệm nhờ được tiền huấn luyện trên kho ngữ liệu Common Crawl quy mô lớn hơn gấp nhiều lần với cơ chế tối ưu không dùng NSP.

Đổi mới và đóng góp

Tiêu chí Đổi mới Các nghiên cứu trước đây (Prior Art) Đóng góp của Đề tài
Lựa chọn Ngôn ngữ nguồn Mặc định sử dụng Tiếng Anh (en) làm nguồn duy nhất Chứng minh và hệ thống hóa năng lực chuyển giao từ các ngôn ngữ khác (fr, es, ru, nl)
Xử lý Ngôn ngữ dị biệt họ Thường bị suy giảm hiệu năng nghiêm trọng trên tiếng Thổ Nhĩ Kỳ Khám phá cơ chế Few-shot 2 giai đoạn giúp vượt qua rào cản Curse of Multilingualism (+7.49%)
Phương pháp Lấy mẫu (Sampling) Lấy mẫu ngẫu nhiên không kiểm soát độ dài Khảo sát chuyên sâu 3 chiến lược: Ngẫu nhiên, Token ngắn nhất, Token dài nhất
Độ phủ nghiệm thực tế Chủ yếu dừng lại ở bài toán Phân loại phân cực (SA) Triển khai phân loại Đa nhãn chuyên sâu cho 12 danh mục khía cạnh ($E#A$)

Đóng góp Khoa học và Công bố quốc tế

  1. Công bố bài báo khoa học chuẩn Scopus: Kết quả nghiên cứu của đề tài đã được chấp nhận và công bố tại Hội nghị Quốc tế uy tín:
    • Tên bài báo: "Exploring Zero-shot Cross-lingual Aspect-based Sentiment Analysis using Pre-trained Multilingual Language Models"
    • Hội thảo: The 4th International Conference on Multimedia Analysis and Pattern Recognition (MAPR 2021).
    • Tác giả: Khoa Thi-Kim Phan, Dang Van Thin, Duong Ngoc Hao, Ngan Luu-Thuy Nguyen.
  2. Giải thưởng NCKH Quốc gia: Ứng dụng tri thức nghiên cứu về MMTs, tác giả đã tham gia và xuất sắc giành Giải Nhì (Rank 2 toàn quốc, F1 = 0.509) tại cuộc thi Xử lý Ngôn ngữ và Tiếng nói Tiếng Việt (VLSP 2021 Shared Task) với bài toán Vietnamese and English-Vietnamese Textual Entailment.

Ứng dụng thực tế và triển khai

Tình huống ứng dụng thực tế (Use Cases)

  • Hệ thống Quản trị Trải nghiệm Khách hàng (VoC) Đa quốc gia: Tự động phân loại hàng triệu đánh giá của du khách quốc tế viết bằng nhiều ngôn ngữ khác nhau trên Google Reviews / TripAdvisor về đúng 12 khía cạnh vận hành (Chất lượng món ăn, Giá cả, Không gian, Thái độ nhân viên).
  • Nền tảng Giám sát Đối thủ Cạnh tranh (Competitive Intelligence): Phân tích điểm mạnh/điểm yếu theo từng danh mục dịch vụ của các chuỗi nhà hàng đối thủ trên thị trường toàn cầu mà không cần xây dựng hệ thống gán nhãn dữ liệu bản địa.

Kiến trúc triển khai Production

  • Inference Serving: Đóng gói mô hình dưới dạng ONNX Runtime hoặc NVIDIA TensorRT kết hợp với Triton Inference Server giúp giảm độ trễ (Latency) từ 120ms xuống < 25ms/câu.
  • Microservices Architecture: Triển khai qua Docker Container chạy trên cụm Kubernetes (K8s) với khả năng tự động co giãn (Horizontal Pod Autoscaling - HPA) theo lưu lượng đánh giá.

Phân tích Hiệu quả Đầu tư (Cost-Benefit & ROI)

Hạn chế và hướng phát triển

Hạn chế kỹ thuật hiện tại

  • Rào cản khác biệt họ ngôn ngữ sâu sắc: Các ngôn ngữ chắp dính (Agglutinative languages) như tiếng Thổ Nhĩ Kỳ vẫn chịu hiện tượng suy giảm nếu chỉ dùng thuần túy Zero-shot từ ngôn ngữ Ấn-Âu.
  • Cố định Ngưỡng phân loại: Việc áp dụng một ngưỡng cứng $\tau = 0.5$ cho toàn bộ 12 nhãn chưa phản ánh tối ưu các nhãn có tần suất xuất hiện cực thấp (ví dụ: DRINKS#PRICES).

Hướng phát triển tiếp theo

  • Tích hợp các kỹ thuật thích ứng tham số hiệu quả (Parameter-Efficient Fine-Tuning - PEFT) như LoRA hoặc Adapter-tuning để giảm thiểu 90% chi phí huấn luyện lại mô hình.
  • Mở rộng bài toán sang cấu trúc hợp nhất End-to-End ABSA (kết hợp đồng thời trích xuất cụm từ khía cạnh OTE, phân loại danh mục ACD và xác định cảm xúc phân cực SP trong cùng một lượt suy luận).
  • Chuyển giao liên miền (Cross-domain adaptation) từ Nhà hàng sang các ngành bán lẻ, khách sạn và y tế.

Đối tượng hưởng lợi

  • Sinh viên & Học viên cao học: Bộ tài liệu tham khảo hoàn chỉnh về lý thuyết MMTs, mã nguồn chuẩn PyTorch và phương pháp luận thiết kế thí nghiệm đối sánh theo chuẩn khoa học quốc tế.
  • Kỹ sư NLP & AI Developers: Khung kiến trúc và giải pháp thực tế để giải quyết triệt để bài toán thiếu hụt dữ liệu (Cold-start data problem) trong các dự án phân loại văn bản doanh nghiệp.
  • Doanh nghiệp F&B & Du lịch: Giải pháp công nghệ phân tích khách hàng tự động với chi phí tiết kiệm hơn 85% so với quy trình truyền thống.
  • Cộng đồng Nghiên cứu Khoa học: Các bằng chứng thực nghiệm vững chắc được công bố tại hội thảo Scopus MAPR 2021 về hiện tượng Curse of Multilingualism và tiêu chí chọn ngôn ngữ nguồn tối ưu.

Câu hỏi thường gặp

1. Yêu cầu phần cứng tối thiểu để triển khai mô hình là gì?

Ở môi trường kiểm thử/huấn luyện, cần tối thiểu GPU NVIDIA có VRAM 8GB (như RTX 3070 hoặc T4). Ở môi trường Production sau khi tối ưu hóa lượng tử hóa (INT8 Quantization qua ONNX Runtime), mô hình hoàn toàn có thể chạy mượt mà trên môi trường CPU Server 4-cores / 8GB RAM với độ trễ dưới 45ms/request.

2. Giới hạn mở rộng (Scalability) của mô hình khi thêm ngôn ngữ mới?

Nhờ backbone XLM-RoBERTa đã được tiền huấn luyện trên 100 ngôn ngữ, khi cần hỗ trợ một ngôn ngữ mới hoàn toàn (ví dụ: Tiếng Nhật, Tiếng Hàn hay Tiếng Việt), hệ thống không cần thiết kế lại từ đầu mà chỉ cần áp dụng cơ chế Zero-shot hoặc Few-shot với từ 50 - 100 mẫu hiệu chỉnh cục bộ.

3. Làm thế nào để tích hợp mô hình vào hệ thống phần mềm sẵn có?

Mô hình được đóng gói thành các RESTful API hoặc gRPC Service thông qua FastAPI / Triton Server. Ứng dụng web/di động chỉ cần gửi chuỗi văn bản JSON và nhận về mảng cấu trúc các danh mục khía cạnh kèm điểm tin cậy xác suất (Probability score).

4. Chi phí bảo trì và xử lý hiện tượng lệch dữ liệu (Data Drift) như thế nào?

Cần lưu vết các đánh giá có điểm xác suất dao động xung quanh ngưỡng ($0.45 \le p \le 0.55$) vào hàng đợi kiểm tra (Active Learning loop). Chuyên viên ngôn ngữ chỉ cần gán nhãn bổ sung khoảng 50 - 100 mẫu bất định mỗi quý để cập nhật trọng số adapter định kỳ mà không mất nhiều chi phí.

5. Tại sao mô hình XLM-RoBERTa lại cho kết quả vượt trội hơn hẳn mBERT?

XLM-RoBERTa được huấn luyện trên kho ngữ liệu Common Crawl sạch với dung lượng dữ liệu lớn hơn hàng chục lần so với kho Wikipedia của mBERT. Ngoài ra, XLM-R loại bỏ tác vụ Next Sentence Prediction (NSP), tăng kích thước batch size và mở rộng vốn từ vựng đa ngữ (Vocabulary size = 250,000 tokens so với 110,000 của mBERT), giúp biểu diễn ngữ nghĩa giữa các ngôn ngữ đồng nhất hơn.

Kết luận

Đồ án tốt nghiệp của tác giả Phan Thị Kim Khoa tại Trường Đại học Công nghệ Thông tin - ĐHQG TP.HCM đã giải quyết xuất sắc bài toán Phát hiện danh mục khía cạnh (ACD) trong lĩnh vực Nhà hàng dưới điều kiện khan hiếm dữ liệu. Bằng việc làm chủ và thực nghiệm chuyên sâu các mô hình học sẵn đa ngôn ngữ (mBERT, XLM-RoBERTa) trên 6 ngôn ngữ chuẩn SemEval 2016, nghiên cứu đã chứng minh tính khả thi vượt trội của phương pháp Học chuyển tiếp đa ngôn ngữ, thiết lập các kỷ lục hiệu năng mới (vượt qua mô hình chiến thắng SemEval đến 13.947% trên tiếng Hà Lan) và đề xuất các giải pháp triệt tiêu rủi ro bất đồng họ ngôn ngữ.

Các đóng góp khoa học với bài báo quốc tế tại MAPR 2021 (Scopus) và thành tích Giải Nhì tại VLSP 2021 là minh chứng rõ nét cho giá trị học thuật xuất sắc cùng tiềm năng thương mại hóa mạnh mẽ của đề tài.