Giới thiệu dự án

Trong kỷ nguyên số hóa, hơn 80% dữ liệu doanh nghiệp tồn tại dưới dạng văn bản phi cấu trúc như đánh giá (reviews), phản hồi (feedback) và bài đăng mạng xã hội. Đối với ngành dịch vụ Nhà hàng và F&B đa quốc gia, việc thấu hiểu chính xác phản hồi của khách hàng là yếu tố sống còn để tối ưu hóa trải nghiệm người dùng và nâng cao năng lực cạnh tranh. Tuy nhiên, các phương pháp Phân tích Cảm xúc truyền thống (Sentiment Analysis - SA) chỉ phân loại cảm xúc tổng thể ở cấp độ câu hoặc văn bản (tích cực/tiêu cực), hoàn toàn bỏ sót tính đa chiều trong một câu đánh giá phức hợp (ví dụ: "Món ăn rất ngon nhưng phục vụ quá chậm và thái độ nhân viên chưa tốt").

Để khắc phục triệt để điểm nghẽn này, bài toán Phân tích Cảm xúc theo Khía cạnh (Aspect-Based Sentiment Analysis - ABSA) ra đời. Trọng tâm cốt lõi của ABSA là bài toán con Phát hiện Danh mục Khía cạnh (Aspect Category Detection - ACD), chịu trách nhiệm nhận diện chính xác các cặp thực thể - thuộc tính (Entity#Attribute) được đề cập trong văn bản.

Thách thức lớn nhất hiện nay là tình trạng bất đối xứng tài nguyên dữ liệu (Data Scarcity): phần lớn các nghiên cứu và tập dữ liệu gán nhãn quy mô lớn đều tập trung vào tiếng Anh, trong khi hàng nghìn ngôn ngữ khác trên thế giới (Low-resource Languages) thiếu hụt nghiêm trọng dữ liệu gán nhãn chuẩn để huấn luyện các mạng nơ-ron sâu. Chi phí gán nhãn thủ công cho từng ngôn ngữ riêng biệt ước tính tiêu tốn từ 5.000 đến 15.000 USD cho mỗi miền dữ liệu cụ thể.

Đề tài khóa luận tập trung nghiên cứu và ứng dụng Phương pháp Học chuyển tiếp Đa ngôn ngữ (Cross-lingual Transfer Learning) dựa trên các mô hình ngôn ngữ lớn học sẵn đa ngôn ngữ (Multilingual Pre-trained Language Models - MMTs) gồm mBERT và XLM-RoBERTa (XLM-R) nhằm giải quyết bài toán ACD trên tập dữ liệu đa ngôn ngữ lĩnh vực Nhà hàng mà không cần phụ thuộc vào lượng lớn dữ liệu gán nhãn ở ngôn ngữ đích.

Mục tiêu nghiên cứu (Research Questions)

  1. RQ1: Đánh giá khả năng dự đoán bài toán ACD của các mô hình MMTs đối với ngôn ngữ đích chưa từng học qua trong cấu hình Học chuyển tiếp Không mẫu (Zero-shot Cross-lingual).
  2. RQ2: Kiểm chứng giả thuyết tinh chỉnh mô hình trên nhiều ngôn ngữ nguồn kết hợp (Multi-source Fine-tuning) có mang lại hiệu năng vượt trội hơn so với việc chỉ tinh chỉnh trên một ngôn ngữ nguồn đơn lẻ hay không.
  3. RQ3: Đo lường mức độ cải thiện hiệu suất khi ngôn ngữ đích được bổ sung một lượng nhỏ dữ liệu huấn luyện ($K \in {10, 50, 100, 500, 1000}$ mẫu) thông qua 2 chiến lược: Mở rộng dữ liệu nguồn (Cross-lingual with Additional Target Data) và Học ít mẫu theo chuỗi (Few-shot Cross-lingual Transfer).
  4. RQ4: Xác định mô hình và hướng tiếp cận tối ưu nhất cho các ngôn ngữ ít tài nguyên thuộc các họ ngôn ngữ khác nhau (cùng họ Ấn-Âu vs khác họ như Ngữ hệ Altai).
  5. RQ5: Phân tích và hệ thống hóa các yếu tố quyết định đến việc lựa chọn ngôn ngữ nguồn (Source Language Selection Criteria) tối ưu thay vì mặc định sử dụng tiếng Anh.
  6. RQ6: So sánh hiệu năng toàn diện giữa kiến trúc mBERT và XLM-RoBERTa trong toàn bộ các cấu hình thực nghiệm chuyển tiếp đa ngôn ngữ.

Phạm vi và Giới hạn nghiên cứu

  • Miền dữ liệu: Đánh giá của khách hàng trong lĩnh vực Nhà hàng (Restaurant Domain) từ bộ dữ liệu chuẩn quốc tế SemEval-2016 Task 5.
  • Không gian ngôn ngữ: 6 ngôn ngữ đại diện bao gồm Tiếng Anh (en), Tiếng Pháp (fr), Tiếng Hà Lan (nl), Tiếng Tây Ban Nha (es), Tiếng Nga (ru) thuộc ngữ hệ Ấn-Âu (Indo-European), và Tiếng Thổ Nhĩ Kỳ (tr) thuộc ngữ hệ Altai (Western Turkic/Oguz branch).
  • Không gian nhãn: 12 danh mục khía cạnh định sẵn: RESTAURANT#GENERAL, SERVICE#GENERAL, FOOD#QUALITY, FOOD#STYLE_OPTIONS, DRINKS#STYLE_OPTIONS, DRINKS#PRICES, RESTAURANT#PRICES, RESTAURANT#MISCELLANEOUS, AMBIENCE#GENERAL, FOOD#PRICES, LOCATION#GENERAL, DRINKS#QUALITY.

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Trước khi MMTs bùng nổ, các hệ thống phân tích cảm xúc đa ngôn ngữ dựa trên 3 hướng tiếp cận chính: Hệ thống chuyên gia dựa trên luật (Rule-based & Lexicons), Mô hình học máy truyền thống kết hợp trích xuất đặc trưng thủ công (SVM, Logistic Regression), và Dịch máy trung gian (Translate-Train / Translate-Test).

Hướng tiếp cận Ưu điểm Nhược điểm & Rào cản kỹ thuật F1-Score trung bình (SemEval2016)
Hệ thống dựa trên luật & Senti-Lexicon Dễ giải thích, không cần tài nguyên tính toán GPU lớn. Không bao quát ngữ cảnh, độ phủ từ vựng thấp, phụ thuộc chuyên gia ngôn ngữ học. $45.2% - 54.0%$
SVM + Feature Engineering (N-grams, POS, Word Clusters) Đạt hiệu quả cao trên tập dữ liệu nhỏ đơn ngữ (Monolingual). Không có khả năng chuyển tiếp đa ngôn ngữ, tốn kém chi phí trích xuất đặc trưng. $58.0% - 64.5%$
Dịch máy trung gian (Machine Translation Pipelines) Tận dụng được các mô hình tiếng Anh đã huấn luyện sẵn. Lỗi dịch tích lũy (Error Propagation), méo mó ngữ nghĩa khía cạnh/từ lóng, chi phí API dịch cao. $52.0% - 59.3%$
MMTs Cross-lingual Transfer (Đề xuất) Bảo toàn ngữ nghĩa không gian nhúng đa chiều, tổng quát hóa zero-shot/few-shot mạnh mẽ. Chi phí tính toán huấn luyện ban đầu trên GPU cao, cần chiến lược tối ưu để tránh Curse of Multilingualism. $65.0% - 78.5%$

Ma trận ưu tiên yêu cầu hệ thống (MoSCoW Prioritization)

  • Must-have:
    • Khả năng phân loại đa nhãn (Multi-label Classification) cho 12 nhãn khía cạnh độc lập trên mỗi câu đầu vào.
    • Hỗ trợ suy luận trực tiếp trên 6 ngôn ngữ đích mà không cần qua module dịch máy.
    • Tối ưu hóa hàm mất mát nhị phân (Binary Cross-Entropy) với ngưỡng phân lớp động hoặc cố định $\tau = 0.5$.
  • Should-have:
    • Module lấy mẫu dữ liệu tự động (Target Language Sampling: Random, Shortest Token Length, Longest Token Length).
    • Tích hợp cả hai kiến trúc mBERT và XLM-RoBERTa để benchmark so sánh.
  • Could-have:
    • Khả năng huấn luyện gộp đa nguồn (Multi-source Data Concatenation).
    • Pipeline xuất mô hình sang định dạng ONNX/TorchScript nhằm tối ưu độ trễ suy luận.
  • Won't-have (giai đoạn này):
    • Nhận diện thực thể khía cạnh theo từ (Opinion Target Expression - OTE) và trích xuất quan hệ phân cực cảm xúc 3 lớp (End-to-End ABSA).

Thiết kế hệ thống

Kiến trúc tổng thể của hệ thống phân loại khía cạnh đa nhãn sử dụng mô hình học sẵn đa ngôn ngữ được chuẩn hóa theo mô hình bên dưới:

Technology Stack & Version Specifications

  • Ngôn ngữ lập trình: Python 3.8.10
  • Framework Học sâu: PyTorch 1.9.0+cu111
  • Thư viện Xử lý ngôn ngữ tự nhiên: Hugging Face transformers 4.11.3, tokenizers 0.10.3, datasets 1.14.0
  • Thư viện Khoa học dữ liệu: Scikit-Learn 0.24.2, NumPy 1.19.5, Pandas 1.3.3
  • Phần cứng thực nghiệm: NVIDIA Tesla V100 16GB VRAM / CUDA Version 11.1

Cấu trúc dữ liệu đầu ra (Output Vector Definition)

Mỗi câu đầu vào $x$ sau khi đi qua mô hình sẽ được ánh xạ thành một vector xác suất $P = [\hat{y}_1, \hat{y}2, ..., \hat{y}{12}] \in [0, 1]^{12}$. Nhãn dự đoán nhị phân $\hat{Y} \in {0, 1}^{12}$ được xác định:

$$\hat{y}_i = \begin{cases} 1 & \text{nếu } \sigma(z_i) \ge 0.5 \ 0 & \text{nếu } \sigma(z_i) < 0.5 \end{cases}$$

Trong đó hàm mất mát sử dụng trong quá trình tối ưu hóa là Binary Cross-Entropy Loss tính độc lập trên từng nhãn:

$$\mathcal{L}{\text{BCE}}(y, \hat{y}) = -\frac{1}{12}\sum{i=1}^{12} \left[ y_i \log(\sigma(z_i)) + (1 - y_i)\log(1 - \sigma(z_i)) \right]$$

Phương pháp luận (Methodology)

Nghiên cứu áp dụng quy trình chuẩn hóa thực nghiệm bao gồm 3 chiến lược học chuyển tiếp:

1. ZERO-SHOT CROSS-LINGUAL TRANSFER:

2. CROSS-LINGUAL + ADDITIONAL TARGET DATA:

3. FEW-SHOT CROSS-LINGUAL TRANSFER:

Ma trận Quản trị Rủi ro Kỹ thuật

  • Rủi ro 1: Hiện tượng Curse of Multilingualism (Hiện tượng sụt giảm hiệu năng khi chia sẻ biểu diễn giữa các ngôn ngữ bất đồng ngữ hệ).
    • Giải pháp giảm thiểu: Sử dụng kiến trúc XLM-RoBERTa với bộ từ vựng SentencePiece 250.000 tokens và áp dụng quy trình Sequential Few-shot Fine-tuning nhằm điều chỉnh không gian biểu diễn thích nghi dần với ngôn ngữ đích.
  • Rủi ro 2: Mất cân bằng nhãn nghiêm trọng (Class Imbalance) giữa các danh mục khía cạnh.
    • Giải pháp giảm thiểu: Sử dụng Micro-F1 và Macro-F1 làm thước đo đánh giá chính xác thay cho Accuracy; tối ưu hóa ngưỡng quyết định per-class thresholding.
  • Rủi ro 3: Tràn bộ nhớ GPU khi huấn luyện chuỗi dài.
    • Giải pháp giảm thiểu: Cố định độ dài chuỗi tối đa max_seq_length = 128 (bao phủ $99.2%$ độ dài câu trong tập SemEval2016), kích thước batch size 16 kết hợp Gradient Accumulation.

Implementation và kết quả

Development Process & Key Implementation Details

Dưới đây là phần triển khai thực tế của module phân lớp khía cạnh đa nhãn sử dụng kiến trúc Backbone từ Hugging Face Transformers và PyTorch:

import torch
import torch.nn as nn
from transformers import AutoModel, AutoConfig

class AspectCategoryClassifier(nn.Module):
    """
    Module phân loại đa nhãn phát hiện danh mục khía cạnh (ACD)
    hỗ trợ backbone mBERT (bert-base-multilingual-cased) và XLM-R (xlm-roberta-base).
    """
    def __init__(self, model_name: str = "xlm-roberta-base", num_labels: int = 12, dropout_rate: float = 0.1):
        super(AspectCategoryClassifier, self).__init__()
        self.num_labels = num_labels
        self.config = AutoConfig.from_pretrained(model_name)
        self.transformer = AutoModel.from_pretrained(model_name, config=self.config)
        
        # Classifier Head
        self.dropout = nn.Dropout(dropout_rate)
        self.classifier = nn.Linear(self.config.hidden_size, num_labels)
        
    def forward(self, input_ids: torch.Tensor, attention_mask: torch.Tensor, labels: torch.Tensor = None):
        outputs = self.transformer(input_ids=input_ids, attention_mask=attention_mask)
        
        # Trích xuất vector biểu diễn của token đầu tiên ([CLS] hoặc <s>)
        # pooled_output: [batch_size, hidden_size]
        sequence_output = outputs[0]
        cls_rep = sequence_output[:, 0, :]
        
        cls_rep = self.dropout(cls_rep)
        logits = self.classifier(cls_rep) # [batch_size, num_labels]
        
        loss = None
        if labels is not None:
            # Multi-label classification loss: Binary Cross Entropy with Logits
            loss_fn = nn.BCEWithLogitsLoss()
            loss = loss_fn(logits, labels.float())
            
        probabilities = torch.sigmoid(logits)
        return loss, probabilities

def compute_multilabel_metrics(predictions: torch.Tensor, ground_truth: torch.Tensor, threshold: float = 0.5):
    """
    Tính toán Micro-F1, Macro-F1 cho dự đoán đa nhãn
    """
    preds_binary = (predictions >= threshold).int().cpu().numpy()
    targets = ground_truth.int().cpu().numpy()
    
    from sklearn.metrics import f1_score
    micro_f1 = f1_score(targets, preds_binary, average='micro', zero_division=0)
    macro_f1 = f1_score(targets, preds_binary, average='macro', zero_division=0)
    return {"micro_f1": micro_f1, "macro_f1": macro_f1}

Thuật toán trích chọn mẫu dữ liệu mục tiêu (Sampling Strategies)

Quá trình tạo tập dữ liệu ít mẫu $K \in {10, 50, 100, 500, 1000}$ được thực hiện thông qua 3 chiến lược độc lập:

  1. Random Sampling: Lấy mẫu ngẫu nhiên đồng đều theo phân phối chuẩn.
  2. Shortest Length Sampling: Sắp xếp các câu theo độ dài token (được phân tích bởi Tokenizer tương ứng) tăng dần và chọn $K$ mẫu ngắn nhất.
  3. Longest Length Sampling: Sắp xếp các câu theo độ dài token giảm dần và chọn $K$ mẫu dài nhất (chứa nhiều thông tin ngữ cảnh và cấu trúc phức tạp nhất).

Testing và Validation

Thông số siêu tham số huấn luyện (Hyperparameter Setup)

  • Optimizer: AdamW (Weight Decay $= 0.01$)
  • Learning Rate: $2 \times 10^{-5}$ kết hợp Linear Warmup $10%$ tổng số bước
  • Batch Size: 16
  • Epochs: 10 (đối với huấn luyện nguồn) và 5 - 15 (đối với tinh chỉnh ít mẫu)
  • Độ dài chuỗi tối đa (max_seq_length): 128 tokens

Kết quả Benchmark Hiệu năng thực nghiệm

1. Đánh giá Zero-shot Cross-lingual Transfer (RQ1 & RQ2)

So sánh điểm $F_1$-score ($%$) khi chuyển tiếp không mẫu từ 1 ngôn ngữ nguồn và nhiều ngôn ngữ nguồn (Multi-source) so với các giải pháp chiến thắng tại SemEval-2016:

Mô hình & Cấu hình Target: Tiếng Hà Lan (nl) Target: Tiếng Pháp (fr) Target: Tây Ban Nha (es) Target: Thổ Nhĩ Kỳ (tr) Target: Tiếng Nga (ru)
SemEval-2016 Baseline Winner $57.06%$ $61.21%$ $70.59%$ $59.71%$ $65.88%$
mBERT (Best Single Source) $58.12%$ (từ en) $61.08%$ (từ en) $68.45%$ (từ en) $51.20%$ (từ en) $62.40%$ (từ en)
mBERT (Multi-source combined) $60.25%$ ($+2.13%$) $62.15%$ ($+1.07%$) $69.80%$ ($+1.35%$) $45.30%$ ($-5.90%$) $63.75%$ ($+1.35%$)
XLM-R (Best Single Source) $71.01%$ (từ fr) $64.85%$ (từ es) $73.20%$ (từ fr) $60.85%$ (từ es) $68.10%$ (từ en)
XLM-R (Multi-source combined) $71.85%$ $65.90%$ $74.15%$ $61.50%$ $69.40%$

[!IMPORTANT] Mô hình XLM-RoBERTa vượt qua toàn bộ các mô hình chiến thắng đơn ngữ tại SemEval-2016 trong chế độ Zero-shot thuần túy. Đáng chú ý nhất, khi chuyển tiếp từ Tiếng Pháp sang Tiếng Hà Lan (fr $\to$ nl), XLM-R đạt $71.01%$ $F_1$, cao hơn $+13.947%$ so với mô hình tốt nhất từng được huấn luyện trực tiếp trên tiếng Hà Lan tại cuộc thi.

2. Hiện tượng Curse of Multilingualism trên Tiếng Thổ Nhĩ Kỳ

Khi thực hiện huấn luyện đa nguồn trên mBERT, hiệu suất trên tiếng Thổ Nhĩ Kỳ sụt giảm mạnh từ $51.20%$ xuống $45.30%$ (giảm $-5.9%$). Nguyên nhân cốt lõi là do tiếng Thổ Nhĩ Kỳ là ngôn ngữ chắp dính (Agglutinative Language) thuộc ngữ hệ Altai, có cấu trúc hình thái và trật tự từ khác biệt hoàn toàn với 5 ngôn ngữ còn lại (thuộc hệ Ấn-Âu). Việc gộp nhiều ngôn ngữ nguồn Ấn-Âu đã tạo ra sự can thiệp tiêu cực (Negative Transfer) trong không gian biểu diễn của mBERT.

3. Đánh giá chiến lược Bổ sung dữ liệu mục tiêu và Học ít mẫu (RQ3 & RQ4)

Khi cung cấp lượng mẫu dữ liệu nhỏ $K \in {10, 50, 100, 500, 1000}$:

  • Ngôn ngữ cùng ngữ hệ (Indo-European): Phương pháp Cross-lingual with Additional Target Data (huấn luyện đồng thời tập nguồn + $K$ mẫu đích) cho kết quả vượt trội ngay từ $K=10$ mẫu, vượt mốc Zero-shot từ $+1.5%$ đến $+4.2%$.
  • Ngôn ngữ khác ngữ hệ (Tiếng Thổ Nhĩ Kỳ): Phương pháp Few-shot Sequential Transfer (huấn luyện trên nguồn trước, sau đó tinh chỉnh tiếp trên $K$ mẫu đích) giải quyết triệt để hiện tượng suy giảm hiệu năng. Khi đạt $K=500$ mẫu, mô hình đạt $F_1$ vượt qua mô hình đơn ngữ huấn luyện trên 1.000 mẫu Thổ Nhĩ Kỳ thuần túy từ $+0.36%$ đến $+7.49%$.

Đổi mới và đóng góp

  1. Chứng minh tính khả thi của Zero-shot ACD vượt ngưỡng Monolingual: Phá vỡ rào cản truyền thống cho rằng các mô hình học sẵn đa ngôn ngữ không thể cạnh tranh với mô hình đơn ngữ khi thiếu dữ liệu mục tiêu. Chứng minh thực nghiệm chuyển tiếp đa ngôn ngữ từ tiếng Pháp sang tiếng Hà Lan đạt mức tăng trưởng đột phá $+13.95%$.
  2. Xóa bỏ định kiến phụ thuộc vào Tiếng Anh làm ngôn ngữ nguồn: Nghiên cứu chứng minh tiếng Anh không phải lúc nào cũng là ngôn ngữ nguồn tối ưu. Đối với tiếng Tây Ban Nha, sử dụng tiếng Pháp (fr) làm nguồn mang lại kết quả cao hơn rõ rệt so với tiếng Anh (en) do mức độ tương đồng từ vựng và ngữ pháp cao hơn trong cùng nhánh ngôn ngữ Rôman (Romance languages).
  3. Bộ tiêu chí khoa học lựa chọn ngôn ngữ nguồn tối ưu (RQ5):
    • Mối quan hệ phả hệ ngôn ngữ (Phylogenetic / Typological distance).
    • Kích thước tập dữ liệu tinh chỉnh của ngôn ngữ nguồn ($N_{\text{samples}}$).
    • Quy mô kho ngữ liệu tiền huấn luyện trong mô hình gốc (Pre-training corpus volume).
    • Mức độ đồng nhất trong phân bố nhãn danh mục khía cạnh giữa nguồn và đích.
  4. Công bố Khoa học Quốc tế:
    • Đóng góp bài báo khoa học được chấp nhận xuất bản tại Hội nghị Quốc tế Scopus IEEE MAPR 2021: "Exploring Zero-shot Cross-lingual Aspect-based Sentiment Analysis using Pre-trained Multilingual Language Models".
    • Đạt giải Nhì toàn quốc (Runner-up, $F_1 = 0.584$) tại cuộc thi xử lý ngôn ngữ tự nhiên VLSP 2021 Shared Task: Vietnamese and English-Vietnamese Textual Entailment.

Ứng dụng thực tế và triển khai

Kịch bản ứng dụng trong Công nghiệp F&B & Du lịch

Hệ thống giải quyết bài toán cốt lõi cho các nền tảng đánh giá dịch vụ đa quốc gia (như TripAdvisor, Google Maps, Traveloka, ShopeeFood):

  • Phân tích phản hồi khách du lịch quốc tế: Khách hàng viết nhận xét bằng nhiều thứ tiếng khác nhau (Pháp, Tây Ban Nha, Nga, Thổ Nhĩ Kỳ), hệ thống tự động bóc tách từng khía cạnh chi tiết (FOOD#QUALITY, SERVICE#GENERAL, AMBIENCE#GENERAL) về một dashboard quản trị đồng nhất mà không cần dịch máy.
  • Hệ thống cảnh báo khủng hoảng dịch vụ theo thời gian thực: Phát hiện ngay lập tức các khía cạnh bị đánh giá tiêu cực gia tăng đột biến (ví dụ: SERVICE#PRICES bị phàn nàn giá tăng vô lý) để quản lý nhà hàng xử lý kịp thời.
                                 KIẾN TRÚC TRIỂN KHAI PRODUCTION

Phân tích Chi phí - Lợi ích (Cost-Benefit Analysis & ROI)

  • Chi phí gán nhãn truyền thống: Để triển khai hệ thống ACD cho 5 ngôn ngữ mới cần gán nhãn ít nhất $2.000 \text{ câu/ngôn ngữ} \times 5 = 10.000 \text{ câu}$. Với chi phí gán nhãn trung bình $1.0\text{ USD/câu}$, doanh nghiệp tiêu tốn $10.000\text{ USD}$ cùng thời gian gán nhãn $2 - 3\text{ tháng}$.
  • Giải pháp Cross-lingual Transfer Learning: Chỉ cần gán nhãn $50 - 100\text{ câu}$ cho mỗi ngôn ngữ mục tiêu (hoặc $0\text{ câu}$ với Zero-shot), tiết kiệm $> 85%$ chi phí nhân công và rút ngắn thời gian Go-to-market từ vài tháng xuống còn dưới 1 tuần.

Hạn chế và hướng phát triển

Hạn chế kỹ thuật

  • Độ bao phủ miền dữ liệu: Hệ thống hiện mới thử nghiệm chuyên sâu trên miền dữ liệu Nhà hàng, việc áp dụng sang các miền dữ liệu khác (Khách sạn, Điện máy, Thương mại điện tử) đòi hỏi kỹ thuật Domain Adaptation.
  • Mức độ tích hợp ABSA: Chưa tích hợp trực tiếp bài toán trích xuất thực thể cụ thể (Opinion Target Expression) và gán nhãn phân cực cảm xúc trong cùng một kiến trúc thống nhất (Joint End-to-End ABSA).

Hướng phát triển tương lai

  1. Mở rộng mô hình sinh đa ngôn ngữ (Generative Multilingual LLMs): Nghiên cứu ứng dụng các mô hình ngôn ngữ lớn hiện đại như mT5, LLaMA-3 đa ngữ thông qua kỹ thuật Instruction Tuning và Parameter-Efficient Fine-Tuning (PEFT/LoRA).
  2. Khảo sát mở rộng trên Ngôn ngữ Tiếng Việt: Ứng dụng các kết quả nghiên cứu vào các bộ ngữ liệu tiếng Việt chuẩn như VLSP Restaurant & Hotel datasets kết hợp mô hình PhoBERT và ViBERT.

Đối tượng hưởng lợi

                                      MA TRẬN ĐỐI TƯỢNG HƯỞNG LỢI

Câu hỏi thường gặp

1. Cần cấu hình phần cứng tối thiểu nào để huấn luyện và triển khai mô hình?

Để tinh chỉnh (fine-tune) mô hình XLM-RoBERTa Base hoặc mBERT với batch size 16 và sequence length 128, hệ thống cần tối thiểu 1 GPU NVIDIA với 8GB VRAM (như RTX 3060, RTX 2080Ti hoặc Tesla T4). Khi triển khai suy luận (Inference), mô hình có thể chạy mượt mà trên môi trường CPU tiêu chuẩn (4 Cores, 8GB RAM) với độ trễ dưới 50ms khi được tối ưu hóa qua ONNX Runtime.

2. Hiện tượng "Curse of Multilingualism" là gì và làm sao để phát hiện trong thực tế?

"Curse of Multilingualism" là hiện tượng khi dung lượng mô hình bị chia sẻ cho quá nhiều ngôn ngữ, dẫn đến việc hiệu năng trên một ngôn ngữ cụ thể (đặc biệt là ngôn ngữ ít tài nguyên hoặc khác biệt ngữ hệ) bị suy giảm khi huấn luyện chung với các ngôn ngữ khác. Biểu hiện rõ nhất là khi huấn luyện Multi-source trên mBERT, điểm $F_1$ của tiếng Thổ Nhĩ Kỳ sụt giảm $5.9%$. Giải pháp là chuyển sang kiến trúc XLM-R có dung lượng từ vựng lớn hơn hoặc áp dụng phương pháp Sequential Few-shot Fine-tuning.

3. Tại sao chọn bài toán Đa nhãn (Multi-label) thay vì Đa lớp (Multi-class)?

Trong thực tế đánh giá nhà hàng, một câu bình luận đơn lẻ có thể đồng thời đề cập đến nhiều khía cạnh khác nhau (ví dụ: vừa khen đồ ăn ngon FOOD#QUALITY, vừa chê giá đắt FOOD#PRICES). Do đó, các nhãn xuất hiện độc lập và không loại trừ lẫn nhau. Mô hình bắt buộc phải sử dụng kiến trúc phân loại đa nhãn với hàm kích hoạt Sigmoid và hàm mất mát Binary Cross-Entropy riêng biệt cho từng nhãn.

4. Phương pháp lấy mẫu dữ liệu đích nào (Random, Shortest, Longest) mang lại hiệu quả cao nhất?

Kết quả thực nghiệm chỉ ra rằng chiến lược lấy mẫu ngẫu nhiên (Random Sampling) và mẫu dài nhất (Longest Sampling) mang lại độ ổn định cao hơn so với lấy mẫu ngắn nhất (Shortest Sampling). Các mẫu câu dài cung cấp đầy đủ ngữ cảnh phong phú và chứa nhiều cặp thực thể hơn, giúp tầng biểu diễn Transformer nhanh chóng căn chỉnh không gian ngữ nghĩa giữa hai ngôn ngữ.

5. Chi phí và thời gian cần thiết để mở rộng mô hình sang một ngôn ngữ hoàn toàn mới?

Nhờ vào khả năng Zero-shot của XLM-RoBERTa, hệ thống có thể hoạt động ngay lập tức trên ngôn ngữ mới với chi phí dữ liệu bằng $0$ và đạt mức hiệu năng $F_1$ từ $60% - 70%$. Nếu muốn nâng cao độ chính xác lên mức tiệm cận tối đa ($> 75%$), chỉ cần thu thập và gán nhãn thủ công từ 50 đến 100 câu mẫu đại diện (thực hiện trong vòng 1 - 2 giờ làm việc của một chuyên viên).

Kết luận

Khóa luận tốt nghiệp đã giải quyết trọn vẹn và chuyên sâu bài toán Phát hiện Danh mục Khía cạnh (Aspect Category Detection) trên dữ liệu lĩnh vực Nhà hàng thông qua các phương pháp Học chuyển tiếp Đa ngôn ngữ (Cross-lingual Transfer Learning). Bằng việc thực nghiệm bài bản trên 6 ngôn ngữ chuẩn SemEval-2016 và 2 mô hình MMTs tiên tiến (mBERT, XLM-RoBERTa), nghiên cứu đã chứng minh năng lực vượt trội của mô hình học sẵn đa ngôn ngữ trong việc san bằng khoảng cách thiếu hụt tài nguyên ngôn ngữ.

Những phát hiện then chốt về ưu thế của mô hình XLM-RoBERTa (vượt trội hơn mBERT trên toàn bộ các tác vụ), tính hiệu quả của chiến lược Multi-source Zero-shot, cũng như giải pháp Sequential Few-shot cho các ngôn ngữ khác ngữ hệ không chỉ mang giá trị học thuật cao (được ghi nhận tại Hội nghị Quốc tế Scopus IEEE MAPR 2021) mà còn mở ra tiềm năng ứng dụng thực tiễn to lớn cho các doanh nghiệp trong việc thấu hiểu khách hàng toàn cầu với chi phí tối ưu nhất.