Giới thiệu dự án

Nạn kỳ thị giới tính (sexism) và phân biệt đối xử trên cơ sở giới là vấn nạn nhức nhối kéo dài từ đời sống thực tế đến không gian mạng xã hội. Theo các khảo sát từ Pew Research Center và UN Women, hơn 73% phụ nữ tham gia môi trường trực tuyến từng trải nghiệm hoặc chứng kiến các hành vi quấy rối, công kích thù hận trên cơ sở giới. Các sự kiện mang tính bước ngoặt tiêu cực như chiến dịch Gamergate (2014) đã minh chứng cho sức tàn phá dữ dội của ngôn từ thù địch trực tuyến (hate speech) đối với sức khỏe tinh thần và sự an toàn của phụ nữ trong ngành công nghệ và truyền thông.

                    ┌────────────────────────────────────────────────────────┐
                    │       VĂN BẢN MẠNG XÃ HỘI (TWITTER / X TWEETS)         │
                    └───────────────────────────┬────────────────────────────┘
                                                │
                                                ▼
                        ┌───────────────────────────────────────────┐
                        │      BÀI TOÁN 1: PHÂN LOẠI NHỊ PHÂN       │
                        │    [YES: Kỳ thị] vs [NO: Không kỳ thị]    │
                        └─────────────────────┬─────────────────────┘
                                              │
                    ┌─────────────────────────┴─────────────────────────┐
                    │ (Nếu YES)                                         │ (Nếu YES)
                    ▼                                                   ▼
┌───────────────────────────────────────┐   ┌──────────────────────────────────────────────┐
│     BÀI TOÁN 2: Ý ĐỊNH NGƯỜI ĐĂNG     │   │         BÀI TOÁN 3: PHÂN LOẠI ĐA NHÃN        │
│ ├─ DIRECT (Thuần kỳ thị)              │   │ ├─ IDEOLOGICAL-INEQUALITY (Bất bình đẳng)    │
│ ├─ REPORTED (Miêu tả/Thuật lại)       │   │ ├─ STEREOTYPING-DOMINANCE (Định kiến/Thống trị)│
│ └─ JUDGEMENTAL (Lên án/Chỉ trích)     │   │ ├─ OBJECTIFICATION (Vật hóa phụ nữ)          │
│                                       │   │ ├─ SEXUAL-VIOLENCE (Bạo lực tình dục)        │
│                                       │   │ └─ MISOGYNY-NON-SEXUAL-VIOLENCE (Thù ghét)   │
└───────────────────────────────────────┘   └──────────────────────────────────────────────┘

Vấn đề nghiên cứu và Thách thức kỹ thuật

Việc kiểm duyệt tự động nội dung kỳ thị giới tính trên các nền tảng mạng xã hội (Twitter/X, Facebook) đối mặt với 3 thách thức cốt lõi:

  1. Sự tinh vi của ngôn từ (Subtle & Benevolent Sexism): Kỳ thị không chỉ xuất hiện dưới dạng thù địch trực diện (hostile sexism) mà thường ẩn giấu sau những lời khen ngợi mang tính định kiến áp đặt (benevolent sexism - ví dụ: "Phụ nữ là phái yếu cần được bao bọc như tấm kính dễ vỡ") hoặc dưới lăng kính châm biếm, hài hước (humor/sarcasm).
  2. Sự bất đồng quan điểm gán nhãn (Annotator Disagreement): Cảm xúc và ranh giới phân biệt giới mang tính chủ quan cao. Việc ép buộc một nhãn duy nhất thông qua biểu quyết đa số (majority voting) làm triệt tiêu tính đa chiều và thiên kiến nhân khẩu học (tuổi tác, giới tính, học vấn, văn hóa).
  3. Mối quan hệ thứ bậc phức tạp (Hierarchical Dependency): Việc phân loại ý định người viết (intention) và hình thức kỳ thị (sexism types) phụ thuộc mật thiết vào bước sàng lọc văn bản có chứa yếu tố kỳ thị hay không.

Mục tiêu của đồ án

Đồ án tốt nghiệp chuyên ngành Khoa học Máy tính do sinh viên Lê Minh Quân thực hiện dưới sự hướng dẫn của ThS. Đặng Văn Thìn tập trung vào 4 mục tiêu trọng tâm:

  1. Xây dựng hệ thống học máy và mô hình ngôn ngữ lớn giải quyết bài toán nhận dạng kỳ thị giới tính theo cấu trúc thứ bậc 3 cấp độ.
  2. Ứng dụng mô hình học với sự bất đồng (Learning With Disagreement - LeWiDi), bảo toàn trọn vẹn 6 góc nhìn nhân khẩu học cho từng mẫu dữ liệu.
  3. Khai thác và tối ưu hóa năng lực tạo sinh của các mô hình ngôn ngữ lớn thế hệ mới (Llama-2, mT5, XLM-RoBERTa) thông qua kỹ thuật Prompt Engineering và Low-Rank Adaptation (LoRA).
  4. Phát triển ứng dụng Web minh họa trực quan quy trình phân loại đa góc nhìn phục vụ nghiên cứu và kiểm thử thực tế.

Phương pháp tiếp cận và Phạm vi

  • Dữ liệu thực nghiệm: Bộ dữ liệu đa ngôn ngữ EXIST 2024 Tweets Dataset (tiếng Anh và tiếng Tây Ban Nha) với hơn 10.000 bài đăng, mỗi mẫu được gán nhãn độc lập bởi 6 chuyên gia gán nhãn kèm metadata nhân khẩu học.
  • Độ đo đánh giá: Information Contrast Measure (ICM), ICM-soft, F1-score Macro/Micro và Cross-Entropy Loss.
  • Phạm vi giới hạn: Tập trung vào văn bản tweet ngắn dạng microblogging bằng tiếng Anh (EN) và tiếng Tây Ban Nha (ES).

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Phương pháp tiếp cận Ưu điểm Nhược điểm Độ phức tạp
Biểu quyết đa số (Majority Voting) + SVM/MLP Tốc độ xử lý nhanh, chi phí tính toán thấp, dễ triển khai. Mất mát hoàn toàn các góc nhìn bất đồng thiểu số; không nắm bắt được ngữ cảnh sâu. Thấp ($O(N \cdot d)$)
Mô hình nhúng Encoder (mBERT, XLM-R) cơ bản Hiểu ngữ cảnh đa chiều tốt, biểu diễn vector ngữ nghĩa phong phú. Khó tích hợp trực tiếp thuộc tính nhân khẩu học; xử lý nhãn mềm (soft labels) kém linh hoạt. Trung bình ($O(L^2)$)
Transformers with Tabular (Ghép bảng đặc trưng) Kết hợp được metadata người gán nhãn vào vector nhúng. Phức tạp trong cấu trúc tensor; hiệu quả trên bài toán nhị phân cấp 1 chưa vượt trội. Cao
Generative LLM + LeWiDi Persona (Đề xuất) Mô phỏng chính xác persona người gán nhãn qua prompt; xuất sắc ở bài toán phân loại đa nhãn phức tạp. Yêu cầu tài nguyên tính toán lớn khi suy luận; cần kỹ thuật tối ưu tham số PEFT. Cao (Tối ưu qua LoRA)

Yêu cầu hệ thống theo mô hình MoSCoW

  • Must Have (Bắt buộc): Khả năng phân loại chuẩn xác 3 bài toán phân cấp; hỗ trợ xuất định dạng cả nhãn cứng (Hard Label) và phân phối xác suất (Soft Label); tích hợp đặc trưng 6 cá nhân gán nhãn.
  • Should Have (Nên có): Tối ưu hóa bộ nhớ GPU thông qua LoRA; xử lý đồng thời song ngữ Anh - Tây Ban Nha; đạt thứ hạng cao trên thang đo chuẩn quốc tế CLEF EXIST 2024.
  • Could Have (Có thể có): Giao diện Web tương tác trực quan cho phép tùy chỉnh thông tin người thẩm định (tuổi, giới tính, sắc tộc, học vấn, quốc gia).
  • Won't Have (Chưa thực hiện): Nhận dạng đa phương thức trên hình ảnh (meme/ảnh đính kèm tweet); hỗ trợ các ngôn ngữ ngoài phạm vi tiếng Anh và tiếng Tây Ban Nha.

Thiết kế kiến trúc hệ thống

Kiến trúc đề xuất áp dụng phương thức Learning with Disagreement (LeWiDi) phối hợp cùng cấu trúc thứ bậc (Hierarchical Cascade):

graph TD
    A[Mẫu Dữ Liệu Tweet + 6 Annotators Metadata] --> B[Phân tách thành 6 cặp: Tweet, Annotator_i]
    B --> C[Tiền xử lý & Prompt Engineering / Tokenizer]
    C --> D[Mô hình phân loại Task 1: Sexism vs Non-Sexism]
    D -- Dự đoán NO --> E[Mặc định Task 2 & Task 3 = NO / -]
    D -- Dự đoán YES --> F[Kích hoạt Pipeline Task 2: Intention Classification]
    D -- Dự đoán YES --> G[Kích hoạt Pipeline Task 3: Types Classification]
    F --> H[Tổng hợp 6 kết quả dự đoán]
    G --> H
    H --> I[Hậu xử lý: Hard Label Voting & Soft Label Distribution]
    I --> J[Kết quả xuất: JSON / Visualization]

Technology Stack chi tiết

+-------------------------------------------------------------------------+
|                              TECH STACK                                 |
+--------------------+----------------------------------------------------+
| Ngôn ngữ & Core    | Python 3.10.12, PyTorch 2.1.2+cu121                |
| NLP & LLM Engines  | Hugging Face Transformers 4.38.0, PEFT 0.8.2 (LoRA)|
| Models Triển khai  | Llama-2-7b-chat-hf, mT5-base/large, XLM-RoBERTa    |
| Machine Learning   | Scikit-learn 1.4.0, TextCNN, Bi-LSTM               |
| Backend & Frontend | FastAPI 0.110.0, Streamlit 1.31.0, Uvicorn         |
| Môi trường phần cứng| NVIDIA A100-SXM4-40GB / Tesla V100 16GB            |
+--------------------+----------------------------------------------------+

Thiết kế dữ liệu mẫu (JSON Schema)

{
  "id_EXIST": "190061",
  "lang": "es",
  "tweet": "@TheChiflis Ignora al otro, es un capullo... en su video sobre el gamergate presenta como 'normal' el acoso...",
  "number_annotators": 6,
  "annotators": ["Annotator_1", "Annotator_2", "Annotator_3", "Annotator_4", "Annotator_5", "Annotator_6"],
  "gender_annotators": ["F", "F", "F", "M", "M", "M"],
  "age_annotators": ["18-22", "23-45", "46+", "46+", "23-45", "18-22"],
  "ethnicities_annotators": ["White or Caucasian", "Hispano or Latino", "White or Caucasian", "White or Caucasian", "White or Caucasian", "Hispano or Latino"],
  "study_levels_annotators": ["Bachelor's degree", "Bachelor's degree", "High school degree or equivalent", "Master's degree", "Master's degree", "High school degree or equivalent"],
  "countries_annotators": ["Italy", "Mexico", "United States", "Spain", "Spain", "Chile"],
  "labels_task1": ["YES", "YES", "NO", "YES", "YES", "YES"],
  "labels_task2": ["REPORTED", "JUDGEMENTAL", "-", "REPORTED", "JUDGEMENTAL", "REPORTED"],
  "labels_task3": [["OBJECTIFICATION"], ["OBJECTIFICATION", "SEXUAL-VIOLENCE"], ["-"], ["STEREOTYPING-DOMINANCE"], ["SEXUAL-VIOLENCE"], ["IDEOLOGICAL-INEQUALITY", "MISOGYNY-NON-SEXUAL-VIOLENCE"]]
}

Implementation và kết quả

Quy trình phát triển và Tinh chỉnh mô hình

Dự án được triển khai qua 4 giai đoạn kỹ thuật:

  1. EDA & Baseline Development: Khai phá 10.034 mẫu dữ liệu, xây dựng baseline truyền thống với TF-IDF + Naive Bayes, Linear SVM, TextCNN và Bi-LSTM.
  2. Tabular & Encoder Adaptation: Tiền xử lý Regex (chuẩn hóa @USER, URL, bóc tách hashtag #DeepLearning -> Deep Learning), tích hợp metadata qua token [SEP] trên XLM-RoBERTa.
  3. Generative LLM Fine-tuning (LoRA): Đóng băng trọng số gốc của Llama-2-7b-chat, tiêm các ma trận thích ứng rank thấp (Low-Rank Adaptation) vào các tầng chú ý q_proj và v_proj.
  4. Ensemble & Hierarchical Validation: Đóng gói luật suy luận thứ bậc và cơ chế trích xuất nhãn từ văn bản tạo sinh.
# Cấu hình tinh chỉnh tham số hiệu quả PEFT LoRA cho Llama-2
from peft import LoraConfig, get_peft_model, TaskType

lora_config = LoraConfig(
    task_type=TaskType.CAUSAL_LM,
    r=16,                           # Rank ma trận phân rã
    lora_alpha=32,                  # Hệ số tỉ lệ scaling factor
    target_modules=["q_proj", "v_proj"], # Tiêm vào Query và Value projections
    lora_dropout=0.05,              # Chống quá khớp (overfitting)
    bias="none"
)

Thiết kế Prompt Engineering cho mô hình tạo sinh (Generation-based LLM)

Thiết kế mẫu Prompt tối ưu cho mô hình Llama-2-7b-chat trên cấu trúc 3 bài toán:

[INST] Imagine you are a person with the following characteristics: female, 23-45 years old, White or Caucasian ethnicity, Bachelor's degree, and residing in Spain. Now classify the sentiment of a tweet:
"{tweet_content}"

## Task 1 Instructions:
- If the tweet contains any form of sexism or describes situations involving discrimination against women, classify it as "YES".
- If the tweet does not exhibit prejudice, underestimate, or discriminate against women, classify it as "NO".

Answer only YES or NO.
Answer: [/INST]
Response: {model_output}

[INST] Imagine you are a person with the following characteristics: {gender}, {age} years old, {ethnicity} ethnicity, {study_level}, and residing in {country}.
Now classify the intention of the sexist tweet: "{tweet_content}"

## Task 2 Categories:
- DIRECT: The tweet itself expresses direct misogyny/sexism.
- REPORTED: The tweet reports or describes a sexist event suffered by someone.
- JUDGEMENTAL: The tweet describes sexist situations with the explicit aim of condemning/criticizing them.

Answer only DIRECT, REPORTED, or JUDGEMENTAL.
Answer: [/INST]
Response: {model_output}

Công thức toán học đánh giá (Information Contrast Measure - ICM)

Độ đo ICM sử dụng thông tin tương hỗ từng điểm (Pointwise Mutual Information - PMI) để đo mức độ tương đồng giữa tập nhãn dự đoán $\mathcal{S}(d)$ và tập nhãn thực tế $\mathcal{G}(d)$ trên tài liệu $d$:

$$\text{ICM}(\mathcal{S}(d), \mathcal{G}(d)) = 2 \cdot \mathcal{I}(\mathcal{S}(d)) + 2 \cdot \mathcal{I}(\mathcal{G}(d)) - 3 \cdot \mathcal{I}(\mathcal{S}(d) \cup \mathcal{G}(d))$$

Trong đó, lượng thông tin riêng (Information Content) được tính từ xác suất xuất hiện của tập đặc trưng:

$$\mathcal{I}(\mathcal{X}) = -\log_2 P(\mathcal{X})$$

Đối với nhãn mềm (Soft Labels), $\text{ICM-soft}$ đánh giá độ khớp phân phối xác suất gán nhãn của toàn bộ 6 annotators mà không làm mất thông tin thiểu số.

Kết quả thử nghiệm và Đánh giá Benchmark

Thực nghiệm toàn diện trên tập phát triển (Development Set) và tập kiểm thử (Test Set) của cuộc thi quốc tế EXIST 2024 (CLEF 2024):

Nhóm mô hình Kiến trúc chi tiết Task 1 (F1-Macro) Task 2 (F1-Macro) Task 3 (F1-Macro) ICM-Soft (Tổng hợp)
Máy học truyền thống Multinomial Naive Bayes 0.5214 0.3845 0.2912 -1.842
Linear SVM 0.5630 0.4120 0.3254 -1.450
Multi-Layer Perceptron (MLP) 0.5582 0.4089 0.3180 -1.512
Học sâu (Deep Learning) TextCNN (Yoon Kim) 0.5841 0.4350 0.3510 -1.120
Bi-Directional LSTM 0.5912 0.4412 0.3625 -0.985
Mô hình tiền huấn luyện XLM-RoBERTa-large (Encoder) 0.6120 0.4850 0.4120 +0.215
mT5-large (Seq2Seq) 0.6285 0.5140 0.4480 +0.480
LLM + Prompt + LoRA Llama-2-7b-chat (Đề xuất) 0.6004 0.6004 0.6004 +0.895

Thành tích quốc tế chính thức tại CLEF EXIST 2024

Tại cuộc thi học thuật quốc tế EXIST 2024, mô hình đề xuất đã xuất sắc xác lập các thứ hạng dẫn đầu thế giới trên bảng xếp hạng nhãn cứng (Hard Label):

  • Bài toán 1 (Sexist Binary): Đạt Hạng 2 toàn cầu (Rank 2nd).
  • Bài toán 2 (Intention Detection): Đạt Hạng 1 thế giới (Rank 1st - Vô địch).
  • Bài toán 3 (Sexism Types Multi-label): Đạt Hạng 1 thế giới (Rank 1st - Vô địch).

Đổi mới và đóng góp

  1. Tiên phong áp dụng mô hình ngôn ngữ tạo sinh cho bài toán LeWiDi: Khác biệt hoàn toàn với các nghiên cứu trước đây chỉ sử dụng LLM dạng Encoder hoặc Ensemble vector bảng, đồ án đã chuyển đổi bài toán phân loại đa góc nhìn thành bài toán tạo sinh văn bản có điều kiện nhân khẩu học (Persona-conditioned Text Generation).
  2. Cơ chế phân tầng Hierarchical Cascade tối ưu: Loại bỏ hoàn toàn sự mâu thuẫn nhãn logic giữa các cấp độ (Task 2 và Task 3 tự động kế thừa quyết định từ Task 1), giúp giảm chi phí tính toán suy luận tới 42% đối với các mẫu dữ liệu không chứa nội dung độc hại.
  3. Tối ưu hóa tài nguyên phần cứng vượt bậc: Nhờ ứng dụng kỹ thuật LoRA, chỉ cần cập nhật 0.8% tổng số lượng tham số của mô hình Llama-2 7B, giảm dung lượng bộ nhớ VRAM khi huấn luyện từ 28GB xuống dưới 14GB, cho phép triển khai trên các dòng GPU phổ thông.
  4. Công bố khoa học quốc tế uy tín:
    • Bài báo 1: “Sexism Identification in Social Networks with Generation-based Language Models” - Công bố tại Conference and Labs of the Evaluation Forum (CLEF 2024).
    • Bài báo 2: “CANTeam at HOMO-MEX2024: Hate Speech Detection Towards the Mexican Spanish Speaking LGBT+ Population with Large Language Model” - Công bố tại Iberian Languages Evaluation Forum (IberLEF 2024).

Ứng dụng thực tế và triển khai

Tình huống ứng dụng thực tế (Use Cases)

  • Hệ thống kiểm duyệt nội dung mạng xã hội (Trust & Safety): Tự động phát hiện và gắn cờ các bài đăng quấy rối, phân biệt giới tính vi mô (micro-aggressions) hoặc bạo lực mạng trên Twitter, Facebook, TikTok.
  • Giám sát thương hiệu và Quản trị rủi ro truyền thông (Brand Safety): Giúp các doanh nghiệp phân tích mức độ an toàn của không gian thảo luận xung quanh thương hiệu, loại trừ rủi ro khủng hoảng PR liên quan đến định kiến giới.
  • Công cụ nghiên cứu xã hội học tự động: Hỗ trợ các tổ chức nhân quyền và nhà nghiên cứu phân tích xu hướng biến động của ngôn từ thù địch theo thời gian thực.
                                  KIẾN TRÚC TRIỂN KHAI MICROSERVICES
                                  
 ┌──────────────────────┐          ┌──────────────────────┐          ┌───────────────────────────┐
 │   CLIENT DASHBOARD   │ ───────> │     FASTAPI GATEWAY  │ ───────> │ vLLM ENGINE (INFERENCE)   │
 │ (Streamlit / React)  │  HTTP/   │  - Rate Limiting     │  gRPC    │ - Llama-2-7B-LoRA Model   │
 │                      │  REST    │  - JSON Validation   │          │ - PagedAttention (CUDA)   │
 └──────────────────────┘          └──────────────────────┘          └─────────────┬─────────────┘
                                                                                   │
                                                                                   ▼
                                                                     ┌───────────────────────────┐
                                                                     │   PERSISTENCE & LOGGING   │
                                                                     │ - Redis Cache (Idempotency)│
                                                                     │ - PostgreSQL (Audit Log)  │
                                                                     └───────────────────────────┘

Đặc tả API Endpoints

POST /api/v1/classify-sexism
Content-Type: application/json

Request Payload:
{
  "tweet": "Women are too emotional to be effective tech executives.",
  "annotator_profiles": [
    {"gender": "F", "age": "23-45", "ethnicity": "Asian", "study_level": "Bachelor's degree", "country": "Vietnam"},
    {"gender": "M", "age": "46+", "ethnicity": "White", "study_level": "Master's degree", "country": "United States"}
  ]
}

Response (200 OK):
{
  "task1_prediction": {"hard_label": "YES", "confidence": 1.0},
  "task2_prediction": {"hard_label": "DIRECT", "distribution": {"DIRECT": 0.85, "REPORTED": 0.15}},
  "task3_prediction": {"labels": ["STEREOTYPING-DOMINANCE", "IDEOLOGICAL-INEQUALITY"]},
  "inference_latency_ms": 142.5
}

Hạn chế và hướng phát triển

Hạn chế hiện tại

  • Độ trễ suy luận (Inference Latency): Bản chất tự hồi quy (autoregressive) của mô hình ngôn ngữ lớn khiến thời gian xử lý mỗi lượt prompt dao động từ 100ms - 250ms, cao hơn so với mô hình Encoder phân loại trực tiếp.
  • Rào cản đa ngữ diện rộng: Hệ thống hiện tối ưu sâu cho tiếng Anh và tiếng Tây Ban Nha; chưa mở rộng sang các ngôn ngữ có cấu trúc ngữ pháp phức tạp và tài nguyên thấp.
  • Xử lý ngữ cảnh đa phương thức (Multimodal Gap): Chưa hỗ trợ phân tích hình ảnh đi kèm (Image-Text memes), vốn là phương thức ngụy tạo kỳ thị phổ biến hiện nay.

Kế hoạch nâng cấp và Mở rộng

  1. Lượng tử hóa mô hình (Model Quantization): Áp dụng kỹ thuật 4-bit AWQ / GPTQ và TensorRT-LLM để tăng tốc độ suy luận gấp 3.5 lần và giảm 60% dung lượng VRAM.
  2. Bản địa hóa tiếng Việt (Vietnamese Adaptation): Tích hợp và tinh chỉnh trên các bộ dữ liệu hate speech tiếng Việt chuẩn (ViHSD, ViCTSD) sử dụng nền tảng PhoBERT và Vi-Llama-3.
  3. Mở rộng Multimodal Hate Speech Detection: Tích hợp mô hình thị giác - ngôn ngữ (LLaVA, CLIP) nhằm phát hiện nội dung kỳ thị trên ảnh meme và video ngắn.

Đối tượng hưởng lợi

┌──────────────────────────────────────────────────────────────────────────────────────────────┐
│                               ĐỐI TƯỢNG HƯỞNG LỢI & GIÁ TRỊ                                  │
├──────────────────────────┬───────────────────────────────────────────────────────────────────┤
│ Sinh viên & Học viên     │ • Tiếp cận mã nguồn mẫu hoàn chỉnh về Prompt Engineering & LoRA.  │
│                          │ • Nắm vững phương pháp luận xử lý dữ liệu bất đồng quan điểm.     │
├──────────────────────────┼───────────────────────────────────────────────────────────────────┤
│ Kỹ sư AI & NLP Devs      │ • Template kiến trúc phân loại phân cấp đa nhiệm (Multi-task).    │
│                          │ • Kinh nghiệm tối ưu hóa và fine-tune Llama-2 trên hạ tầng GPU.   │
├──────────────────────────┼───────────────────────────────────────────────────────────────────┤
│ Nền tảng Mạng xã hội     │ • Giảm thiểu 70% khối lượng rà soát thủ công cho đội ngũ Trust.   │
│                          │ • Hệ thống kiểm duyệt công bằng, phản ánh đa chiều nhân khẩu học. │
├──────────────────────────┼───────────────────────────────────────────────────────────────────┤
│ Giới Nghiên cứu Khoa học │ • Cung cấp benchmark thực nghiệm chi tiết về độ đo ICM và LeWiDi. │
│                          │ • 02 bài báo quốc tế được công bố tại các diễn đàn CLEF/IberLEF.  │
└──────────────────────────┴───────────────────────────────────────────────────────────────────┘

Câu hỏi thường gặp

1. Cấu hình phần cứng tối thiểu để triển khai hệ thống là gì?

Hệ thống sử dụng mô hình Llama-2-7b-chat đã được tối ưu qua LoRA và kỹ thuật lượng tử hóa 4-bit (BitsAndBytes). Cấu hình tối thiểu yêu cầu:

  • GPU: 1x NVIDIA RTX 3090 (24GB VRAM) hoặc 1x Tesla T4 (16GB VRAM).
  • RAM hệ thống: 32GB DDR4.
  • Lưu trữ: 50GB SSD NVMe (chứa weights và cached tokenizers).

2. Làm thế nào để giải quyết hiện tượng trễ khi xử lý một lượng lớn tweets cùng lúc?

Để tối ưu hóa thông lượng (throughput) trong môi trường production, giải pháp đề xuất bao gồm:

  • Sử dụng inference engine chuyên dụng vLLM với cơ chế quản lý bộ nhớ PagedAttention.
  • Áp dụng kỹ thuật gom cụm động (Dynamic Batching) để xử lý đồng thời hàng chục request.
  • Kích hoạt cơ chế phân tầng: Chỉ những tweet được mô hình phân loại sơ bộ cấp 1 xác định là YES mới được chuyển tiếp tới cụm LLM phức tạp để xử lý Task 2 và Task 3.

3. Phương thức học với sự bất đồng (LeWiDi) vượt trội hơn biểu quyết đa số (Majority Voting) ở điểm nào?

Biểu quyết đa số gán một nhãn cứng duy nhất dựa trên số đông, vô tình xóa bỏ quan điểm của các nhóm nhân khẩu học thiểu số (ví dụ: góc nhìn của phụ nữ trẻ tuổi đối với các trò đùa quấy rối). LeWiDi mô hình hóa dự đoán cho từng cá nhân với đặc trưng nhân khẩu học riêng biệt, cho phép hệ thống xuất ra phân phối xác suất mềm (Soft Labels) công bằng, minh bạch và sát thực tế xã hội hơn.

4. Hệ thống xử lý thế nào khi gặp các từ lóng hoặc từ viết tắt mới trên mạng xã hội?

Nhờ vào vốn tri thức tiền huấn luyện khổng lồ trên hàng nghìn tỷ tokens của Llama-2 kết hợp cùng module tiền xử lý tách hashtag thông minh, mô hình có khả năng suy luận ngữ cảnh sâu để giải nghĩa từ lóng, hoán dụ hoặc teencode mà không bị phụ thuộc vào từ điển tĩnh cố định như các phương pháp máy học cổ điển.

5. Chi phí vận hành giải pháp mã nguồn mở này so với việc gọi API thương mại (OpenAI GPT-4) ra sao?

Triển khai mô hình tự lưu trữ (Self-hosted Llama-2 on-premise/cloud GPU) giúp tiết kiệm từ 65% đến 80% chi phí vận hành hàng tháng đối với quy mô kiểm duyệt trên 1 triệu tweets/ngày so với việc trả phí token qua API thương mại, đồng thời đảm bảo bảo mật dữ liệu tuyệt đối cho người dùng.

Kết luận

Đồ án tốt nghiệp "Nhận dạng kỳ thị giới tính trên mạng xã hội" đã giải quyết xuất sắc bài toán xử lý ngôn ngữ tự nhiên đầy thách thức thông qua sự kết hợp đột phá giữa kiến trúc mô hình ngôn ngữ lớn thế hệ mới (Llama-2, mT5, XLM-RoBERTa), kỹ thuật tinh chỉnh tham số hiệu quả (LoRA), và trường phái học với sự bất đồng quan điểm (Learning With Disagreement - LeWiDi).

Thành tích rực rỡ với vị trí Quán quân toàn cầu (Hạng 1) tại Bài toán 2 và Bài toán 3, cùng Hạng 2 thế giới tại Bài toán 1 trong khuôn khổ cuộc thi học thuật quốc tế danh giá CLEF EXIST 2024, song hành cùng 02 công bố khoa học quốc tế, là minh chứng vững chắc cho hàm lượng khoa học và tính ứng dụng thực tiễn vượt trội của công trình. Nghiên cứu không chỉ đóng góp một giải pháp công nghệ mạnh mẽ cho công tác xây dựng môi trường mạng văn minh, an toàn và bình đẳng giới, mà còn mở ra hướng tiếp cận tiêu chuẩn mới cho các hệ thống AI thấu hiểu chiều sâu cảm xúc con người trong tương lai.