Giới thiệu dự án

Trong kỷ nguyên chuyển đổi số và bùng nổ của mạng xã hội, nhu cầu giao tiếp tự động giữa con người và máy tính tăng trưởng với tốc độ ấn tượng. Theo các báo cáo phân tích thị trường công nghệ đàm thoại (Conversational AI), quy mô thị trường trợ lý ảo và chatbot toàn cầu dự kiến vượt mốc 29,8 tỷ USD với tỷ lệ tăng trưởng kép hàng năm (CAGR) trên 24%. Tuy nhiên, phần lớn các hệ thống chatbot thương mại truyền thống vẫn hoạt động theo dạng miền đóng (Closed-domain) dựa trên cây quyết định hoặc kịch bản cố định (Rule-based), dẫn đến phản hồi cứng nhắc, dễ rơi vào trạng thái bế tắc khi người dùng chuyển hướng chủ đề.

Vấn đề cốt lõi của các mô hình hội thoại miền mở (Open-domain Chatbot) hiện nay là sự thiếu hụt tính nhất quán về nhân vật (Persona Consistency), phản hồi mờ nhạt (Blandness/Generic Responses như "I don't know", "Okay"), và khả năng duy trì ngữ cảnh nhiều lượt (Multi-turn Context) kém.

Đề tài "Xây dựng hệ thống End-to-End Chatbot sử dụng mô hình học sâu" (Building an End-to-End Conversational Agent Using Deep Learning) do tác giả Nguyễn Minh Khuê thực hiện tại Trường Đại học Công nghệ Thông tin - ĐHQG TP.HCM (Khoa Hệ thống Thông tin) tập trung giải quyết triệt để các rào cản trên bằng cách kết hợp mô hình Transformer tiền huấn luyện (Pre-trained Models) với kỹ thuật Học chuyển tiếp (Transfer Learning) và kiến trúc TransferTransfo trên tập dữ liệu chuẩn hóa PERSONA-CHAT.

+-----------------------------------------------------------------------------------+
|                              MỤC TIÊU DỰ ÁN CỤ THỂ                               |
+-----------------------------------------------------------------------------------+
| 1. Nghiên cứu sâu cơ chế Attention, Self-Attention và kiến trúc Transformer.     |
| 2. Phân tích các hạn chế của mạng Seq2Seq truyền thống (RNN, LSTM, GRU).          |
| 3. Hiện thực hóa kiến trúc TransferTransfo dựa trên mô hình ngôn ngữ OpenAI GPT.  |
| 4. Triển khai phương pháp huấn luyện đa tác vụ (Multi-task Learning).             |
| 5. Tích hợp chiến lược giải mã lấy mẫu hạt nhân (Nucleus / Top-p Sampling).       |
| 6. Xây dựng dịch vụ API Backend và triển khai giao diện thực tế qua Messenger.   |
+-----------------------------------------------------------------------------------+

Phương pháp tiếp cận và kết quả kỳ vọng

Dự án áp dụng phương pháp TransferTransfo: tận dụng tri thức ngôn ngữ phong phú từ mô hình tiền huấn luyện OpenAI GPT (Generative Pre-trained Transformer) và tinh chỉnh (Fine-tuning) có giám sát trên tập dữ liệu hội thoại PERSONA-CHAT. Hệ thống giải quyết đồng thời hai bài toán: Dự đoán từ tiếp theo (Language Modeling Loss) và Phân loại câu phản hồi phù hợp (Next-sentence Classification Loss).

  • Chỉ số Perplexity (PPL): Đạt mức PPL $\le 17.0$ trên tập kiểm thử, vượt trội so với các mô hình RNN/LSTM thông thường ($PPL \ge 35.0$).
  • Độ chính xác lựa chọn phản hồi (Hits@1): Đạt trên $80%$.
  • Điểm F1 Score: Đạt trên $19.5%$, đảm bảo tính đa dạng từ vựng và bám sát ngữ cảnh cá nhân hóa.

Phạm vi đề tài tập trung vào việc mô hình hóa hội thoại mở tiếng Anh với hồ sơ tính cách rõ ràng (Explicit Persona), được tối ưu hóa khả năng tương tác liên tục và giảm thiểu tối đa hiện tượng lặp lại câu thoại qua các lượt hội thoại (Cross-turn Repetition).

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Trước khi bước vào kỷ nguyên Transformer, các kiến trúc chatbot chính gồm có:

Tiêu chí Rule-based (ELIZA, AIML) Retrieval-based (TF-IDF, Bi-Encoder) Vanilla Seq2Seq (RNN/LSTM) Generative TransferTransfo (Đề tài)
Khả năng sinh từ mới Không (Chỉ khớp mẫu) Không (Trích xuất có sẵn) Có (Tự sinh từng token) Có (Sinh từ linh hoạt, đa dạng)
Tính nhất quán Persona Thấp, dễ xung đột kịch bản Trung bình (phụ thuộc kho dữ liệu) Rất kém (Dễ quên ngữ cảnh dài) Cao (Được ghim trực tiếp vào Input Embeddings)
Chi phí xây dựng Rất cao (Viết luật thủ công) Trung bình (Thu thập hội thoại) Cao (Cần huấn luyện từ đầu) Tối ưu (Học chuyển tiếp từ Pre-trained model)
Xử lý hội thoại dài Thất bại khi vượt ngoài luật Kém khi không tìm thấy match Bị nghẽn cổ chai thông tin (Bottleneck) Xuất sắc nhờ Self-Attention và Positional Encoding 
MoSCoW Requirements Prioritization:
├── Must Have:
│   ├── Khả năng duy trì hồ sơ tính cách cố định (Persona Traits).
│   ├── Cơ chế giải mã chống lặp từ suy biến (Degeneration).
│   ├── Pipeline xử lý Tokenize theo chuẩn Byte-Pair Encoding (BPE).
├── Should Have:
│   ├── Khả năng phân loại Next-sentence đa nhiệm (Multi-task Learning).
│   ├── RESTful API đóng gói mô hình serving thời gian thực.
├── Could Have:
│   ├── Cơ chế lọc từ nhạy cảm và kiểm soát độ dài câu phản hồi linh hoạt.
└── Won't Have (Giai đoạn này):
    ├── Khởi tạo đa ngôn ngữ thời gian thực (Zero-shot Multilingual).
    ├── Tự động cập nhật Dynamic Memory đồ thị tri thức bên ngoài.

Thiết kế hệ thống

Kiến trúc xử lý của hệ thống được xây dựng theo mô hình End-to-End từ khâu tiếp nhận thông điệp, nhúng vector đa chiều cho tới giải mã và xuất dữ liệu thông qua hệ thống phân tán REST API.

graph TD
    User([Người dùng cuối / Facebook Messenger]) <--> Webhook[Flask Webhook Gateway API]
    Webhook <--> Controller[Dialogue Controller & Preprocessor]
    
    subgraph TransferTransfo Engine
        Controller --> Embeddings[Input Representation: Word + Token Type + Positional Embeddings]
        Embeddings --> GPTStack[Transformer Decoder Stack: 12 Layers / 12 Heads / 768 Hidden Dim]
        GPTStack --> LMHead[Language Modeling Head - Cross Entropy Loss]
        GPTStack --> ClfHead[Next-Sentence Classification Head - Cross Entropy Loss]
    end
    
    LMHead --> NucleusSampler[Nucleus / Top-p Sampling Strategy]
    NucleusSampler --> ResponseGen[Generated Response]
    ResponseGen --> Controller

Ngăn xếp công nghệ (Technology Stack)

  • Ngôn ngữ lập trình: Python 3.8.10
  • Deep Learning Framework: PyTorch 1.8.1 + CUDA 11.2 (Tăng tốc tính toán ma trận trên GPU)
  • NLP Transformer Toolkit: HuggingFace Transformers 4.6.0
  • Web Framework & Serving: Flask 2.0.1, Gunicorn 20.1.0 (WSGI server)
  • Hạ tầng điện toán & Triển khai: Google Colaboratory Pro (Huấn luyện với GPU NVIDIA Tesla T4 / V100 16GB), Triển khai Webhook trên Heroku PaaS.
+---------------------------------------------------------------------------------------------------+
| BIỂU DIỄN VECTOR ĐẦU VÀO (INPUT EMBEDDINGS) CHO TRANSFERTRANSFO                                   |
+---------------------------------------------------------------------------------------------------+
| Sequence Input:                                                                                   |
| <bos> [Persona 1] ... [Persona N] <speaker1> [History Turn] <speaker2> [Reply Hypothesis] <eos>   |
|                                                                                                   |
| Tổng hợp 3 lớp nhúng cộng tuyến tính:                                                            |
| 1. Word Embeddings      : Ánh xạ token BPE sang không gian vector d_model = 768.                  |
| 2. Token Type Embeddings: Phân biệt các vùng (Persona vs Speaker 1 vs Speaker 2).                |
| 3. Positional Embeddings: Mã hóa vị trí tuyệt đối của từng token trong chuỗi.                     |
+---------------------------------------------------------------------------------------------------+

Đặc tả giao diện lập trình ứng dụng (API Endpoints)

  • POST /api/v1/chat/generate
    • Request Payload: 
      {
  "persona": [
    "I love cooking traditional Italian dishes.",
    "I have two golden retrievers.",
    "I work as a software engineer."
  ],
  "history": [
    "Hello! What do you like doing in your free time?",
    "I enjoy spending time with my pets."
  ],
  "temperature": 0.8,
  "top_p": 0.9
}
    • Response Payload: 
      {
  "response": "That sounds great! I have two golden retrievers myself and love making pasta at home.",
  "status": 200,
  "inference_time_ms": 142.6
}

Phương pháp nghiên cứu và quản lý dự án

Dự án tuân theo quy trình phát triển lặp (Iterative Agile) chia làm 4 giai đoạn cụ thể:

[Sprint 1: Phân tích & Xử lý dữ liệu] ──► [Sprint 2: Huấn luyện & Tối ưu mô hình]
               │                                            │
               ▼                                            ▼
[Sprint 4: Triển khai & Kiểm thử End-to-End] ◄── [Sprint 3: Xây dựng Decoding Pipeline]
  1. Đánh giá rủi ro (Risk Assessment):
    • Rủi ro quá khớp (Overfitting): Khắc phục bằng cách áp dụng kỹ thuật Dropout ($p = 0.1$), Weight Decay ($0.01$), và thuật toán tối ưu hóa AdamW với Warmup Schedule tuyến tính.
    • Rủi ro suy biến văn bản (Degeneration / Repetition): Loại bỏ hoàn toàn Greedy Search và Beam Search; thay thế bằng kỹ thuật Nucleus Sampling phối hợp với bộ lọc lịch sử lượt trò chuyện (Cross-turn Context Penalty).

Implementation và kết quả

Quá trình phát triển và thuật toán cốt lõi

1. Cơ chế Self-Attention và Scaled Dot-Product Attention

Mô hình chuyển đổi tính toán liên kết từ ngữ bằng cách ánh xạ ma trận Query ($Q$), Key ($K$) và Value ($V$):

$$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$

Trong đó $d_k = 64$ là số chiều của vector truy vấn trên mỗi Attention Head ($h = 12$, tổng $d_{model} = 768$). Đại lượng $\frac{1}{\sqrt{d_k}}$ đóng vai trò chuẩn hóa, giữ cho tích vô hướng không bị quá lớn khi số chiều tăng cao, bảo vệ hàm softmax không rơi vào vùng có đạo hàm triệt tiêu (Vanishing Gradients).

2. Chiến lược giải mã Nucleus (Top-p) Sampling

Thay vì cố định số lượng $K$ từ có xác suất cao nhất (Top-K dễ lấy nhầm từ vô nghĩa khi phân phối dàn trải, hoặc bỏ sót từ hợp lý khi phân phối tập trung), Nucleus Sampling động hóa không gian lấy mẫu $V^{(p)}$:

$$\sum_{w \in V^{(p)}} P(w \mid w_{<t}) \ge p$$

Phân phối xác suất được chuẩn hóa lại trên tập rút gọn:

$$P'(w \mid w_{<t}) = \begin{cases} \frac{P(w \mid w_{<t})}{\sum_{v \in V^{(p)}} P(v \mid w_{<t})} & \text{nếu } w \in V^{(p)} \ 0 & \text{ngược lại} \end{cases}$$

import torch
import torch.nn.functional as F

def top_p_nucleus_sampling(logits: torch.Tensor, top_p: float = 0.9, temperature: float = 0.8) -> torch.Tensor:
    """
    Hàm thực thi giải mã Nucleus (Top-p) Sampling kết hợp điều chỉnh Temperature.
    """
    # 1. Điều chỉnh độ sắc nét của phân phối bằng Temperature
    logits = logits / max(temperature, 1e-5)
    
    # 2. Sắp xếp logits theo thứ tự giảm dần
    sorted_logits, sorted_indices = torch.sort(logits, descending=True)
    cumulative_probs = torch.cumsum(F.softmax(sorted_logits, dim=-1), dim=-1)
    
    # 3. Loại bỏ các token có tổng xác suất tích lũy vượt quá ngưỡng p
    sorted_indices_to_remove = cumulative_probs > top_p
    # Giữ lại token đầu tiên vượt ngưỡng
    sorted_indices_to_remove[..., 1:] = sorted_indices_to_remove[..., :-1].clone()
    sorted_indices_to_remove[..., 0] = 0
    
    # Gán giá trị âm vô cùng cho các token bị loại bỏ
    indices_to_remove = sorted_indices[sorted_indices_to_remove]
    logits[indices_to_remove] = -float("Inf")
    
    # 4. Lấy mẫu từ phân phối xác suất đã lọc
    probs = F.softmax(logits, dim=-1)
    next_token = torch.multinomial(probs, num_samples=1)
    return next_token

3. Huấn luyện đa tác vụ (Multi-task Learning Objective)

Mô hình tối ưu hóa hàm mất mát tổng hợp gồm Language Modeling Loss ($\mathcal{L}{LM}$) và Next-Sentence Classification Loss ($\mathcal{L}{CLS}$):

$$\mathcal{L}{total} = \alpha \mathcal{L}{LM} + \beta \mathcal{L}_{CLS}$$

  • $\mathcal{L}_{LM}$: Đóng vai trò hướng dẫn mô hình dự đoán chính xác từng token tiếp theo trong câu phản hồi đúng (Ground Truth).
  • $\mathcal{L}_{CLS}$: Đóng vai trò bộ phân loại nhị phân (Binary Cross-Entropy), huấn luyện mô hình phân biệt giữa câu phản hồi chính xác và câu phản hồi ngẫu nhiên (Distractor/Negative sample).
# Cấu hình huấn luyện đa nhiệm với HuggingFace & PyTorch
lm_loss = criterion_lm(lm_logits.view(-1, lm_logits.size(-1)), target_tokens.view(-1))
cls_loss = criterion_cls(cls_logits.view(-1), classification_labels.view(-1))
total_loss = (lm_coef * lm_loss) + (cls_coef * cls_loss)
total_loss.backward()
optimizer.step()

Đánh giá và kiểm thử thực nghiệm

Quá trình kiểm thử mô hình được tiến hành trên tập dữ liệu PERSONA-CHAT (131.000 bước huấn luyện, đánh giá chi tiết trên 11.000 bước cuối cùng).

+-----------------------------------------------------------------------------------+
| KẾT QUẢ ĐO LƯỜNG ĐỊNH LƯỢNG TRÊN TẬP VALIDATION & TEST (PERSONA-CHAT)            |
+------------------------------------+---------------------+------------------------+
| Mô hình thử nghiệm                 | Perplexity (PPL) ↓  | Hits@1 (%) ↑           |
+------------------------------------+---------------------+------------------------+
| Vanilla Seq2Seq (RNN + Attention)  | 38.20               | 42.10%                 |
| Bi-Encoder Retrieval Baseline      | N/A (Non-gen)       | 64.50%                 |
| GPT Baseline (Fine-tuned đơn lẻ)   | 21.40               | 71.80%                 |
| **TransferTransfo (Đề tài)**       | **16.85**           | **82.30%**             |
+------------------------------------+---------------------+------------------------+

Chất lượng câu sinh theo các chiến lược giải mã:
- Greedy Search: "I have a dog. I have a dog. I live in New York." (Bị lặp từ và đơn điệu)
- Beam Search (k=5): "I am a professional tennis player and I live with my family." (Thiếu tính tự nhiên)
- Nucleus Sampling (p=0.9, T=0.8): "I spend most of my weekends taking my golden retrievers to the park!" (Tự nhiên, đúng Persona)

+-----------------------------------------------------------------------------------+
| SO SÁNH MỤC TIÊU VÀ KẾT QUẢ THỰC TẾ ĐẠT ĐƯỢC                                     |
+----------------------------------+-----------------------+------------------------+
| Hạng mục                         | Kế hoạch ban đầu      | Kết quả đạt được       |
+----------------------------------+-----------------------+------------------------+
| Độ suy giảm PPL                  | PPL < 20.0            | PPL = 16.85            |
| Tỷ lệ chọn phản hồi đúng Hits@1  | > 75.0%               | 82.30%                 |
| Độ trễ xử lý Inference API       | < 500ms / request     | 140 - 220ms / request  |
| Kiểm soát lặp câu (Cross-turn)   | Không lặp lại > 2 lần | Triệt tiêu hoàn toàn   |
+----------------------------------+-----------------------+------------------------+

Đổi mới và đóng góp

  1. Cơ chế mã hóa Persona rõ ràng (Explicit Personality Embeddings): Thay vì sử dụng vector tiềm ẩn khó kiểm soát (Latent Vector) như các nghiên cứu trước, dự án mã hóa trực tiếp từng câu đặc trưng tính cách thành các chuỗi token tiền tố, giúp hành vi và câu trả lời của chatbot luôn có thể giải thích và định hướng chính xác.
  2. Tích hợp huấn luyện đa nhiệm (Multi-task Transfer Learning): Khắc phục nhược điểm của các mô hình sinh thông thường bằng cách ép đầu ra của khối Transformer vừa học sinh ngôn ngữ tự nhiên, vừa học phân biệt ngữ cảnh đúng/sai thông qua token phân loại [CLS].
  3. Áp dụng chiến lược giải mã Nucleus Sampling chống suy biến: Cải thiện $48.5%$ độ đa dạng từ vựng (Lexical Diversity) so với giải mã Beam Search tiêu chuẩn, loại bỏ triệt để hiện tượng lặp vòng luẩn quẩn trong các cuộc đàm thoại dài.
  4. Đóng góp về mặt kỹ thuật cho ngành: Cung cấp tài liệu thiết kế và mã nguồn hoàn chỉnh kết nối từ tầng toán học Transformer đến hệ thống triển khai thực tế trên môi trường dịch vụ trực tuyến (Webhook).

Ứng dụng thực tế và triển khai

Kịch bản sử dụng trong thực tế

                       CÁC KỊCH BẢN TRIỂN KHAI THỰC TẾ
                                      │
        ┌─────────────────────────────┼─────────────────────────────┐
        ▼                             ▼                             ▼
[1. Chăm sóc khách hàng]      [2. Game Non-Player]         [3. Trợ lý đồng hành]
Tự động hóa đại diện bán      Tạo nhân vật NPC có cốt       Trò chuyện tâm sự cá nhân,
hàng với phong cách và kiến   truyện, tính cách riêng,      hỗ trợ rèn luyện ngoại ngữ
thức thương hiệu nhất quán.   giao tiếp sống động với game. tương tác 1-1 tự nhiên.

Chiến lược mở rộng và phân tích chi phí

  • Tối ưu hóa tài nguyên: Sử dụng kỹ thuật Lượng tử hóa mô hình (8-bit / Dynamic Quantization) hoặc chuyển đổi sang định dạng ONNX Runtime giúp giảm kích thước mô hình trên bộ nhớ RAM/VRAM từ 500MB xuống còn ~250MB, tăng tốc độ xử lý lên gấp 2,5 lần trên CPU thông thường.
  • Chi phí vận hành & ROI: Khả năng xử lý hơn 10.000 lượt hội thoại/ngày trên một máy chủ đám mây cơ bản (chi phí ước tính chỉ khoảng 20 - 50 USD/tháng), giúp doanh nghiệp tiết kiệm đến $70%$ chi phí nhân sự trực ca hỗ trợ ban đầu.
Lộ trình triển khai hệ thống (Implementation Roadmap):
├── Giai đoạn 1 (Tháng 1-2): Thu thập, làm sạch và đóng gói Persona Dataset chuẩn hóa.
├── Giai đoạn 2 (Tháng 3-4): Huấn luyện TransferTransfo đa tác vụ trên cụm GPU.
├── Giai đoạn 3 (Tháng 5):   Tối ưu hóa giải mã Top-p, đóng gói Flask Microservice API.
└── Giai đoạn 4 (Tháng 6):   Tích hợp Facebook Messenger Webhook, UAT và đánh giá tải.

Hạn chế và hướng phát triển

+-----------------------------------------------------------------------------------+
| HẠN CHẾ VÀ HƯỚNG PHÁT TRIỂN TIẾP THEO                                             |
+-----------------------------------------------------------------------------------+
| Hạn chế kỹ thuật:                                                                 |
| 1. Giới hạn độ dài ngữ cảnh: Kiến trúc giới hạn ở 512 tokens khiến các cuộc hội   |
|    thoại cực dài bị cắt tỉa (Truncate) phần mở đầu.                               |
| 2. Ngôn ngữ: Mô hình hiện được tiền huấn luyện và tinh chỉnh chủ yếu trên dữ liệu |
|    tiếng Anh; việc chuyển dịch sang tiếng Việt đòi hỏi dữ liệu chuẩn tương đương. |
| 3. Hiện tượng Hallucination: Vẫn tồn tại xác suất mô hình sinh ra thông tin không |
|    chính xác nếu chủ đề nằm ngoài miền tri thức của tập PERSONA-CHAT.             |
|                                                                                   |
| Hướng nâng cấp đề xuất:                                                           |
| 1. Tích hợp RAG (Retrieval-Augmented Generation) kết hợp Vector Database.         |
| 2. Mở rộng mô hình đa ngôn ngữ dựa trên mBART, PhoGPT hoặc ViT5 cho tiếng Việt.  |
| 3. Áp dụng kỹ thuật căn chỉnh phản hồi RLHF (Reinforcement Learning from Human    |
|    Feedback) để kiểm soát nội dung an toàn và văn minh.                           |
+-----------------------------------------------------------------------------------+

Đối tượng hưởng lợi

  • Sinh viên & Học viên ngành CNTT / Hệ thống thông tin: Nắm vững cấu trúc toán học từ Attention, Seq2Seq đến Transformer, đồng thời tiếp cận phương pháp học chuyển tiếp hiện đại trên dữ liệu thực tế.
  • Kỹ sư phần mềm & Lập trình viên AI: Sở hữu mẫu kiến trúc hoàn chỉnh kết nối mô hình Deep Learning PyTorch với REST API, kỹ thuật tối ưu hóa giải mã và giải quyết triệt để lỗi suy biến văn bản.
  • Doanh nghiệp & Đơn vị kinh doanh: Có giải pháp tham khảo để xây dựng các nhân viên ảo mang đậm cá tính thương hiệu với chi phí tối ưu, sẵn sàng mở rộng trên các nền tảng chat phổ biến.
  • Nhà nghiên cứu xử lý ngôn ngữ tự nhiên: Nền tảng dữ liệu và mã nguồn chuẩn để thử nghiệm các biến thể mới của Attention, hàm mất mát đa nhiệm hoặc cơ chế bộ nhớ hội thoại dài hạn.

Câu hỏi thường gặp

1. Cần cấu hình phần cứng tối thiểu nào để huấn luyện và triển khai mô hình?

Để huấn luyện mô hình TransferTransfo trên tập dữ liệu PERSONA-CHAT, cấu hình khuyến nghị là GPU NVIDIA có tối thiểu 12GB - 16GB VRAM (như Tesla T4, RTX 3080/3090, hoặc V100). Trong giai đoạn triển khai Serving thực tế (Inference), mô hình có thể chạy mượt mà trên môi trường CPU 4-core, 8GB RAM sau khi được tối ưu hóa bằng định dạng ONNX hoặc PyTorch Quantization.

2. Tại sao Nucleus (Top-p) Sampling lại vượt trội hơn Beam Search trong Chatbot miền mở?

Beam Search được tối ưu hóa để tìm ra chuỗi có xác suất tích lũy cao nhất, phù hợp cho bài toán dịch máy hoặc tóm tắt văn bản. Tuy nhiên, trong hội thoại mở, cơ chế này dẫn đến các câu trả lời ngắn, khuôn mẫu, nhạt nhẽo và lặp từ. Nucleus Sampling chọn lọc động tập hợp các token có xác suất cao nhất vượt ngưỡng $p$ (ví dụ $p = 0.9$), vừa đảm bảo câu văn chuẩn ngữ pháp, vừa giữ được sự đa dạng và tự nhiên như con người.

3. Làm thế nào để ngăn chặn hiện tượng chatbot tự mâu thuẫn với tính cách của chính mình?

Hệ thống sử dụng kỹ thuật ghép trực tiếp các phát biểu tính cách (Persona Statements) vào chuỗi đầu vào ở mọi lượt trò chuyện dưới dạng nhúng Token Type riêng biệt. Cơ chế Self-Attention của Transformer luôn tính toán trọng số tương quan giữa câu trả lời sinh ra với các phát biểu Persona này, đảm bảo độ nhất quán xuyên suốt cuộc hội thoại.

4. Hệ thống xử lý thế nào khi người dùng nhập câu hỏi cố tình spam hoặc lặp lại liên tục?

Hệ thống tích hợp module kiểm tra lịch sử (Cross-turn History Penalty). Khi phát hiện token hoặc n-gram đã xuất hiện ở lượt trò chuyện liền trước, điểm logits của các từ đó tại tầng giải mã sẽ bị trừ điểm phạt (Frequency/Presence Penalty), buộc mô hình phải chọn hướng diễn đạt khác hoặc chuyển hướng chủ đề một cách khéo léo.

5. Chi phí và thời gian triển khai một hệ thống tương tự trong thực tế là bao nhiêu?

Với việc sử dụng mô hình mã nguồn mở và nền tảng đám mây PaaS (như AWS, GCP, Heroku), thời gian xây dựng hoàn chỉnh một giải pháp PoC (Proof of Concept) dao động từ 4 đến 6 tuần. Chi phí hạ tầng điện toán ước tính dưới 100 USD cho toàn bộ quá trình thử nghiệm và tinh chỉnh mô hình.

Kết luận

Đồ án "Xây dựng hệ thống End-to-End Chatbot sử dụng mô hình học sâu" của tác giả Nguyễn Minh Khuê đã chứng minh tính ưu việt của phương pháp TransferTransfo trong việc giải quyết bài toán hội thoại miền mở. Bằng cách kết hợp hài hòa giữa kiến trúc Transformer, kỹ thuật học chuyển tiếp từ các mô hình tiền huấn luyện ngôn ngữ quy mô lớn, và cơ chế giải mã Nucleus Sampling hiện đại, hệ thống đã giải quyết thành công bài toán duy trì tính nhất quán về nhân vật (Persona) và loại bỏ hiện tượng suy biến lặp từ. Kết quả đạt được ($PPL = 16.85$, $Hits@1 = 82.30%$) cùng ứng dụng thực tế trên Facebook Messenger là minh chứng rõ nét cho tiềm năng ứng dụng to lớn của nghiên cứu trong việc nâng cao trải nghiệm giao tiếp tự động giữa người và máy trong tương lai.