Khóa Luận Tốt Nghiệp: Xây Dựng Hệ Thống Chatbot End-to-End Với Mô Hình Học Sâu

Khóa luận tốt nghiệp nghiên cứu tốt nghiệp hệ thống thông tin xây dựng hệ thống endtoend chatbot sử dụng mô hình học sâu, vận dụng lý thuyết vào thực tế, đề xuất giải pháp cụ thể

• Tác giả: Nguyen Minh Khue
• Người hướng dẫn: Ths. Nguyen Ho Duy Tri
• Trường học: Đại học Công nghệ Thông tin, Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Xây dựng hệ thống chatbot end-to-end sử dụng mô hình học sâu
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2021
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: GIỚI THIỆU TỔNG QUAN VỀ ĐỀ TÀI
• 1.1. Mục tiêu và phạm vi
• 1.2. Cấu trúc khoá luận. Phương pháp thực hiện
• 2. CHƯƠNG 2: CÁC NGHIÊN CỨU LIÊN QUAN
• 2.1. Chatbot là gì?
• 2.2. Phân loại kiến trúc chatbot
• 2.3. Vì sao cần phải xây dựng một chatbot miền mở
• 2.4. Thách thức để xây dựng một chatbot miền mở hiệu quả
• 3. CHƯƠNG 3: MẠNG NEURAL NHÂN TẠO
• 3.1. Mạng Neural hồi quy
• 3.2. Frequency-based embedding. Prediction-based embedding
• 3.3. Mô hình chuỗi tuần tự (Seq2seq). Cơ chế hoạt động
• 3.4. Vấn đề của mô hình chuỗi sang chuỗi cơ bản (Vanilla Seq2seq)
• 3.5. Một số cách tính Alignment score khác
• 3.6. Chú ý cứng và mềm (Soft vs Hard Attention)
• 3.7. Chú ý toàn cục và chú ý cục bộ (Global vs Local attention)
• 3.8. Mô hình Transformer
• 3.8.1. Kiến trúc mô hình
• 3.8.2. Scaled Dot-Product Attention
• 3.8.3. Mạng truyền xuôi theo vị trí (Position-wise feed-forward)
• 3.8.4. Mã hóa vị trí (Position encoding)
• 3.8.5. Các ứng dụng của cơ chế chú ý trong mô hình Transformer
• 3.9. Tầng tuyến tính cuối cùng và tầng softmax (The Final Linear and softmax)
• 3.10. Các chiến lược giải mã trong mô hình ngôn ngữ
• 3.11. Học chuyển tiếp (Transfer learning)
• 3.12. Các chiến lược và kỹ thuật trong học chuyển tiếp
• 3.13. Trích xuất đặc trưng từ mô hình mẫu đã được huấn luyện (Off-the-shelf Pre-trained Models as Feature Extractors)
• 3.14. Tinh chỉnh mô hình mẫu đã được huấn luyện trước (Fine Tuning Off-the-shelf Pre-trained Models)
• 3.15. Tổng quan về mô hình ngôn ngữ OpenAI GPT – GPT2
• 3.16. Cấu trúc và chi tiết mô hình
• 3.17. Mô hình GPT 2
• 3.18. Tiền huấn luyện mô hình sử dụng học không giám sát
• 3.19. Tinh chỉnh mô hình thông qua học có giám sát
• 3.20. Các thư viện hỗ trợ
• 4. CHƯƠNG 4: ỨNG DỤNG PHƯƠNG PHÁP TRANSFERTRANSFO ĐỂ XÂY DỰNG MÔ HÌNH
• 4.1. Phương pháp đánh giá
• 4.2. Bước tiền huấn luyện (Pre-training)
• 4.3. Biểu diễn đầu vào
• 4.4. Học đa tác vụ (Multi-task learning)
• 4.5. Thông số của mô hình
• 4.6. Chi tiết bộ giải mã
• 4.7. Đánh giá và kết quả
• 4.8. Tương tác với mô hình
• 4.9. Xử lý trường hợp lặp lại câu thoại ở các bước trước đó (Cross-turn)
• 5. CHƯƠNG 5: CÀI ĐẶT VÀ TRIỂN KHAI ỨNG DỤNG
• 5.1. Yêu cầu ứng dụng
• 5.2. Yêu cầu chức năng
• 5.3. Yêu cầu tương thích
• 5.4. Kiến trúc ứng dụng
• 5.5. Mô tả giao diện người dùng
• 6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 6.1. Kết quả đạt được
• 6.2. Hướng phát triển
• DANH MỤC HÌNH VẼ
• DANH MỤC BẢNG
• DANH MỤC TỪ VIẾT TẮT
• BẢNG KÝ HIỆU TOÁN HỌC
• TÓM TẮT KHÓA LUẬN

Tóm tắt

I. Giới thiệu tổng quan

Khóa luận tập trung vào xây dựng hệ thống chatbot end-to-end sử dụng mô hình học sâu, đặc biệt là Transformer, trong bối cảnh hệ thống thông tin. Mục tiêu chính là tạo ra một chatbot có khả năng tương tác tự nhiên với người dùng, đặc biệt trong các lĩnh vực cá nhân như công việc, gia đình, và sở thích. Khóa luận cũng nhấn mạnh tầm quan trọng của trí tuệ nhân tạo và tự động hóa trong việc phát triển các ứng dụng chatbot hiện đại.

1.1. Mục tiêu và phạm vi

Mục tiêu chính của khóa luận là tìm hiểu và ứng dụng mô hình học sâu Transformer để xây dựng một chatbot có khả năng tương tác với người dùng qua các chủ đề phổ biến. Phạm vi nghiên cứu bao gồm các mô hình ngôn ngữ đã được huấn luyện sẵn như BERT và OpenAI GPT, cùng với kỹ thuật học chuyển tiếp và phương pháp TransferTransfo. Tập dữ liệu PERSONA-CHAT được sử dụng để huấn luyện mô hình.

1.2. Cấu trúc khóa luận

Khóa luận được chia thành sáu chương, bao gồm giới thiệu tổng quan, nghiên cứu liên quan, cơ sở lý thuyết, phương pháp TransferTransfo, cài đặt và triển khai ứng dụng, và cuối cùng là kết luận và hướng phát triển. Mỗi chương tập trung vào một khía cạnh cụ thể của việc xây dựng hệ thống chatbot.

II. Nghiên cứu liên quan

Chương này trình bày tổng quan về chatbot, các nghiên cứu liên quan, và thách thức trong việc xây dựng chatbot miền mở. Chatbot được phân loại thành hai kiến trúc chính: dựa trên kịch bản có sẵn và dựa trên kho dữ liệu. Chatbot miền mở có ưu điểm là có thể tham gia vào nhiều chủ đề khác nhau, nhưng cũng đặt ra nhiều thách thức về ngữ nghĩa, tính nhất quán, và tính tương tác.

2.1. Phân loại kiến trúc chatbot

Chatbot được chia thành hai loại chính: dựa trên kịch bản có sẵn và dựa trên kho dữ liệu. Chatbot dựa trên kịch bản sử dụng các luật định sẵn, trong khi chatbot dựa trên kho dữ liệu sử dụng các mô hình học máy để tạo phản hồi. Chatbot miền mở thường sử dụng phương pháp rút trích thông tin hoặc tạo văn bản để tăng tính linh hoạt.

2.2. Thách thức trong xây dựng chatbot miền mở

Ba thách thức chính trong việc xây dựng chatbot miền mở là ngữ nghĩa, tính nhất quán, và tính tương tác. Ngữ nghĩa đòi hỏi hệ thống phải hiểu được nội dung cuộc trò chuyện và thông tin cá nhân của người dùng. Tính nhất quán yêu cầu phản hồi phải phù hợp với tính cách và ngữ cảnh. Tính tương tác liên quan đến khả năng dẫn dắt cuộc trò chuyện và tối ưu hóa chiến lược tương tác.

III. Cơ sở lý thuyết

Chương này trình bày các kiến thức cơ bản về mô hình học sâu, đặc biệt là Transformer và các kỹ thuật liên quan như cơ chế chú ý và học chuyển tiếp. Transformer là một mô hình tiên tiến trong xử lý ngôn ngữ tự nhiên, sử dụng cơ chế chú ý để xử lý các chuỗi dữ liệu dài. Học chuyển tiếp là kỹ thuật sử dụng mô hình đã được huấn luyện trước để áp dụng vào các tác vụ mới.

3.1. Mô hình Transformer

Transformer là một mô hình học sâu sử dụng cơ chế chú ý để xử lý các chuỗi dữ liệu. Mô hình này bao gồm hai phần chính: bộ mã hóa và bộ giải mã. Cơ chế chú ý giúp mô hình tập trung vào các phần quan trọng của dữ liệu, từ đó tăng hiệu quả xử lý. Transformer đã được ứng dụng rộng rãi trong các bài toán xử lý ngôn ngữ tự nhiên như dịch máy và tạo văn bản.

3.2. Học chuyển tiếp

Học chuyển tiếp là kỹ thuật sử dụng mô hình đã được huấn luyện trước để áp dụng vào các tác vụ mới. Kỹ thuật này giúp tiết kiệm thời gian và tài nguyên huấn luyện. Trong khóa luận, học chuyển tiếp được sử dụng để tinh chỉnh mô hình Transformer đã được huấn luyện trước trên tập dữ liệu PERSONA-CHAT.

IV. Phương pháp TransferTransfo

Chương này giới thiệu phương pháp TransferTransfo, một kỹ thuật kết hợp giữa học chuyển tiếp và mô hình Transformer. Phương pháp này được sử dụng để xây dựng hệ thống chatbot có khả năng tạo câu trả lời tự động. TransferTransfo tận dụng mô hình Transformer đã được huấn luyện trước và áp dụng vào bài toán hội thoại, giúp tăng hiệu quả và tính linh hoạt của chatbot.

4.1. Ứng dụng TransferTransfo

Phương pháp TransferTransfo được áp dụng để xây dựng hệ thống chatbot có khả năng tạo câu trả lời tự động. Mô hình Transformer đã được huấn luyện trước trên tập dữ liệu PERSONA-CHAT được tinh chỉnh để phù hợp với bài toán hội thoại. Phương pháp này giúp tăng tính cá nhân hóa và tính nhất quán của chatbot.

4.2. Đánh giá và kết quả

Mô hình được đánh giá dựa trên các độ đo như PPL, Hits@1, và F1 score. Kết quả cho thấy mô hình TransferTransfo đạt hiệu suất cao trong việc tạo câu trả lời tự động và duy trì tính nhất quán trong cuộc trò chuyện. Các ví dụ tương tác với mô hình cũng được trình bày để minh họa hiệu quả của phương pháp.

V. Cài đặt và triển khai ứng dụng

Chương này trình bày quá trình cài đặt và triển khai ứng dụng chatbot sử dụng mô hình TransferTransfo. Ứng dụng được triển khai trên nền tảng Messenger, cho phép người dùng tương tác với chatbot qua các chủ đề phổ biến. Kiến trúc ứng dụng và giao diện người dùng cũng được mô tả chi tiết.

5.1. Yêu cầu ứng dụng

Ứng dụng chatbot được thiết kế để đáp ứng các yêu cầu chức năng và tương thích với nền tảng Messenger. Các yêu cầu chức năng bao gồm khả năng tạo câu trả lời tự động, duy trì tính nhất quán trong cuộc trò chuyện, và hỗ trợ các chủ đề đa dạng. Ứng dụng cũng được thiết kế để dễ dàng mở rộng và tích hợp với các hệ thống khác.

5.2. Kiến trúc ứng dụng

Kiến trúc ứng dụng bao gồm các thành phần chính như mô hình Transformer, cơ chế chú ý, và các lớp xử lý dữ liệu. Ứng dụng được triển khai trên nền tảng Messenger, sử dụng các thư viện hỗ trợ như HuggingFace và Flask. Giao diện người dùng được thiết kế đơn giản và thân thiện, giúp người dùng dễ dàng tương tác với chatbot.

VI. Kết luận và hướng phát triển

Khóa luận đã trình bày quá trình xây dựng hệ thống chatbot end-to-end sử dụng mô hình học sâu Transformer và phương pháp TransferTransfo. Kết quả cho thấy mô hình đạt hiệu suất cao trong việc tạo câu trả lời tự động và duy trì tính nhất quán trong cuộc trò chuyện. Hướng phát triển trong tương lai bao gồm cải thiện tính cá nhân hóa và tích hợp thêm các tính năng mới.

6.1. Kết quả đạt được

Khóa luận đã thành công trong việc xây dựng hệ thống chatbot sử dụng mô hình học sâu Transformer và phương pháp TransferTransfo. Mô hình đạt hiệu suất cao trong việc tạo câu trả lời tự động và duy trì tính nhất quán trong cuộc trò chuyện. Các kết quả đánh giá cho thấy mô hình có tiềm năng ứng dụng rộng rãi trong thực tế.

6.2. Hướng phát triển

Hướng phát triển trong tương lai bao gồm cải thiện tính cá nhân hóa của chatbot, tích hợp thêm các tính năng mới như nhận diện cảm xúc và đề xuất chủ đề. Ngoài ra, việc mở rộng tập dữ liệu và tối ưu hóa mô hình cũng là những hướng nghiên cứu tiềm năng.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh công nghệ thông tin và mạng xã hội phát triển, nhu cầu giao tiếp, tìm kiếm thông tin và giải trí tự động thông qua ngôn ngữ tự nhiên ngày càng gia tăng. Sự xuất hiện của các hệ thống trợ lý ảo như Siri, Google Assistant, Alexa hay Cortana đã minh chứng cho tiềm năng của trí tuệ nhân tạo trong việc hỗ trợ con người. Tuy nhiên, các hệ thống truyền thống chủ yếu hoạt động dưới dạng chatbot miền đóng (closed-domain), bị giới hạn trong một số kịch bản cụ thể (đặt vé, tra cứu y tế, tư vấn bán hàng) và khó mở rộng sang các phạm vi khác. Do đó, việc nghiên cứu xây dựng chatbot miền mở (open-domain chatbot) có khả năng trò chuyện tự do trên nhiều chủ đề trở thành nhiệm vụ quan trọng trong lĩnh vực xử lý ngôn ngữ tự nhiên.

Dù đã có nhiều nghiên cứu với các hệ sinh thái tiêu biểu như MILABOT, XiaoIce hay Gunrock, chatbot miền mở dựa trên học sâu vẫn đối mặt với ba rào cản kỹ thuật chính: ngữ nghĩa (semantics), tính tương tác (interactiveness) và tính nhất quán (consistency). Trong đó, vấn đề thiếu nhất quán về tính cách (persona) khiến hệ thống dễ tạo ra các phản hồi mâu thuẫn qua các lượt trò chuyện liên tiếp. Đề tài tập trung giải quyết sự mất nhất quán này bằng cách ứng dụng mô hình Transformer và kỹ thuật học chuyển tiếp.

Mục tiêu nghiên cứu của khóa luận được phân định cụ thể như sau:

1. Tìm hiểu mô hình học sâu Transformer và kỹ thuật học chuyển tiếp (Transfer learning).
2. Khảo sát các đề tài, nghiên cứu liên quan và các thách thức để xây dựng chatbot miền mở hiệu quả.
3. Áp dụng phương pháp tiếp cận TransferTransfo — kỹ thuật kết hợp giữa học chuyển tiếp và mô hình Transformer đã huấn luyện trước vào hệ thống hội thoại chatbot.
4. Xây dựng một chatbot sử dụng mô hình trên và triển khai trên nền tảng Messenger để minh họa hoạt động của mô hình.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng: Các mô hình ngôn ngữ lớn huấn luyện trước (Pre-trained models) như OpenAI GPT, GPT-2; kỹ thuật học chuyển tiếp và phương pháp tiếp cận TransferTransfo.
• Phạm vi dữ liệu: Tập dữ liệu hội thoại tiếng Anh PERSONA-CHAT — tập dữ liệu đối thoại nhiều lượt (chit-chat), trong đó mỗi người nói được gán các câu mô tả tính cách cụ thể nhằm duy trì sự gắn kết nội dung trong suốt quá trình tương tác.

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập hệ thống cơ sở lý thuyết bao quát quá trình phát triển của các kỹ thuật xử lý ngôn ngữ tự nhiên và học sâu:

• Mạng neural nhân tạo (ANN), Mạng neural hồi quy (RNN) cùng các biến thể giải quyết triệt tiêu/bùng nổ đạo hàm như LSTM (Long Short-Term Memory) và GRU (Gated Recurrent Units).
• Kỹ thuật nhúng từ (Word Embedding): Nhóm dựa trên tần số (Count vector, TF-IDF, Co-occurrence matrix) và nhóm dựa trên mô hình dự đoán (Word2Vec với hai kiến trúc CBOW và Skip-gram, GloVe).
• Mô hình chuỗi sang chuỗi (Seq2Seq) kiến trúc Encoder-Decoder và các dạng cơ chế chú ý (Attention mechanisms): Bahdanau Additive Attention, Luong Attention (Global Attention, Local Attention, Dot-Product, General), Soft Attention và Hard Attention.
• Mô hình Transformer (Vaswani et al., 2017): Cơ chế tự chú ý (Self-Attention), cơ chế chú ý đa đầu (Multi-Head Attention với $h = 8$ đầu, chiều $d_{model} = 512, d_k = d_v = 64$), mạng truyền xuôi theo vị trí (Position-wise Feed-Forward Networks), mã hóa vị trí (Positional Encoding dạng hàm lượng giác sin/cos), chuẩn hóa từng lớp (Layer Normalization) và kết nối dư (Residual Connections).
• Các chiến lược giải mã ngôn ngữ (Decoding strategies): Tìm kiếm tham lam (Greedy search), Tìm kiếm chùm tia (Beam search), Lấy mẫu ngẫu nhiên có điều chỉnh nhiệt độ (Temperature sampling), Lấy mẫu Top-K (Top-K sampling) và Lấy mẫu hạt nhân (Nucleus/Top-p sampling).
• Phương pháp học chuyển tiếp (Transfer Learning) và mô hình ngôn ngữ tự hồi quy OpenAI GPT/GPT-2: Quá trình tiền huấn luyện không giám sát (Unsupervised Pre-training) trên kho ngữ liệu lớn kết hợp tinh chỉnh có giám sát (Supervised Fine-tuning) trên tác vụ hội thoại.

Phương pháp nghiên cứu thực hiện:

• Phương pháp phân tích, tổng hợp tài liệu chuyên ngành về mô hình hóa hội thoại và xử lý chuỗi.
• Phương pháp thực nghiệm mô hình học sâu: Huấn luyện tinh chỉnh mô hình ngôn ngữ theo phương pháp TransferTransfo trên tập dữ liệu PERSONA-CHAT bằng kỹ thuật học đa tác vụ (Multi-task learning).
• Phương pháp đánh giá định lượng: Đánh giá mô hình dựa trên các chỉ số học máy chuẩn trong cuộc thi ConvAI2 gồm độ phức tạp (Perplexity - PPL), độ chính xác chọn câu trả lời đúng (Hits@1), và điểm F1 (F1-score), kết hợp theo dõi hàm mất mát (Loss) qua các bước huấn luyện.
• Phương pháp thiết kế và triển khai phần mềm: Xây dựng hệ thống dịch vụ web backend, tích hợp mô hình suy luận và giao tiếp với nền tảng người dùng.

Nguồn dữ liệu sử dụng: Tập dữ liệu chuẩn PERSONA-CHAT (do nhóm nghiên cứu Facebook AI Research công bố), bao gồm các đoạn đối thoại nhiều lượt kèm thông tin tính cách (persona profile) được định nghĩa trước bằng các câu văn tự nhiên.

Nhóm phương pháp	Thành phần / Thuật toán sử dụng	Vai trò trong nghiên cứu
Kiến trúc mô hình cốt lõi	Transformer (Self-Attention, Multi-Head Attention)	Mã hóa ngữ cảnh và sinh chuỗi văn bản không phụ thuộc tuần tự
Học chuyển tiếp	Pre-trained GPT kết hợp Fine-tuning (TransferTransfo)	Tận dụng tri thức ngôn ngữ diện rộng, thích nghi với tác vụ đối thoại
Chiến lược giải mã	Nucleus Sampling (Top-p với $p = 0.92$)	Đảm bảo tính đa dạng và mạch lạc của câu thoại, tránh lặp từ
Dữ liệu thực nghiệm	PERSONA-CHAT Dataset	Cung cấp ngữ cảnh hội thoại gắn liền với hồ sơ tính cách
Độ đo đánh giá	Loss, Perplexity (PPL), Hits@1, F1-score	Đánh giá khả năng dự đoán từ, xếp hạng câu và độ trùng khớp phản hồi

Nội dung chính theo từng chương

Chương 1. Tổng quan về đề tài

Chương này thiết lập nền tảng nhập môn của đề tài, nêu bật sự chuyển dịch từ các hệ thống tương tác cứng nhắc sang các mô hình trí tuệ nhân tạo có khả năng giao tiếp tự nhiên. Tác giả xác định rõ việc xây dựng chatbot có tính cách nhất quán là bước tiến cần thiết để nâng cao trải nghiệm người dùng. Chương 1 đồng thời công bố chi tiết 4 mục tiêu nghiên cứu cụ thể, phạm vi thực nghiệm tập trung vào các mô hình Transformer tiền huấn luyện (GPT/GPT-2) cùng bộ dữ liệu PERSONA-CHAT, và phác thảo quy trình thực hiện từ nghiên cứu lý thuyết, xử lý dữ liệu, tinh chỉnh mô hình đến triển khai ứng dụng thực tế.

Chương 2. Các nghiên cứu liên quan

Chương 2 phân tích bức tranh tổng thể về công nghệ chatbot. Tác giả phân loại hệ thống hội thoại thành hai nhóm kiến trúc chính: dựa trên kịch bản luật (Rule-based) và dựa trên kho ngữ liệu (Corpus-based - bao gồm phương pháp rút trích Retrieval-based và phương pháp sinh văn bản Generative-based). Chương phân tích sâu ba thách thức nền tảng trong chatbot miền mở:

1. Thách thức về ngữ nghĩa (Semantics): Khả năng hiểu ý định, nhận dạng thực thể định danh (NER), liên kết thực thể (Entity linking) và suy luận tri thức chung.
2. Thách thức về tính nhất quán (Consistency): Đảm bảo không mâu thuẫn về tính cách định sẵn, phong cách nói và ngữ cảnh hội thoại qua nhiều lượt trò chuyện (Multi-turn context).
3. Thách thức về tính tương tác (Interactiveness): Duy trì cuộc trò chuyện hấp dẫn, nhận diện cảm xúc, dẫn dắt chủ đề và tối ưu hóa chiến lược đối thoại.

Tác giả hệ thống hóa các nghiên cứu về cá nhân hóa chatbot thành hai trường phái: cá nhân hóa ngầm định (Implicit personalization - dùng vector nhúng đại diện người dùng hoặc thuộc tính nhóm) và cá nhân hóa rõ ràng (Explicit personalization - sử dụng bảng thuộc tính khóa-giá trị hoặc văn bản mô tả tính cách). Đây là cơ sở trực tiếp để tác giả lựa chọn hướng tiếp cận cá nhân hóa rõ ràng thông qua tập dữ liệu PERSONA-CHAT.

Chương 3. Mạng neural nhân tạo

Chương 3 trình bày toàn diện cơ sở toán học và kiến trúc học sâu. Tác giả phân tích hạn chế của RNN và các giải pháp cổng trong LSTM/GRU, làm rõ nguyên lý của các mô hình nhúng từ CBOW và Skip-gram. Khi phân tích mô hình Seq2Seq, tác giả chỉ ra điểm nghẽn của vector ngữ cảnh có độ dài cố định và chứng minh vai trò của cơ chế chú ý (Attention) trong việc tính toán alignment score.

Trọng tâm của chương là cấu trúc mô hình Transformer với hàm toán học Scaled Dot-Product Attention: $$\text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$ kết hợp cơ chế chú ý đa đầu (Multi-Head Attention) 8 đầu xử lý song song, hệ thống mã hóa vị trí (Positional Encoding) theo chu kỳ sóng: $$PE(pos, 2i) = \sin\left(\frac{pos}{10000^{2i/d_{model}}}\right), \quad PE(pos, 2i+1) = \cos\left(\frac{pos}{10000^{2i/d_{model}}}\right)$$ cùng ngăn xếp 6 lớp Encoder và 6 lớp Decoder.

Bên cạnh đó, chương phân tích sự suy thoái ngôn ngữ (lặp từ, vô nghĩa) khi dùng Greedy search hoặc Beam search trong mô hình sinh, từ đó giải thích cơ chế và ưu điểm của Lấy mẫu hạt nhân (Nucleus/Top-p sampling) và kỹ thuật điều chỉnh nhiệt độ (Temperature). Cuối chương, tác giả khái quát hóa các chiến lược học chuyển tiếp (Inductive, Transductive, Unsupervised), cơ chế tiền huấn luyện - tinh chỉnh của mô hình OpenAI GPT/GPT-2 và giới thiệu các công cụ hỗ trợ như PyTorch, HuggingFace Transformers, Flask, Google Colab và Heroku.

Phương pháp giải mã	Nguyên lý hoạt động	Ưu điểm	Nhược điểm / Hạn chế
Greedy Search	Chọn token có xác suất cao nhất tại mỗi bước	Tính toán nhanh, đơn giản	Dễ bỏ sót chuỗi tối ưu toàn cục, thiếu đa dạng
Beam Search	Duy trì $k$ giả thuyết có xác suất tích lũy cao nhất	Tìm được chuỗi có xác suất cao hơn	Dễ dẫn đến hiện tượng thoái hóa, câu nhạt nhẽo, lặp từ
Top-K Sampling	Lọc và phân phối lại xác suất trong $K$ token hàng đầu	Tăng tính ngẫu nhiên và phong phú	Kích thước $K$ cố định, không linh hoạt theo phân phối xác suất
Nucleus (Top-p) Sampling	Chọn tập token nhỏ nhất có tổng xác suất tích lũy $\ge p$	Kích thước mẫu co giãn linh hoạt, loại bỏ đuôi phân phối xấu	Cần chọn ngưỡng $p$ phù hợp ($p=0.92$) để cân bằng chất lượng

Chương 4. Ứng dụng phương pháp TransferTransfo để xây dựng mô hình hội thoại

Chương 4 mô tả chi tiết quy trình áp dụng mô hình TransferTransfo. Đầu vào của mô hình được thiết kế dưới dạng chuỗi các token kết hợp ba loại nhúng: Word Token Embedding, Positional Embedding và Dialog Segment Embedding (nhằm phân biệt giữa câu mô tả tính cách, lời thoại của người dùng và lời thoại của hệ thống).

Mô hình được huấn luyện bằng cơ chế đa tác vụ (Multi-task learning) kết hợp hai hàm mất mát:

• Tác vụ dự đoán từ tiếp theo (Language Modeling loss): Tối ưu hóa việc sinh chuỗi văn bản tự nhiên theo ngữ cảnh.
• Tác vụ phân loại câu tiếp theo (Next-sentence Classification loss): Đánh giá mức độ phù hợp của câu phản hồi được chọn so với ngữ cảnh và tính cách định sẵn.

Tác giả tích hợp cơ chế giải mã Nucleus sampling kết hợp thuật toán xử lý trường hợp lặp lại câu thoại ở các bước trước đó (Cross-turn repetition handling). Hiệu năng mô hình được kiểm chứng trên tập kiểm thử PERSONA-CHAT theo chuẩn của cuộc thi ConvAI2, theo dõi giá trị hàm loss qua 11.000 bước huấn luyện cuối cùng và đánh giá chi tiết thông qua các trường hợp đối thoại nhiều lượt, câu hỏi lựa chọn và xử lý phản hồi câu spam.

Chương 5. Cài đặt và triển khai ứng dụng

Chương 5 hiện thực hóa mô hình nghiên cứu thành một sản phẩm phần mềm hoàn chỉnh. Tác giả phân tích các yêu cầu chức năng (tiếp nhận tin nhắn, duy trì hội thoại theo tính cách, phản hồi tự động) và yêu cầu tương thích nền tảng. Kiến trúc ứng dụng bao gồm giao diện người dùng trên Facebook Messenger kết nối thông qua Messenger API/Webhook đến máy chủ web phát triển bằng framework Flask, triển khai trên nền tảng đám mây Heroku. Mô hình ngôn ngữ đã tinh chỉnh tiếp nhận ngữ cảnh, xử lý suy luận và trả lời người dùng theo thời gian thực.

Chương 6. Kết luận và hướng phát triển

Chương tổng kết các kết quả đạt được về mặt lý thuyết và ứng dụng, chỉ ra các hạn chế hiện tại về mặt tài nguyên tính toán và ngôn ngữ dữ liệu, đồng thời vạch ra hướng nghiên cứu tiếp theo để hoàn thiện hệ thống hội thoại.

Thiết kế và triển khai

Hệ thống chatbot được thiết kế theo kiến trúc hướng dịch vụ, liên kết giữa nền tảng nhắn tin người dùng và mô hình học sâu suy luận:

[Người dùng Messenger] <---> [Facebook Messenger Platform / API Webhook]
                                            |
                                            v
                                 [Flask Web Application (Heroku)]
                                            |
                                            v
                             [TransferTransfo Inference Engine]
                             - Token / Position / Segment Embedding
                             - Pre-trained GPT Fine-tuned Weights
                             - Nucleus Sampling & Cross-turn Filter

Chi tiết các thành phần công nghệ và cấu hình triển khai:

• Môi trường huấn luyện và phát triển: Mô hình được huấn luyện trên môi trường Google Colab sử dụng GPU; mã nguồn xây dựng trên nền tảng PyTorch kết hợp thư viện HuggingFace Transformers.
• Xử lý biểu diễn đầu vào: Đầu vào cho mô hình Transformer gồm chuỗi kết hợp thông tin tính cách (persona), lịch sử hội thoại các lượt trước và câu phản hồi hiện tại, được phân tách bằng các token đặc biệt và gắn nhãn segment tương ứng.
• Bộ giải mã suy luận: Ứng dụng giải thuật lấy mẫu hạt nhân Nucleus sampling với ngưỡng $p = 0.92$, kết hợp kỹ thuật điều chỉnh nhiệt độ (Temperature) và bộ lọc chống lặp từ/lặp câu qua các lượt đối thoại (Cross-turn repetition penalty).
• Hạ tầng triển khai ứng dụng: Máy chủ ứng dụng xây dựng bằng Python Flask, chịu trách nhiệm tiếp nhận HTTP POST request từ Facebook Webhook, tiền xử lý tin nhắn, chuyển giao dữ liệu đến bộ suy luận TransferTransfo và gửi phản hồi dạng JSON về Messenger API. Dịch vụ web được đóng gói và lưu trữ trên máy chủ Heroku.
• Giao diện người dùng: Tương tác trực tiếp trên ứng dụng Facebook Messenger, cho phép người dùng trò chuyện đa lượt với chatbot có tính cách ổn định.

Kết quả và đóng góp

Khóa luận đạt được các kết quả cụ thể theo số liệu và thực nghiệm được ghi nhận trong văn bản:

• Thực nghiệm thành công phương pháp TransferTransfo trên tập dữ liệu PERSONA-CHAT, huấn luyện mô hình đa tác vụ kết hợp giữa hàm mất mát mô hình ngôn ngữ và phân loại câu kế tiếp, theo dõi chỉ số loss ổn định qua 11.000 bước huấn luyện cuối cùng.
• Đánh giá định lượng hiệu năng của mô hình trên tập kiểm thử PERSONA-CHAT thông qua hệ thống máy chủ của cuộc thi ConvAI2 với các chỉ số tiêu chuẩn: Perplexity (PPL), Hits@1 và F1-score.
• Khắc phục thành công hiện tượng suy thoái nội dung và lặp lại câu thoại ở các bước trước đó nhờ kết hợp giải mã Nucleus sampling và cơ chế kiểm soát cross-turn repetition.
• Xây dựng thành công ứng dụng chatbot miền mở tích hợp hoàn chỉnh trên nền tảng Facebook Messenger qua Flask backend trên Heroku, chứng minh khả năng phản hồi linh hoạt đối với các dạng câu hỏi lựa chọn, câu spam và duy trì hội thoại nhiều lượt.

Đóng góp của khóa luận:

• Hệ thống hóa các kiến trúc mạng neural hiện đại trong xử lý ngôn ngữ tự nhiên từ Seq2Seq, các biến thể Attention đến kiến trúc Transformer và các kỹ thuật giải mã văn bản.
• Áp dụng thành công mô hình học chuyển tiếp kết hợp mô hình ngôn ngữ tiền huấn luyện (GPT/GPT-2) để giải quyết thách thức về tính nhất quán tính cách trong chatbot miền mở mà không cần huấn luyện lại từ đầu trên các tập dữ liệu quá lớn.
• Đưa ra quy trình kỹ thuật hoàn chỉnh từ khâu mã hóa dữ liệu đầu vào đa thành phần, cấu hình huấn luyện đa tác vụ đến tích hợp phần mềm thực tế phục vụ người dùng.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của đề tài:

• Thực nghiệm hiện tại hoàn toàn dựa trên tập dữ liệu tiếng Anh (PERSONA-CHAT), chưa mở rộng trực tiếp sang tập dữ liệu hội thoại tiếng Việt do sự hạn chế về nguồn ngữ liệu chuẩn có gán nhãn tính cách.
• Quá trình huấn luyện phụ thuộc vào tài nguyên phần cứng giới hạn trên môi trường Google Colab, ảnh hưởng đến quy mô kích thước mô hình và số lượng bước huấn luyện tối ưu.
• Khả năng suy luận tri thức thông thường (commonsense reasoning) và liên kết cơ sở tri thức mở rộng trong các chủ đề phức tạp vẫn còn giới hạn.

Hướng nghiên cứu tiếp theo:

• Xây dựng và chuẩn hóa tập dữ liệu hội thoại kèm tính cách riêng cho tiếng Việt để huấn luyện mô hình TransferTransfo tiếng Việt.
• Tối ưu hóa thời gian phản hồi của mô hình khi triển khai thực tế trên máy chủ sản xuất.
• Tích hợp thêm các đồ thị tri thức (Knowledge Graphs) và kỹ thuật nhận diện cảm xúc (Sentiment/Emotion detection) nhằm tăng cường độ sâu ngữ nghĩa và tính tương tác của chatbot.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo phù hợp cho sinh viên, kỹ sư và học viên cao học thuộc các ngành Hệ thống Thông tin, Khoa học Máy tính, Kỹ thuật Phần mềm và Trí tuệ Nhân tạo đang nghiên cứu về xử lý ngôn ngữ tự nhiên (NLP) và hệ thống đối thoại (Dialogue Systems).

Các nội dung có giá trị tham khảo chuyên sâu:

• Chương 3: Hệ thống công thức toán học và phân tích cơ chế hoạt động của Attention, Transformer, Positional Encoding và so sánh định lượng giữa các giải thuật giải mã văn bản (Greedy, Beam search, Top-K, Nucleus sampling).
• Chương 4: Cách thiết kế định dạng đầu vào kết hợp (Token, Position, Segment) và phương pháp huấn luyện đa tác vụ (Multi-task learning) cho các mô hình tự hồi quy họ GPT.
• Chương 5: Kiến trúc tích hợp mô hình học sâu vào dịch vụ web Flask kết nối Facebook Messenger API qua Webhook.

Câu hỏi thường gặp

1. Khóa luận tập trung giải quyết thách thức kỹ thuật nào trong các vấn đề của chatbot miền mở?
Khóa luận tập trung giải quyết thách thức về tính nhất quán (consistency), cụ thể là tính nhất quán về tính cách (persona) và ngữ cảnh hội thoại nhiều lượt (multi-turn context), nhằm tránh việc chatbot đưa ra các câu trả lời mâu thuẫn về bản thân trong quá trình trò chuyện.

2. Phương pháp TransferTransfo biểu diễn đầu vào của mô hình Transformer như thế nào?
Phương pháp TransferTransfo biểu diễn đầu vào bằng cách cộng gộp ba vector nhúng cho từng vị trí token: Vector nhúng từ (Word Token Embedding), Vector nhúng vị trí (Positional Embedding) và Vector nhúng phân đoạn hội thoại (Dialog Segment Embedding) dùng để phân định câu mô tả tính cách, câu nói của người dùng và câu phản hồi của hệ thống.

3. Vì sao tác giả lựa chọn giải thuật lấy mẫu hạt nhân (Nucleus/Top-p sampling) thay vì Beam search?
Tác giả lựa chọn Nucleus sampling vì các nghiên cứu thực nghiệm cho thấy tìm kiếm chùm tia (Beam search) trong sinh văn bản tự do dễ dẫn đến hiện tượng thoái hóa ngôn ngữ, tạo ra các câu văn nhạt nhẽo hoặc lặp đi lặp lại. Nucleus sampling lọc tập hợp token có xác suất tích lũy đạt ngưỡng $p$ ($p = 0.92$), cho phép điều chỉnh linh hoạt không gian lấy mẫu theo hình dạng phân phối xác suất tại từng bước sinh từ.

4. Hai nhiệm vụ chính trong quá trình huấn luyện đa tác vụ (Multi-task learning) của mô hình là gì?
Hai nhiệm vụ gồm:

• Nhiệm vụ mô hình hóa ngôn ngữ (Language Modeling): Dự đoán từ kế tiếp trong câu phản hồi đúng.
• Nhiệm vụ phân loại câu tiếp theo (Next-sentence Classification): Dự đoán và phân loại câu phản hồi ứng viên là câu phản hồi chính xác hay câu gây nhiễu được chọn ngẫu nhiên từ tập dữ liệu.

5. Ứng dụng thực tế của khóa luận được triển khai trên nền tảng nào và sử dụng công nghệ gì?
Ứng dụng được triển khai trên nền tảng Facebook Messenger, sử dụng framework Flask (Python) làm dịch vụ backend lưu trữ trên đám mây Heroku, kết nối với Messenger API thông qua cơ chế Webhook và thực thi mô hình TransferTransfo xây dựng trên nền tảng PyTorch và thư viện HuggingFace.

Kết luận

Khóa luận của tác giả Nguyễn Minh Khuê đã nghiên cứu và ứng dụng thành công phương pháp TransferTransfo kết hợp giữa học chuyển tiếp và mô hình học sâu Transformer nhằm xây dựng hệ thống chatbot miền mở có tính cách nhất quán. Nghiên cứu đã giải quyết hiệu quả hiện tượng mâu thuẫn thông tin và lặp câu trong hội thoại nhiều lượt trên tập dữ liệu chuẩn PERSONA-CHAT bằng kỹ thuật huấn luyện đa tác vụ và giải mã Nucleus sampling. Hệ thống được đóng gói và triển khai hoàn chỉnh thành ứng dụng đối thoại trực tuyến trên Facebook Messenger thông qua nền tảng Flask và Heroku. Đây là công trình kỹ thuật có giá trị tham khảo rõ ràng về mặt lý thuyết mô hình ngôn ngữ lớn cũng như phương pháp xây dựng sản phẩm trí tuệ nhân tạo ứng dụng.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu tổng quan về dé tài. Chương 2: Trình bày tổng quan về chatbot, nghiên cứu liên quan và các thách thức dé xây dựng một chatbot hiệu qua. Chương 3: Trình bày về cơ sở lý thuyết, cơ chế chú ý (Attention), kiến trúc cơ bản của mô hình Transformer và các kỹ thuật sẽ được sử dụng trong đê tai. Chương 4: Giới thiệu phương pháp TransferTransfo và cách ứng dụng vào bài toán xây dựng hệ thống hội thoại.

Chương 5: Cài đặt và triển khai ứng dụng. Chương 6: Kết luận, hạn chế và hướng phát trién. Phuong pháp thực hiện - _ Khảo sát một số bài báo liên quan đến chatbot. - _ Tìm hiểu các thuật toán trong những bai báo đã khảo sát.

- — Tìm các bộ dữ liệu đa lĩnh vực (Open-domain dataset) phù hợp với quy mô đề tài, tiền xử lý dữ liệu. - Tim hiểu một số thuật toán, mô hình TransferTransfo dé xây dựng ứng dụng. - Huan luyện mô hình trên tập dữ liệu đã thu thập được. - Sửa các lỗi phát hiện sau khi huấn luyện mô hình.

- So sánh, đánh gia mô hình dựa trên các độ đo như PPL, Hits@1, F1 score. - Triên khai mô hình trên ứng dụng cụ thê đê đáp ứng như câu của đê tài. CÁC NGHIÊN CỨU LIÊN QUAN 2. Chatbot là gi? Chatbot hay còn gọi là hệ thống trả lời tự động là một chương trình máy tính có khả năng tương tác với con người bằng ngôn ngữ tự nhiên thông qua tin nhắn văn bản hoặc âm thanh.

Từ khi AI ra đời, việc mô hình hóa các cuộc trò chuyện vẫn là một trong những thách thức khó khăn nhất của lĩnh vực này. Mặc dù vẫn chưa trở nên hoản hảo, nhưng chatbot hiện nay đã được sử dụng nhiều trong các trợ lý ảo như Siri (Apple), Google Assistant (Google), Alexa (Amazon), Cortana (Microsoft),. hay duoc ứng dung dé hỗ trợ ở nhiều lĩnh vực khác nhau tir E-commerce cho đến ngành du lịch. Phân loại kiến trúc chat bot Kiến trúc của chatbot được chia thành hai lớp: - Dva trên kịch bản có sẵn (Rule-based Systems) - Dựa trên kho dữ liệu (Corpus-based systems) Chatbot dựa trên kịch bản có sẵn bao gồm các chatbot nồi tiếng như ELIZA, PARRY được ra đời từ rất sớm là tiền đề cho các hệ thống chatbot thông minh ngày nay.

Khác với chatbot dựa trên các luật, chatbot dựa trên kho dữ liệu khai thác các cuộc đối thoại giữa người và người sau đó sử dụng chính phản hồi của từ những cuộc đối thoại trước đó dé phản hỏi lại bằng phương pháp rút trích thông tin (Retrival-based) hoặc sử dụng các mô hình dịch máy như mô hình chuỗi sang chuỗi (Sequence to sequence), Transformer dé học cách ánh xạ câu nói của người dùng đến phản hôi của hệ thống. Vì sao cần phải xây dựng một chatbot miền mở Trước đây, dé tạo một chatbot người ta sẽ xây dựng một kịch bản có sẵn cho chatbot. Phương pháp này tốn rất nhiều thời gian và công sức và khó dé mở rộng sang các lĩnh vực khác. Do đó, người ta đã nghiên cứu trên các chatbot miên mở.

Ưu điểm của loại chatbot này là có khả năng tham gia nhiều chủ đề, lĩnh vực khác nhau và dé dàng mở rộng. Đây là điều mà những chatbot miền đóng khó có thé làm được. Ngày nay, để tạo ra các chatbot miền mở người ta thường sử dụng phương pháp rút trích thông tin hoặc phương pháp tạo văn bản. Ngoài ra, trong một số hệ thống chatbot người ta còn kết hợp cả hai phương pháp này lại với nhau dé mang lại hiệu quả cao nhất.

Với những ưu điểm của chatbot miền mở mang lại, Tạo ra một hệ thống hội thoai phục vụ trên nhiều lĩnh vực trở thành mối quan tâm hàng đầu hiện nay. Thách thức để xây dựng một chatbot miền mở hiệu qua Xây dựng thành công một chatbot miền mở thông minh có thể trò chuyện với con người một cách mạch lạc và hap dan đã trở thành mục tiêu lâu dai của tri tuệ nhân tạo. Tuy đã trãi qua nhiều nghiên cứu, trí tuệ nhân tạo vẫn còn kém xa con người. Việc xây dựng hệ thống hội thoại miền mở có thê trò chuyện ở các chủ đề khác nhau như con người vẫn còn là thách thức vô cùng lớn.

Phần này sẽ giới thiệu về ba thách thức lớn trong việc xây dựng một chatbot miền mở hiệu qua theo [6] đó là: Thách thức về mat ngữ nghĩa (semantics), tính nhất quán (consistency) va tính tương tác (interactiveness). Bảng sau đây minh họa về ba vân đê đã đê cập ở trên: Vấn đề về mặt ngữ nghĩa User I come from HoChiMinh City. Machine Cool! I am from HaNoi, we come from the same city! User Back to HaNoi now. It is so cold but I am very happy! Machine When will you come to HaNoi? Van đề về tinh nhất quán User Are you a boy or a girl? Machine’ [ama boy.

User Are you a girl? Machine Yes, ama girl. Van đề về tính tương tác User Terrible breakfast today. Machine How about together tomorrow morning? User Sure. Would be great with your recommendation.

Machine — Really? Bảng 2.1: Một SỐ VÍ dụ minh họa vấn đề về mặt ngữ nghĩa, tính nhất quán, tính tương tác của chatbot miền mở - Thách thức về mặt ngữ nghĩa (semantics): Ngữ nghĩa là trung tâm của bat ky hé thống hội thoại nào bởi vì cuộc trò chuyện cơ bản là một hoạt động ngữ nghĩa. Nó yêu cầu hệ thống phải hiểu được nội dung của cuộc trò chuyện, thông tin cá nhân của người dùng như tính cách, cảm xúc, tình cảm,. dé sinh ra được câu trả lời hợp lý. Đứng trên góc độ kỹ thuật, ngữ nghĩa chủ yếu có liên quan đến các kỹ thuật hiểu ngôn ngữ tự nhiên (natural language understanding) và hiểu về người dùng (user understanding) bao gồm named entity recognition (Nhận dạng thực thé định danh), entity linking (Liên kết các thực thê được đề cập trong văn bản với các thực thê tương ứng trong cơ sở tri thức), domain detection (Nhận dạng miền — nó sẽ phân tích và xếp loại văn bản vào các miền định nghĩa trước), topic and intent detection (Xác định chủ đề và ý định của người dùng), user sentiment/emotion/opinion detection (Xác định tình cảm/cảm xúc/ý kiến của người dùng), và knowledge/ commonsense reasoning (Các kiến thức và suy luận thông thường).

- Tinh nhất quán (consistency): Đề dat được sự tin cậy của người dùng, điều quan trọng là hệ thống hội thoại phải đưa ra các phản hồi nhất quán với phản hồi của người dùng và lịch sử hội thoại trước đó. Đặc biệt phải đám ứng ba tiêu chí: Thứ nhất là nhất quán về tính cách, phản hồi đó cần phải phù hợp với tính cách đã định nghĩa trước. Thứ hai là nhất quán về phong cách, phản hồi cần có một phong cách nói nhất quán trong suốt cuộc trò chuyện. Thứ ba là nhất quán về ngữ cảnh, câu trả lời phải mạch lạc và nhất quán với ngữ cảnh hội thoại.

Đứng trên góc độ kỹ thuật đó là các bài toán về cá nhân hóa (personalization), tạo phong cách (stylistic generation), mô hình hóa nội dung (multi-turn context modeling). - Tinh tương tác (interactiveness): Tinh tương tac đề cập đến khả năng của hệ thong dé dat được các mục tiêu xã hội phức tạp như giải trí và phù hợp băng cách tối ưu hóa hành vi và chiến lược hội thoại trong một cuộc trò chuyện dai. Dé tăng cường tính tương tác, điều quan trọng hệ thống phải hiệu được trạng thái cảm xúc của người dùng. Các phản hồi không chỉ phản ứng lại mà còn chủ động dẫn dat chủ đề, tối ưu hóa chiến lược tương tác dé tối đa hóa mức độ tương tác của người dùng.

Các thách thức liên quan đến tính tương tác bao gồm nhận diện tình cảm va cảm xúc (sentiment and emotion detection), dialog state tracking, nhận diện va dé xuất chủ đề (topic detection and recommendation), hoc chiến lược đối thoại (dialog policy learning), Kiểm soát tạo phản hồi (controllable response generation). Đề tài sẽ tập trung vào giải quyết thách thức về tính nhất quán cụ thể là nhất quán về tính cách của hệ thong hội thoại. Các nghiên cứu liên quan Các nghiên cứu ban đầu trên hệ thống tự tạo hội thoại miền mở được lấy cảm hứng từ các nghiên cứu về dịch máy [16] [19] [22] sau đó, kiến trúc mã hóa giải mã được mở rộng dé cải thiện tinh đa dạng cho các phản hồi ([8], [27], [34], [20]) đến mô hình hóa cấu trúc nội dung cuộc trò chuyện ({18],[26], [30]), kiểm soát các thuộc tính của phản hồi ([28],[35], [24]), và phản hồi nghiên về một số tính cách cụ thé ([9], [31]). Hiện nay, các hệ thống hội thoại giải quyết sự nhất quán về tính cách được gom nhóm thành hai mục sau: Cá nhân hóa ngâm định và cá nhân hóa rõ ràng.

- Cá nhân hóa ngầm định: Tính cách được biểu diễn ngầm định bang một vector tính cách. Ví dụ Kim và các cộng sự [7] đề xuất phương pháp xếp hang dé tích hợp cơ sở kiến thức cá nhân và sở thích của người dùng trong hệ thống hội thoại, Zhang và cộng sự [32] đã sử dụng một embedding vector dé dai diện cho tính cách của người dùng va đưa vào từng vi trí giải mã của bộ giải mã. Những mô hình này cần được đào tạo bằng cách sử dụng dữ liệu hội thoại được gán nhãn định danh tính cách từng người, rất tốn kém đề thu thập được với số lượng lớn. Do đó, Wang và cộng sự [23] đề xuất huấn luyện mô hình được cá nhân hóa chi với các thuộc tính nhóm (ví du: Nam hoặc nữ).

Các thuộc tính này sẽ được nhúng vào các vector, sau đó dưa vào bộ giải mã dé tạo phản hồi. Zhang và cộng sự [33] đã đề xuất một mô hình hội thoại tạo ra phản hồi nhất quán bang cách duy trì một số đặc điểm lién quan đến chủ đề và tính cách trong suốt cuộc hội thoại. Việc cá nhân hóa trong các mô hình này được xử lý ngầm định, do đó không dễ diễn giải và kiểm soát trong việc tạo phản hồi mong muốn. - Ca nhân hóa rõ ràng: Trong [13], một mô hình tính cách rõ ràng được đề xuất để tạo ra các phản hồi gắn kết về tính cách với một hồ sơ được chỉ định trước.

Tính cách của chatbot được xác định băng một bảng khóa-giá trị (hồ sơ) bao gồm tên, tuổi, giới tính, sở thích,. Trong quá trình tạo phan hồi, đầu tiên mô hình chọn cặp khóa-giá trị từ hồ sơ sau đó giải mã phản hồi từ cặp khóa-giá trị đã chọn từ trước. Mô hình này có thể được huấn luyện trên dữ liệu hội thoại chung mà không cần định danh người nói. Xiaolce [36] cũng sử dụng mô hình có tính cách rõ ràng.