Khóa Luận Tốt Nghiệp: Xây Dựng Hệ Thống Chatbot End-to-End Với Mô Hình Học Sâu

• Tác giả: Nguyen Minh Khue
• Người hướng dẫn: Ths. Nguyen Ho Duy Tri
• Trường học: Đại học Công nghệ Thông tin, Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Xây dựng hệ thống chatbot end-to-end sử dụng mô hình học sâu
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2021
• Địa điểm: TP. Hồ Chí Minh

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: GIỚI THIỆU TỔNG QUAN VỀ ĐỀ TÀI
• 1.1. Mục tiêu và phạm vi
• 1.2. Cấu trúc khoá luận. Phương pháp thực hiện
• 2. CHƯƠNG 2: CÁC NGHIÊN CỨU LIÊN QUAN
• 2.1. Chatbot là gì?
• 2.2. Phân loại kiến trúc chatbot
• 2.3. Vì sao cần phải xây dựng một chatbot miền mở
• 2.4. Thách thức để xây dựng một chatbot miền mở hiệu quả
• 3. CHƯƠNG 3: MẠNG NEURAL NHÂN TẠO
• 3.1. Mạng Neural hồi quy
• 3.2. Frequency-based embedding. Prediction-based embedding
• 3.3. Mô hình chuỗi tuần tự (Seq2seq). Cơ chế hoạt động
• 3.4. Vấn đề của mô hình chuỗi sang chuỗi cơ bản (Vanilla Seq2seq)
• 3.5. Một số cách tính Alignment score khác
• 3.6. Chú ý cứng và mềm (Soft vs Hard Attention)
• 3.7. Chú ý toàn cục và chú ý cục bộ (Global vs Local attention)
• 3.8. Mô hình Transformer
• 3.8.1. Kiến trúc mô hình
• 3.8.2. Scaled Dot-Product Attention
• 3.8.3. Mạng truyền xuôi theo vị trí (Position-wise feed-forward)
• 3.8.4. Mã hóa vị trí (Position encoding)
• 3.8.5. Các ứng dụng của cơ chế chú ý trong mô hình Transformer
• 3.9. Tầng tuyến tính cuối cùng và tầng softmax (The Final Linear and softmax)
• 3.10. Các chiến lược giải mã trong mô hình ngôn ngữ
• 3.11. Học chuyển tiếp (Transfer learning)
• 3.12. Các chiến lược và kỹ thuật trong học chuyển tiếp
• 3.13. Trích xuất đặc trưng từ mô hình mẫu đã được huấn luyện (Off-the-shelf Pre-trained Models as Feature Extractors)
• 3.14. Tinh chỉnh mô hình mẫu đã được huấn luyện trước (Fine Tuning Off-the-shelf Pre-trained Models)
• 3.15. Tổng quan về mô hình ngôn ngữ OpenAI GPT – GPT2
• 3.16. Cấu trúc và chi tiết mô hình
• 3.17. Mô hình GPT 2
• 3.18. Tiền huấn luyện mô hình sử dụng học không giám sát
• 3.19. Tinh chỉnh mô hình thông qua học có giám sát
• 3.20. Các thư viện hỗ trợ
• 4. CHƯƠNG 4: ỨNG DỤNG PHƯƠNG PHÁP TRANSFERTRANSFO ĐỂ XÂY DỰNG MÔ HÌNH
• 4.1. Phương pháp đánh giá
• 4.2. Bước tiền huấn luyện (Pre-training)
• 4.3. Biểu diễn đầu vào
• 4.4. Học đa tác vụ (Multi-task learning)
• 4.5. Thông số của mô hình
• 4.6. Chi tiết bộ giải mã
• 4.7. Đánh giá và kết quả
• 4.8. Tương tác với mô hình
• 4.9. Xử lý trường hợp lặp lại câu thoại ở các bước trước đó (Cross-turn)
• 5. CHƯƠNG 5: CÀI ĐẶT VÀ TRIỂN KHAI ỨNG DỤNG
• 5.1. Yêu cầu ứng dụng
• 5.2. Yêu cầu chức năng
• 5.3. Yêu cầu tương thích
• 5.4. Kiến trúc ứng dụng
• 5.5. Mô tả giao diện người dùng
• 6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 6.1. Kết quả đạt được
• 6.2. Hướng phát triển
• DANH MỤC HÌNH VẼ
• DANH MỤC BẢNG
• DANH MỤC TỪ VIẾT TẮT
• BẢNG KÝ HIỆU TOÁN HỌC
• TÓM TẮT KHÓA LUẬN

I. Giới thiệu tổng quan

Khóa luận tập trung vào xây dựng hệ thống chatbot end-to-end sử dụng mô hình học sâu, đặc biệt là Transformer, trong bối cảnh hệ thống thông tin. Mục tiêu chính là tạo ra một chatbot có khả năng tương tác tự nhiên với người dùng, đặc biệt trong các lĩnh vực cá nhân như công việc, gia đình, và sở thích. Khóa luận cũng nhấn mạnh tầm quan trọng của trí tuệ nhân tạo và tự động hóa trong việc phát triển các ứng dụng chatbot hiện đại.

1.1. Mục tiêu và phạm vi

Mục tiêu chính của khóa luận là tìm hiểu và ứng dụng mô hình học sâu Transformer để xây dựng một chatbot có khả năng tương tác với người dùng qua các chủ đề phổ biến. Phạm vi nghiên cứu bao gồm các mô hình ngôn ngữ đã được huấn luyện sẵn như BERT và OpenAI GPT, cùng với kỹ thuật học chuyển tiếp và phương pháp TransferTransfo. Tập dữ liệu PERSONA-CHAT được sử dụng để huấn luyện mô hình.

1.2. Cấu trúc khóa luận

Khóa luận được chia thành sáu chương, bao gồm giới thiệu tổng quan, nghiên cứu liên quan, cơ sở lý thuyết, phương pháp TransferTransfo, cài đặt và triển khai ứng dụng, và cuối cùng là kết luận và hướng phát triển. Mỗi chương tập trung vào một khía cạnh cụ thể của việc xây dựng hệ thống chatbot.

II. Nghiên cứu liên quan

Chương này trình bày tổng quan về chatbot, các nghiên cứu liên quan, và thách thức trong việc xây dựng chatbot miền mở. Chatbot được phân loại thành hai kiến trúc chính: dựa trên kịch bản có sẵn và dựa trên kho dữ liệu. Chatbot miền mở có ưu điểm là có thể tham gia vào nhiều chủ đề khác nhau, nhưng cũng đặt ra nhiều thách thức về ngữ nghĩa, tính nhất quán, và tính tương tác.

2.1. Phân loại kiến trúc chatbot

Chatbot được chia thành hai loại chính: dựa trên kịch bản có sẵn và dựa trên kho dữ liệu. Chatbot dựa trên kịch bản sử dụng các luật định sẵn, trong khi chatbot dựa trên kho dữ liệu sử dụng các mô hình học máy để tạo phản hồi. Chatbot miền mở thường sử dụng phương pháp rút trích thông tin hoặc tạo văn bản để tăng tính linh hoạt.

2.2. Thách thức trong xây dựng chatbot miền mở

Ba thách thức chính trong việc xây dựng chatbot miền mở là ngữ nghĩa, tính nhất quán, và tính tương tác. Ngữ nghĩa đòi hỏi hệ thống phải hiểu được nội dung cuộc trò chuyện và thông tin cá nhân của người dùng. Tính nhất quán yêu cầu phản hồi phải phù hợp với tính cách và ngữ cảnh. Tính tương tác liên quan đến khả năng dẫn dắt cuộc trò chuyện và tối ưu hóa chiến lược tương tác.

III. Cơ sở lý thuyết

Chương này trình bày các kiến thức cơ bản về mô hình học sâu, đặc biệt là Transformer và các kỹ thuật liên quan như cơ chế chú ý và học chuyển tiếp. Transformer là một mô hình tiên tiến trong xử lý ngôn ngữ tự nhiên, sử dụng cơ chế chú ý để xử lý các chuỗi dữ liệu dài. Học chuyển tiếp là kỹ thuật sử dụng mô hình đã được huấn luyện trước để áp dụng vào các tác vụ mới.

3.1. Mô hình Transformer

Transformer là một mô hình học sâu sử dụng cơ chế chú ý để xử lý các chuỗi dữ liệu. Mô hình này bao gồm hai phần chính: bộ mã hóa và bộ giải mã. Cơ chế chú ý giúp mô hình tập trung vào các phần quan trọng của dữ liệu, từ đó tăng hiệu quả xử lý. Transformer đã được ứng dụng rộng rãi trong các bài toán xử lý ngôn ngữ tự nhiên như dịch máy và tạo văn bản.

3.2. Học chuyển tiếp

Học chuyển tiếp là kỹ thuật sử dụng mô hình đã được huấn luyện trước để áp dụng vào các tác vụ mới. Kỹ thuật này giúp tiết kiệm thời gian và tài nguyên huấn luyện. Trong khóa luận, học chuyển tiếp được sử dụng để tinh chỉnh mô hình Transformer đã được huấn luyện trước trên tập dữ liệu PERSONA-CHAT.

IV. Phương pháp TransferTransfo

Chương này giới thiệu phương pháp TransferTransfo, một kỹ thuật kết hợp giữa học chuyển tiếp và mô hình Transformer. Phương pháp này được sử dụng để xây dựng hệ thống chatbot có khả năng tạo câu trả lời tự động. TransferTransfo tận dụng mô hình Transformer đã được huấn luyện trước và áp dụng vào bài toán hội thoại, giúp tăng hiệu quả và tính linh hoạt của chatbot.

4.1. Ứng dụng TransferTransfo

Phương pháp TransferTransfo được áp dụng để xây dựng hệ thống chatbot có khả năng tạo câu trả lời tự động. Mô hình Transformer đã được huấn luyện trước trên tập dữ liệu PERSONA-CHAT được tinh chỉnh để phù hợp với bài toán hội thoại. Phương pháp này giúp tăng tính cá nhân hóa và tính nhất quán của chatbot.

4.2. Đánh giá và kết quả

Mô hình được đánh giá dựa trên các độ đo như PPL, Hits@1, và F1 score. Kết quả cho thấy mô hình TransferTransfo đạt hiệu suất cao trong việc tạo câu trả lời tự động và duy trì tính nhất quán trong cuộc trò chuyện. Các ví dụ tương tác với mô hình cũng được trình bày để minh họa hiệu quả của phương pháp.

V. Cài đặt và triển khai ứng dụng

Chương này trình bày quá trình cài đặt và triển khai ứng dụng chatbot sử dụng mô hình TransferTransfo. Ứng dụng được triển khai trên nền tảng Messenger, cho phép người dùng tương tác với chatbot qua các chủ đề phổ biến. Kiến trúc ứng dụng và giao diện người dùng cũng được mô tả chi tiết.

5.1. Yêu cầu ứng dụng

Ứng dụng chatbot được thiết kế để đáp ứng các yêu cầu chức năng và tương thích với nền tảng Messenger. Các yêu cầu chức năng bao gồm khả năng tạo câu trả lời tự động, duy trì tính nhất quán trong cuộc trò chuyện, và hỗ trợ các chủ đề đa dạng. Ứng dụng cũng được thiết kế để dễ dàng mở rộng và tích hợp với các hệ thống khác.

5.2. Kiến trúc ứng dụng

Kiến trúc ứng dụng bao gồm các thành phần chính như mô hình Transformer, cơ chế chú ý, và các lớp xử lý dữ liệu. Ứng dụng được triển khai trên nền tảng Messenger, sử dụng các thư viện hỗ trợ như HuggingFace và Flask. Giao diện người dùng được thiết kế đơn giản và thân thiện, giúp người dùng dễ dàng tương tác với chatbot.

VI. Kết luận và hướng phát triển

Khóa luận đã trình bày quá trình xây dựng hệ thống chatbot end-to-end sử dụng mô hình học sâu Transformer và phương pháp TransferTransfo. Kết quả cho thấy mô hình đạt hiệu suất cao trong việc tạo câu trả lời tự động và duy trì tính nhất quán trong cuộc trò chuyện. Hướng phát triển trong tương lai bao gồm cải thiện tính cá nhân hóa và tích hợp thêm các tính năng mới.

6.1. Kết quả đạt được

Khóa luận đã thành công trong việc xây dựng hệ thống chatbot sử dụng mô hình học sâu Transformer và phương pháp TransferTransfo. Mô hình đạt hiệu suất cao trong việc tạo câu trả lời tự động và duy trì tính nhất quán trong cuộc trò chuyện. Các kết quả đánh giá cho thấy mô hình có tiềm năng ứng dụng rộng rãi trong thực tế.

6.2. Hướng phát triển

Hướng phát triển trong tương lai bao gồm cải thiện tính cá nhân hóa của chatbot, tích hợp thêm các tính năng mới như nhận diện cảm xúc và đề xuất chủ đề. Ngoài ra, việc mở rộng tập dữ liệu và tối ưu hóa mô hình cũng là những hướng nghiên cứu tiềm năng.