MỞ ĐẦU 6 e Chương|2} Bối cảnh, các công trình liên quan va cơ sở lý thuyết. Tổng quan, trình bày cơ sở lý thuyết cũng như các công trình liên quan đến đề tài. Sau đó, nêu ra những van dé còn tồn đọng và hướng giải quyết được dé cập trong nghiên cứu của chúng tôi ° Chương} Phương pháp. Trình bày tổng quan hệ thống, cách xây dựng các thành phần trong hệ thống và các kiến trúc các mô hình được sử dụng thực nghiệm trong nghiên cứu.
Cách tích hợp hệ thống lưu trữ và xây dựng API service. ° Chương|‡ Tổng quan dữ liệu. Phân tích, tổng quan về các bộ dữ liệu nhóm đã tạo và chỉ tiết các bộ dữ liệu sử dụng trong từng bài toán cho hệ thống. ° Chương |5] Thí nghiệm và kết quả.
Trình bày cách cài đặt, và phân tích kết quả giữa các thí nghiệm và đánh giá hệ thống. ° Chương |6} Kết luận và hướng phát triển. Tổng kết các kết quả quan trọng đã đạt được trong nghiên cứu, đánh giá hệ thống những hạn chế chưa được giải quyết và hướng phát triển trong tương lai. Chương 2 BỒI CẢNH, CÁC CÔNG TRÌNH LIEN QUAN VA CƠ SỞ LÝ THUYET 2.1 Tổng quan về chatbot Chatbot là một chương trình giúp cho con người có thể tương tác với máy bằng ngôn ngữ như một con người.
ELIZA [1] là một chương trình chatbot đầu tiên được tạo ra từ năm 1964 đến năm 1966 tại phòng thí nghiệm về trí tuệ nhân tạo MIT bởi Joseph Weizebaum, với mục tiêu hoạt động như một nhà trị liệu tâm lý và trả lại lời nói của người dùng dưới dạng câu hỏi. Nó sử dung đơn giản các kỹ thuật được gọi là đối sánh mẫu và cơ chế phản hỏi dựa trên khuôn mẫu. Các phương pháp va kỹ thuật để thiết kế chatbot đã được cải thiện nhiều sau này bởi các mô hình đạt được độ chính xác cao bằng các kỹ thuật học sâu như Artificial Neural Network (ANN) [2L Recurrent Neural Network (RNN) [3], hoặc Transformers [4]. Có 2 loại chatbot chính hiện nay dựa trên cách xây dựng là: Chatbot dựa trên cơ chế khuôn mẫu (rules based) và chatbot dựa trên trí tuệ nhân tạo (AI based).
Wibowo Năm 2013, Emanuela Haller và Traian Rebedea đã dé xuất thiết kế chatbot dựa trên kỹ thuật so khớp mẫu. Cơ chế nay dựa trên sự tương đồng của câu đầu vào và câu hỏi mẫu trong cơ sở dữ liệu để đưa ra câu trả lời. Tương tự kỹ thuật này, Chatbot sử dụng thuật toán Levenshtein để đo khoảng cách giữa câu đầu vào và câu hỏi mẫu được sử dụng trong bài báo (6). Chatbot dựa trên khoảng cách Levenshtein yêu cầu ít tài nguyên hon và có thể được triển khai trên các hệ thống nhúng chỉ phí thấp một cách hiệu quả.
Khoảng cách Levenshtein thể hiện sự giống nhau giữa hai chuỗi. Sự giống nhau giữa câu Chương 2. BOI CẢNH, CÁC CÔNG TRÌNH LIEN QUAN VÀ CƠ SỞ LÝ THUYET hỏi dau vào và tat cả các câu hỏi được lưu trữ trong cơ sở đữ liệu được tính toán. Câu trả lời là của câu hỏi có độ tương đồng gan nhất.
Đối với chatbot được xây dựng dựa trên cơ sở trí tuệ nhân tạo, Xu và các cộng sự [7] đã xây dựng hệ thống chatbot tự động trả lời cho các truy vấn của khách hàng trên các phương tiện truyền thông xã hội. Hệ thống này được xây dựng dựa trên mô hình Long Short-Ierm Memory (LSTM). Mô hình được đào tạo với hơn 1 triệu cuộc trò chuyện giữa khách hàng và các thương hiệu trên mạng xã hội Twitter. Đánh giá cho thấy rằng hơn 40% yêu cầu có cảm xúc và chatbot đã hoạt động tốt như là một con người thể hiện sự đồng cảm để giúp đỡ người dùng trong các tình huống có cảm xúc.
Hiện nay, Rasa được biết đến như một kiến trúc để phát triển các cuộc hội thoại của chatbot dựa trên trí tuệ nhân tạo. Trung Nguyen Thanh cùng các cộng sự [8] đã xây dựng chatbot ứng dụng các kỹ thuật hoc sâu được tích hợp trong Rasa để tư van các van đẻ liên quan đến nhập học cho trường Đại học Kinh Tế Quốc Dân với độ chính xác đạt 97%.2 Bài toán phân lớp ý định trong chatbot Ý định được định nghĩa là một hành động có mục đích. Chúng ta thường thể hiện ý định của mình qua những hành vi thường ngày, từ việc sử dụng các công cụ tìm kiếm để tìm kiếm thông tin, mua sắm và cũng được thể hiện qua các cuộc hội thoại với người khác. Việc xác định được ý định sẽ giúp chúng ta có nhiều thông tin hữu ích cần thiết.
Phân loại ý định đã là một nhiệm vụ quan trọng đối với các doanh nghiệp, đặc biệt là liên quan đến trải nghiệm của khách hàng. Ví dụ như hệ thống hỏi đáp là một nền tảng phổ biến sử dụng nhận dạng ý định cho các cuộc trò chuyện bán hàng, hỗ trợ khách hàng, v. Tự động hóa nhu cầu sử dụng dịch vụ của khách hàng thông qua phân loại mục đích cho phép các doanh nghiệp mở rộng quy mô và đáp ứng nhu cầu của khách hàng nhanh hơn, từ đó nâng cao trải nghiệm của người dùng khiến cho họ cảm thấy hài lòng về dịch vụ của các doanh nghiệp, tổ chức. Đối với trường học, việc hiểu được các ý định, nguyện vọng, nhu cầu của quý phụ huynh, học sinh nhà trường có thể xây dựng chương trình học phù hợp, tạo môi trường thân thiện, cởi mở, phát triển được tiềm năng của học sinh, sinh viên.
BOI CẢNH, CÁC CÔNG TRÌNH LIEN QUAN VÀ CƠ SỞ LÝ THUYET Có nhiều phương pháp để tiếp cận bài toán phân loại ý định, xuất phat từ tác vụ phân loại văn bản, các mô hình học máy cơ bản như Naive Bayes, Logistic Regression, mô hình Support Vector Machine (SVM), và cây quyết định đều đã được thực nghiệm bởi nhiều nhà nghiên cứu đi trước. Nhưng đối với những mô hình này chúng ta cần một lượng dữ liệu đủ lớn để có thể có một mô hình hoạt động hiệu quả. Mô hình học sâu đã có nhiều đóng góp trong lĩnh vực xử lý ngôn ngữ tự nhiên nói chung và tác vụ phân loại nói riêng bao gồm cả phân loại ý định. Ở bài báo (9) tác giả đã so sánh mạng chuyển tiếp, mạng hồi quy (Recurrent Neural Network), Long Short-Term Memory (LSTM), va Gated Recurrent Unit (GRU) cho phân loại văn bản và đã chi ra được rằng LSTM, GRU hoạt động tốt hon phương pháp RNN truyền thống.
Sự ra đời của Transformer đã đánh dấu một bước đột phá về lĩnh vực máy học, kiến trúc này đã thể hiện được sự vượt trội cũng như hiệu quả của nó trên nhiều tác vụ khác nhau. Xu hướng dùng Transformer dựa trên mô hình ngôn ngữ được đào tạo sẵn như BERT [10], RoBERTa{11] thé hiện sự vượt trội của mình khi nó có thể tận dụng một lượng lớn dix liệu được học trước. Việc tinh chỉnh mô hình này xuống phục vụ cho tác vụ nhỏ hơn như phân loại văn bản xuất hiện rộng rãi (121. Không chỉ như vậy, việc tinh chỉnh mô hình còn dựa trên mô hình đa ngôn ngữ thành mô hình đơn ngôn ngữ [13].
Thêm vào đó, ý tưởng kết hợp nhiều mô hình Transformer với nhau cũng làm cho hiệu suất của bài toán tăng lên 4. Bài toán thêm dấu trong chatbot Dấu là một ký tự đặc biệt được đặt trong một ký tự để thay đổi giá trị ban đầu của nó. Nhiều ngôn ngữ trên thế giới sử dụng dấu trong chữ viết của họ. Đối với phương diện người dùng, việc không có dấu trong văn bản gây ra các vấn đề về khả năng đọc và hiểu từ mức độ nhẹ đến mức độ nghiêm trọng.
Trên phương diện máy học, việc không có dấu trong văn bản gây ra những van dé khó giai quyết cho các hệ thống Xử ly Ngôn ngữ Tự nhiên, đặc biệt là trong hệ thống hỏi đáp chatbot mà chúng tôi đang xây dựng, việc văn bản không có dấu đặt ra một thách thức mới mà chúng tôi cần phải giải quyết để có thể nâng cao trải nghiệm Chương 2. BOI CẢNH, CÁC CÔNG TRÌNH LIEN QUAN VÀ CƠ SỞ LÝ THUYET của người dùng cũng như là độ hiệu quả mà hệ thống mang lai cho người dùng một cách tối ưu nhất. So sánh với các cách viết của các nước khác, cách viết của tiếng Việt có phần phức tạp hơn. Như trong so sánh của bài báo [15], 95% từ trong tiếng Việt chứa dau, trong khi trong tiếng Pháp chỉ có 15% từ có dau va 35% từ trong Roman có dấu.
Bên cạnh đó, trước khi bắt đầu thực hiện nghiên cứu, chúng tôi có tìm hiểu về các chữ cái Latin trong tiếng Việt. Tiếng Việt có 29 ký tự, trong đó có 11 ký tự là nguyên âm và 18 ký tự là phụ âm. Thêm vào đó, vai trò của dấu đóng một vai trò rất quan trọng trong tiếng Việt, những dấu này có thể kết hợp với các ký tự khác một cách có quy luật để tạo ra những từ ngữ có ý nghĩa và góp phần đa dạng thêm trong ngữ điệu của người Việt Nam. Vi dụ như chữ cai “a”, những dấu có thể xuất hiện như là “ă”, “â”, “a”, “A”, “8”, “a”, “a”, v.
Vì vậy, thách thức trong bài toán thêm dấu tiếng Việt đó chính là sự phong phú trong cách viết và nhiều biến thể khác nhau của các ký tự. Xuất phát từ nhu cau cải thiện khả năng học của mô hình, các công trình nghiên cứu khác nhau trên lĩnh vực khôi phục dau này cũng đã đạt được nhiều thành tựu nhất định. Dựa vào đặc điểm của từng phương pháp, các hướng tiếp cận gần đây được phân loại thành thành các mục sau: 2.1 Phương pháp tiếp cận dựa trên các bộ luật cơ bản Hiệu quả của hướng tiếp cận này phụ thuộc vào chất lượng của bộ từ điển, tập các luật được định nghĩa sẵn trước đó và miễn của văn bản. Ngoài ra, để tạo ra được bộ các quy tắc cần có sự can thiệp của con người và kỹ năng hiểu biết về ngôn ngữ.
VietpadlTllà một bộ công cụ sử dụng bộ từ điển lưu trữ hầu hết các từ tiếng Việt thành dạng không dấu. Phương pháp này không thực sự hiệu quả bởi vì vẫn có nhiều từ trong từ điển không xuất hiện ở các văn bản ở đời thực. Đối với mỗi miền văn bản, bộ công cụ này đạt 60% đến 85% độ chính xác. Ra đời sau Vietpad, VietEditor là bộ công cụ khắc phục nhược điểm của VietPad bằng cách xây dựng từ điển cụm từ và sử dụng nó sau khi ánh xạ các từ để tìm ra kết quả phù hợp nhất.net Chương 2.
BOI CẢNH, CÁC CÔNG TRÌNH LIEN QUAN VÀ CƠ SỞ LÝ THUYET 2.