Chương 1 Tổng quan 1.1 Đặt van đề Việc nắm được quy định đào tạo đại học là hết sức cần thiết đối với sinh viên. Tuy nhiên, trong thực tế đa số sinh viên thường không chủ động đọc các văn bản nhà trường ban hành về quy định mà phụ thuộc vào các kênh thông tin của nhà trường như Phòng Đào tạo Đại học, email, điện thoại,. để được giải đáp thắc mắc liên quan. Những hình thức hỗ trợ sinh viên như trên đều tốn nhiều tài nguyên về người và thời gian, đôi khi quá tải khiến cho việc phản hồi sinh viên kịp thời là không thể, gây ra nhiều phiền toái ví dụ trong trường hợp nếu như sinh viên cần biết ngay thông tin để đáp ứng nhu cầu hoàn thành một thủ tục nào đó có thời hạn.
Trong một khảo sát thực hiện bởi Nguyễn Việt Nam với đối tượng sinh viên Trường Dại học Công nghệ Thông tin (UTT), 65% sinh viên hỏi bạn bè, thầy cô và 45% sinh viên gửi email về Phòng Đào tạo Đại học để được giải đáp thắc mắc liên quan tới quy định đào tạo đại học, so với chỉ 15% sinh viên tìm câu trả lời của mình qua Khóa luận tốt nghiệp Xây dựng hệ thông héi đáp quy định đào tạo dai học việc tìm đọc tài liệu ban hành quy định đào tạo đại học của trường [I]. Hơn nữa, theo cùng khảo sát, có 1/3 số sinh viên mong muốn Phòng Đào tạo Đại học có thể phản hồi qua email nhanh chóng hơn. Mặt khác, những tiến bộ trong lĩnh vực máy học, cụ thể là xử lí ngôn ngữ tự nhiên ngày càng được giới nghiên cứu chú ý nhiều hơn do những ứng dụng hữu ích nó có thể mang tới. Một trong số đó là những tiến bộ cho phép xây dựng chatbot thông minh, có khả năng thay thế con người trong nhiều nhiệm vụ như chăm sóc khách hàng, đặt hàng, tư vấn, tán gẫu,.
Từ nhu cầu thực tế và nền tảng công nghệ đó, khóa luận này tập trung vào việc xây dựng một chatbot đóng vai trò như một chuyên viên hỗ trợ sinh viên về các thắc mắc liên quan tới quy định đào tạo đại học tại Trường Công nghệ Thông tin.2 Mô tả sơ lược hệ thống Như hình hệ thống bao gồm các bước xử lý chính như phân loại ý định, dự đoán hành động kế tiếp và tìm câu trả lời, ứng với các bước xử lý này lần lượt là các mô-đun Hiểu ngôn ngữ tự nhiên (NLU), Quản lý hội thoại và Q&A. Cu thể, thông điệp người dùng có thể chỉ chứa những yếu tố hội thoại thông thường như Xin chào, Cam ơn, Tạm biệt, Ok hay chứa một thắc mắc liên quan tới quy định đào tạo đại học như Thời gian học kà hè kéo dài khoảng bao lâu?. Thông điệp từ người dùng sẽ đi qua mô-đun NLU, mô-dun này xử lý thông điệp văn ban và đưa thông điệp vào một bộ phân lớp ý định người dùng. Một nhãn ý định được trả về như đầu ra của mô-đun, giúp hệ thống quyết định hành động kế tiếp cần làm là gì.
Hà Quốc Tiến 4 KHTN2017 Khóa luận tốt nghiệp Xây dựng hệ thông héi đáp quy định đào tạo dai học Thông điệp đầu vào Phân loại ý định | ‘ Câu hỏi Ỷ ị Dự đoán hành động ‘ v ké tiép h ' Tim cau trả lời qua RetFAQ Hanh dong Lấy mẫu phản hồi kế tiếp: Tim câu trả lời có sẵn answer? Tim câu trả lời qua RetMRC 1 Bouunicayi-ic N Xử lý phản hồi Phản hồi của chatbot Hình 1.1: Lưu đồ miêu tả sơ lược hệ thống Mô-đun Quản lí hội thoại đảm nhận việc theo đõi trạng thái hội thoại và dự đoán hành động kế tiếp, dựa vào ý định người dùng tại thời điểm hiện tại và các sự kiện đã xảy ra trong cuộc trò chuyện. Lúc này, nếu mô-đun xác định hành động cần làm tiếp theo là trả lời câu hỏi người dùng liên quan tới quy định đào tạo đại học, hệ thống sẽ gửi thông điệp người dùng chứa câu hỏi tới mô-đun Q&A. Mô-đun Q&A nhận câu hỏi và trả về câu trả lời cho câu hỏi. Bên trong mô-đun Q&A có hai mô hình mà ở khóa luận này gọi là RetFAQ và RetMRC.
RetFAQ là một mô hình truy vấn văn bản, tìm câu trả lời bằng cách so khớp câu hỏi của người dùng với những câu hỏi thường gặp đã có sẵn trong dữ liệu của hệ thống. Nếu độ tin Hà Quốc Tiến or KHTN2017 Khóa luận tốt nghiệp Xây dựng hệ thông héi đáp quy định đào tạo dai học cậy từ RetFAQ thấp hơn một mức e nào đó, mô-đun Q&A gọi mô hình RetMRC - một mô hình kết hợp truy vấn tài liệu và rút trích câu trả lời - để tìm câu trả lời thay cho RetFAQ. Trong trường hợp mô-đun quản lý hội thoại xác định hành động kế thuộc các trường hợp trao đổi với người dùng không thuộc trường hợp trả lời câu hỏi liên quan tới quy định đào tạo đại học, mô-đun dùng những mẫu có sẵn phù hợp với tình huống giao tiếp, ví dụ khi người dùng nói Chào bạn, chatbot sẽ dùng phản hồi có sẵn trong tình huống chào hỏi, Chào ban, bạn can hỗ trợ vé van dé gi? để tra lời. Mẫu phan hồi hay câu trả lời từ mô-đun Q&A trải qua những xử lý nhỏ để hoàn thiện và trở thành phản hồi chatbot gửi đến người dùng.3 Mục tiêu Khóa luận này nhắm tới việc bước đầu xây dựng và đánh giá được một hệ thống hoàn chỉnh đảm nhận được nhiệm vụ trả lời các câu hỏi của sinh viên liên quan tới quy định đào tạo đại học qua hình thức trò chuyện tự nhiên, bao gồm cả những yếu tố đàm thoại khác sẽ xảy ra nếu như sinh viên đó trò chuyện với một chuyên viên con người như zin chào, cam on, tam biệt.
Cụ thể mục tiêu của khóa luận bao gồm: 1. Tìm hiểu và ứng dụng các mô hình xử lí ngôn ngữ tự nhiên và truy xuất dữ liệu đảm nhận vai trò cốt lõi cho hệ thống: e Mô hình truy van các câu hỏi thường gặp (FAQ), ở khóa luận này gọi là RetFAQ. Hà Quốc Tiến 6 KHTN2017 Khóa luận tốt nghiệp Xây dựng hệ thông héi đáp quy định đào tạo dai học e Mô hình truy vấn các tài liệu về quy định đào tạo đại học của trường. e Mô hình đọc hiểu (MRC) ngôn ngữ tự nhiên, giúp trích xuất câu trả lời cho câu hỏi ứng với một ngữ cảnh nào đó, câu trả lời là một đoạn văn liên tục nằm trong ngữ cảnh, khóa luận này gọi mô hình truy vấn tài liệu quy định đào tạo kết hợp với mô hình đọc hiểu là RetMRC.
e Mô hình NLU giúp xử lý thông điệp người dùng gửi tới chatbot và phân loại ý định của thông điệp, giúp hệ thống có phản hồi phù hợp. Hệ thống hỏi đáp: hệ thống tích hợp những mô-đun chính gồm những mô hình nói trên, hoạt động trên dữ liệu là 89 câu FAQ va bộ tài liệu quy định đào tao đại học của trường UIT. Các phần back-end được cài đặt qua thư viện Rasa. Về ứng dụng, hệ thống được cài đặt trên nền tảng Facebook Messenger.
Đánh giá và phân tích hệ thống: tại thời điểm thực hiện khóa luận, một hệ thống hỏi đáp với các công nghệ và mô hình tương tự chưa được công bồ, việc đánh giá hệ thống do đó là cần thiết để đưa ra được một cái nhìn về tính hiệu quả của hệ thống. Khóa luận tạo ra một bộ các cuộc hội thoại bao gồm các câu hỏi liên quan tới quy định đào tạo đại học cùng với các yếu tố đàm thoại tự nhiên và đánh giá hệ thống dựa vào sự thành công trong việc đảm nhận vai trò người giải đáp thắc mắc trong các cuộc hội thoại đó.4 Đối tượng và phạm vi nghiên cứu Khóa luận tìm hiểu và cỗ gắng ứng dụng những kỹ thuật máy học, truy vấn thông tin và kiến trúc chatbot vào việc xây dựng hệ thống hỏi đáp về quy định đào tạo Hà Quốc Tiến 7 KHTN2017 Khóa luận tốt nghiệp Xây dựng hệ thông héi đáp quy định đào tạo dai học đại học. Từ đó, đối tượng nghiên cứu của khóa luận bao gồm: e Các mẫu hội thoại trao đổi về quy định đào tạo đại học của Trường Dai học Công nghệ Thông tin giữa sinh viên và chatbot với vai trò "người" giải dap thắc mắc. e Các kỹ thuật máy học, học sâu có liên quan, bao gồm các mô hình như Trans- former, BERT.
e Các kỹ thuật truy van thông tin, cu thể là truy van văn ban như TFIDF, Okapi BM25. e Các bộ dữ liệu được dùng trong hệ thống như SQuAD, TyDi QA, bộ dữ liệu 89 câu FAQ và bộ tài liệu ban hành quy định đào tạo đại học của trường. e Kiến trúc chatbot Rasa và thư viện cài đặt chatbot Rasa. Các mẫu hội thoại được giới hạn trong phạm vi các trao đổi chào hỏi, xác nhận, phủ nhận thông thường cộng với các trao đổi liên quan tới quy định đào tạo đại học.
Phạm vi nghiên cứu và ứng dụng các đối tượng kỹ thuật máy học, học sâu trên bao gồm các nền tảng toán học, kiến trúc mạng học sâu được sử dụng trong hệ thống. Các kỹ thuật truy vấn văn bản được nghiên cứu và ứng dụng với phạm vi tương tự. Dữ liệu dùng cho hệ thống có phạm vi là những tài liệu quy định đào tao đại học của Trường Đại học Công nghệ Thông tin. Các mô-đun, thuật toán trong kiến trúc chatbot Rasa được ứng dụng và tìm hiểu trong phạm vi được sử dụng trong hệ thống, do đó có nhiều thành phần không Hà Quốc Tiến § KHTN2017 Khóa luận tốt nghiệp Xây dựng hệ thông héi đáp quy định đào tạo dai học được trình bày hay được trình bày giản lược do không được sử dụng trong hệ thống và cũng không giúp được cho việc hiểu hơn về hệ thống.5 Các công trình liên quan Các hệ thống hỏi đáp nhận được nhiều quan tâm của giới nghiên cứu và có nhiều công trình đã xây dựng những hệ thống hỏi đáp trên dit liệu tiếng Việt.
Hoàng Đức Thịnh [2] xây dựng một hệ thống chatbot với mục đích tư van học tập cho sinh viên. Với cách tiếp cận cổ điển, hệ thống được xây dựng trên ngôn ngữ AIML và là một hệ thống dựa trên các luật định nghĩa sẵn, cộng với một hệ cơ sở tri thức được thu thập và tổ chức bởi chuyên gia. Nguyễn Thành Thủy [3| xây dựng một hệ thống hỏi đáp dạng chatbot, trung tâm của hệ thống là việc phân loại ý định người dùng. Hệ thống chia 35 câu hỏi người dùng thành 35 ý định khác nhau cho mô hình phân biệt và cho mỗi ý định 20 ví dụ huấn luyện.