MỞ ĐẦU Chương này giới thiệu về đề tài, nêu lí do thực hiện, làm rõ một số thuật ngữ chung được sử dụng, nêu mục đíc h, đối tượng và phạm vi nghiên cứu.1 Đặt vấn dé Con người và máy móc khác nhau, đó là điều không thể phủ nhận. Một bên là vật vô tri vô giác, không có cảm xúc; bên còn lại cảm xúc được biểu hiện ở nh iều mặt, từ hành động, biểu cảm trên khuôn mặt cho tới lời nói, ánh nhìn,. Đối với con người, giao tiếp chính là chìa khoá để tiếp nhận kiến thức, để học tập và lam việc, đồng thời cũ ng là thứ để giúp con người giãi bày với nhau. gày nay, dưới sự phát triển của khoa học kĩ thuật, nị hiều người lại càng trở nên xa cách với xã hội hoặc theo góc nhìn khác, nó vô tìn 1 trở thành mầm bệnh cho các căn bệnh về khó giao tiếp, tránh né hoạt động xã hội.
Hệ quả là những bệnh rh 14n này thiếu đi một người bạn để sé chia, tâm sự kỉ ni cần thiết. Về phía người nghe, không phải ai cũng có thể làm tốt việc lắng nị ghe người khác và thường tốn một khoản, g thời gian nhất định mới đạt được hiệu quả, ngặt nỗi thời gian là thứ mà ai cũng trân quý. Nói về các doanh nghiệp hiện nay, các hệ thống giao tiếp khách hàng ở Việt Nam dựa chủ yếu là vào sức người, thứ mà tốn nhiều thời gian và công sức để đào tạo và vận hành, cũng như chỉ đáp ứng được một số lượng người dùng nhất định tại một thời điểm và chỉ hoạt động trong một khoảng thời gian cụ thể nào đó trong ngày (ví dụ giờ hành chính hoặc làm theo ca), đó chính là những điểm yếu trong thực tế của các hệ thống chăm sóc khách hàng hiện nay. Xuất phát từ các nhu cầu và điểm yếu kể trên, ¢ húng tôi thực hiện đề tài: Xây dựng chatbot biết cảm thông dựa trên mô hình BERT cho tiếng Việt sử dụng phương pháp truy vấn thông tin ứng dụng mô hình học sâu BERT để giải quyết bài toán với mong muốn ứng dụng tự động hoá vào việc giúp đỡ những người Việt gặp khó khăn trong giao tiếp có thêm một người bạn để an ủi, tâm sự cũng như có thể tích hợp vào một hệ thống giao tiếp khách hàng đa năng.
Trong thời gian gần đây, có hai khái niệm dễ gây hiểu nhầm, đó là trợ lí ảo (điển hình như Google Assistant của Google hay Cortana của Microsoft) và chatbot. Về cơ bản, chatbot và trợ lí ảo là hai thuật ngữ khác nhau nhưng không tách biệt nhau hoàn toàn, cả hai có chung đầu vào, và đầu ra là thực hiện một nhiệm vụ nào đó. Trợ lí ảo thay thế con người trong các tác vụ thường xuyên lặp lại một cách nhàm chán, ví dụ đặt lịch báo thức, tìm địa điểm trên bản đồ, nhắc nhở công việc,. với các mô đun công việc cụ thể.
Nhiệm vụ của một trợ lí ảo là phải hiểu người dùng đang gọi mô đun nào và phân tích câu lệnh để thực hiện và trợ lí ảo không được thiết kế cho việc bầu bạn cùng người dùng. Tuy nhiên, người dùng vẫn có thể giải toả tâm trạng bằng cách chỉ rõ mong muốn của mình, ví dụ “Hãy đọc một mẫu truyện ngắn cho tôi nghe” hay “Mở bài hát tiền nhiều để làm gì cho tôi”. Trong khi đó, chatbot được sử dụng để tán gẫu (chat-chit), giáo dục, giải trí, tin tức, .; thường được xây dung dựa trên (i) hệ thống luật hoặc (ii) dùng mô hình máy học với dạng context-response matching (tạm dịch bắt cặp câu đầu vào và câu đầu ra) hay response selection model (mô hình chọn lựa câu phan hồi), như vậy chatbot linh hoạt hơn trong các tác vụ so với trợ lí ảo vì câu đầu vào không bị rap khuôn, thích hợp với văn phong đời thường hơn. Dang (i) điển hình như ELIZA (1966) được xây dựng dựa theo lí thuyết tâm lí học, các phản hồi trở nên khô cứng và lặp lại các từ mà người dùng vừa đưa ra gây ra cảm giác nhàm chán, dạng (ii) nếu được huấn luyện đủ tốt thì khắc phục được các nhược điểm của dang (i), tuy nhiên lại phụ thuộc phần lớn vào chất lượng và kích thước của bộ dữ liệu.2 Mô tả bài toán Nghiên cứu này là về xây dựng một chatbot biết cảm thông nhằm giúp mọi người có thêm một người bạn để trao đổi và tâm sự.
Chatbot biết cảm thông là hệ thống có khả năng “dự đoán được tâm trạng hiện tại của người dùng” để đưa ra phản hồi phù hợp về ngữ nghĩa và cảm xúc. Nói cách khác, chatbot biết cảm thông là chatbot đưa ra phản hồi phù hợp với tâm trạng của người dùng, giúp họ cảm thấy tốt hơn, xem các ví dụ hình 1. Lúc nãy tôi làm rơi vi, may mà Lúc nấy tôi làm rơi vi, may mà có một cậu bé được và trả lại có một cậu bé được và trả lại CN CN phạm sai lầm mà. là tuổi trẻ thường Bạn rất may mắn đầy và đứa bé cũng rất ngoan! ym - 2) yGn một que a, Gn kem.
vậy, tôi đã trảa, on cho cậu (a) (b) Hình 1. (a) Phản hoi đúng ngữ nghĩa nhưng sai cém súc. (b) Chatbot biết cam thông. - Đầu vào: Câu nói của người dùng thường dùng trong đời sống hằng ngày, thường là câu để bộc lộ cảm xúc dựa trên hoàn cảnh thực tại, ví du “Nay ra ngoài đường làm rơi ví mà loay hoay mãi vẫn không tìm lại được, tức thật!”, và câu nói không nhắm tới một nhiệm vụ cụ thể nào như hỏi đáp, đặt phòng.
- Đầu ra: Câu phản hồi lại câu nói của người dùng phù hợp về ngữ nghĩa và cảm xúc, câu phản hồi không nhất thiết phải là câu cảm than, nó có thể là câu hỏi “Sao lại có thể như vậy chứ?”, hoặc câu trần thuật “Tôi cũng từng có một gia đình hạnh phúc”.3 Mục tiêu - Mở rộng bộ dữ liệu tiếng Việt để sử dụng cho đề tài. - Cải tiến phương pháp chọn câu phản hồi dựa trên mô hình BERT. - Nghiên cứu và xây dựng trình quan lí hội thoại. - Xây dựng ứng dụng minh hoạ các kỹ thuật đã nghiên cứu.4 Đối tượng và phạm vi nghiên cứu 1.41 Đối tượng - Dữ liệu hội thoại cảm thông.
- Phương pháp mã hoá câu thành véc tơ ngữ nghĩa với BERT và PhoBERT. - Các phương pháp truy vấn thông tin ứng dụng trong chatbot và phương pháp quản lí hội thoại.2 Phạm vi Đề tài này tập trung vào các cuộc trò chuyện thể hiện sự cảm thông trong giao tiếp thường ngày, xét trong phạm vi tiếng Việt, không chú trọng vào các nhiệm vụ cụ thể như hỏi đáp, nhắc lịch,. TỔNG QUAN Chương này trình bày các nghiên cứu liên quan và các vấn đề còn tồn tại, từ đó dẫn đến các vấn đề chúng tôi tập trung nghiên cứu giải quyết, đồng thời trình bày tóm tắt những đóng góp trong đề tài.1 Công trình liên quan Nghiên cứu [2] đã phân biệt rõ hai loại hình chatbot có ứng dụng kĩ thuật học sâu là retrieval-based (truy vấn thông tin) và generative-based (sinh văn bản). Vì tiếng Việt là ngôn ngữ có nguồn dữ liệu chưa đủ nhiều, cụ thể trong phạm vi đề tài này chỉ có bộ dữ liệu UIT-VED với 7200 mau dit liệu, trong khi đó tiếng Anh với các bộ dữ liệu lớn như Reddit! (với khoảng 1.7 tỉ câu bình luận được chép từ Reddit), Daily Dialog, Empathetic Dialogues’,.
cộng với việc mô hình generative-based cần một lượng dữ liệu lớn nếu muốn đạt kết qua khả quan, nên [2] đã thử nghiệm mô hình chatbot cảm thông dựa trên truy vấn thông tin ứng dụng BERT cho tiếng Việt như hình 2. Context Matrix BERT Dot Top-k Responses Context Tokenizer product P P Candidates Candidates Matrix Hình 2. Mô hành truy van được thủ nghiệm bởi Cảnh va Trong. Trong đó, context là câu truy van (câu dau vào), candidates là các phan hôi https: //affect.edu/neural_chat/datasets/ *nttps://dl.com/parlai/empatheticdialogues/ empatheticdialogues.gz có săn trong bộ dữ liệu (câu ứng viên).
Chúng tôi nhận thấy một số nhược điểm ở kiến trúc chatbot này như sau: - Mô hình chưa giải quyết được vấn đề sai đại từ xưng hô giữa chatbot và người sử dụng. Ví dụ: Câu truy vấn: “Em cho anh mượn cuốn sách nay được không?” Câu phản hồi mong muốn: “Anh muốn mượn cuốn sách nào?” Câu phản hồi thu được: “Chi muốn muon cuốn sách nào?” Trong ví dụ trên, chatbot đưa ra câu phản hồi sai dai từ xưng hô là “chi” khi cần dai từ đúng là “anh”. - Mô hình chưa có chiến lược để duy trì một cuộc hội thoại xuyên suốt và mạch lạc, bao gồm: bắt chuyện với người dùng, giữ mạch câu chuyện một cách rõ ràng, kết thúc một đoạn hội thoại sao cho phù hợp. - Mô đun Phân loại và nỗi thêm cảm xúc (emotion classifier) được xây dựng và thử nghiệm như hình 2.3 tồn tại các điểm hạn chế sau: Bộ phân loại nhãn cảm xúc aremax — Bất ngờ Hình 2.
Bộ phân loại cảm xúc. 1On TÔI buôn quá. Emotion classifier BIEU DIEN NGỮ NGHĨA Tôi cũng buôn. Tôi cũng buồn.
That dang buôn. That đáng buôn. Té that day. Tệ that day.
chuyện gì vay? Hình 2. Hạn chế của nối thêm cam súc. + Câu đầu vào và câu ứng viên sau khi được phân loại cảm xúc và nối thêm cảm xúc không tương ứng về cảm xúc và không thể hiện được yếu tố cảm thông. + Bộ phân loại cảm xúc sử dụng fasttext đạt kết quả F1 36% cho 32 nhãn, dễ thấy mô đun không đủ tốt để sử dụng.
Đồng thời, nhận diện cảm xúc không thể chỉ dựa vào ngôn từ, mà còn có ngữ điệu, cử chỉ, chơi chữ, kinh nghiệm. Ví dụ: “Coi chừng đó nha” phản hồi lại câu trêu chọc của người dùng, là một phép tu từ tương phản thường gặp, chứ không phải là nhãn “cực kì tức giận” để phản hồi lại sự trêu chọc. + Chúng tôi thử nghiệm bộ phân loại cam xúc sử dụng PhoBERT cho 3 nhãn “vui, buồn và trung lập” với Fl = 86% va accuracy = 87% không cải thiện kết quả (p@1,100 giảm từ 34.83%, thông tin về p@1,100 ở [mục 5.2]), thử nghiệm của [8] cũng cho thấy phân loại nhãn cảm xúc không mang lại kết quả tích cực. - Về hàm mục tiêu, [8] xét tới 2 phương án để tìm ra độ tương đồng giữa hai véc tơ embedding (véc tơ biểu diễn ngữ nghĩa cho câu đầu vào và câu ứng viên) là độ tương đồng cosine và tích vô hướng, trong đó độ tương đồng cosine là phiên bản chuẩn hoá của tích vô hướng.