ĐẠI HỌC QUOC GIA TP. HO CHÍ MINH TRUONG DAI HOC CONG NGHE THONG TIN KHOA KY THUAT MAY TINH PHAM TAN KHOA NGUYEN TRUNG NGHIA KHOA LUAN TOT NGHIEP NGHIEN CUU VA THIET KE HE THONG Research and Implement Offline Vietnamese Virtual Voice Assistant on Embedded Board KY SU NGANH KY THUAT MAY TINH TP. HO CHi MINH, 2021 ĐẠI HỌC QUOC GIA TP. HO CHÍ MINH TRUONG DAI HOC CONG NGHE THONG TIN KHOA KY THUAT MAY TINH PHAM TAN KHOA - 16520602 NGUYEN TRUNG NGHIA- 16520812 KHOA LUAN TOT NGHIEP NGHIEN CUU VA THIET KE HE THONG TRO LY AO TIENG VIET OFFLINE TREN NEN TANG HE THONG NHUNG Research and Implement Offline Vietnamese Virtual Voice Assistant on Embedded Board KY SU NGANH KY THUAT MAY TINH GIANG VIEN HUONG DAN ThS.
PHAM MINH QUAN TP. HO CHi MINH, 2021 THÔNG TIN HỘI ĐÒNG CHÁM KHÓA LUẬN TÓT NGHIỆP Hội đồng chấm khóa luận tốt nghiệp, thành lập theo Quyết định số 70/QD-DHCNTT ngày 27 tháng 01 năm 2021 của Hiệu trưởng Trường Dai học Công nghệ Thông tin. LỜI CẢM ƠN Được sự phân công của quý thầy cô khoa Kỹ thuật máy tính, Trường Đại học Công nghệ thông tin, sau hơn ba tháng học tập và làm việc, chúng em đã hoàn thành Khóa luận tốt nghiệp “ Nghiên Cứu Và Thiết Kế Hệ Thống Trợ Lý Ảo Tiếng Việt Offline Trên Nền Tang Hệ Thống Nhúng”. Đề hoàn thành nhiệm vụ được giao, ngoài sự nỗ lực học hỏi của bản thân còn có sự quan tâm, giúp đỡ tận tình của thầy cô, gia đình và bạn bè.
Chúng em xin gửi lời cảm ơn quý báu đến quý thầy cô ở Khoa Kỹ thuật máy tính - Trường Đại học Công nghệ thông tin đã nhiệt tình trong việc truyền đạt vốn kiến thức quý báu giúp đỡ chúng em rất nhiều trong thời gian học tập tại trường. Chúng em xin chân thành cảm ơn thầy giáo — ThS. Phạm Minh Quân, người đã tận tâm hướng dẫn, chi bảo chúng em qua từng buổi học trên lớp cũng như những buổi nói chuyện, thảo luận về lĩnh vực sáng tạo trong nghiên cứu khoa học. Một lần nữa, chúng em xin chân thành cảm ơn thầy.
Mặc dù bài khoá luận không tránh khỏi những thiếu sót, rất mong nhận được những ý kiến đóng góp quý báu của quý thầy cô giúp bài khoá luận của chúng em hoàn thiện hơn. Lời sau cùng, chúng em xin kính chúc quý thay cô trong khoa Kỹ thuật máy tính, cô Hiệu trưởng PGS. Nguyễn Hoàng Tú Anh sức khoẻ, niềm tin, vững bước diu dắt chúng em trưởng thành Trân trọng! TP. HCM, 05 tháng 03 năm 2021 TOM TAT KHOA LUAN001157.
3 Lý do chọn đề tài. | TONG QUAN HE THONG TRỢ LY ẢO.1 Tổng quan hệ thống trợ lý 0 .ecceecessesseessessessesssessessessesssessessessessssssessessesseesseeses 5 Chương2. CO SỞ LÝ THUYÉT.--2- 22 ++22++2E++Ex++ExtzE+erx+zrxrsrxee 8 2.1 Cấu trúc của một hệ thống phan hồi yêu cầu (chatbot).1 Hiểu ngôn ngữ tự nhiên.2 Cơ sở dữ liệu Chabot .2 Tổng quan hệ thong nhận dạng giọng nói.1 Phân loại hệ thong nhận dang ZION nÓI.2 Phân tích giọng nói CUA IBƯỜII.3 Các giải pháp cho nhận dạng giọng nói phổ biến.3 Tổng quan hệ thong chuyền văn bản sang giọng nói.2 Mô hình Transformer Trong Text To ŠSpeech. XÂY DỰNG TRỢ LÝ AO TƯ VAN TUYEN SINH.1 Bai todd oe .2 Xây dựng hệ thống nhận dang giọng nói End-to-End .1 Chuẩn bị dữ liệu.3 Xây Dựng chatbot tư van tuyến sinh.4 Xây dựng hệ thống chuyền văn bản sang giọng nói Transformer và MelGAN 9290.1 Chuẩn bị dit liệu.--- 2: £ £+SE+EE£EE2EEEEEEEE211211271711211211 11212 re.2 Kay dung m6 hinh 0.
Kết Qua - Đánh Giá Thực Nghiệm.1 Kết quả thực nghiệm.-- ¿- ¿ c©S9SE+SE9EE£EE2EEEEEEEE1EE12212112112171 2111.1 Kết quả thực nghiệm từng mô-đun.2 Kết quả thực nghiệm tổng thé trên board nhúng TXI .4 Dinh hướng nghiên cứu tiếp theo.---2- + +¿+++2x++£x++£x+2zxvzx+srxezrxere 52 TÀI LIEU THAM KHẢO.- - - St 3 EE2E9E9EEEE2EEE1EE5EEEEEE2EEE1111E1111EE. 53 DANH MỤC HINH VE Hình 1.1: Cau trúc trợ lý ảo cơ bản.------ 2 s+2x+2E2EE2EE£EEEEEEEEEEEEEEEEEEEErrrkerreeg 5 Hình 2.1: Cấu trúc của một chatbot co bản [ I Ï].2: Thành phần chính của các chatbot cao cấp hơn [12].3: Làm sạch text [24].5: Chuan hóa từ [4] cceccescccccsscsscsssessessesssessessessessssssessessessusssessesssssesessessecsnsees 13 Hình 2.6: Loại bỏ stopwords [4]. -- -- s11 TH HH 14 I0) :0/201/-uio0i 6017077 —.8: Dữ liệu chatbot dưới dang json [3] .9: Cấu tạo thanh quản [3|] .10: Mô phỏng các tần số kết hợp tạo ra tần số mới [25].11: Biến đổi Fourier [ ].12: Đặc trưng một nguyên âm trong miễn tần số [9].13: Phân tích F1, F2, F3 cua một nguyên âm trong miễn tần số [9].14: Cửa số trượt trên tín hiệu âm thanh dé trích xuất đặc trưng [7].15: Sơ đồ trích xuất đặc trưng MFCC [7] .----¿-¿©++++2cx+2z++zs+er++ 24 Hình 2.16: Biểu đồ liên hệ Mel và tần số tai người nghe [7].17: Tach tần số FO ra khỏi tần số muốn lấy [7].18: Nhận dạng giọng nói bang s0 0/010 ằằ.19: Mô hình Tacotron Speech to Text [25 ].-- ----5-cc + ++ssexssesesers 31 Hình 2.20: Cấu trúc mô-đun CBHG [23].--- 2-2 2 SE+EE+E£EE+E£EE+EeEEeEerxererrrrs 32 Hình 2.21: Mang transformer trong text to speech [27] .- -----cs«c<<<+sxssexses 36 Hình 3.1: Cấu trúc một Chatbot.2: Mau data chatbot tư van tuyên Sink .3: Lam sạch text bang Regex .4: Bộ từ điển tri-grams — từ ghép bởi 3 chữ cái.----- 2: se +scczce¿43 Hình 3.5: Từ điển stopwords tiếng VIiỆP.6: Mô hình Bag of WWOTS.- - SH TH TH HH TH kg 44 Hình 4.1: Tính toán độ chính xác.2: Test một số câu hội thoại .-- - ¿2S t+E+E£EEEE+EEEEEEEEEEEEErEeEererkerereree 48 Hình 4.3: Đánh giá độ chính xác của mô hình.4: Giá tri loss bộ dữ liệu 54h nói.5: Gila tri train 0:00 127 .6: thé hiện biểu đồ giá trị train d_loss qua thời gian train .7: Biểu đồ đánh giá điểm MOS.---2- 2-52 St E2 2112112121 50 DANH MỤC TỪ VIET TAT Từ viết Từ chuẩn Diễn giải tắt ASR Auto Speech Recognition Nhận dạng giọng nói tự động CER Character Error Rate Tỉ lệ ký tự lỗi CNN Convolution Neural Network Mang no-ron tich chap MFCC | Mel Frequency Cepstral Coefficient | Đặc trưng hệ sô tân số quang phố NLP Natural Language Processing Xử lý ngôn ngữ tự nhiên NLU Natural Language Understanding Hiéu ngôn ngữ tự nhiên PLP Perceptual Linear Prediction Dự đoán tuyên tính RNN Recurrent Neural Network Mang no-ron STT Speech to text Giong noi sang van ban TTS Text to speech Van bản sang giọng nói WER Word Error Rate Tỉ lệ từ lỗi TF-IDE Term Frequency — Inverse Tần suất từ - Tan suất tài liệu Document Frequency nghich BOW Bag Of Word Túi từ SVM Vector Support Machine Véc-tơ hỗ trợ máy DSP Digital Signal Processing Xử lý tin hiệu số HMM Hidden Markov Model Mô hình Markov ân DNN Deep Neural Network Mạng nơ-ron sâu ML Machine Learning Máy học AI Artificial Intelligence Tri tué nhan tao LSTM Long Short-Term Memory Bộ nhớ dai-ngan han TOM TAT KHÓA LUẬN Trợ lý ảo được sinh ra nhằm hướng tới sự tiện nghỉ của con người, giúp con người xử lý các tác vụ hằng ngày một cách tự động như: Công thức nấu món ăn, hướng dẫn làm một việc gì đó, chỉ đường, đặt xe, bật tắt các thiết bị thông minh trong nhà, báo thức,. cho đến việc hướng dẫn, tra khảo thông tin tại một số địa điểm cụ thê ví dụ như địa điểm tham quan du lịch, sân ga,.
và trường học cũng nằm trong số đó. Các tân sinh viên, học sinh tham quan trong khuôn viên trường có câu hỏi về chương trình đào tạo, chỉ tiêu, điểm chuẩn hoặc vị trí phòng ốc trong trường có thé hoi truc tiép với một trợ lý ảo được dat đâu đó trong khuôn viên trường. Đó là một ví dụ cho ta thay sự tiện nghi cua trợ ly ảo. Ở khóa luận, nhóm thực hiện thiết kế một trợ ly ảo offline có thé trả lời một số câu hỏi liên quan đến Trường Đại học Công nghệ thông tin.
Đề có thê thiết kế một trợ ly ảo, trước tiên ta phải phân tích cau tao trợ ly ao thành các phan khác nhau. Có rất nhiều mô-đun liên quan nhưng với mức độ cơ bản thì trợ lý ảo thường có ba mô-đun chính: Nhận dạng giọng nói (chuyển văn bản sang giọng nói), phản hôi yêu câu và chuyên văn bản sang giọng nói. Đầu tiên là mô-đun nhận dạng giọng nói. Mô-đun có chức năng chính là chuyển yêu cầu của người dùng từ giọng nói sang văn bản đề có thé xử lý yêu cầu đó, nếu nhận dạng không tốt sẽ ảnh hưởng tới kết quả của các mô-đun phía sau, từ đó ảnh hưởng tới độ chính xác của toàn bộ hệ thống.
Có rất nhiều phương pháp mô hình hóa đã được sử dụng dé đào tạo như mô hình no-ron và mô hình Markov, tần số cơ bản FO và mô hình Markov, MFCC (Mel Frequency Cepstral Coefficient) và PLP (Perceptual Linear Prediction),.Ở day nhóm sử dụng một mô hình dễ triển khai đó là End-to-End với Residual Convolutional Neural Networks (ResCNN) và Bidirectional Recurrent Neural Networks (BiRNN) dé dao tạo. Độ lớn của bộ dữ liệu đào tạo anh hưởng rat lớn đến độ chính xác của mô hình. Dé có độ chính xác tốt thì vài trăm giờ cho đến vài nghìn giờ nói là cần thiết. Nhóm đã thực nghiệm bộ dữ liệu Vivos 15 giờ nói đạt WER khoảng 45%; bộ đữ liệu 54 giờ nhóm tự tổng hợp gồm bộ Vivos 15 giờ nói và 39 giờ nói từ bộ đữ liệu của VinBigdata, kết quả WER đạt 34%, CER đạt 12%.
Sau khi chuyên yêu cầu của người dùng sang văn bản thì ta xử lý và đưa ra hành động phản hồi cho văn bản yêu cầu đó. Mô-đun có thé hiểu là một “chat bot” ta thường thấy, nhận văn bản và phản hồi văn bản. Nhiệm vụ của nó là tìm ra câu trả lời hoặc hành động phù hợp nhất với yêu cầu của người dùng. Ta có thể dùng một số kỹ thuật như: Naive Bayes, Decision Tree (Random Forest), Vector Support Machine (SVM), Convolution Neural Network (CNN), Recurrent Neural Network (RNN), Long Short-Term Memory (LSTM, Bi-LSTM).
Ở mức độ cơ bản ở miền đóng thì mô-đun là bài toán hồi quy (regression) hoặc cũng có thê là bài toán phân loại (classification) vì đầu ra là những số nguyên có định tương ứng với câu tra lời. Ở đây nhóm sử dụng bài toán regression được xây dựng trong framework Tflearn. Với dữ liệu đào tạo là bộ 100 câu hỏi và trả lời liên quan đến Trường Đại học Công Nghệ thông tin thì nhóm đạt độ chính xác 97%. Mô-đun đầu ra cuối cùng là chuyển văn bản sang giọng nói, chuyên câu trả lời tới người dùng qua giọng nói.
Các mô hình đã được áp dụng như Hidden Markov model (HMM), Tacotron, Tacotron2 đã mang lai một số thành công nhất định. Một mô hình mới xuất hiện gần đây và nhóm quyết định sử dụng mô hình này, đó là Transformer kết hợp vocoder MelGAN. Sau 20 ngày train liên tục nhóm đạt MOS (Mean Opinion Score) ở mức 2. MỞ DAU Trợ lý ảo là một cụm từ không còn xa lạ đối với nền công nghệ phát triển hiện nay trên thế ĐIỚI.