Luận văn thạc sĩ khoa học máy tính: Hỗ trợ giao tiếp giọng nói trong chatbot

Luận văn thạc sĩ nghiên cứu máy tính supporting voice communication in chatbot, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện pháp hoàn thiện trong lĩnh vực .

• Tác giả: Ha Minh Duc
• Người hướng dẫn: Le Thanh Van, Ph. D
• Trường học: Ho Chi Minh City University of Technology
• Chuyên ngành: Computer Science
• Đề tài: Hỗ trợ giao tiếp giọng nói trong chatbot
• Loại tài liệu: master’s thesis
• Năm xuất bản: 2024
• Địa điểm: Ho Chi Minh City

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT LUẬN VĂN
• LỜI CAM ĐOAN
• DANH MỤC HÌNH VẼ
• DANH MỤC BẢNG BIỂU
• DANH MỤC TỪ VIẾT TẮT
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Mục tiêu đề tài
• 1.2. Phạm vi đề tài
• 1.3. Mô hình Markov ẩn (HMM)
• 1.4. Mạng nơ-ron sâu
• 1.5. Mạng nơ-ron nhân tạo
• 1.6. Mạng nơ-ron tích chập
• 1.7. Vấn đề triệt tiêu đạo hàm
• 1.8. Mạng nơ-ron hồi quy
• 1.9. Bộ nhớ ngắn hạn dài (LSTM)
• 1.10. Vấn đề phụ thuộc dài hạn
• 1.11. Mô hình nhúng từ
• 1.11.1. Nhúng từ dựa trên tần suất
• 1.11.2. Nhúng từ dựa trên dự đoán
• 1.12. Lịch sử của Chatbot
• 1.13. Sử dụng cơ chế Attention của Luong cho mô hình Sequence to Sequence
• 1.14. Mô hình Sequence to Sequence
• 1.15. Nhận dạng giọng nói tự động
• 1.16. Nhận dạng giọng nói sử dụng mạng nơ-ron hồi quy
• 1.17. Chuyển giọng nói thành văn bản sử dụng học sâu
• 1.18. Mô hình ngôn ngữ GPT-3

Tóm tắt

I. Giới thiệu

Luận văn thạc sĩ này tập trung vào việc cải thiện giao tiếp giọng nói trong chatbot thông qua việc tích hợp các công nghệ xử lý ngôn ngữ tự nhiên và nhận dạng giọng nói tự động. Nghiên cứu này nhằm phát triển một mô hình Sequence-to-Sequence mạnh mẽ, sử dụng kiến trúc GPT-3 để nâng cao khả năng hiểu biết và tạo ra ngôn ngữ tự nhiên. Việc áp dụng công nghệ Way2vec 2.0 giúp cải thiện khả năng nhận dạng giọng nói, từ đó nâng cao độ chính xác trong việc thu thập thông tin y tế. Nghiên cứu này không chỉ mang lại lợi ích cho lĩnh vực công nghệ chăm sóc sức khỏe mà còn mở rộng khả năng tương tác của chatbot thông qua giao tiếp giọng nói.

II. Nghiên cứu và Thực nghiệm Mô hình Sequence to Sequence

Mô hình Sequence-to-Sequence được phát triển nhằm tối ưu hóa khả năng tương tác của chatbot trong việc xử lý giao tiếp giọng nói. Nghiên cứu này tập trung vào việc cải thiện độ chính xác và tính mạch lạc trong các phản hồi của chatbot. Các phương pháp học sâu và các thuật toán học máy sẽ được áp dụng để xây dựng mô hình có khả năng xử lý ngữ nghĩa và ngữ cảnh một cách hiệu quả. Bằng cách sử dụng dữ liệu từ các nguồn trực tuyến, luận văn sẽ phân tích và tối ưu hóa mô hình nhằm đáp ứng tốt nhất nhu cầu của người dùng. Một trong những thách thức lớn nhất là đảm bảo rằng mô hình có thể hiểu và phản hồi chính xác trong các tình huống khác nhau.

III. Nghiên cứu và Thực nghiệm Mô hình Nhận dạng Giọng nói Tự động

Nghiên cứu này cũng tập trung vào việc phát triển một mô hình nhận dạng giọng nói tự động hiệu quả, nhằm chuyển đổi âm thanh thành văn bản một cách chính xác. Việc áp dụng các phương pháp học sâu sẽ giúp cải thiện độ chính xác của mô hình, đặc biệt trong lĩnh vực chăm sóc sức khỏe, nơi mà thông tin chính xác là rất quan trọng. Các kỹ thuật khác nhau sẽ được thử nghiệm để tìm ra phương pháp tốt nhất cho việc nhận dạng giọng nói trong ngữ cảnh y tế. Đặc biệt, việc sử dụng Way2vec 2.0 sẽ nâng cao khả năng nhận diện các từ khóa và cụm từ quan trọng trong các cuộc hội thoại y tế.

IV. Đánh giá Mô hình và Hướng phát triển Tương lai

Sau khi phát triển mô hình Sequence-to-Sequence và nhận dạng giọng nói tự động, một quá trình đánh giá toàn diện sẽ được thực hiện. Kết quả đạt được sẽ được phân tích chi tiết bằng các chỉ số và kỹ thuật phù hợp để đánh giá hiệu suất chính xác. Các điểm mạnh và điểm yếu của từng mô hình sẽ được xác định và đánh giá một cách cẩn thận. Dựa trên phân tích này, các khuyến nghị cho công việc tương lai sẽ được đưa ra, nhằm cải thiện và phát triển hơn nữa công nghệ nhận dạng giọng nói tự động trong các ứng dụng chăm sóc sức khỏe.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên chuyển đổi số y tế, giao tiếp người - máy bằng giọng nói tự nhiên đang trở thành giải pháp then chốt nhằm nâng cao chất lượng dịch vụ chăm sóc sức khỏe. Theo các khảo sát công nghệ gần đây, khoảng 73% người dùng đánh giá độ chính xác của nhận dạng giọng nói là rào cản lớn nhất khi tiếp cận các hệ thống tự động, trong khi 69% bệnh nhân có xu hướng tự tìm kiếm câu trả lời trước khi liên hệ nhân viên y tế. Vấn đề cốt lõi mà đề tài giải quyết là khắc phục sự suy giảm độ chính xác khi nhận dạng tiếng nói trong môi trường y khoa nhiều tạp âm, đồng thời loại bỏ các phản hồi rời rạc, thiếu mạch lạc của các hệ thống chatbot văn bản truyền thống.

Nghiên cứu hướng tới mục tiêu xây dựng một hệ thống chatbot thông minh hỗ trợ tương tác giọng nói tiếng Việt toàn diện trong lĩnh vực y tế, tích hợp năng lực hiểu ngôn ngữ tự nhiên vượt trội và khả năng nhận dạng giọng nói độ chính xác cao. Phạm vi nghiên cứu tập trung vào ngữ cảnh y tế tại Việt Nam, sử dụng tập dữ liệu hỏi đáp thu thập từ cổng thông tin bệnh viện, diễn đàn y khoa và các kênh truyền thông chính thống trong giai đoạn thực hiện từ ngày 06/02/2023 đến ngày 10/12/2023. Đề tài được bảo vệ thành công vào tháng 01/2024 tại Trường Đại học Bách Khoa - ĐHQG TP.HCM.

Ý nghĩa thực tiễn của công trình được chứng minh thông qua việc tối ưu hóa đồng thời chỉ số tỷ lệ lỗi từ (Word Error Rate - WER) dưới mức 13% trong điều kiện thực tế và cải thiện chỉ số đánh giá bản dịch song ngữ (BLEU) thêm khoảng 18.6% so với các mô hình cơ sở, mở ra tiềm năng ứng dụng rộng rãi tại các bệnh viện công và phòng khám chuyên khoa.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng lý thuyết mạng nơ-ron học sâu (Deep Neural Networks - DNN) và các mô hình chuỗi thời gian tiên tiến trong xử lý ngôn ngữ tự nhiên (NLP) cùng xử lý tín hiệu âm thanh (ASR).

Thứ nhất, mô hình chuỗi sang chuỗi (Sequence-to-Sequence - Seq2Seq) kết hợp cơ chế chú ý toàn cục Luong (Luong's Attention Mechanism) được ứng dụng nhằm giải quyết triệt để vấn đề phụ thuộc ngữ cảnh dài (Long-term Dependency) vốn là điểm yếu của mạng hồi quy RNN cổ điển. Cơ chế này tính toán trọng số căn chỉnh trực tiếp giữa các trạng thái ẩn của bộ mã hóa (Encoder) và bộ giải mã (Decoder), giúp chatbot duy trì mạch hội thoại y khoa phức tạp.

Thứ hai, nghiên cứu tích hợp kiến trúc Transformer thông qua mô hình ngôn ngữ lớn GPT-3 kết hợp cùng mạng tự giám sát Wav2vec 2.0 (Way2vec 2.0). Wav2vec 2.0 sử dụng bộ mã hóa đặc trưng cục bộ (Latent Feature Encoder) dựa trên mạng tích chập nhiều lớp (CNN) và mô hình ngôn ngữ ngữ cảnh (Context Network) nhằm lượng tử hóa biểu diễn âm thanh thô trực tiếp thành văn bản tiếng Việt.

Thứ ba, khung lý thuyết nhúng từ (Word Embedding) so sánh giữa GloVe và Word2Vec (bao gồm CBOW và Skip-gram) cùng thuật toán tối ưu hóa hạ độ dốc ngẫu nhiên (SGD) và hàm mất mát Cross-Entropy Loss được thiết lập làm chuẩn mực huấn luyện cho toàn bộ mạng nơ-ron.

Phương pháp nghiên cứu

Nghiên cứu sử dụng quy trình thực nghiệm khoa học kết hợp giữa phân tích định lượng và đánh giá hệ thống end-to-end:

• Nguồn dữ liệu và cỡ mẫu: Bộ dữ liệu văn bản bao gồm khoảng 5,200 cặp câu hỏi - đáp y khoa chuẩn hóa trích xuất từ chuyên mục FAQ của các bệnh viện lớn tại Việt Nam, kết hợp cùng tập dữ liệu âm thanh tiếng Việt quy chuẩn với hơn 120 giờ thu âm từ 350 người nói đại diện cho các phương ngữ Bắc, Trung, Nam.
• Phương pháp chọn mẫu: Nghiên cứu áp dụng phương pháp chọn mẫu có mục đích (Purposive Sampling) tập trung vào 8 chuyên khoa có tần suất tư vấn cao nhất (nội khoa tổng quát, hô hấp, tim mạch, tiêu hóa, nhi khoa, sản phụ khoa, da liễu và cơ xương khớp), kết hợp phân tầng ngẫu nhiên theo tỷ lệ 80% huấn luyện (Train), 10% kiểm thực (Validation) và 10% kiểm tra độc lập (Test).
• Phương pháp phân tích và lý do lựa chọn: Sử dụng phối hợp giải thuật giải mã Greedy Decoding và Beam Search nhằm tối ưu tốc độ xử lý câu từ. Phương pháp phân tích định lượng dựa trên các thang đo chuẩn quốc tế gồm Precision, Recall, F1-Score, BLEU cho mô-đun sinh ngôn ngữ, cùng Word Error Rate (WER) và Perplexity (PER) cho mô-đun nhận dạng giọng nói. Đây là các tiêu chuẩn đo lường khắt khe nhất để đánh giá độ chính xác của hội thoại y tế.
• Thời gian thực hiện: Toàn bộ quá trình thu thập, tiền xử lý, huấn luyện và đánh giá thực nghiệm diễn ra liên tục từ ngày 06/02/2023 đến ngày 10/12/2023.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đã ghi nhận 4 phát hiện quan trọng:

1. Hiệu năng vượt trội của mô hình nhận dạng giọng nói Wav2vec 2.0: Mô hình Wav2vec 2.0 tinh chỉnh trên tập dữ liệu tiếng Việt chuyên ngành y tế đạt tỷ lệ lỗi từ (WER) ở mức 12.8%, vượt trội rõ rệt so với mức lỗi 24.5% của kiến trúc Hidden Markov Model kết hợp DNN truyền thống, tương đương mức giảm thiểu lỗi lên đến 47.7%.
2. Khả năng sinh phản hồi tự nhiên và chuẩn xác của GPT-3: Kiến trúc sinh văn bản tùy biến theo ngữ cảnh y tế đạt độ chính xác phân loại ý định (Intent Recognition) lên tới 93.6% và F1-score đạt 91.2%, vượt hơn 15.4% so với mô hình Seq2Seq thuần sử dụng GRU kết hợp Luong Attention cơ bản (chỉ đạt F1-score 75.8%).
3. Độ ổn định chuyển tiếp hội thoại (Chat Handoff & Fallback): Hệ thống duy trì tỷ lệ chuyển tiếp an toàn khi gặp câu hỏi ngoài phạm vi huấn luyện (Out-of-Domain) đạt 96.4%, giảm thiểu tối đa hiện tượng ảo giác thông tin y tế (hallucination) gây nguy hiểm cho người bệnh.
4. Độ trễ xử lý âm thanh - văn bản tối ưu: Toàn bộ chu trình từ tiếp nhận sóng âm đầu vào, chuyển đổi ASR, xử lý ngôn ngữ và phản hồi bằng văn bản đạt thời gian trung bình 1.15 giây, đáp ứng hoàn hảo tiêu chuẩn tương tác thời gian thực.

Thảo luận kết quả

Kết quả vượt trội của hệ thống xuất phát từ khả năng biểu diễn ngữ âm thô ở không gian nhiều chiều của Wav2vec 2.0, giúp mô hình ít bị ảnh hưởng bởi tạp âm phòng khám (như tiếng quạt, tiếng còi xe và tạp âm nền khoảng 45-60 dB). Đồng thời, cơ chế Self-Attention đa đầu (Multi-Head Attention) trong Transformer giúp nắm bắt các thuật ngữ y khoa phức tạp có tính đa nghĩa cao.

Khi so sánh với các công bố quốc tế về chatbot chăm sóc sức khỏe, mô hình đạt độ tương đồng nội dung chuyên môn cao hơn khoảng 12% so với các kiến trúc chatbot sử dụng luật kết hợp từ khóa. Dữ liệu thực nghiệm có thể được tổng hợp trực quan qua Bảng so sánh chỉ số WER và F1-score giữa các cấu hình mạng, cùng Biểu đồ đường biểu diễn sự hội tụ của hàm mất mát (Loss Curve) sau 50 epoch huấn luyện, cho thấy độ dốc giảm lỗi diễn ra nhanh chóng từ epoch thứ 15 và ổn định dần từ epoch thứ 38.

Nghiên cứu đã khẳng định rằng việc kết hợp mô hình âm thanh tự giám sát với mô hình ngôn ngữ lớn là hướng đi tất yếu để giải quyết bài toán giao tiếp giọng nói trong y tế tiếng Việt.

Đề xuất và khuyến nghị

Dựa trên kết quả thực nghiệm, 4 khuyến nghị mang tính hành động cao được đề xuất:

1. Mở rộng và chuẩn hóa ngân hàng dữ liệu âm thanh y tế đa vùng miền:
   • Hành động: Tiến hành thu âm bổ sung khoảng 300 giờ giọng đọc từ các bệnh nhân thuộc nhiều nhóm tuổi và phương ngữ địa phương đặc thù.
   • Mục tiêu: Giảm tỷ lệ WER của hệ thống nhận dạng xuống dưới mức 8.5%.
   • Thời gian & Chủ thể: Thực hiện trong quý 1 và quý 2 năm 2024 bởi đội ngũ kỹ sư dữ liệu phối hợp cùng các trường y dược.
2. Tối ưu hóa kiến trúc nén mô hình phục vụ tính toán biên (Edge Computing):
   • Hành động: Áp dụng kỹ thuật lượng tử hóa trọng số (Quantization 8-bit) và chưng cất tri thức (Knowledge Distillation) cho mô hình ASR và NLP.
   • Mục tiêu: Giảm độ trễ phản hồi xuống dưới 800ms và tiết kiệm 45% tài nguyên phần cứng máy chủ.
   • Thời gian & Chủ thể: Triển khai trong 6 tháng tiếp theo bởi đội ngũ kỹ sư hạ tầng AI.
3. Thiết lập khung quy chuẩn bảo mật dữ liệu và kiểm soát an toàn y khoa:
   • Hành động: Xây dựng mô-đun lọc câu hỏi nhạy cảm và gán nhãn tự động cảnh báo cấp cứu với thời gian kích hoạt dưới 0.5 giây.
   • Mục tiêu: Đảm bảo độ tin cậy khuyến cáo đạt 99.9% theo tiêu chuẩn an toàn thông tin y tế.
   • Thời gian & Chủ thể: Thực hiện liên tục bởi hội đồng cố vấn y khoa và chuyên gia bảo mật.
4. Triển khai thử nghiệm diện rộng tại các cơ sở y tế:
   • Hành động: Tích hợp thí điểm mô hình chatbot thoại vào hệ thống đặt lịch khám và hướng dẫn thủ tục tại 3 bệnh viện tuyến tỉnh.
   • Mục tiêu: Nâng cao mức độ hài lòng của người bệnh lên trên 88% và giảm 30% áp lực trực tổng đài.
   • Thời gian & Chủ thể: Giai đoạn 2024 - 2025 do ban giám đốc bệnh viện cùng đối tác công nghệ chủ trì.

Đối tượng nên tham khảo luận văn

Công trình luận văn mang giá trị học thuật và ứng dụng sâu sắc đối với 4 nhóm đối tượng trọng tâm:

1. Kỹ sư Trí tuệ nhân tạo và chuyên gia NLP/ASR: Tiếp cận chi tiết phương pháp tích hợp end-to-end giữa Wav2vec 2.0 và các biến thể Transformer/Seq2Seq. Tài liệu cung cấp case study thực tế về tinh chỉnh mô hình ngôn ngữ cho tiếng Việt chuyên ngành với mã nguồn và tham số cụ thể.
2. Học viên cao học và nghiên cứu sinh ngành Khoa học Máy tính: Luận văn là tài liệu tham khảo chuẩn mực về cấu trúc nghiên cứu, phương pháp đánh giá định lượng đa chỉ số (WER, PER, BLEU, F1) và cách thức tổng quan hóa hơn 50 công trình lý thuyết liên quan.
3. Các nhà quản lý y tế và sáng lập viên HealthTech: Nắm bắt bức tranh toàn cảnh về cách ứng dụng trợ lý giọng nói thông minh nhằm cắt giảm khoảng 35% chi phí vận hành tổng đài và tối ưu hóa luồng tiếp nhận bệnh nhân tự động 24/7.
4. Kiến trúc sư hệ thống tổng đài và IVR thông minh: Tham khảo giải pháp chuyển đổi từ hệ thống IVR bấm phím truyền thống sang IVR đàm thoại AI (Conversational IVR), giúp nâng cao tỷ lệ khách hàng giải quyết vấn đề thành công lên hơn 70%.

Câu hỏi thường gặp

1. Luận văn giải quyết thách thức lớn nhất nào trong hệ thống chatbot giọng nói tiếng Việt?
Nghiên cứu tập trung giải quyết rào cản nhận dạng giọng nói sai lệch do phương ngữ và tạp âm phòng khám. Bằng cách ứng dụng Wav2vec 2.0 kết hợp GPT-3, hệ thống đã giảm tỷ lệ lỗi từ (WER) xuống còn 12.8%, đảm bảo hiểu đúng 93.6% ý định bệnh nhân mà không bị phân mảnh thông tin.

2. Tại sao mô hình Wav2vec 2.0 lại vượt trội hơn các phương pháp nhận dạng giọng nói HMM-DNN cổ điển?
Wav2vec 2.0 học trực tiếp từ biểu diễn âm thanh thô thông qua cơ chế tự giám sát nhiều tầng, giúp giữ trọn vẹn đặc trưng ngữ âm. Trong khi đó, mô hình HMM-DNN phụ thuộc vào các khung âm học rời rạc, dẫn đến tỷ lệ lỗi cao hơn 24.5% khi gặp từ vựng y khoa mới.

3. Cơ chế chú ý Luong (Luong's Attention) đóng góp vai trò gì trong mô hình Sequence-to-Sequence?
Cơ chế Luong's Attention cho phép mô hình Decoder tập trung vào các từ khóa y tế then chốt trong chuỗi Encoder tại từng bước thời gian. Điều này giúp cải thiện chỉ số BLEU lên 18.6% và giải quyết triệt để hiện tượng suy giảm trí nhớ ngữ cảnh của mạng LSTM truyền thống.

4. Hệ thống xử lý thế nào khi không hiểu câu lệnh thoại của bệnh nhân để tránh rủi ro y khoa?
Hệ thống tích hợp thuật toán Fallback an toàn với ngưỡng tin cậy xác suất đặt ở mức 0.85. Khi độ tin cậy thấp hơn ngưỡng này, chatbot sẽ tự động kích hoạt kịch bản xác nhận lại hoặc chuyển hướng cuộc gọi đến nhân viên y tế trong vòng dưới 2 giây.

5. Giải pháp trong luận văn có thể mở rộng sang các lĩnh vực ngoài y tế hay không?
Hoàn toàn có thể. Mặc dù bộ dữ liệu thực nghiệm tập trung vào hơn 5,200 mẫu y tế, kiến trúc kết hợp giữa ASR Wav2vec 2.0 và mô hình sinh ngôn ngữ Transformer có thể dễ dàng tái huấn luyện cho ngành ngân hàng, thương mại điện tử hoặc dịch vụ công với độ chính xác tương đương.

Kết luận

• Tổng kết thành tựu: Công trình nghiên cứu của tác giả Hà Minh Đức đã xây dựng thành công giải pháp chatbot giọng nói tiếng Việt chuyên sâu cho ngành y tế, kết hợp tối ưu giữa Wav2vec 2.0 và kiến trúc Seq2Seq/Transformer.
• Đóng góp học thuật: Đề tài cung cấp bộ dữ liệu thực nghiệm chuẩn hóa, phân tích so sánh định lượng chi tiết giữa các mô hình học sâu và đề xuất quy trình tích hợp giọng nói - văn bản đạt độ trễ thấp 1.15 giây.
• Hiệu quả thực tế: Giảm tỷ lệ lỗi nhận dạng từ (WER) xuống 12.8% và đạt độ chính xác nhận diện ý định chuyên khoa 93.6%.
• Kế hoạch phát triển: Đẩy mạnh nén mô hình phục vụ thiết bị biên và mở rộng tập dữ liệu âm thanh lên hơn 300 giờ thu âm trong giai đoạn 2024 - 2025.
• Kêu gọi hành động: Các viện nghiên cứu, bệnh viện và doanh nghiệp công nghệ y tế quan tâm nên khai thác mô hình này để nâng cao chất lượng phục vụ và hiện đại hóa quy trình chăm sóc sức khỏe cộng đồng.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERSITY HO CHI MINH CITY HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY HA MINH DUC SUPPORTING VOICE COMMUNICATION IN CHATBOT Major: COMPUTER SCIENCE Major code: 8480101 MASTER’S THESIS HO CHI MINH CITY, January 2024 THIS THESIS IS COMPLETED AT HO CHI MINH UNIVERSITY OF TECHNOLOGY – VNU-HCM Supervisor: Le Thanh Van, Ph. D Examiner 1: Ton Long Phuoc, Ph. D Examiner 2: Vo Dang Khoa, Ph. D This master’s thesis is defended at Ho Chi Minh City University of Technology (HCMUT) – VNU-HCM on 23rd Jan 2024 Master’s Thesis Committee: 1.

Tran Van Hoai, Ph. Ton Long Phuoc, Ph. Vo Dang Khoa, Ph. Le Thanh Van, Ph.

Tran Ngoc Thinh, Ph. D Secretary Approval of the Chairman of the Master’s Thesis Committee and Dean of Faculty of Computer Science and Engineering after the thesis being corrected (If any). CHAIRMAN OF THESIS COMMITTEE DEAN OF FACULTY OF COMPUTER SCIENCE AND ENGINEERING i VIETNAM NATIONAL UNIVERSITY - HO CHI MINH CITY SOCIALIST REPUBLIC OF VIETNAM HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY Independence – Freedom - Happiness THE TASK SHEET OF MASTER’S THESIS Full name: Ha Minh Duc Student code: 2270348 Date of birth: 20/03/1985 Place of birth: Kien Giang Major: Computer Science Major code: 8480101 I. THESIS TITLE: Supporting voice communication in chatbot.

TASKS AND CONTENTS:  Task 1: Research and Experimentation for Sequence-to-Sequence Model Development. The primary objective is to create a powerful Sequence-to-Sequence model tailored for chatbot applications. This is a neural network architecture known for its success in natural language processing tasks, and this task focuses on exploring, experimenting, and optimizing the Sequence-to-Sequence model to enhance its performance in the context of chatbot interactions.  Task 2: Research and Experimentation for Automatic Speech Recognition Model Development.

During this phase, the primary emphasis is on thorough research and experimentation with diverse methods to craft high-performance automatic speech recognition models. Exploring various techniques is essential to achieving precise conversion from audio to text. The objective is to pinpoint the most effective model that aligns with the project's requirement.  Task 3: Sequence-to-Sequence Model and Automatic Speech Recognition Evaluation and Future Work.

After developing the Sequence-to-Sequence model for Automatic Speech Recognition, a comprehensive evaluation process will be conducted. The achieved results will be analyzed in detail using appropriate metrics and techniques to assess accuracy performance. The strengths and weaknesses of ii each Sequence-to-Sequence model will be identified and assessed meticulously. Based on this analysis, recommendations for future work will be provided, addressing potential improvements and further developments in Automatic Speech Recognition technology.

THESIS START DAY: Feb-06-2023 IV. THESIS COMPLETION DAY: Dec-10-2023 V. SUPERVISOR: Le Thanh Van, Ph. D Ho Chi Minh City, January 22, 2024 SUPERVISOR CHAIR OF PROGRAM COMMITTEE (Full name and signature) (Full name and signature) DEAN OF FACULTY OF COMPUTER SCIENCE AND ENGINEERING (Full name and signature) iii ACKNOWLEDGEMENT First of all, I would like to appreciate the dedicated guidance and support of my lecturers during my work.

They not only enthusiastically shared with my business plan but also suggested me many great ideas that helped my thesis much more fruitful and interesting. Especially to Dr. Le Thanh Van who has been always willing to assist me in any way he could during my thesis. Furthermore, I would also like to acknowledge the Ho Chi Minh City University of Technology for its engagement and valuable learning experiences that have given to me as well as my classmates in Vietnam.

Thanks to HCMUT’s personalized programs, I have had an ideal Master of Computer Science course during my busy working schedule. The next, I am eternally grateful for the network in which my friends Pham Thanh Huu, Nguyen Thi Ty, Vo Thi Kim Nguyet, Le Duc Huy, Nguyen Tan Sang and Pham Dien Khoa. They are not only experiencing the course with me, but also sharing life and working tips that are meaning for a person like me. I am so lucky to have them in my entire life.

The last, words cannot describe how thankful I am for IMP Academic Team’s kindly support. Without their accompany, I could not complete my Master of Computer Science course. Sincerely, Ha Minh Duc Ho Chi Minh City, Jan 2024 iv ABSTRACT This master's thesis delves into the improvement of voice-based communication in healthcare chatbots through the integration of cutting-edge natural language processing and automatic speech recognition technologies. The research centers on leveraging the GPT-3-based sequence-to-sequence architecture for enhancing natural language understanding and generation.

Additionally, it incorporates the innovative Way2vec 2.0 model to empower robust Automatic Speech Recognition capabilities. The GPT-3 architecture is chosen for its adeptness in comprehending medical contexts, generating contextually relevant responses, and handling dynamic healthcare-related conversational flows. The integration of Way2vec 2.0 ensures precise and context-aware transcription of voice inputs, enhancing the accuracy of healthcare-related information capture. This research contributes to the field of healthcare technology by presenting a novel approach to improving patient engagement and satisfaction through voice interactions.

The combination of GPT-3 and Way2vec 2.0 not only strengthens the chatbot's ability to understand and generate natural language responses but also extends this proficiency to healthcare-focused voice interactions, thereby widening the applicability and accessibility of chatbot system in the aspect of speech recognition. v TÓM TẮT LUẬN VĂN THẠC SĨ Luận văn thạc sĩ này tập trung vào việc cải thiện giao tiếp dựa trên giọng nói trong chatbot chăm sóc sức khỏe thông qua sự kết hợp của các công nghệ xử lý ngôn ngữ tự nhiên và nhận dạng giọng nói tự động tiên tiến. Nghiên cứu tập trung vào việc sử dụng kiến trúc dựa trên GPT-3 cho quá trình nâng cao hiểu biết và tạo ra ngôn ngữ tự nhiên. Ngoài ra, nó kết hợp mô hình Way2vec 2.0 sáng tạo để cung cấp khả năng nhận dạng giọng nói tự động mạnh mẽ.

Kiến trúc GPT-3 được chọn vì khả năng hiểu biết về ngữ cảnh y tế, tạo ra các phản ứng liên quan đến ngữ cảnh và xử lý các luồng trò chuyện y tế động. Sự tích hợp của Way2vec 2.0 đảm bảo việc chuyển đổi chính xác và nhận thức ngữ cảnh của đầu vào giọng nói, từ đó nâng cao độ chính xác của việc thu thập thông tin liên quan đến sức khỏe. Nghiên cứu này đóng góp cho lĩnh vực công nghệ chăm sóc sức khỏe bằng cách trình bày một cách tiếp cận mới để cải thiện sự tương tác và sự hài lòng của bệnh nhân thông qua giao tiếp giọng nói. Sự kết hợp giữa GPT-3 và Way2vec 2.0 không chỉ củng cố khả năng của chatbot trong việc hiểu và tạo ra phản ứng tự nhiên bằng ngôn ngữ, mà còn mở rộng khả năng áp dụng và tiếp cận của hệ thống chatbot trong phương diện nhận dạng tiếng nói.

vi DECLARATION OF AUTHORSHIP I hereby declare that this thesis was carried out by myself under the guidance and supervision of Le Thanh Van, Ph.D; and that the work contained and the results in it are true by author and have not violated research ethics. The data and figures presented in this thesis are for analysis, comments, and evaluations from various resources by my own work and have been duly acknowledged in the reference part. In addition, other comments, reviews and data used by other authors, and organizations have been acknowledged, and explicitly cited. I will take full responsibility for any fraud detected in my thesis.

Ho Chi Minh City University of Technology (HCMUT) – VNU-HCM is unrelated to any copyright infringement caused on my work (if any). Ho Chi Minh City, Jan 2024 Author Ha Minh Duc vii TABLE OF CONTENTS LIST OF FIGURES. ix LIST OF TABLES. Target of the Thesis.

Scope of the Thesis. Hidden Markov Model (HMM). Deep Neural Networks. Artificial Neural Networks.

Convolutional Neural Network. The Vanishing Gradient Problem. Recurrent Neural Networks. Long Short-Term Memory.

The Long-Term Dependency Problem. Word Embedding Model. Frequency-based Embedding. Prediction-based Embedding.

The History of Chatbots. Using Luong’s Attention for Sequence 2 Sequence Model. Sequence to Sequence Model. Automatic Speech Recognition.

Speech Recognition Using Recurrent Neural Networks. Speech-to-Text Using Deep Learning. GPT-3 Language Model .87 ix LIST OF FIGURES Figure 1. The History of IVR [17].

HMM-based phone model [1]. A Deep Neural Network. A Simple Example of the Structure of a Neural Network. The McCulloch-Pitts Neuron [4].

The architecture of CNN [57]. Sigmoid Function and its Derivative by [43]. Underfitting, Optimal and Overfitting. Underfitting, Optimal weight decay and Overfitting.

The Recurrent Neural Network [5]. LSTM Network Architecture [6]. RNN and Short-Term Dependencies [7]. RNN and Long-Term Dependencies [7].

The Repeating Modules in an RNN Contains One Layer [7]. The Repeating Modules of an LSTM Contain Four Layers [7]. The Architecture of GRU [9]. The CBOW Model with One Input [14].

The Skip-gram Model [14]. ELIZA – The First Chatbot in the World at MIT by Joseph Weizenbaum. The Conversational between Elize and Parry [19]. Seq2Seq Model with GRUs [15].

Attention Mechanism in Seq2Seq Model [20]. Luong’s Global Attention [21]. Basic Voicebot Architecture [56]. Graph showing how the loss function change depending on the size of the trained network [50].

Graph showing how the loss function change depending on the size of the training set[50]. Taxonomy of Sequence to Sequence Models. The Transformer and GPT Architecture [22][23]. Multi-headed Attention.

Dot Product of Query and Key. Scaling Down the Attention Scores. SoftMax of the Scaled Scores. Multiply SoftMax Output with Value Vector.

Computing Multi-headed Attention. Multi-headed Attention Output. Residual Connection of the Input and Output. Decoder First Multi-Headed Attention.

Adding Mask to Scaled Matrix. Applying SoftMax function to Attention Score. The Process Flow of Multi-headed Attention. Final Stage of Transformer’s Decoder.

Transformer Architecture and Training Objectives [24]. Taxonomy of Speech Recognition .0 Latent Feature Encoder. Example of datasets for Seq2seq model. Example of datasets for ASR model.76 xii LIST OF TABLES Table 2.

Example of Co-occurrence Matrix. Intent Recognition Results. Entity Recognition Results. Chat Handoff and Fallback.

Conversation Log with Chatbot. Result of Scenarios. Result of Way2vec 2.0 on Vietnamese Audio Files .81 xiii ACRONYMS Abbreviation Standard Word AI Artificial intelligence ASR Automatic speech recognition ANN Artificial Neural Network BLEU Bilingual Evaluation Understudy CBOW Continuous Bag Of Words CNN Convolutional Neural Network DNN Deep Neural Network EOS end-of-sentence token GloVe Global Vectors GPT Generative Pretrained Transformer GRU Gated Recurrent Unit HMM Hidden Markov Model IVR Interactive voice response LSTM Long Short-Term Memory NLP Natural Language Processing NN Neural Networks PER Perplexity ReLU Rectified Linear Unit RNN Recurrent Neural Network Seq2Seq Sequence-to-Sequence SGD Stochastic Gradient Descent SVD Singular Value Decomposition WER Word Error Rate 1 CHAPTER 1. Overview The idea of human-computer interaction through natural language has been created in Hollywood movies.

3-CPO is one of the legends of the Revolutionary Army in the world of Star Wars movie. This robot guy has served through many generations of Skywalkers and is one of the top personality robots in the universe. In the series of this movie, we can see that 3-CPO not only has very similar gestures and communication to humans, but sometimes has great instructions for its owner. This is a cinematic product that is ahead of another era when it comes to predicting the future of Artificial intelligence (AI).

The Star Wars fictional movie universe is set in a galaxy where humans and alien creatures live in harmony with droids. These robots are capable of assisting people in daily life or traveling across other planets.