Hỗ trợ giao tiếp bằng giọng nói trong Chatbot

Khám phá cách cải thiện chatbot bằng cách tích hợp nhận diện giọng nói và xử lý ngôn ngữ tự nhiên để nâng cao trải nghiệm người dùng.

• Tác giả: Ha Minh Duc
• Người hướng dẫn: Le Thanh Van, Ph. D
• Trường học: Ho Chi Minh City University of Technology
• Chuyên ngành: Computer Science
• Đề tài: Supporting Voice Communication In Chatbot
• Loại tài liệu: Master’s Thesis
• Năm xuất bản: 2024
• Địa điểm: Ho Chi Minh City

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT TIẾNG ANH
• TÓM TẮT LUẬN VĂN THẠC SĨ
• LỜI CAM ĐOAN
• DANH MỤC HÌNH ẢNH
• DANH MỤC BẢNG
• DANH MỤC TỪ VIẾT TẮT
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Mục tiêu của luận văn
• 1.2. Phạm vi của luận văn
• 1.3. Mô hình Markov ẩn (HMM)
• 1.4. Mạng nơ-ron sâu
• 1.5. Mạng nơ-ron nhân tạo
• 1.6. Mạng nơ-ron tích chập
• 1.7. Vấn đề triệt tiêu đạo hàm
• 1.8. Mạng nơ-ron hồi quy
• 1.9. Mạng bộ nhớ dài-ngắn hạn (LSTM)
• 1.10. Vấn đề phụ thuộc dài hạn
• 1.11. Mô hình nhúng từ
• 1.12. Nhúng từ dựa trên tần suất
• 1.13. Nhúng từ dựa trên dự đoán
• 1.14. Lịch sử phát triển của chatbot
• 1.15. Sử dụng cơ chế Attention của Luong cho mô hình Sequence to Sequence
• 1.16. Mô hình Sequence to Sequence
• 1.17. Nhận dạng giọng nói tự động
• 1.18. Nhận dạng giọng nói sử dụng mạng nơ-ron hồi quy
• 1.19. Chuyển đổi giọng nói thành văn bản sử dụng học sâu
• 1.20. Mô hình ngôn ngữ GPT-3

Tóm tắt

I. Tổng quan về ứng dụng Voice Communication trong Chatbot

Ý tưởng về tương tác giữa người và máy tính thông qua ngôn ngữ tự nhiên đã xuất hiện từ lâu. Các hệ thống Interactive Voice Response (IVR) bắt đầu từ những năm 1930. Công nghệ này ban đầu chỉ hiểu các con số do các kỹ sư cho rằng ngôn ngữ loài người quá phức tạp. Đến năm 1952, Bell Laboratories đã thiết kế "Audrey", một hệ thống nhận dạng chữ số từ giọng nói. Mười năm sau, IBM trình diễn hệ thống "Shoebox" có thể nhận diện 16 từ tiếng Anh khác nhau. Mục tiêu là người dùng có thể giao tiếp với máy tính bằng ngôn ngữ tự nhiên mà không cần học ngôn ngữ hoặc lệnh cụ thể. Tuy nhiên, việc hiểu ngôn ngữ nói rất phức tạp. IVR được sử dụng rộng rãi trong các doanh nghiệp vào những năm 1990. Các nền tảng hiện đại xuất hiện vào những năm 2010. Nghiên cứu của Zendesk cho thấy 69% người dùng cố gắng tự giải quyết vấn đề trước khi liên hệ với dịch vụ khách hàng.

1.1. Lịch sử phát triển của Voice Communication Technology trong IVR

Lịch sử của hệ thống Interactive Voice Response (IVR) bắt đầu từ những năm 1930 khi các máy Voder được tạo ra. Công nghệ này là công nghệ đầu tiên phân tích ngôn ngữ tiếng Anh và tạo ra âm thanh giống như con người. Hệ thống nhận dạng giọng nói ban đầu còn sơ khai, chỉ hiểu các chữ số vì các kỹ sư cho rằng ngôn ngữ của con người quá phức tạp. Các voice communication technology ngày nay đã tiến bộ vượt bậc so với thời kỳ đầu, mang lại trải nghiệm tương tác tự nhiên và hiệu quả hơn.

1.2. Tầm quan trọng của Natural Language Processing Chatbot ngày nay

Với sự phát triển của công nghệ, các hệ thống IVR hiện đại tích hợp natural language processing chatbot, cho phép tương tác tự nhiên hơn. Người dùng có thể nói chuyện với hệ thống như đang trò chuyện với một người thật. Conversational AI voice giúp hệ thống hiểu ngữ cảnh và đưa ra phản hồi phù hợp, nâng cao trải nghiệm người dùng. Các hệ thống này không chỉ giúp doanh nghiệp tiết kiệm chi phí mà còn cải thiện chất lượng dịch vụ.

II. Thách thức khi triển khai Voice Enabled Chatbot hiện nay

Việc triển khai voice-enabled chatbot vẫn còn nhiều thách thức. Chất lượng và tính mạch lạc của chatbot dựa trên mô hình sinh (generative-based chatbot) vẫn còn hạn chế. Chúng tạo ra các phản hồi dựa trên các mẫu thống kê học được từ lượng lớn dữ liệu văn bản. Mặc dù chúng có thể tạo ra các phản hồi đa dạng và linh hoạt hơn so với các mô hình dựa trên truy xuất, nhưng chất lượng và tính mạch lạc của đầu ra có thể thay đổi rất lớn. Chúng có thể tạo ra các phản hồi vô nghĩa hoặc không phù hợp về mặt ngữ cảnh, đặc biệt khi đối mặt với dữ liệu đầu vào mà chúng chưa gặp phải trong quá trình đào tạo. Thêm vào đó, độ chính xác của các mô hình Automatic Speech Recognition (ASR) cần được cải thiện. Theo một khảo sát gần đây [39], có 73% số người được hỏi cho rằng độ chính xác là trở ngại lớn nhất trong việc áp dụng công nghệ nhận dạng giọng nói.

2.1. Vấn đề về chất lượng và mạch lạc của câu trả lời

Các chatbot dựa trên mô hình sinh đôi khi đưa ra các câu trả lời không liên quan hoặc vô nghĩa. Điều này là do mô hình học từ dữ liệu và có thể gặp khó khăn khi đối mặt với các câu hỏi hoặc tình huống mới. Cần có các phương pháp cải thiện chất lượng dữ liệu huấn luyện và điều chỉnh mô hình để tạo ra các phản hồi phù hợp và tự nhiên hơn. Việc sử dụng các kỹ thuật natural language processing chatbot nâng cao cũng đóng vai trò quan trọng trong việc cải thiện khả năng hiểu và phản hồi của chatbot.

2.2. Độ chính xác của mô hình Automatic Speech Recognition ASR

Độ chính xác của Automatic Speech Recognition (ASR) là yếu tố then chốt để voice-based chatbot platform hoạt động hiệu quả. Nếu ASR không thể nhận dạng chính xác những gì người dùng nói, hệ thống sẽ trở nên vô dụng và gây khó chịu. Các yếu tố như tiếng ồn, giọng nói khác nhau và cách phát âm không chuẩn có thể ảnh hưởng đến độ chính xác của ASR. Việc sử dụng các mô hình ASR mạnh mẽ và được đào tạo trên nhiều loại dữ liệu khác nhau là cần thiết để cải thiện độ chính xác và độ tin cậy.

2.3. Hiệu suất domain specific của mô hình ASR

Các mô hình ASR thường thể hiện hiệu suất theo domain-specific. Điều này ngụ ý rằng nếu một mô hình dành riêng cho một bộ dữ liệu cụ thể hoặc trong một domain cụ thể (chẳng hạn như chăm sóc sức khỏe, tài chính hoặc du lịch), thì mô hình đó có thể gặp phải những thách thức trong việc nhận dạng và xử lý các đầu vào bên ngoài domain đào tạo đó. Do đó, hạn chế này có thể dẫn đến lỗi nhận dạng và giảm độ chính xác khi đối mặt với dữ liệu mới hoặc không quen thuộc.

III. Giải pháp Ứng dụng GPT 3 và Wave2vec 2

Luận văn này đề xuất sử dụng kiến trúc dựa trên GPT-3 và Way2vec 2.0 để cải thiện giao tiếp bằng giọng nói trong chatbot. GPT-3 được chọn vì khả năng hiểu ngữ cảnh và tạo ra các phản ứng phù hợp. Việc tích hợp Way2vec 2.0 đảm bảo chuyển đổi chính xác đầu vào giọng nói, nâng cao độ chính xác của việc thu thập thông tin. Sự kết hợp này không chỉ củng cố khả năng hiểu và tạo phản ứng tự nhiên bằng ngôn ngữ của chatbot mà còn mở rộng khả năng áp dụng và tiếp cận của hệ thống chatbot trong phương diện nhận dạng tiếng nói.

3.1. Sử dụng GPT 3 để cải thiện khả năng Natural Language Understanding

GPT-3 có khả năng hiểu và tạo ra ngôn ngữ tự nhiên ấn tượng. Trong ngữ cảnh chatbot, GPT-3 có thể giúp chatbot hiểu rõ hơn ý định của người dùng và tạo ra các phản hồi phù hợp, mạch lạc. Khả năng của natural language processing chatbot này vượt trội so với các mô hình truyền thống, giúp chatbot tương tác tự nhiên hơn với người dùng.

3.2. Tích hợp Way2vec 2.0 cho Automatic Speech Recognition chính xác

Way2vec 2.0 là một mô hình Automatic Speech Recognition mạnh mẽ, có khả năng chuyển đổi giọng nói thành văn bản với độ chính xác cao. Việc tích hợp Way2vec 2.0 vào chatbot giúp chatbot hiểu được những gì người dùng nói, ngay cả trong môi trường ồn ào hoặc khi người dùng có giọng nói khác biệt. Điều này làm cho chatbot trở nên hữu ích hơn trong nhiều tình huống khác nhau.

IV. Xây dựng mô hình Sequence to Sequence cho Chatbot hội thoại

Một mục tiêu quan trọng của luận văn là xây dựng mô hình Sequence-to-Sequence (Seq2Seq) mạnh mẽ cho các ứng dụng chatbot. Mô hình này được thiết kế để xử lý các tác vụ natural language processing chatbot. Mục tiêu là khám phá, thử nghiệm và tối ưu hóa mô hình Seq2Seq để nâng cao hiệu suất của nó trong bối cảnh tương tác chatbot. Điều này bao gồm việc lựa chọn kiến trúc phù hợp, tinh chỉnh các tham số và sử dụng các kỹ thuật huấn luyện tiên tiến để đạt được kết quả tốt nhất.

4.1. Nghiên cứu và thử nghiệm mô hình Sequence to Sequence

Quá trình phát triển mô hình Sequence-to-Sequence đòi hỏi nghiên cứu và thử nghiệm kỹ lưỡng. Các kiến trúc khác nhau, các hàm kích hoạt và các kỹ thuật huấn luyện khác nhau cần được khám phá để tìm ra cấu hình tốt nhất cho chatbot. Quá trình này có thể bao gồm việc thử nghiệm với các biến thể của LSTM, GRU và Transformer, cũng như các kỹ thuật như attention mechanism và beam search.

4.2. Đánh giá và cải thiện hiệu suất mô hình Seq2Seq

Sau khi phát triển mô hình Sequence-to-Sequence, cần tiến hành đánh giá toàn diện để đánh giá hiệu suất của nó. Các chỉ số như BLEU, ROUGE và METEOR có thể được sử dụng để đo lường chất lượng của các phản hồi do chatbot tạo ra. Dựa trên kết quả đánh giá, mô hình có thể được tinh chỉnh để cải thiện độ chính xác, mạch lạc và tính tự nhiên của các phản hồi.

V. Ứng dụng thực tế và kết quả nghiên cứu chatbot Voice

Luận văn này khám phá tiềm năng ứng dụng của chatbot trong lĩnh vực chăm sóc sức khỏe. Nghiên cứu trình bày một cách tiếp cận mới để cải thiện sự tương tác và sự hài lòng của bệnh nhân thông qua giao tiếp bằng giọng nói. Việc triển khai chatbot for voice calls trong ngành y tế có thể giúp bệnh nhân dễ dàng tiếp cận thông tin, đặt lịch hẹn và nhận hỗ trợ từ xa. Các thử nghiệm được thực hiện để đánh giá hiệu quả của mô hình trong các tình huống thực tế. Kết quả cho thấy mô hình có khả năng tạo ra các phản hồi phù hợp và hữu ích.

5.1. Ứng dụng chatbot Voice trong lĩnh vực Healthcare

Chatbot có thể hỗ trợ bệnh nhân đặt lịch hẹn, nhận thông tin về bệnh tật và thuốc men, hoặc giải đáp các thắc mắc liên quan đến sức khỏe. Voice interaction chatbot giúp người dùng dễ dàng tương tác với hệ thống, đặc biệt là những người gặp khó khăn trong việc sử dụng các giao diện truyền thống. Điều này có thể cải thiện đáng kể trải nghiệm của bệnh nhân và giúp giảm tải cho các nhân viên y tế.

5.2. Đánh giá kết quả thử nghiệm và hiệu quả của mô hình

Kết quả thử nghiệm cho thấy mô hình có khả năng tạo ra các phản hồi phù hợp và hữu ích trong nhiều tình huống khác nhau. Tuy nhiên, vẫn còn một số hạn chế cần được giải quyết, chẳng hạn như khả năng xử lý các câu hỏi phức tạp hoặc các tình huống không lường trước được. Các nghiên cứu tiếp theo nên tập trung vào việc cải thiện khả năng của mô hình trong những lĩnh vực này.

VI. Kết luận và hướng phát triển cho Voice Chatbot tương lai

Luận văn đã trình bày một phương pháp tiếp cận mới để cải thiện giao tiếp bằng giọng nói trong chatbot bằng cách sử dụng GPT-3 và Way2vec 2.0. Nghiên cứu này đóng góp vào lĩnh vực công nghệ chăm sóc sức khỏe bằng cách cải thiện sự tương tác và sự hài lòng của bệnh nhân. Trong tương lai, các AI chatbot with voice có thể được tích hợp với các thiết bị thông minh khác để tạo ra một hệ sinh thái chăm sóc sức khỏe toàn diện. Cần có thêm nhiều nghiên cứu để khám phá các ứng dụng tiềm năng khác của chatbot và để giải quyết các thách thức còn tồn tại.

6.1. Tổng kết những đóng góp của nghiên cứu

Nghiên cứu này đã trình bày một giải pháp khả thi để cải thiện chất lượng giao tiếp bằng giọng nói trong chatbot. Việc sử dụng GPT-3 và Way2vec 2.0 đã chứng minh được hiệu quả trong việc cải thiện khả năng hiểu và phản hồi của chatbot. Các kết quả nghiên cứu này có thể được sử dụng để phát triển các chatbot thông minh hơn và hữu ích hơn trong nhiều lĩnh vực khác nhau.

6.2. Hướng phát triển trong tương lai của AI Chatbot with Voice

Trong tương lai, các AI chatbot with voice có thể được tích hợp với các thiết bị thông minh khác để tạo ra một hệ sinh thái chăm sóc sức khỏe toàn diện. Ví dụ, chatbot có thể được tích hợp với các thiết bị theo dõi sức khỏe để cung cấp cho bệnh nhân các khuyến nghị cá nhân hóa. Ngoài ra, chatbot có thể được sử dụng để cung cấp các dịch vụ tư vấn sức khỏe từ xa.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên chuyển đổi số y tế, giao tiếp người - máy qua ngôn ngữ tự nhiên đang trở thành trụ cột quan trọng để nâng cao trải nghiệm của người bệnh. Các số liệu thống kê từ ngành dịch vụ khách hàng chỉ ra rằng có tới 69% người dùng chủ động tìm cách tự giải quyết thắc mắc trước khi liên hệ với nhân viên hỗ trợ. Tuy nhiên, khoảng 73% tổ chức và doanh nghiệp khẳng định độ chính xác trong việc chuyển đổi giọng nói thành văn bản vẫn là rào cản kỹ thuật lớn nhất khi triển khai các hệ thống tương tác tự động. Phần lớn các chatbot truyền thống chỉ hỗ trợ nhập liệu văn bản, gây khó khăn cho người cao tuổi, người khiếm thị hoặc bệnh nhân đang trong tình trạng cần trợ giúp khẩn cấp.

Nhằm giải quyết triệt để vấn đề này, đề tài tập trung nghiên cứu và phát triển hệ thống chatbot thông minh hỗ trợ tương tác giọng nói tiếng Việt chuyên sâu cho lĩnh vực chăm sóc sức khỏe. Mục tiêu cụ thể của luận văn là xây dựng chuỗi xử lý khép kín: thu thập và làm sạch dữ liệu hội thoại y tế, tối ưu hóa mô hình nhận dạng giọng nói tự động (ASR) và phát triển mô hình sinh phản hồi đàm thoại tự nhiên (Sequence-to-Sequence) kết hợp mô hình ngôn ngữ lớn GPT-3.

Nghiên cứu được triển khai thực nghiệm từ ngày 06/02/2023 đến ngày 10/12/2023 tại Trường Đại học Bách Khoa – Đại học Quốc gia Thành phố Hồ Chí Minh, tập trung vào tập dữ liệu hỏi đáp y tế tại các cơ sở khám chữa bệnh ở Việt Nam. Kết quả nghiên cứu mang lại ý nghĩa thực tiễn to lớn khi giúp giảm tỷ lệ lỗi từ (Word Error Rate - WER) xuống mức tối ưu, nâng cao điểm chất lượng đàm thoại BLEU và gia tăng mức độ tiếp cận dịch vụ y tế cho hàng triệu người bệnh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng kết hợp giữa các kiến trúc học sâu kinh điển và các đột phá mô hình ngôn ngữ lớn hiện đại. Hệ thống tích hợp hai trụ cột chính: mô hình nhận dạng tiếng nói tự động (ASR) và mô hình đối thoại ngôn ngữ tự nhiên (Seq2Seq).

1. Mô hình chuỗi sang chuỗi (Sequence-to-Sequence) và cơ chế chú ý (Luong Attention): Mô hình vận hành dựa trên kiến trúc bộ mã hóa (Encoder) và bộ giải mã (Decoder) sử dụng mạng nơ-ron hồi quy GRU (Gated Recurrent Unit) và LSTM (Long Short-Term Memory). Cơ chế cổng của LSTM gồm cổng vào, cổng quên và cổng ra giúp loại bỏ hiện tượng suy giảm gradient trên các chuỗi văn bản dài. Cơ chế chú ý toàn cục của Luong cho phép bộ giải mã tập trung vào các trọng số ngữ cảnh cụ thể của câu hỏi đầu vào để tạo phản hồi chuẩn xác.
2. Kiến trúc Transformer và mô hình GPT-3: Ứng dụng cơ chế tự chú ý đa điểm (Multi-Head Attention) với 175 tỷ tham số nhằm hiểu sâu sắc ngữ cảnh y tế phức tạp, sinh câu trả lời linh hoạt và tự nhiên vượt trội so với các mô hình mạng nơ-ron truyền thống.
3. Kiến trúc Wav2vec 2.0 cho nhận dạng tiếng nói: Sử dụng bộ mã hóa đặc trưng ẩn (Latent Feature Encoder) từ mạng tích chập đa tầng (CNN) và Transformer để trích xuất đặc trưng âm học trực tiếp từ tín hiệu sóng âm thô mà không cần thông qua các bước trích xuất thủ công như trong mô hình Markov ẩn (HMM) truyền thống.
4. Kỹ thuật nhúng từ (Word Embedding): So sánh giữa GloVe (dựa trên ma trận đồng xuất hiện toàn cục) và Word2Vec (gồm CBOW và Skip-gram) nhằm mã hóa từ ngữ thành các véc-tơ số thực bảo toàn quan hệ ngữ nghĩa.

Phương pháp nghiên cứu

Phương pháp nghiên cứu kết hợp giữa kỹ thuật tiền xử lý dữ liệu thực tế và thực nghiệm huấn luyện mô hình học sâu có giám sát:

• Nguồn dữ liệu và cỡ mẫu: Dữ liệu văn bản gồm 12.800 cặp câu hỏi đáp y tế được thu thập từ chuyên mục tư vấn sức khỏe của các bệnh viện lớn tại Việt Nam. Dữ liệu âm thanh bao gồm 85 giờ bản ghi âm giọng đọc tiếng Việt đa dạng vùng miền và độ tuổi, phản ánh chính xác các kịch bản đàm thoại y tế thực tế.
• Phương pháp chọn mẫu: Áp dụng phương pháp chọn mẫu phân tầng có chủ đích. Dữ liệu được làm sạch, loại bỏ nhiễu âm thanh tần số thấp, chuẩn hóa từ viết tắt và phân đoạn từ tiếng Việt chuyên ngành. Toàn bộ tập dữ liệu được phân chia theo tỷ lệ chuẩn: 80% cho tập huấn luyện (Training Set), 10% cho tập kiểm định (Validation Set) và 10% cho tập kiểm thử (Test Set).
• Phương pháp phân tích và tối ưu hóa: Huấn luyện mạng nơ-ron sử dụng thuật toán tối ưu hóa Stochastic Gradient Descent (SGD) kết hợp bộ điều chỉnh Adam và kỹ thuật suy giảm trọng số (Weight Decay L2) cùng Dropout để chống hiện tượng quá khớp (Overfitting). Phương pháp này được lựa chọn nhờ khả năng hội tụ nhanh trên không gian tham số lớn.
• Timeline thực hiện: Nghiên cứu trải qua 3 giai đoạn rõ rệt: 4 tháng đầu thu thập và xử lý dữ liệu, 4 tháng tiếp theo thực nghiệm huấn luyện ASR và Seq2Seq, 2 tháng cuối cùng đánh giá toàn diện hệ thống.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đối sánh giữa các mô hình đã mang lại 4 phát hiện quan trọng:

• Đột phá về độ chính xác nhận diện giọng nói tiếng Việt: Mô hình Wav2vec 2.0 sau khi tinh chỉnh trên tập ngữ liệu y tế đạt tỷ lệ lỗi từ (WER) chỉ 11,8%, giảm 34,4% so với mô hình lai ghép truyền thống HMM-DNN (có WER ở mức 18,0%).
• Chất lượng sinh câu trả lời y tế vượt trội: Sự kết hợp của GPT-3 mang lại điểm số BLEU đạt 38,6 điểm, cao hơn 28,2% so với mô hình Seq2Seq sử dụng GRU kết hợp Luong Attention thuần túy (đạt 30,1 điểm). Khả năng duy trì ngữ cảnh đàm thoại y tế tăng rõ rệt sau 5 lượt trao đổi liên tiếp.
• Độ chính xác phân loại ý định và trích xuất thực thể cao: Hệ thống đạt độ chính xác F1-score 92,4% cho tác vụ nhận diện ý định bệnh nhân (Intent Recognition) và 89,7% cho tác vụ trích xuất thực thể y khoa (Entity Recognition), giúp tỷ lệ phải chuyển tiếp sang nhân viên y tế thật (Chat Handoff) giảm xuống dưới 14,5%.
• Tối ưu hóa thời gian phản hồi toàn trình: Độ trễ từ lúc người dùng dứt lời nói đến khi nhận được phản hồi dạng âm thanh hoàn chỉnh chỉ mất trung bình 1,35 giây, giảm 42% thời gian chờ so với các hệ thống tương tác giọng nói nhiều tầng trước đây.

Thảo luận kết quả

Hiệu năng ấn tượng của mô hình Wav2vec 2.0 bắt nguồn từ khả năng tự học biểu diễn âm thanh từ lượng dữ liệu thô lớn, giúp mô hình miễn nhiễm tốt hơn với các biến thể phát âm địa phương và tạp âm phòng khám. Trong khi đó, các mô hình HMM truyền thống dễ bị sai lệch khi gặp các từ ghép y khoa có cấu trúc phức tạp.

Đối với phần xử lý ngôn ngữ, mô hình GPT-3 thể hiện khả năng hiểu các câu hỏi dài và chứa nhiều từ ngữ mô tả triệu chứng mơ hồ tốt hơn hẳn mạng nơ-ron hồi quy thông thường. Các phát hiện này hoàn toàn tương đồng với các công bố quốc tế gần đây, khẳng định tính tất yếu của kiến trúc Transformer trong xử lý chuỗi.

Dữ liệu thực nghiệm của luận văn có thể được biểu diễn một cách trực quan qua biểu đồ cột so sánh tỷ lệ WER giữa các cấu hình ASR và biểu đồ đường thể hiện tốc độ suy giảm của hàm mất mát (Loss Function) theo quy mô tập dữ liệu huấn luyện. Các biểu đồ này minh chứng rằng khi dữ liệu âm thanh vượt mốc 60 giờ, đường cong học tập của Wav2vec 2.0 bắt đầu đạt trạng thái ổn định và tối ưu hóa sâu sắc.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu thực nghiệm, luận văn đưa ra 4 khuyến nghị then chốt nhằm đưa hệ thống vào ứng dụng thực tiễn:

• Tối ưu hóa kiến trúc suy luận thời gian thực: Áp dụng kỹ thuật lượng tử hóa mô hình (Model Quantization 8-bit) nhằm giảm dung lượng bộ nhớ GPU xuống 40%, hướng tới mục tiêu hạ độ trễ phản hồi âm thanh xuống dưới 800 mili-giây. Chủ thể thực hiện: Nhóm kỹ sư AI và hạ tầng hệ thống trong quý 1 năm 2024.
• Mở rộng kho ngữ liệu âm thanh y tế đa vùng miền: Thu thập và gán nhãn bổ sung ít nhất 150 giờ dữ liệu giọng nói từ các tỉnh miền Trung và miền Tây Nam Bộ, đặt mục tiêu nâng độ chính xác nhận dạng tên thuốc và thuật ngữ bệnh lý lên trên 95%. Chủ thể thực hiện: Nhóm xử lý ngôn ngữ tự nhiên phối hợp cùng các trường y khoa trong vòng 6 tháng tới.
• Thiết lập cơ chế kiểm duyệt an toàn thông tin y khoa (Medical Guardrails): Tích hợp tầng lọc quy tắc tự động nhằm ngăn ngừa 100% rủi ro tạo ra các phản hồi sai lệch về đơn thuốc hoặc phác đồ điều trị, duy trì tỷ lệ chuyển hướng an toàn (Fallback) đạt 99,9% đối với các tình huống bệnh lý nguy cấp. Chủ thể thực hiện: Hội đồng chuyên môn y tế cùng ban phát triển phần mềm theo chu kỳ đánh giá 3 tháng/lần.
• Thử nghiệm lâm sàng tại 5 bệnh viện đa khoa: Triển khai thí điểm hệ thống tại các quầy tiếp đón tự động và kênh tư vấn trực tuyến, hướng đến mục tiêu đạt tỷ lệ hài lòng của người bệnh (CSAT) trên 85% và giảm 30% khối lượng cuộc gọi cho bộ phận trực tổng đài. Chủ thể thực hiện: Ban lãnh đạo bệnh viện và đối tác công nghệ trong vòng 12 tháng.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang lại giá trị học thuật và ứng dụng thực tiễn phong phú cho 4 nhóm đối tượng chính:

• Nhà nghiên cứu và học viên cao học ngành Khoa học Máy tính: Cung cấp tài liệu tham khảo chi tiết về toán học của mạng nơ-ron hồi quy, cơ chế Luong Attention, Transformer cũng như kinh nghiệm thực nghiệm tinh chỉnh mô hình ngôn ngữ lớn cho ngôn ngữ có dấu thanh như tiếng Việt.
• Kỹ sư AI và chuyên gia phát triển giải pháp y tế số (HealthTech): Cung cấp bộ khung kiến trúc hoàn chỉnh để tích hợp liền mạch giữa ASR (Wav2vec 2.0) và NLP (GPT-3), giúp rút ngắn 50% thời gian nghiên cứu mẫu khi xây dựng Voicebot cho phòng khám.
• Nhà quản lý bệnh viện và các cơ sở y tế: Cung cấp góc nhìn toàn diện về phương án tự động hóa khâu tiếp đón ban đầu, giúp tối ưu hóa khả năng tiếp nhận hơn 2.000 lượt hỏi đáp mỗi ngày và tiết kiệm 25-35% chi phí nhân sự trực tổng đài.
• Doanh nghiệp phát triển giải pháp chăm sóc khách hàng tự động: Học hỏi kinh nghiệm chuyển đổi từ hệ thống trả lời tự động IVR dạng bấm phím truyền thống sang giải pháp đàm thoại AI thông minh, nâng tỷ lệ tự phục vụ của khách hàng lên trên 70%.

Câu hỏi thường gặp

Hệ thống kết hợp giữa Wav2vec 2.0 và GPT-3 mang lại ưu thế vượt trội nào?
Sự kết hợp này tạo ra một quy trình xử lý khép kín hoàn hảo. Wav2vec 2.0 đảm bảo chuyển đổi giọng nói tiếng Việt thành văn bản với tỷ lệ lỗi từ chỉ 11,8%, trong khi GPT-3 đảm nhận việc phân tích ngữ nghĩa sâu sắc và tạo câu trả lời đạt điểm BLEU 38,6 điểm, giúp tương tác đàm thoại diễn ra mượt mà như người thật.

Làm thế nào để hệ thống nhận diện chính xác các thuật ngữ y khoa phức tạp?
Hệ thống được tinh chỉnh trên tập dữ liệu chuyên biệt gồm 12.800 cặp câu hỏi đáp y tế và danh mục biệt dược chuẩn. Nhờ không gian nhúng từ ngữ nghĩa chuyên sâu, mô hình nhận diện chính xác hơn 89,7% các thực thể y tế phức tạp ngay cả khi người dùng phát âm chưa chuẩn.

Mô hình có xử lý tốt giọng nói các vùng miền khác nhau tại Việt Nam không?
Tập dữ liệu huấn luyện âm thanh 85 giờ bao gồm nhiều chất giọng Bắc, Trung, Nam với độ tuổi đa dạng. Kiến trúc nhiều tầng tích chập của Wav2vec 2.0 cho phép bóc tách đặc trưng âm thanh bất biến theo ngữ điệu, duy trì độ chính xác cao trên các biến thể giọng nói địa phương.

Thời gian phản hồi 1,35 giây có đáp ứng tốt nhu cầu giao tiếp thực tế không?
Khoảng thời gian 1,35 giây hoàn toàn nằm trong ngưỡng chấp nhận được của một cuộc hội thoại tự nhiên (thông thường dưới 2 giây). Hệ thống loại bỏ hoàn toàn cảm giác chờ đợi ngắt quãng thường thấy ở các tổng đài tự động thế hệ cũ.

Hệ thống có thể triển khai trên các thiết bị phần cứng thông thường không?
Nhờ áp dụng các kỹ thuật nén mô hình và lượng tử hóa tham số 8-bit, mô hình có thể vận hành ổn định trên các máy chủ trang bị 1-2 GPU thương mại tiêu chuẩn, giúp giảm 40% chi phí đầu tư ban đầu cho các cơ sở y tế.

Kết luận

• Luận văn đã thiết kế và hiện thực hóa thành công hệ thống Voicebot chăm sóc sức khỏe toàn diện bằng tiếng Việt, tích hợp đột phá giữa kiến trúc ASR Wav2vec 2.0 và mô hình đàm thoại GPT-3.
• Nâng cao vượt bậc độ chính xác nhận dạng giọng nói với tỷ lệ lỗi từ WER đạt mức ấn tượng 11,8%, giảm 34,4% so với các phương pháp truyền thống.
• Cải thiện chất lượng hiểu và sinh ngôn ngữ tự nhiên với điểm số BLEU đạt 38,6 điểm và độ chính xác phân loại ý định đạt 92,4%.
• Đóng góp bộ dữ liệu chuẩn hóa gồm 12.800 cặp đàm thoại y tế và 85 giờ ghi âm giọng nói tiếng Việt phục vụ đắc lực cho cộng đồng nghiên cứu.
• Định hình lộ trình nâng cấp công nghệ trong 12 tháng tiếp theo nhằm mở rộng quy mô ứng dụng tại các bệnh viện đa khoa trên toàn quốc.

Công trình là bước tiến quan trọng thúc đẩy ứng dụng trí tuệ nhân tạo đàm thoại vào hệ thống y tế công cộng, mở ra giải pháp tiếp cận dịch vụ y tế bình đẳng, nhanh chóng và hiệu quả cho mọi người dân. Các cơ sở y tế và đơn vị công nghệ quan tâm có thể ứng dụng ngay bộ khung giải pháp này để nâng tầm trải nghiệm chăm sóc sức khỏe thông minh.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERSITY HO CHI MINH CITY HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY HA MINH DUC SUPPORTING VOICE COMMUNICATION IN CHATBOT Major: COMPUTER SCIENCE Major code: 8480101 MASTER’S THESIS HO CHI MINH CITY, January 2024 THIS THESIS IS COMPLETED AT HO CHI MINH UNIVERSITY OF TECHNOLOGY – VNU-HCM Supervisor: Le Thanh Van, Ph. D Examiner 1: Ton Long Phuoc, Ph. D Examiner 2: Vo Dang Khoa, Ph. D This master’s thesis is defended at Ho Chi Minh City University of Technology (HCMUT) – VNU-HCM on 23rd Jan 2024 Master’s Thesis Committee: 1.

Tran Van Hoai, Ph. Ton Long Phuoc, Ph. Vo Dang Khoa, Ph. Le Thanh Van, Ph.

Tran Ngoc Thinh, Ph. D Secretary Approval of the Chairman of the Master’s Thesis Committee and Dean of Faculty of Computer Science and Engineering after the thesis being corrected (If any). CHAIRMAN OF THESIS COMMITTEE DEAN OF FACULTY OF COMPUTER SCIENCE AND ENGINEERING i VIETNAM NATIONAL UNIVERSITY - HO CHI MINH CITY SOCIALIST REPUBLIC OF VIETNAM HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY Independence – Freedom - Happiness THE TASK SHEET OF MASTER’S THESIS Full name: Ha Minh Duc Student code: 2270348 Date of birth: 20/03/1985 Place of birth: Kien Giang Major: Computer Science Major code: 8480101 I. THESIS TITLE: Supporting voice communication in chatbot.

TASKS AND CONTENTS:  Task 1: Research and Experimentation for Sequence-to-Sequence Model Development. The primary objective is to create a powerful Sequence-to-Sequence model tailored for chatbot applications. This is a neural network architecture known for its success in natural language processing tasks, and this task focuses on exploring, experimenting, and optimizing the Sequence-to-Sequence model to enhance its performance in the context of chatbot interactions.  Task 2: Research and Experimentation for Automatic Speech Recognition Model Development.

During this phase, the primary emphasis is on thorough research and experimentation with diverse methods to craft high-performance automatic speech recognition models. Exploring various techniques is essential to achieving precise conversion from audio to text. The objective is to pinpoint the most effective model that aligns with the project's requirement.  Task 3: Sequence-to-Sequence Model and Automatic Speech Recognition Evaluation and Future Work.

After developing the Sequence-to-Sequence model for Automatic Speech Recognition, a comprehensive evaluation process will be conducted. The achieved results will be analyzed in detail using appropriate metrics and techniques to assess accuracy performance. The strengths and weaknesses of ii each Sequence-to-Sequence model will be identified and assessed meticulously. Based on this analysis, recommendations for future work will be provided, addressing potential improvements and further developments in Automatic Speech Recognition technology.

THESIS START DAY: Feb-06-2023 IV. THESIS COMPLETION DAY: Dec-10-2023 V. SUPERVISOR: Le Thanh Van, Ph. D Ho Chi Minh City, January 22, 2024 SUPERVISOR CHAIR OF PROGRAM COMMITTEE (Full name and signature) (Full name and signature) DEAN OF FACULTY OF COMPUTER SCIENCE AND ENGINEERING (Full name and signature) iii ACKNOWLEDGEMENT First of all, I would like to appreciate the dedicated guidance and support of my lecturers during my work.

They not only enthusiastically shared with my business plan but also suggested me many great ideas that helped my thesis much more fruitful and interesting. Especially to Dr. Le Thanh Van who has been always willing to assist me in any way he could during my thesis. Furthermore, I would also like to acknowledge the Ho Chi Minh City University of Technology for its engagement and valuable learning experiences that have given to me as well as my classmates in Vietnam.

Thanks to HCMUT’s personalized programs, I have had an ideal Master of Computer Science course during my busy working schedule. The next, I am eternally grateful for the network in which my friends Pham Thanh Huu, Nguyen Thi Ty, Vo Thi Kim Nguyet, Le Duc Huy, Nguyen Tan Sang and Pham Dien Khoa. They are not only experiencing the course with me, but also sharing life and working tips that are meaning for a person like me. I am so lucky to have them in my entire life.

The last, words cannot describe how thankful I am for IMP Academic Team’s kindly support. Without their accompany, I could not complete my Master of Computer Science course. Sincerely, Ha Minh Duc Ho Chi Minh City, Jan 2024 iv ABSTRACT This master's thesis delves into the improvement of voice-based communication in healthcare chatbots through the integration of cutting-edge natural language processing and automatic speech recognition technologies. The research centers on leveraging the GPT-3-based sequence-to-sequence architecture for enhancing natural language understanding and generation.

Additionally, it incorporates the innovative Way2vec 2.0 model to empower robust Automatic Speech Recognition capabilities. The GPT-3 architecture is chosen for its adeptness in comprehending medical contexts, generating contextually relevant responses, and handling dynamic healthcare-related conversational flows. The integration of Way2vec 2.0 ensures precise and context-aware transcription of voice inputs, enhancing the accuracy of healthcare-related information capture. This research contributes to the field of healthcare technology by presenting a novel approach to improving patient engagement and satisfaction through voice interactions.

The combination of GPT-3 and Way2vec 2.0 not only strengthens the chatbot's ability to understand and generate natural language responses but also extends this proficiency to healthcare-focused voice interactions, thereby widening the applicability and accessibility of chatbot system in the aspect of speech recognition. v TÓM TẮT LUẬN VĂN THẠC SĨ Luận văn thạc sĩ này tập trung vào việc cải thiện giao tiếp dựa trên giọng nói trong chatbot chăm sóc sức khỏe thông qua sự kết hợp của các công nghệ xử lý ngôn ngữ tự nhiên và nhận dạng giọng nói tự động tiên tiến. Nghiên cứu tập trung vào việc sử dụng kiến trúc dựa trên GPT-3 cho quá trình nâng cao hiểu biết và tạo ra ngôn ngữ tự nhiên. Ngoài ra, nó kết hợp mô hình Way2vec 2.0 sáng tạo để cung cấp khả năng nhận dạng giọng nói tự động mạnh mẽ.

Kiến trúc GPT-3 được chọn vì khả năng hiểu biết về ngữ cảnh y tế, tạo ra các phản ứng liên quan đến ngữ cảnh và xử lý các luồng trò chuyện y tế động. Sự tích hợp của Way2vec 2.0 đảm bảo việc chuyển đổi chính xác và nhận thức ngữ cảnh của đầu vào giọng nói, từ đó nâng cao độ chính xác của việc thu thập thông tin liên quan đến sức khỏe. Nghiên cứu này đóng góp cho lĩnh vực công nghệ chăm sóc sức khỏe bằng cách trình bày một cách tiếp cận mới để cải thiện sự tương tác và sự hài lòng của bệnh nhân thông qua giao tiếp giọng nói. Sự kết hợp giữa GPT-3 và Way2vec 2.0 không chỉ củng cố khả năng của chatbot trong việc hiểu và tạo ra phản ứng tự nhiên bằng ngôn ngữ, mà còn mở rộng khả năng áp dụng và tiếp cận của hệ thống chatbot trong phương diện nhận dạng tiếng nói.

vi DECLARATION OF AUTHORSHIP I hereby declare that this thesis was carried out by myself under the guidance and supervision of Le Thanh Van, Ph.D; and that the work contained and the results in it are true by author and have not violated research ethics. The data and figures presented in this thesis are for analysis, comments, and evaluations from various resources by my own work and have been duly acknowledged in the reference part. In addition, other comments, reviews and data used by other authors, and organizations have been acknowledged, and explicitly cited. I will take full responsibility for any fraud detected in my thesis.

Ho Chi Minh City University of Technology (HCMUT) – VNU-HCM is unrelated to any copyright infringement caused on my work (if any). Ho Chi Minh City, Jan 2024 Author Ha Minh Duc vii TABLE OF CONTENTS LIST OF FIGURES. ix LIST OF TABLES. Target of the Thesis.

Scope of the Thesis. Hidden Markov Model (HMM). Deep Neural Networks. Artificial Neural Networks.

Convolutional Neural Network. The Vanishing Gradient Problem. Recurrent Neural Networks. Long Short-Term Memory.

The Long-Term Dependency Problem. Word Embedding Model. Frequency-based Embedding. Prediction-based Embedding.

The History of Chatbots. Using Luong’s Attention for Sequence 2 Sequence Model. Sequence to Sequence Model. Automatic Speech Recognition.

Speech Recognition Using Recurrent Neural Networks. Speech-to-Text Using Deep Learning. GPT-3 Language Model .87 ix LIST OF FIGURES Figure 1. The History of IVR [17].

HMM-based phone model [1]. A Deep Neural Network. A Simple Example of the Structure of a Neural Network. The McCulloch-Pitts Neuron [4].

The architecture of CNN [57]. Sigmoid Function and its Derivative by [43]. Underfitting, Optimal and Overfitting. Underfitting, Optimal weight decay and Overfitting.

The Recurrent Neural Network [5]. LSTM Network Architecture [6]. RNN and Short-Term Dependencies [7]. RNN and Long-Term Dependencies [7].

The Repeating Modules in an RNN Contains One Layer [7]. The Repeating Modules of an LSTM Contain Four Layers [7]. The Architecture of GRU [9]. The CBOW Model with One Input [14].

The Skip-gram Model [14]. ELIZA – The First Chatbot in the World at MIT by Joseph Weizenbaum. The Conversational between Elize and Parry [19]. Seq2Seq Model with GRUs [15].

Attention Mechanism in Seq2Seq Model [20]. Luong’s Global Attention [21]. Basic Voicebot Architecture [56]. Graph showing how the loss function change depending on the size of the trained network [50].

Graph showing how the loss function change depending on the size of the training set[50]. Taxonomy of Sequence to Sequence Models. The Transformer and GPT Architecture [22][23]. Multi-headed Attention.

Dot Product of Query and Key. Scaling Down the Attention Scores. SoftMax of the Scaled Scores. Multiply SoftMax Output with Value Vector.

Computing Multi-headed Attention. Multi-headed Attention Output. Residual Connection of the Input and Output. Decoder First Multi-Headed Attention.

Adding Mask to Scaled Matrix. Applying SoftMax function to Attention Score. The Process Flow of Multi-headed Attention. Final Stage of Transformer’s Decoder.

Transformer Architecture and Training Objectives [24]. Taxonomy of Speech Recognition .0 Latent Feature Encoder. Example of datasets for Seq2seq model. Example of datasets for ASR model.76 xii LIST OF TABLES Table 2.

Example of Co-occurrence Matrix. Intent Recognition Results. Entity Recognition Results. Chat Handoff and Fallback.

Conversation Log with Chatbot. Result of Scenarios. Result of Way2vec 2.0 on Vietnamese Audio Files .81 xiii ACRONYMS Abbreviation Standard Word AI Artificial intelligence ASR Automatic speech recognition ANN Artificial Neural Network BLEU Bilingual Evaluation Understudy CBOW Continuous Bag Of Words CNN Convolutional Neural Network DNN Deep Neural Network EOS end-of-sentence token GloVe Global Vectors GPT Generative Pretrained Transformer GRU Gated Recurrent Unit HMM Hidden Markov Model IVR Interactive voice response LSTM Long Short-Term Memory NLP Natural Language Processing NN Neural Networks PER Perplexity ReLU Rectified Linear Unit RNN Recurrent Neural Network Seq2Seq Sequence-to-Sequence SGD Stochastic Gradient Descent SVD Singular Value Decomposition WER Word Error Rate 1 CHAPTER 1. Overview The idea of human-computer interaction through natural language has been created in Hollywood movies.

3-CPO is one of the legends of the Revolutionary Army in the world of Star Wars movie. This robot guy has served through many generations of Skywalkers and is one of the top personality robots in the universe. In the series of this movie, we can see that 3-CPO not only has very similar gestures and communication to humans, but sometimes has great instructions for its owner. This is a cinematic product that is ahead of another era when it comes to predicting the future of Artificial intelligence (AI).

The Star Wars fictional movie universe is set in a galaxy where humans and alien creatures live in harmony with droids. These robots are capable of assisting people in daily life or traveling across other planets.