Phương Pháp Xác Định Đại Từ Nhân Xưng Theo Giới Tính Ứng Dụng Trong Voicebot Tiếng Việt

• Tác giả: Lưu Toàn Định
• Người hướng dẫn: Tiến Sĩ Nguyễn Lưu Thùy Ngân
• Trường học: Trường Đại học Công nghệ Thông tin - Đại học Quốc gia Thành phố Hồ Chí Minh
• Chuyên ngành: Khoa học Máy tính
• Đề tài: Phương Pháp Xác Định Đại Từ Nhân Xưng Theo Giới Tính Ứng Dụng Trong Voicebot Tiếng Việt
• Loại tài liệu: Luận văn Thạc sĩ
• Năm xuất bản: 2022
• Địa điểm: Thành phố Hồ Chí Minh

• LỜI CAM ĐOAN
• LỜI CÁM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Các công trình liên quan
• 1.2. Mục tiêu và phạm vi nghiên cứu
• 2. CHƯƠNG 2
• 2.1. Tổng quan về hệ thống voicebot
• 2.2. Mô hình Transformer
• 2.3. Mô hình chuyển giọng nói thành văn bản. Mô hình Wav2vec
• 3. CHƯƠNG 3: PHƯƠNG PHÁP
• 3.1. Cải tiến bộ nhận diện đại từ của chatbot
• 3.2. Mô hình nhận dạng giới tính thông qua giọng nói
• 3.3. Mô hình dịch thuật MTet
• 3.4. Tinh chỉnh và cải tiến mô hình chuyển văn bản thành âm thanh
• 3.5. Chuyển đổi hình vị thành âm vị trong tiếng Việt
• 3.6. Quy trình gán nhãn cho bộ dữ liệu âm thanh
• 3.7. Xây dựng bộ dữ liệu
• 3.8. Thay thế mô hình giải mã âm thanh
• 4. CHƯƠNG 4: THỬ NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. Các độ đo sử dụng để đánh giá Mean Opinion Scores
• 4.2. Đánh giá bộ dữ liệu UIT-Audio-39h
• 4.3. Đánh giá mô hình chatbot
• 4.4. Đánh giá mô hình chuyển đổi văn bản thành âm thanh
• 4.5. Ứng dụng minh họa
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Kết luận
• 5.2. Hướng phát triển
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC A: DANH SÁCH THÀNH VIÊN THAM GIA ĐÁNH GIÁ MÔ HÌNH
• PHỤ LỤC B: CÔNG BỐ KHOA HỌC
• PHỤ LỤC C: GIẤY TỜ LIÊN QUAN TỚI LUẬN VĂN

I. Tổng Quan Về Xác Định Đại Từ Cho Voicebot Tiếng Việt 55

Xử lý thông tin và cảm xúc trong giao tiếp là một kỹ năng phức tạp. Việc xây dựng một hệ thống máy tính, đặc biệt là voicebot tiếng Việt, có khả năng phản hồi phù hợp cả về nội dung và cảm xúc là một thách thức lớn. Luận văn này giới thiệu ViEmBot, một voicebot được phát triển để chia sẻ tâm sự về cuộc sống. Khác với các voicebot khác như Google Assistant hay MaiKa, ViEmBot được huấn luyện trên bộ dữ liệu hội thoại có cảm xúc UIT-VED-27K. Điểm khác biệt nổi bật là ViEmBot có khả năng xác định giới tính của người nói để sử dụng đại từ nhân xưng phù hợp. Điều này tạo ra sự khác biệt đáng kể, mang lại trải nghiệm giao tiếp tự nhiên hơn. ViEmBot cũng có thể đặt câu hỏi mang tính cảm xúc và duy trì chủ đề trong các lượt tương tác, làm cho cuộc hội thoại trở nên tự nhiên hơn. Mục tiêu là biến máy tính thành một người bạn “tâm giao”, có khả năng tương tác và thể hiện cảm xúc thông qua giọng nói.

1.1. Điểm khác biệt của ViEmBot so với Voicebot khác

ViEmBot nổi bật so với các voicebot tiếng Việt hiện tại nhờ hai điểm chính. Thứ nhất, nó được huấn luyện trên bộ dữ liệu UIT-VED-27K, tập trung vào các câu đối thoại mang tính cảm xúc. Thứ hai, ViEmBot có khả năng xác định giới tính của người nói và sử dụng đại từ nhân xưng phù hợp, điều mà các voicebot khác không có. Điều này tạo ra sự khác biệt lớn, giúp ViEmBot giao tiếp một cách tự nhiên hơn. Ngoài ra, ViEmBot có thể đặt câu hỏi mang tính cảm xúc và duy trì chủ đề, nâng cao trải nghiệm người dùng.

1.2. Mục tiêu chính của nghiên cứu và phát triển ViEmBot

Mục tiêu chính của việc phát triển ViEmBot là tạo ra một hệ thống voicebot có khả năng tương tác với con người thông qua giọng nói tiếng Việt một cách tự nhiên và cảm xúc. Điều này bao gồm việc huấn luyện mô hình AI để hiểu và phản hồi các trạng thái cảm xúc của người dùng, cũng như khả năng sử dụng đại từ nhân xưng phù hợp dựa trên giới tính. ViEmBot hướng đến việc trở thành một người bạn “tâm giao”, có khả năng chia sẻ và đồng cảm với người dùng trong cuộc sống hàng ngày.

II. Thách Thức Xác Định Giới Tính trong Voicebot Tiếng Việt 58

Mặc dù có nhiều voicebot và trợ lý ảo trên thế giới, nhưng ứng dụng voicebot tiếng Việt vẫn còn hạn chế. Các ứng dụng hiện tại thường tập trung vào mục đích thương mại, trả lời thắc mắc về sản phẩm/dịch vụ, chứ không phải để tâm sự, giải bày cảm xúc. Google Assistant hỗ trợ tiếng Việt nhưng thiên về tra cứu thông tin hơn là tương tác cảm xúc. Một thách thức lớn là sử dụng đại từ nhân xưng trong tiếng Việt. Khác với tiếng Anh, đại từ nhân xưng tiếng Việt rất đa dạng, thể hiện tuổi tác, sự kính trọng, mức độ thân thiện. Sử dụng sai đại từ nhân xưng có thể gây hiểu lầm là không lễ phép hoặc thiếu tôn trọng. Do đó, xác định giới tính chính xác để sử dụng đại từ nhân xưng phù hợp là vô cùng quan trọng.

2.1. Hạn chế của các Voicebot tiếng Việt hiện tại

Các voicebot tiếng Việt hiện tại còn nhiều hạn chế. Chúng thường được sử dụng cho mục đích thương mại, trả lời các câu hỏi về sản phẩm hoặc dịch vụ. Google Assistant, mặc dù hỗ trợ tiếng Việt, lại tập trung vào tra cứu thông tin hơn là tương tác cảm xúc. Hơn nữa, các voicebot này thường chỉ sử dụng hai đại từ nhân xưng là “tôi” và “bạn”, điều này không tự nhiên trong giao tiếp tiếng Việt.

2.2. Tầm quan trọng của đại từ nhân xưng trong tiếng Việt

Việc sử dụng đúng đại từ nhân xưng rất quan trọng trong tiếng Việt. Đại từ nhân xưng thể hiện tuổi tác, sự kính trọng và mức độ thân thiện giữa người nói và người nghe. Sử dụng sai đại từ nhân xưng có thể gây hiểu lầm là thiếu lễ phép hoặc thiếu tôn trọng. Vì vậy, việc xác định giới tính và sử dụng đại từ nhân xưng phù hợp là yếu tố then chốt để voicebot tiếng Việt giao tiếp một cách tự nhiên và hiệu quả.

2.3. Ví dụ minh họa tầm quan trọng của đại từ nhân xưng

Ví dụ, nếu một người A gọi người B là “bố”, thì người B cần gọi người A là “con” thay vì “bạn”. Hoặc, nếu người A xưng hô với người B là “bác”, vì người B là “cháu” của người A, thì việc người B sử dụng sai đại từ nhân xưng (ví dụ, từ “cháu” qua “mày”) sẽ bị coi là bất lịch sự. Những ví dụ này cho thấy tầm quan trọng của việc sử dụng đúng đại từ nhân xưng trong tiếng Việt.

III. Phương Pháp Xác Định Đại Từ theo Giới Tính cho Voicebot 59

Dựa trên nền tảng chatbot cảm xúc của Tiến và Thành, nghiên cứu này phát triển ứng dụng thành voicebot, cho phép tương tác bằng giọng nói tiếng Việt. Mục tiêu chính là phát triển voicebot có thể tương tác thông qua giọng nói. Nghiên cứu cài đặt mô hình nhận dạng giọng nói tiếng Việt sử dụng Wave2vec 2.0. Xây dựng quy trình gán nhãn cho bộ dữ liệu âm thanh để huấn luyện mô hình Text-to-Speech. Cải tiến bộ nhận diện đại từ nhân xưng bằng cách xác định giới tính của người nói và đề xuất thay thế thư viện Googletrans bằng mô hình dịch thuật MTet. Tinh chỉnh và cải tiến mô hình Transformer TTS, thay thế mô-đun chuyển hình vị thành âm vị từ tiếng Anh sang tiếng Việt, và đề xuất thay thế mô-đun giải mã âm thanh bằng mô hình Multi-band MeGAN.

3.1. Phát triển và cải tiến dựa trên nền tảng chatbot

Nghiên cứu này xây dựng dựa trên nền tảng ứng dụng chatbot có cảm xúc của Tiến và Thành, phát triển ứng dụng này trở thành voicebot, giúp con người có thể tương tác bằng giọng nói tiếng Việt. Việc này bao gồm việc tích hợp mô hình nhận dạng giọng nói, cải tiến bộ nhận diện đại từ nhân xưng, và tinh chỉnh mô hình chuyển văn bản thành giọng nói.

3.2. Các thành phần chính của phương pháp

Phương pháp xác định đại từ nhân xưng theo giới tính cho voicebot tiếng Việt bao gồm các thành phần chính sau: Mô hình nhận dạng giọng nói, mô hình chatbot cải tiến (với khả năng xác định giới tính), và mô hình chuyển văn bản thành giọng nói được tinh chỉnh. Ngoài ra, việc xây dựng bộ dữ liệu âm thanh tiếng Việt chất lượng cao cũng đóng vai trò quan trọng.

3.3. Thay thế Googletrans bằng mô hình dịch thuật MTet

Nghiên cứu đề xuất thay thế thư viện Googletrans bằng mô hình dịch thuật MTet để cải thiện độ chính xác trong việc xác định đại từ nhân xưng. Googletrans đôi khi dịch không sát nghĩa câu tiếng Việt, dẫn đến việc xác định đại từ nhân xưng gặp khó khăn. Mô hình dịch thuật MTet được kỳ vọng sẽ mang lại kết quả tốt hơn.

IV. Ứng dụng và Đánh Giá Mô Hình Voicebot Xác Định Giới Tính 59

Luận văn tập trung vào việc phát triển voicebot có thể tương tác bằng giọng nói tiếng Việt. Phạm vi nghiên cứu bao gồm ba mô-đun: Mô hình chuyển giọng nói thành văn bản (sử dụng Wav2vec 2.0), mô hình chatbot (cải tiến từ nghiên cứu của Tiến và Thành) và mô hình chuyển văn bản thành giọng nói (tinh chỉnh Transformer TTS). Nghiên cứu cũng tập trung vào xây dựng bộ dữ liệu âm thanh tiếng Việt. Mô hình Wav2vec 2.0 cho tiếng Việt được tác giả Nguyễn Thái Bình huấn luyện trên tập dữ liệu 13.000 giờ âm thanh không nhãn và 250 giờ có nhãn. Phạm vi phần này là nghiên cứu tích hợp và triển khai mô hình Wav2vec 2.0.

4.1. Phạm vi nghiên cứu và các mô đun chính

Phạm vi nghiên cứu của luận văn tập trung vào việc phát triển voicebot có khả năng tương tác với con người thông qua giọng nói tiếng Việt. Điều này bao gồm việc nghiên cứu và phát triển ba mô-đun chính: mô hình chuyển giọng nói thành văn bản, mô hình chatbot và mô hình chuyển văn bản thành giọng nói. Ngoài ra, việc xây dựng bộ dữ liệu âm thanh tiếng Việt chất lượng cao cũng là một phần quan trọng của nghiên cứu.

4.2. Sử dụng mô hình Wav2vec 2.0 cho nhận dạng giọng nói

Mô hình Wav2vec 2.0, được phát triển bởi Facebook, được sử dụng để nhận dạng giọng nói tiếng Việt. Đây là mô hình hiện đại nhất, cho độ chính xác cao trong lĩnh vực nhận dạng giọng nói. Mô hình Wav2vec 2.0 cho tiếng Việt được huấn luyện trên tập dữ liệu lớn, bao gồm cả dữ liệu không nhãn và dữ liệu có nhãn, giúp cải thiện đáng kể độ chính xác.

4.3. Cải tiến bộ nhận diện đại từ trong mô hình chatbot

Nghiên cứu cải tiến bộ nhận diện đại từ nhân xưng trong mô hình chatbot bằng cách xác định giới tính của người nói và đề xuất sử dụng mô hình dịch thuật MTet thay thế cho thư viện Googletrans. Điều này giúp cải thiện độ chính xác và tính tự nhiên của voicebot trong giao tiếp tiếng Việt.

V. Cải Tiến Mô Hình Chuyển Văn Bản Thành Giọng Nói Cho ViEmBot 60

Mô hình chuyển văn bản thành giọng nói được xây dựng từ khâu đầu tiên, tinh chỉnh và cải tiến từ Transformer TTS dành cho tiếng Việt. Việc tinh chỉnh tập trung vào: Thay thế mô-đun chuyển hình vị thành âm vị cho tiếng Anh bằng mô-đun cho tiếng Việt, sử dụng luật phát âm trong nghiên cứu của Emerich và Giang H. Đề xuất sử dụng mô hình giải mã âm thanh Multi-band MeGAN thay thế WaveNet, nhằm tăng tốc độ giải mã và độ chính xác. Mô hình này hiệu quả với tiếng Anh nhưng chưa có nghiên cứu nào trên tiếng Việt. Dữ liệu âm thanh tiếng Việt còn hạn chế, nên nghiên cứu xây dựng bộ dữ liệu giọng nói tiếng Việt bao gồm âm thanh và văn bản (nhãn dán) tương ứng, dùng làm dữ liệu huấn luyện cho mô-đun chuyển văn bản thành âm thanh.

5.1. Thay thế mô đun chuyển hình vị thành âm vị cho tiếng Việt

Trong mô hình Transformer TTS, mô-đun chuyển hình vị thành âm vị cho tiếng Anh được thay thế bằng mô-đun tương ứng cho tiếng Việt. Việc này dựa trên các quy tắc phát âm trong tiếng Việt, được nghiên cứu bởi Emerich và Giang H, giúp mô hình phát âm tiếng Việt chính xác hơn.

5.2. Đề xuất sử dụng mô hình Multi band MeGAN

Nghiên cứu đề xuất sử dụng mô hình giải mã âm thanh Multi-band MeGAN thay thế cho WaveNet trong mô hình Transformer TTS. Mô hình Multi-band MeGAN đã được chứng minh là hiệu quả hơn WaveNet cho tiếng Anh, giúp tăng tốc độ giải mã và độ chính xác. Tuy nhiên, chưa có nghiên cứu nào thử nghiệm mô hình này trên tiếng Việt, đây là một điểm mới của nghiên cứu.

5.3. Xây dựng bộ dữ liệu âm thanh tiếng Việt chất lượng cao

Do dữ liệu âm thanh tiếng Việt còn hạn chế, nghiên cứu tập trung vào xây dựng bộ dữ liệu giọng nói tiếng Việt chất lượng cao, bao gồm cả âm thanh và văn bản (nhãn dán). Bộ dữ liệu này được sử dụng để huấn luyện mô-đun chuyển văn bản thành âm thanh, giúp voicebot tạo ra giọng nói tự nhiên và dễ nghe.

VI. Kết Luận và Hướng Phát Triển Cho Voicebot Tiếng Việt 55

Nghiên cứu này đã trình bày phương pháp xác định đại từ nhân xưng theo giới tính cho voicebot tiếng Việt. Các kết quả cho thấy việc sử dụng mô hình Wav2vec 2.0, mô hình MTet và mô hình Multi-band MeGAN mang lại hiệu quả trong việc cải thiện độ chính xác và tính tự nhiên của voicebot. Việc xây dựng bộ dữ liệu âm thanh tiếng Việt chất lượng cao cũng góp phần quan trọng vào thành công của nghiên cứu. Trong tương lai, có thể tiếp tục nghiên cứu để cải thiện khả năng hiểu và phản hồi cảm xúc của voicebot, cũng như mở rộng phạm vi ứng dụng của voicebot tiếng Việt.

6.1. Tóm tắt các kết quả chính của nghiên cứu

Nghiên cứu đã thành công trong việc phát triển một phương pháp xác định đại từ nhân xưng theo giới tính cho voicebot tiếng Việt, sử dụng các mô hình hiện đại như Wav2vec 2.0, MTet và Multi-band MeGAN. Các kết quả cho thấy sự cải thiện đáng kể về độ chính xác và tính tự nhiên của voicebot.

6.2. Hướng phát triển trong tương lai

Trong tương lai, có thể tiếp tục nghiên cứu để cải thiện khả năng hiểu và phản hồi cảm xúc của voicebot, cũng như mở rộng phạm vi ứng dụng của voicebot tiếng Việt sang các lĩnh vực khác nhau như giáo dục, y tế và dịch vụ khách hàng. Việc tạo ra các bộ dữ liệu tiếng Việt lớn hơn và chất lượng cao hơn cũng là một hướng đi quan trọng.

6.3. Tầm quan trọng của nghiên cứu đối với cộng đồng

Nghiên cứu này đóng góp vào sự phát triển của lĩnh vực xử lý ngôn ngữ tự nhiên tiếng Việt, đặc biệt là trong lĩnh vực voicebot. Các phương pháp và kết quả của nghiên cứu có thể được sử dụng để xây dựng các voicebot tiếng Việt thông minh hơn và hữu ích hơn cho cộng đồng.

Tổng quan nghiên cứu

Trong bối cảnh phát triển công nghệ trí tuệ nhân tạo và xử lý ngôn ngữ tự nhiên, việc xây dựng hệ thống voicebot có khả năng tương tác tự nhiên với con người qua giọng nói ngày càng trở nên cấp thiết. Theo ước tính, các hệ thống voicebot hiện đại như Google Assistant, Alexa đã được ứng dụng rộng rãi trên thế giới, tuy nhiên tại Việt Nam, các voicebot hỗ trợ tiếng Việt còn hạn chế, đặc biệt trong việc xử lý đại từ nhân xưng theo giới tính – một yếu tố quan trọng trong giao tiếp tiếng Việt. Luận văn tập trung nghiên cứu và phát triển phương pháp xác định đại từ nhân xưng theo giới tính ứng dụng trong voicebot tiếng Việt, nhằm nâng cao tính tự nhiên và thân thiện trong giao tiếp giữa người và máy.

Mục tiêu cụ thể của nghiên cứu bao gồm: (1) phát triển mô hình nhận dạng giọng nói tiếng Việt dựa trên Wave2vec 2.0; (2) cải tiến bộ nhận diện đại từ nhân xưng bằng cách xác định giới tính người nói và thay thế mô hình dịch thuật Googletrans bằng MTet; (3) tinh chỉnh mô hình chuyển văn bản thành giọng nói (Text-to-Speech) dựa trên Transformer TTS với các cải tiến phù hợp cho tiếng Việt; (4) xây dựng bộ dữ liệu âm thanh tiếng Việt chất lượng cao phục vụ huấn luyện mô hình. Phạm vi nghiên cứu tập trung vào ba mô-đun chính của voicebot: Speech-to-Text, Chatbot và Text-to-Speech, với dữ liệu thu thập và xử lý tại Việt Nam trong giai đoạn 2021-2022.

Nghiên cứu có ý nghĩa quan trọng trong việc nâng cao trải nghiệm người dùng khi tương tác với voicebot tiếng Việt, góp phần phát triển công nghệ xử lý ngôn ngữ tự nhiên phù hợp với đặc thù văn hóa và ngôn ngữ Việt Nam. Các chỉ số đánh giá như độ chính xác nhận dạng giọng nói, độ chính xác xác định đại từ nhân xưng và điểm MOS (Mean Opinion Scores) về chất lượng giọng nói được sử dụng làm metrics đánh giá hiệu quả của hệ thống.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên ba lý thuyết và mô hình nghiên cứu chính:

1. Mô hình Transformer: Được giới thiệu trong công trình "Attention is All You Need" (2017), mô hình Transformer sử dụng cơ chế tự chú ý (self-attention) và kiến trúc encoder-decoder để xử lý chuỗi dữ liệu. Đây là nền tảng cho các mô hình dịch máy, chuyển văn bản thành giọng nói và nhận dạng giọng nói hiện đại.

2. Mô hình Wav2vec 2.0: Mô hình học tự giám sát (self-supervised learning) của Facebook, được huấn luyện trên hàng ngàn giờ dữ liệu âm thanh chưa gán nhãn, sau đó tinh chỉnh trên dữ liệu có gán nhãn. Wav2vec 2.0 cho tiếng Việt được huấn luyện trên 13.000 giờ âm thanh không gán nhãn và 250 giờ có gán nhãn, đạt độ chính xác cao với Word Error Rate thấp (6,15% khi sử dụng mô hình ngôn ngữ 4-grams).

3. Mô hình Transformer TTS và Multi-band MelGAN: Transformer TTS là mô hình chuyển văn bản thành giọng nói dựa trên kiến trúc Transformer, loại bỏ LSTM truyền thống, tăng tốc độ và độ chính xác. Multi-band MelGAN là mô hình giải mã âm thanh thay thế WaveNet, giúp tăng tốc độ giải mã và cải thiện chất lượng âm thanh, đã được chứng minh hiệu quả trên tiếng Anh và được áp dụng thử nghiệm cho tiếng Việt.

Các khái niệm chính bao gồm: đại từ nhân xưng trong tiếng Việt (phân biệt theo ngôi và giới tính), học tự giám sát, attention mechanism, Mel-spectrogram, và các kỹ thuật trích xuất đặc trưng âm thanh như MFCC.

Phương pháp nghiên cứu

Nguồn dữ liệu chính bao gồm:

• Bộ dữ liệu âm thanh tiếng Việt UIT-Audio-39h (30 giờ âm thanh của một người phát âm, chất lượng 22.05 kHz).
• Bộ dữ liệu Common Voice với 66.938 đoạn âm thanh (33.469 giọng nam, 33.469 giọng nữ) dùng để huấn luyện mô hình nhận dạng giới tính.
• Bộ dữ liệu hội thoại cảm xúc UIT-VED-27K được dịch từ Empathetic Dialogues của Facebook.

Phương pháp phân tích gồm:

• Áp dụng mô hình Wav2vec 2.0 để chuyển giọng nói thành văn bản, sử dụng trọng số đã được huấn luyện sẵn.
• Cải tiến bộ nhận diện đại từ nhân xưng bằng cách tích hợp mô hình CNN nhận dạng giới tính dựa trên đặc trưng MFCC, kết hợp với mô hình dịch thuật MTet thay thế Googletrans để dịch câu tiếng Việt sang tiếng Anh, từ đó xác định đại từ nhân xưng chính xác hơn.
• Tinh chỉnh mô hình Transformer TTS bằng cách thay thế mô-đun chuyển hình vị thành âm vị tiếng Anh bằng quy luật phát âm tiếng Việt dựa trên bảng IPA, đồng thời thay thế mô hình giải mã WaveNet bằng Multi-band MelGAN để tăng tốc độ và chất lượng âm thanh.
• Quy trình gán nhãn dữ liệu âm thanh được xây dựng chi tiết, đảm bảo chất lượng dữ liệu huấn luyện.

Timeline nghiên cứu kéo dài trong năm 2022, với các giai đoạn thu thập dữ liệu, huấn luyện mô hình, đánh giá và tinh chỉnh.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Độ chính xác nhận dạng giọng nói: Mô hình Wav2vec 2.0 cho tiếng Việt đạt Word Error Rate (WER) thấp nhất là 6,15% khi sử dụng mô hình ngôn ngữ 4-grams, vượt trội so với các mô hình trước đó có WER trên 10%.

2. Hiệu quả nhận dạng giới tính qua giọng nói: Mô hình CNN 2 lớp sử dụng đặc trưng MFCC đạt độ chính xác 90,28% trên tập kiểm thử, cho thấy khả năng phân biệt giới tính người nói hiệu quả, hỗ trợ xác định đại từ nhân xưng chính xác hơn.

3. Cải tiến bộ nhận diện đại từ nhân xưng: Việc thay thế thư viện Googletrans bằng mô hình dịch thuật MTet giúp dịch câu tiếng Việt sang tiếng Anh chính xác hơn, từ đó xác định đại từ nhân xưng ngôi thứ nhất và ngôi thứ hai phù hợp với giới tính người nói, khắc phục các lỗi dịch máy trước đây.

4. Chất lượng giọng nói tổng hợp: Mô hình Multi-band MelGAN thay thế WaveNet trong mô hình Transformer TTS cho điểm MOS trung bình 4,22, cao hơn 8,8% so với MelGAN (3,87), đồng thời giảm số lượng tham số và tăng tốc độ giải mã gần thời gian thực.

Thảo luận kết quả

Nguyên nhân của các kết quả tích cực trên là do sự kết hợp hiệu quả giữa các mô hình hiện đại và các cải tiến phù hợp với đặc thù tiếng Việt. Mô hình Wav2vec 2.0 tận dụng học tự giám sát trên lượng lớn dữ liệu chưa gán nhãn, giúp tăng khả năng nhận dạng giọng nói chính xác. Việc sử dụng mô hình CNN nhận dạng giới tính dựa trên đặc trưng MFCC giúp phân biệt giới tính người nói, từ đó cải thiện độ chính xác trong xác định đại từ nhân xưng – một yếu tố quan trọng trong giao tiếp tiếng Việt.

So sánh với các nghiên cứu trước đây, đặc biệt là chatbot cảm xúc của hai tác giả Tiến và Thành, luận văn đã nâng cấp thành công thành voicebot có khả năng tương tác qua giọng nói, đồng thời khắc phục hạn chế về nhận diện đại từ nhân xưng và giới tính. Việc thay thế Googletrans bằng MTet cũng giúp giảm sai sót dịch thuật, nâng cao độ tự nhiên trong hội thoại.

Chất lượng giọng nói tổng hợp được cải thiện rõ rệt nhờ mô hình Multi-band MelGAN, phù hợp với yêu cầu về tốc độ và độ chính xác trong ứng dụng thực tế. Dữ liệu có thể được trình bày qua biểu đồ so sánh WER giữa các mô hình, biểu đồ độ chính xác nhận dạng giới tính qua các epoch huấn luyện, và bảng điểm MOS đánh giá chất lượng giọng nói.

Đề xuất và khuyến nghị

1. Triển khai rộng rãi mô hình voicebot tiếng Việt: Đề xuất các doanh nghiệp công nghệ và tổ chức nghiên cứu ứng dụng mô hình voicebot đã phát triển vào các dịch vụ chăm sóc khách hàng, trợ lý ảo, đặc biệt trong lĩnh vực tư vấn tâm lý và hỗ trợ người dùng qua giọng nói. Mục tiêu nâng cao trải nghiệm người dùng, giảm thiểu sai sót trong giao tiếp, thực hiện trong vòng 12 tháng.

2. Phát triển bộ dữ liệu âm thanh đa dạng hơn: Khuyến nghị xây dựng thêm bộ dữ liệu âm thanh tiếng Việt đa dạng về giọng nói, vùng miền, độ tuổi để tăng tính bao phủ và độ chính xác của mô hình nhận dạng giọng nói và nhận dạng giới tính. Chủ thể thực hiện là các viện nghiên cứu và trường đại học, với timeline 18-24 tháng.

3. Nâng cao khả năng nhận diện cảm xúc và ngữ cảnh trong voicebot: Đề xuất nghiên cứu tích hợp thêm mô hình nhận diện cảm xúc và phân tích ngữ cảnh sâu hơn để voicebot có thể phản hồi tự nhiên, đồng cảm hơn với người dùng. Thời gian thực hiện dự kiến 12-18 tháng, do các nhóm nghiên cứu chuyên sâu về NLP đảm nhiệm.

4. Tối ưu hóa mô hình chuyển văn bản thành giọng nói cho đa dạng giọng đọc: Khuyến nghị phát triển mô hình TTS hỗ trợ đa giọng đọc, đa phong cách phát âm để phù hợp với nhiều đối tượng người dùng khác nhau, tăng tính cá nhân hóa. Chủ thể thực hiện là các công ty công nghệ, với thời gian 12 tháng.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học Máy tính, Xử lý ngôn ngữ tự nhiên: Luận văn cung cấp kiến thức chuyên sâu về mô hình Transformer, Wav2vec 2.0, và các kỹ thuật xử lý giọng nói tiếng Việt, hỗ trợ nghiên cứu và phát triển các ứng dụng AI.

2. Doanh nghiệp phát triển công nghệ AI và voicebot: Các công ty công nghệ có thể áp dụng phương pháp và mô hình trong luận văn để nâng cao chất lượng sản phẩm voicebot, trợ lý ảo tiếng Việt, đặc biệt trong lĩnh vực chăm sóc khách hàng và tư vấn.

3. Chuyên gia phát triển ứng dụng chăm sóc sức khỏe tâm thần và giáo dục: Voicebot có khả năng tương tác cảm xúc và phân biệt đại từ nhân xưng theo giới tính giúp tạo ra các ứng dụng hỗ trợ tâm lý, giáo dục trực tuyến thân thiện và hiệu quả hơn.

4. Cơ quan quản lý và tổ chức nghiên cứu ngôn ngữ: Luận văn cung cấp cơ sở khoa học để phát triển các tiêu chuẩn, chính sách về công nghệ xử lý tiếng Việt, góp phần bảo tồn và phát triển ngôn ngữ trong kỷ nguyên số.

Câu hỏi thường gặp

1. Voicebot tiếng Việt có thể phân biệt đại từ nhân xưng theo giới tính như thế nào?
   Voicebot sử dụng mô hình CNN nhận dạng giới tính dựa trên đặc trưng MFCC của giọng nói, kết hợp với mô hình dịch thuật MTet để dịch câu sang tiếng Anh, từ đó xác định đại từ nhân xưng phù hợp với giới tính người nói, giúp giao tiếp tự nhiên hơn.

2. Mô hình Wav2vec 2.0 có ưu điểm gì so với các mô hình nhận dạng giọng nói khác?
   Wav2vec 2.0 áp dụng học tự giám sát trên lượng lớn dữ liệu chưa gán nhãn, giúp mô hình học được đặc trưng âm thanh phong phú, đạt độ chính xác cao với Word Error Rate thấp, phù hợp cho tiếng Việt với dữ liệu hạn chế.

3. Tại sao cần thay thế mô hình WaveNet bằng Multi-band MelGAN trong Text-to-Speech?
   Multi-band MelGAN có số lượng tham số ít hơn, tốc độ giải mã nhanh gần thời gian thực và cho chất lượng âm thanh tổng hợp tốt hơn, giúp voicebot phản hồi nhanh và tự nhiên hơn trong giao tiếp.

4. Bộ dữ liệu âm thanh tiếng Việt được xây dựng như thế nào?
   Bộ dữ liệu gồm 30 giờ âm thanh của một người phát âm, mỗi đoạn dài từ 3 đến 13 giây, chất lượng 22.05 kHz, định dạng *.wav, được gán nhãn kỹ lưỡng để huấn luyện mô hình chuyển văn bản thành giọng nói.

5. Voicebot có thể ứng dụng trong những lĩnh vực nào?
   Voicebot có thể được ứng dụng trong chăm sóc khách hàng, trợ lý ảo cá nhân, tư vấn tâm lý, giáo dục trực tuyến, và các dịch vụ hỗ trợ người dùng qua giọng nói, đặc biệt khi cần giao tiếp tự nhiên và đồng cảm.

Kết luận

• Luận văn đã phát triển thành công phương pháp xác định đại từ nhân xưng theo giới tính trong voicebot tiếng Việt, nâng cao tính tự nhiên trong giao tiếp.
• Mô hình Wav2vec 2.0 và CNN nhận dạng giới tính đạt độ chính xác cao, hỗ trợ hiệu quả cho việc xác định đại từ nhân xưng.
• Tinh chỉnh mô hình Transformer TTS với Multi-band MelGAN cải thiện chất lượng giọng nói tổng hợp và tốc độ phản hồi.
• Bộ dữ liệu âm thanh tiếng Việt chất lượng cao được xây dựng phục vụ huấn luyện mô hình, góp phần phát triển công nghệ xử lý tiếng Việt.
• Các bước tiếp theo bao gồm mở rộng bộ dữ liệu, nâng cao khả năng nhận diện cảm xúc và phát triển đa giọng đọc, nhằm hoàn thiện hệ thống voicebot thân thiện và hiệu quả hơn.

Đề nghị các nhà nghiên cứu và doanh nghiệp công nghệ tiếp tục ứng dụng và phát triển các kết quả này để thúc đẩy công nghệ voicebot tiếng Việt ngày càng tiến bộ.