Tổng hợp giọng nói sử dụng học sâu cho tiếng Bahnar

Tổng hợp giọng nói tiếng Bahnar sử dụng học sâu: Khám phá các phương pháp và công nghệ tiên tiến để tạo ra giọng nói tự nhiên, chất lượng cao.

• Tác giả: Hồ Minh Hoàng
• Người hướng dẫn: Pgs.Ts Quản Thành Thơ
• Trường học: Trường Đại học Bách Khoa – Đhqg-hcm
• Chuyên ngành: Khoa học Máy tính
• Đề tài: Tổng hợp giọng nói sử dụng học sâu cho tiếng Bahnar
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2024
• Địa điểm: Tp. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT LUẬN VĂN
• ABSTRACT OF THESIS
• LỜI CAM ĐOAN
• Danh sách hình vẽ
• Danh sách bảng
• Thuật ngữ & từ viết tắt
• 1. CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI
• 1.1. Giới thiệu chung
• 1.2. Mục tiêu và nhiệm vụ của luận văn
• 1.3. Giới hạn đề tài
• 1.4. Đóng góp của luận văn
• 1.5. Tóm tắt nội dung
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Mel-spectrogram
• 2.2. Mô hình Artificial Neural Network - ANN
• 2.3. Mạng tích chập Convolutional Neural Network - CNN
• 2.4. Mô hình mạng Generative Adversarial Networks
• 2.4.1. Mô hình sinh (Generator)
• 2.4.2. Mô hình phân biệt (Discriminator)
• 2.5. Mô hình mạng Long short term memory
• 3. CHƯƠNG 3: CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN
• 3.1. Các kỹ thuật cho bài toán tổng hợp tiếng nói từ văn bản
• 3.1.1. Phương pháp tổng hợp khớp nối (Articulatory synthesis)
• 3.1.2. Phương pháp tổng hợp hình thái (Formant synthesis)
• 3.1.3. Phương pháp tổng hợp nối tiếp (Concatenative Synthesis)
• 3.1.4. Phương pháp tổng hợp tham số thống kê (Statistical Parametric Speech Synthesis)
• 3.1.5. Các thành phần chính của mô hình cho bài toán TTS hiện đại sử dụng học sâu
• 3.1.5.1. Phân tích văn bản
• 3.1.5.2. Mô hình âm thanh
• 3.1.5.3. Bộ phát âm
• 3.2. Các kỹ thuật cho bài toán Chuyển đổi giọng nói
• 3.2.1. Hướng tiếp cận sử dụng mã hoá tự động (Auto encoder)
• 3.2.2. Hướng tiếp cận sử dụng Mô hình mạng sinh đối nghịch (GAN)
• 3.2.3. Hướng tiếp cận sử dụng Mô hình tổng hợp giọng nói
• 4. CHƯƠNG 4: MÔ HÌNH ĐỀ XUẤT
• 4.1. Mô hình tham khảo
• 4.1.1. Mô hình Grad-TTS
• 4.1.2. Mô hình StarGANv2-VC
• 4.1.3. Mô hình HiFi-GAN
• 4.2. Hệ thống âm vị cho tiếng Bahnar
• 4.3. Mô hình đề xuất
• 4.3.1. Tổng quan mô hình đề xuất BN-TTS-VC
• 4.3.2. Grad-TTS cho tổng hợp tiếng Bahnar
• 4.3.3. Mô hình HiFi-GAN-BN huấn luyện trên tiếng Bahnar cho bộ phát âm của mô hình Grad-TTS
• 4.3.4. Chuyển đổi giọng nói cho tiếng Bahnar bởi mô hình StarGANv2
• 4.4. Tập dữ liệu và phương pháp xử lí
• 4.5. Kết quả thực nghiệm và thảo luận
• 4.5.1. Kết quả đạt được
• 4.5.2. Hạn chế và vấn đề tồn đọng
• 4.5.3. Hướng phát triển
• Tài liệu tham khảo
• Phụ lục A

Tóm tắt

I. Giới thiệu Tổng quan Tổng hợp giọng nói Bahnar và Học sâu

Bài toán tổng hợp giọng nói từ văn bản (Text-To-Speech - TTS) là quá trình chuyển đổi văn bản thành tín hiệu âm thanh giọng nói. Tổng hợp giọng nói là một lĩnh vực nghiên cứu phổ biến với nhiều ứng dụng. Các hệ thống chuyển văn bản thành giọng nói tạo ra nhằm giúp những người khuyết tật về thị giác bằng cách cung cấp công cụ chuyển văn bản thành âm thanh. TTS còn giúp cá nhân nghe và tiếp thu các nội dung trên dạng giấy khi đang di chuyển. Công nghệ ngày càng phát triển, các mô hình mới hầu như đều có thể tạo ra kết quả đúng cho câu truy vấn cần tổng hợp giọng nói, tuy nhiên nhìn chung các mô hình tạo ra giọng nói vẫn còn kém tự nhiên và cảm xúc. Không chỉ vậy, TTS đòi hỏi một khối lượng lớn ghi âm để có thể đạt được kết quả tốt. Hiện nay, có khoảng 6500 ngôn ngữ trên thế giới. Trong số đó, tiếng Anh và tiếng Trung là phổ biến nhất và có nguồn dữ liệu dồi dào nhất cho các tác vụ huấn luyện trong bài toán tổng hợp giọng nói. Tuy nhiên, vẫn còn một số ngôn ngữ ít tài nguyên khác như tiếng Việt chưa được khai thác tốt. Luận văn này giải quyết thách thức trong việc tổng hợp giọng nói có âm tự nhiên trong các ngôn ngữ có nguồn tài nguyên thấp bằng cách khám phá ứng dụng kỹ thuật chuyển đổi giọng cho ngôn ngữ Bahnaric.

1.1. Ứng dụng học sâu trong tổng hợp tiếng nói Bahnar

Việc ứng dụng học sâu trong tổng hợp tiếng nói Bahnar mở ra nhiều tiềm năng. Học sâu cho phép mô hình tự động trích xuất các đặc trưng phức tạp từ dữ liệu âm thanh và văn bản, giúp tạo ra giọng nói tự nhiên và biểu cảm hơn. Điều này đặc biệt quan trọng đối với các ngôn ngữ ít tài nguyên như tiếng Bahnar, nơi dữ liệu huấn luyện hạn chế. Ứng dụng học sâu giúp giảm thiểu sự phụ thuộc vào các phương pháp thủ công, tốn kém thời gian và công sức. Các mô hình như Grad-TTS và StarGANv2 đang được khám phá để vượt qua những thách thức này.

1.2. Tầm quan trọng của TTS Bahnar trong bảo tồn văn hóa

Việc xây dựng mô hình TTS cho tiếng Bahnar là ngôn ngữ của một dân tộc thiểu số ở Việt Nam giúp cho việc tiếp cận thông tin và giáo dục cho họ dễ dàng hơn. Nó mở ra cánh cửa cho việc tạo ra tài liệu, sách giáo trình, tài liệu hướng dẫn và nhiều nguồn thông tin khác được chuyển đổi thành giọng nói dễ hiểu hơn. Việc đưa ra được mô hình TTS cho tiếng Bahnar còn khắc phục rào cản giao tiếp giữa các dân tộc anh em. Với TTS có thể góp phần tạo ra một phương tiện mới để truyền đạt ý kiến, tương tác xã hội và tham gia vào cộng đồng một cách dễ dàng hơn. Ngoài ra, nó góp phần trong việc bảo tồn ngôn ngữ này.

II. Vấn đề Thách thức tổng hợp giọng nói Bahnar ít tài nguyên

Việc xây dựng hệ thống tổng hợp giọng nói cho tiếng Bahnar đối mặt với nhiều thách thức. Nguồn dữ liệu âm thanh và văn bản cho tiếng Bahnar rất hạn chế, gây khó khăn cho việc huấn luyện các mô hình học sâu. Sự khác biệt về ngữ âm và cấu trúc ngôn ngữ so với các ngôn ngữ phổ biến khác như tiếng Anh và tiếng Việt đòi hỏi các phương pháp xử lý đặc biệt. Việc đánh giá chất lượng giọng nói tổng hợp cũng là một vấn đề, vì không có tiêu chuẩn rõ ràng và sự đánh giá chủ quan của người bản xứ có thể khác nhau. Do đó, cần có các nghiên cứu và giải pháp sáng tạo để vượt qua những hạn chế này.

2.1. Thu thập và xử lý dữ liệu tiếng Bahnar cho học sâu

Việc thu thập dữ liệu tiếng Bahnar cho học sâu là một bước quan trọng. Cần thu thập cả dữ liệu âm thanh và văn bản. Dữ liệu âm thanh cần có chất lượng tốt, không bị nhiễu và được ghi âm trong môi trường kiểm soát. Dữ liệu văn bản cần được chuẩn hóa và phiên âm chính xác. Sau khi thu thập, dữ liệu cần được xử lý để loại bỏ tiếng ồn, chuẩn hóa âm lượng và chia thành các đoạn ngắn hơn. Các kỹ thuật như data augmentation có thể được sử dụng để tăng kích thước của tập dữ liệu huấn luyện.

2.2. Khó khăn trong phiên âm và chuẩn hóa tiếng Bahnar

Một trong những khó khăn lớn nhất là phiên âm và chuẩn hóa tiếng Bahnar. Tiếng Bahnar có nhiều phương ngữ khác nhau, và cách phát âm của các từ có thể thay đổi tùy thuộc vào vùng miền. Việc tạo ra một bảng phiên âm thống nhất và chuẩn hóa cách viết là rất quan trọng để đảm bảo tính nhất quán của dữ liệu. Cần có sự hợp tác của các chuyên gia ngôn ngữ và người bản xứ để giải quyết vấn đề này. Các công cụ phiên âm tự động có thể hỗ trợ quá trình này, nhưng vẫn cần kiểm tra và chỉnh sửa thủ công.

2.3. Đánh giá chất lượng giọng nói tổng hợp tiếng Bahnar

Việc đánh giá chất lượng giọng nói tổng hợp tiếng Bahnar là một thách thức khác. Các phương pháp đánh giá khách quan như MOS (Mean Opinion Score) có thể được sử dụng, nhưng cần có sự tham gia của người bản xứ để đảm bảo tính chính xác. Các yếu tố như tính tự nhiên, dễ hiểu và biểu cảm cần được xem xét. Ngoài ra, cũng cần đánh giá khả năng của hệ thống trong việc xử lý các từ và câu phức tạp, cũng như các phương ngữ khác nhau.

III. Phương pháp Grad TTS và StarGANv2 cho tiếng Bahnar

Luận văn này đề xuất mô hình kết hợp hệ thống chuyển văn bản thành giọng nói dựa trên GradTTS và kỹ thuật chuyển đổi giọng nói dựa trên StarGANv2, được điều chỉnh cho phù hợp với ngôn ngữ Bahnaric. GradTTS cho phép hệ thống phát âm các từ tiếng Bahnaric mà không bị giới hạn từ vựng. StarGANv2 nâng cao tính tự nhiên của lời nói tổng hợp khi có nguồn gốc từ các ngôn ngữ có nguồn tài nguyên thấp như tiếng Bahnaric. Ngoài ra, mô hình cũng có sự đóng góp với HifiGAN được tinh chỉnh với tiếng Bahnaric giúp cải thiện chất lượng giọng nói với giọng bản địa.

3.1. Ưu điểm của Grad TTS trong tổng hợp tiếng Bahnar

Grad-TTS là một mô hình tổng hợp giọng nói dựa trên kiến trúc diffusion probabilistic model (mô hình khuếch tán xác suất). Ưu điểm chính của Grad-TTS là khả năng tạo ra giọng nói tự nhiên và đa dạng. Grad-TTS có khả năng xử lý các từ mới và các phương ngữ khác nhau một cách linh hoạt. Mô hình này ít bị ảnh hưởng bởi lỗi phiên âm và có thể tạo ra giọng nói với nhiều phong cách và biểu cảm khác nhau.

3.2. Cải thiện tính tự nhiên bằng StarGANv2 trong TTS Bahnar

StarGANv2 là một mô hình chuyển đổi giọng nói có khả năng chuyển đổi giữa nhiều phong cách giọng nói khác nhau. Trong bài toán tổng hợp tiếng Bahnar, StarGANv2 có thể được sử dụng để cải thiện tính tự nhiên của giọng nói tổng hợp bằng cách chuyển đổi giọng nói từ một nguồn có sẵn sang một phong cách giọng nói phù hợp với tiếng Bahnar. StarGANv2 có khả năng học các đặc trưng giọng nói từ dữ liệu hạn chế và tạo ra giọng nói với nhiều sắc thái và biểu cảm khác nhau.

3.3. HiFi GAN Nâng cao chất lượng âm thanh tiếng Bahnar

HiFi-GAN là một mô hình bộ giải mã âm thanh (vocoder) có khả năng tạo ra âm thanh chất lượng cao từ mel-spectrogram. Trong hệ thống TTS Bahnar, HiFi-GAN được sử dụng để chuyển đổi mel-spectrogram được tạo ra bởi Grad-TTS thành tín hiệu âm thanh. Việc tinh chỉnh HiFi-GAN với dữ liệu tiếng Bahnar giúp cải thiện đáng kể chất lượng âm thanh, tạo ra giọng nói rõ ràng, tự nhiên và ít bị nhiễu.

IV. Thực nghiệm Huấn luyện và đánh giá mô hình TTS Bahnar

Quá trình thực nghiệm bao gồm việc thu thập và xử lý dữ liệu tiếng Bahnar, huấn luyện các mô hình GradTTS, StarGANv2 và HiFi-GAN, và đánh giá chất lượng giọng nói tổng hợp. Các mô hình được huấn luyện trên các tập dữ liệu khác nhau và được đánh giá bằng các phương pháp khách quan và chủ quan. Kết quả thực nghiệm cho thấy mô hình đề xuất có khả năng tạo ra giọng nói tiếng Bahnar với chất lượng tốt, tính tự nhiên cao và khả năng biểu cảm tốt.

4.1. Chi tiết quy trình huấn luyện mô hình Grad TTS cho Bahnar

Quy trình huấn luyện mô hình Grad-TTS cho tiếng Bahnar bao gồm nhiều bước. Đầu tiên, dữ liệu âm thanh và văn bản được tiền xử lý để chuẩn hóa định dạng và loại bỏ tiếng ồn. Tiếp theo, mô hình Grad-TTS được huấn luyện trên tập dữ liệu đã xử lý. Quá trình huấn luyện sử dụng các kỹ thuật như teacher forcing và scheduled sampling để cải thiện độ ổn định và hiệu quả. Các tham số của mô hình được điều chỉnh để tối ưu hóa chất lượng giọng nói tổng hợp. Việc theo dõi loss function và đánh giá chất lượng giọng nói định kỳ giúp đảm bảo quá trình huấn luyện diễn ra suôn sẻ.

4.2. Điều chỉnh StarGANv2 để chuyển đổi giọng nói Bahnar

Việc điều chỉnh StarGANv2 để chuyển đổi giọng nói Bahnar đòi hỏi sự cẩn trọng. Dữ liệu huấn luyện cần được lựa chọn kỹ càng để đảm bảo tính đa dạng và đại diện. Các tham số của mô hình cần được điều chỉnh để phù hợp với đặc điểm của tiếng Bahnar. Việc sử dụng các kỹ thuật như domain adaptation và transfer learning có thể giúp cải thiện hiệu quả của quá trình chuyển đổi. Đánh giá chất lượng giọng nói chuyển đổi định kỳ giúp xác định các vấn đề và điều chỉnh mô hình cho phù hợp.

4.3. Kết quả đánh giá MOS cho giọng nói tổng hợp Bahnar

Kết quả đánh giá MOS (Mean Opinion Score) cho giọng nói tổng hợp Bahnar cho thấy mô hình đề xuất đạt được chất lượng tốt. Điểm MOS trung bình cho giọng nói tổng hợp đạt mức chấp nhận được. Phân tích chi tiết cho thấy giọng nói tổng hợp có tính tự nhiên cao, dễ hiểu và có khả năng biểu cảm tốt. Tuy nhiên, vẫn còn một số hạn chế cần được cải thiện, chẳng hạn như khả năng xử lý các từ và câu phức tạp, cũng như các phương ngữ khác nhau.

V. Ứng dụng Tiềm năng TTS Bahnar trong giáo dục và bảo tồn

Ứng dụng của tổng hợp giọng nói Bahnar rất đa dạng. Trong lĩnh vực giáo dục, TTS có thể được sử dụng để tạo ra các tài liệu học tập, sách giáo trình và bài giảng bằng tiếng Bahnar, giúp học sinh và sinh viên dễ dàng tiếp cận kiến thức. TTS còn có thể được sử dụng để tạo ra các ứng dụng hỗ trợ học ngôn ngữ, giúp người học cải thiện khả năng phát âm và nghe hiểu. Trong lĩnh vực bảo tồn văn hóa, TTS có thể được sử dụng để ghi âm và lưu trữ các câu chuyện cổ tích, bài hát và các tác phẩm văn học dân gian bằng tiếng Bahnar, giúp bảo tồn và truyền bá văn hóa cho các thế hệ sau.

5.1. TTS Bahnar hỗ trợ giáo dục đa ngôn ngữ

TTS Bahnar có tiềm năng lớn trong việc hỗ trợ giáo dục đa ngôn ngữ. Nó có thể được sử dụng để tạo ra các tài liệu học tập song ngữ hoặc đa ngữ, giúp học sinh và sinh viên học tập hiệu quả hơn. TTS cũng có thể được sử dụng để tạo ra các ứng dụng hỗ trợ học ngôn ngữ, giúp người học cải thiện khả năng phát âm và nghe hiểu các ngôn ngữ khác nhau.

5.2. Bảo tồn và số hóa văn hóa phi vật thể tiếng Bahnar

TTS Bahnar đóng vai trò quan trọng trong việc bảo tồn và số hóa văn hóa phi vật thể tiếng Bahnar. Nó có thể được sử dụng để ghi âm và lưu trữ các câu chuyện cổ tích, bài hát, các tác phẩm văn học dân gian và các nghi lễ truyền thống bằng tiếng Bahnar. Việc số hóa các tài liệu này giúp bảo tồn và truyền bá văn hóa cho các thế hệ sau, đồng thời giúp các nhà nghiên cứu và người quan tâm dễ dàng tiếp cận và tìm hiểu về văn hóa Bahnar.

VI. Kết luận Hướng phát triển tổng hợp giọng nói Bahnar

Luận văn đã trình bày một phương pháp tổng hợp giọng nói hiệu quả cho tiếng Bahnar dựa trên việc kết hợp các mô hình GradTTS, StarGANv2 và HiFi-GAN. Kết quả thực nghiệm cho thấy mô hình đề xuất có khả năng tạo ra giọng nói tiếng Bahnar với chất lượng tốt, tính tự nhiên cao và khả năng biểu cảm tốt. Tuy nhiên, vẫn còn nhiều hướng phát triển tiềm năng cho bài toán này, bao gồm việc thu thập thêm dữ liệu, cải thiện các mô hình hiện có và khám phá các phương pháp mới. Tổng hợp giọng nói có tiềm năng to lớn trong việc hỗ trợ giáo dục, bảo tồn văn hóa và phát triển kinh tế xã hội cho cộng đồng người Bahnar.

6.1. Mở rộng tập dữ liệu và cải thiện mô hình học sâu

Một trong những hướng phát triển quan trọng là mở rộng tập dữ liệu và cải thiện các mô hình học sâu. Việc thu thập thêm dữ liệu âm thanh và văn bản tiếng Bahnar giúp cải thiện độ chính xác và tính tự nhiên của các mô hình. Các kỹ thuật như data augmentation và transfer learning có thể được sử dụng để tận dụng dữ liệu từ các ngôn ngữ khác. Ngoài ra, việc nghiên cứu và phát triển các kiến trúc mô hình mới cũng có thể giúp cải thiện hiệu quả của quá trình tổng hợp giọng nói.

6.2. Nghiên cứu các phương pháp tổng hợp giọng nói đa dạng

Một hướng phát triển khác là nghiên cứu các phương pháp tổng hợp giọng nói đa dạng. Ngoài các phương pháp dựa trên học sâu, cũng có thể khám phá các phương pháp dựa trên quy tắc hoặc dựa trên đơn vị âm vị. Việc kết hợp các phương pháp khác nhau có thể giúp tạo ra giọng nói với nhiều phong cách và biểu cảm khác nhau, đáp ứng nhu cầu của nhiều ứng dụng khác nhau.

Nội dung chính

Tổng quan nghiên cứu

Trên thế giới hiện có khoảng 6.500 ngôn ngữ, nhưng phần lớn các hệ thống chuyển văn bản thành giọng nói (Text-To-Speech - TTS) thương mại hiện nay chỉ tập trung vào một số ít ngôn ngữ có nguồn dữ liệu khổng lồ như tiếng Anh hoặc tiếng Trung. Tại Việt Nam, tiếng Bahnar là ngôn ngữ của cộng đồng hơn 286.000 đồng bào dân tộc thiểu số tại khu vực Tây Nguyên, đóng vai trò quan trọng trong bản sắc văn hóa dân tộc nhưng lại đối mặt với tình trạng thiếu hụt dữ liệu số nghiêm trọng (low-resource language). Việc thiếu vắng các kho ngữ liệu ghi âm đạt chuẩn phòng thu từ 20 đến 50 giờ khiến các kiến trúc học sâu thông thường không thể tự động tổng hợp được giọng đọc tự nhiên.

Mục tiêu cụ thể của luận văn thạc sĩ chuyên ngành Khoa học Máy tính do học viên Hồ Minh Hoàng thực hiện dưới sự hướng dẫn của Phó Giáo sư Tiến sĩ Quản Thành Thơ tại Trường Đại học Bách khoa – Đại học Quốc gia Thành phố Hồ Chí Minh là nghiên cứu, thiết kế và phát triển thành công giải pháp tổng hợp giọng nói chất lượng cao cho tiếng Bahnar. Đề tài được triển khai trong thời gian từ tháng 9 năm 2023 đến tháng 12 năm 2023 và hoàn thành bảo vệ chính thức vào tháng 1 năm 2024.

Nghiên cứu mang ý nghĩa thực tiễn to lớn trong việc bảo tồn văn hóa, hỗ trợ người khiếm thị và nâng cao khả năng tiếp cận thông tin, giáo dục cho đồng bào vùng sâu vùng xa. Bằng cách kết hợp kiến trúc mô hình khuếch tán Grad-TTS, bộ chuyển đổi giọng nói StarGANv2 và bộ phát âm HiFi-GAN tinh chỉnh, công trình đã giải quyết bài toán phát âm không giới hạn từ vựng, nâng cao chỉ số đánh giá độ tự nhiên của giọng nói lên mức cạnh tranh tương đương giọng đọc người thật, mở ra giải pháp công nghệ bền vững cho các ngôn ngữ ít tài nguyên.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn xây dựng trên nền tảng kết hợp của ba trụ cột lý thuyết học sâu hiện đại:

Thứ nhất, mô hình xác suất khuếch tán dựa trên phương trình vi phân ngẫu nhiên (Score-based Diffusion Probabilistic Model) của Grad-TTS. Mô hình này biến đổi dần dần phân phối nhiễu Gaussian thành biểu diễn phổ âm thanh Mel-spectrogram thông qua quá trình khuếch tán ngược, cho phép kiểm soát linh hoạt sự đánh đổi giữa tốc độ suy luận và độ chính xác âm học.

Thứ hai, mạng đối nghịch tạo sinh (Generative Adversarial Networks - GAN) với hai biến thể chuyên biệt: mô hình HiFi-GAN đóng vai trò bộ phát âm thần kinh (neural vocoder) chuyển đổi Mel-spectrogram thành sóng âm thanh trực tiếp thông qua bộ phân biệt đa chu kỳ (Multi-Period Discriminator - MPD) và đa tỷ lệ (Multi-Scale Discriminator - MSD); và kiến trúc StarGANv2-VC thực hiện chuyển đổi giọng nói không cần ngữ liệu song song (non-parallel voice conversion) bằng cách phân tách đặc trưng nội dung, tần số cơ bản F0 và phong cách người nói.

Thứ ba, các khái niệm xử lý âm thanh số nền tảng bao gồm biểu diễn Mel-spectrogram qua thang đo Mel Scale và Decibel Scale, cùng cơ chế căn chỉnh đơn điệu (Monotonic Alignment Search - MAS) giúp ánh xạ tối ưu giữa chuỗi âm vị đầu vào và các khung thời gian âm học.

Phương pháp nghiên cứu

Nghiên cứu sử dụng tập dữ liệu thực nghiệm gồm 12 giờ âm thanh tiếng Bahnar chuẩn hóa, tương đương hơn 3.200 câu thoại được thu âm từ người bản ngữ với tần số lấy mẫu 22.050 Hz và độ sâu 16-bit.

Phương pháp chọn mẫu áp dụng là kỹ thuật lấy mẫu phân tầng theo độ phủ âm vị (phoneme-balanced sampling), đảm bảo bao quát 100% các tổ hợp phụ âm đầu, nguyên âm ngắn, nguyên âm dài và các đặc trưng thanh học đặc thù của tiếng Bahnar.

Lý do lựa chọn phương pháp phân tích kết hợp giữa mô hình khuếch tán và mạng sinh đối nghịch là nhằm khắc phục triệt để hiện tượng vấp âm, méo tiếng khi huấn luyện trên tập dữ liệu nhỏ dưới 15 giờ. Quá trình tiền xử lý bao gồm loại bỏ nhiễu nền, chuẩn hóa biên độ âm lượng về ngưỡng âm 3 dB, xây dựng bảng chuyển đổi văn bản sang âm vị chuyên biệt và trích xuất 80 chiều đặc trưng Mel-spectrogram. Quá trình huấn luyện thực nghiệm được thực hiện liên tục trong 16 tuần trên hệ thống máy chủ tính toán GPU hiệu năng cao.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Thực nghiệm cho thấy mô hình tích hợp BN-TTS-VC mang lại sự vượt trội rõ rệt về mọi chỉ số âm học so với các phương pháp truyền thống trên tập ngữ liệu tiếng Bahnar:

Chất lượng giọng đọc được đo lường qua thang điểm đánh giá ý kiến trung bình (Mean Opinion Score - MOS) đạt 4.08 trên 5.0 điểm, thu hẹp khoảng cách chỉ còn kém 0.22 điểm so với giọng thu âm thực tế của người bản xứ (đạt 4.30 điểm) và cao hơn 21.4% so với mô hình tham chiếu Tacotron2 thông thường.

Hiệu năng tính toán của Grad-TTS đạt bước tiến lớn khi chỉ cần 10 bước khuếch tán ngược (Grad-TTS-10) là đã đạt chất lượng âm thanh tương đương 98.7% so với khi chạy 1.000 bước (Grad-TTS-1000), trong khi tốc độ tạo sóng âm tăng gấp 85 lần, đáp ứng yêu cầu xử lý thời gian thực.

Bộ phát âm HiFi-GAN sau khi được tinh chỉnh riêng trên tập dữ liệu tiếng Bahnar (HiFi-GAN-BN) giúp giảm 26.5% độ méo phổ quang học (spectral distortion) và loại bỏ hoàn toàn các tạp âm kim loại so với việc sử dụng bộ phát âm đa ngôn ngữ chưa tinh chỉnh.

Kỹ thuật StarGANv2-VC chuyển đổi thành công sắc thái âm điệu đặc trưng của người Bahnar với độ chính xác nhận diện người nói đạt trên 91.2%, ngay cả khi tập huấn luyện phong cách chỉ có 20 phút âm thanh mẫu.

Thảo luận kết quả

Khi phân tích kết quả qua biểu đồ nhiệt Mel-spectrogram, dữ liệu phản ánh rõ ràng sự liền mạch ở các vùng chuyển tiếp formant giữa phụ âm và nguyên âm đặc thù của tiếng Bahnar. Bảng so sánh điểm MOS giữa các cấu hình cho thấy đường cong chất lượng tăng mạnh từ 4 bước khuếch tán lên 10 bước, sau đó tiệm cận trạng thái bão hòa từ bước thứ 50 trở đi.

Nguyên nhân chính giúp mô hình đạt hiệu năng cao là nhờ cơ chế khuếch tán điểm số khử nhiễu từng phần, giúp tái tạo cấu trúc hài hòa của sóng âm mà không bị phụ thuộc quá mức vào kích thước bộ dữ liệu. So với các nghiên cứu tổng hợp tiếng Việt hoặc tiếng Anh trước đây, việc áp dụng thành công StarGANv2-VC giúp hệ thống bảo tồn trọn vẹn ngữ điệu bản địa mà không cần ghi âm lại toàn bộ kho ngữ liệu cho từng giọng đọc mới. Đây là bước đột phá kỹ thuật có ý nghĩa then chốt đối với bài toán xử lý tiếng nói các dân tộc thiểu số.

Đề xuất và khuyến nghị

Nhằm hoàn thiện và đưa kết quả nghiên cứu vào ứng dụng thực tiễn sâu rộng, luận văn đề xuất 4 nhóm giải pháp chiến lược:

Mở rộng cơ sở dữ liệu ngữ âm tiếng Bahnar lên quy mô tối thiểu 40 giờ trong vòng 12 tháng tới. Cơ quan văn hóa địa phương phối hợp cùng các viện nghiên cứu tiến hành thu thập mẫu giọng từ ít nhất 30 người nói đại diện cho các vùng phương ngữ khác nhau, hướng đến mục tiêu nâng chỉ số MOS trung bình đạt mốc 4.35 điểm.

Tối ưu hóa kiến trúc mạng nơ-ron để giảm 45% kích thước trọng số mô hình và giảm 35% độ trễ tính toán trong vòng 6 tháng. Đội ngũ kỹ sư phần mềm thực hiện lượng tử hóa mô hình (quantization) nhằm triển khai giải pháp trực tiếp trên các thiết bị di động và máy tính nhúng mà không cần kết nối máy chủ đám mây.

Chuẩn hóa bộ công cụ chuyển đổi văn bản sang âm vị (G2P) tự động cho hơn 15.000 từ vựng tiếng Bahnar trong thời hạn 9 tháng. Các chuyên gia ngôn ngữ học cùng nhóm nghiên cứu trí tuệ nhân tạo sẽ tích hợp các quy tắc ngữ âm học cổ truyền với mô hình học máy để xử lý triệt để các biến thể từ vựng vay mượn.

Ứng dụng thử nghiệm hệ thống vào các nền tảng phát thanh cộng đồng và sách giáo khoa điện tử tại 5 huyện thuộc khu vực Tây Nguyên trong vòng 18 tháng. Mục tiêu giúp hơn 50.000 học sinh và người dân bản địa tiếp cận tin tức, kiến thức y tế và bài giảng song ngữ một cách trực quan, chính xác.

Đối tượng nên tham khảo luận văn

Luận văn mang lại giá trị học thuật và ứng dụng thực tiễn cao cho 4 nhóm đối tượng chính:

Nhóm nghiên cứu và chuyên gia Trí tuệ nhân tạo, Xử lý ngôn ngữ tự nhiên: Cung cấp tài liệu tham khảo chuyên sâu về phương pháp kết hợp mô hình khuếch tán Grad-TTS, GAN và Voice Conversion cho các ngôn ngữ nghèo tài nguyên.

Kỹ sư phát triển phần mềm và doanh nghiệp công nghệ giáo dục (EdTech): Tận dụng quy trình xây dựng pipeline âm thanh và kiến trúc HiFi-GAN tối ưu để tích hợp tính năng đọc văn bản tự động vào ứng dụng học tập song ngữ và trợ lý ảo.

Cơ quan quản lý nhà nước và tổ chức văn hóa, bảo tồn di sản: Sử dụng làm tài liệu định hướng công nghệ trong các đề án số hóa tiếng nói, bảo tồn ngôn ngữ và phát triển truyền thông đa phương tiện cho cộng đồng các dân tộc thiểu số Việt Nam.

Giảng viên, học viên cao học và sinh viên ngành Khoa học Máy tính: Nắm bắt phương pháp luận nghiên cứu thực nghiệm, kỹ thuật xử lý tín hiệu âm thanh số từ cơ bản đến nâng cao cùng cách thức giải quyết bài toán tối ưu hóa dữ liệu hạn chế.

Câu hỏi thường gặp

Hệ thống tổng hợp giọng nói tiếng Bahnar giải quyết thách thức thiếu dữ liệu như thế nào? Hệ thống sử dụng mô hình khuếch tán Grad-TTS kết hợp thuật toán căn chỉnh MAS và mô hình chuyển đổi giọng nói StarGANv2-VC. Sự kết hợp này cho phép mô hình học các biểu diễn âm học tổng quát và thích ứng nhanh chỉ với khoảng 12 giờ dữ liệu thu âm, thay vì cần hàng trăm giờ như các mô hình truyền thống.

Chỉ số MOS đạt 4.08 trên thang điểm 5.0 phản ánh chất lượng âm thanh ở mức độ nào? Điểm số 4.08 là mức đánh giá xuất sắc trong xử lý giọng nói, biểu thị âm thanh có độ tự nhiên cao, phát âm rõ ràng, không bị giật cục và rất gần với giọng đọc thực tế của người bản ngữ (đạt 4.30 điểm), vượt qua ngưỡng nghe hiểu thông thường để đạt chuẩn thương mại.

Sự khác biệt khi sử dụng Grad-TTS 10 bước so với 1.000 bước là gì? Thực nghiệm chứng minh Grad-TTS với 10 bước khuếch tán ngược giúp giảm 99% thời gian tính toán so với cấu hình 1.000 bước, trong khi chất lượng âm thanh vẫn duy trì được trên 98.7%, tạo điều kiện tối ưu để hệ thống vận hành theo thời gian thực trên các thiết bị phổ thông.

Tại sao cần tinh chỉnh riêng mô hình HiFi-GAN cho tiếng Bahnar? Mô hình HiFi-GAN gốc được huấn luyện trên dữ liệu tiếng Anh nên không tái tạo chính xác các dải tần số và âm sắc đặc thù của tiếng Bahnar. Việc tinh chỉnh tạo ra phiên bản HiFi-GAN-BN giúp giảm 26.5% độ méo phổ quang học và tái tạo âm thanh sắc nét, trung thực.

Hệ thống có khả năng mở rộng cho các ngôn ngữ dân tộc thiểu số khác tại Việt Nam không? Hoàn toàn có khả năng. Quy trình xử lý dữ liệu âm thanh, trích xuất đặc trưng âm vị và kiến trúc kết hợp BN-TTS-VC trong luận văn là một khung làm việc tổng quát, có thể chuyển giao và áp dụng trực tiếp cho các ngôn ngữ như Ê-đê, Gia-rai, Chăm hoặc Mường.

Kết luận

Công trình nghiên cứu luận văn thạc sĩ về tổng hợp giọng nói cho tiếng Bahnar đã đạt được các đóng góp nổi bật:

• Xây dựng thành công bộ ngữ liệu chuẩn hóa gồm 12 giờ âm thanh và hệ thống âm vị hoàn chỉnh cho tiếng Bahnar phục vụ nghiên cứu học sâu.
• Đề xuất kiến trúc lai BN-TTS-VC kết hợp hoàn hảo giữa Grad-TTS, StarGANv2-VC và HiFi-GAN, giải quyết triệt để bài toán khan hiếm dữ liệu.
• Đạt chất lượng giọng đọc tự nhiên vượt trội với điểm MOS 4.08/5.0, đáp ứng tiêu chuẩn tổng hợp âm thanh thời gian thực chỉ với 10 bước suy luận.
• Định hình lộ trình 18 tháng mở rộng tập dữ liệu lên 40 giờ và triển khai thử nghiệm ứng dụng phát thanh, giáo dục tại 5 huyện Tây Nguyên.
• Đóng góp một giải pháp công nghệ thiết thực cho nỗ lực bảo tồn di sản văn hóa phi vật thể và thu hẹp khoảng cách số cho các dân tộc thiểu số.

Hãy kết nối và tham khảo toàn văn công trình nghiên cứu tại Thư viện Trường Đại học Bách khoa – ĐHQG-HCM để cùng chung tay thúc đẩy ứng dụng trí tuệ nhân tạo phục vụ cộng đồng và phát triển công nghệ ngôn ngữ nước nhà.

Trích đoạn nội dung tài liệu

Chương 1, GIỚI THIỆU ĐỀ TÀI: trình bày tổng quan về đề tài, lý do thực hiện đề tài và ý nghĩa thực tiễn của bài toán, cũng như giới hạn và phạm vi của đề tài. Cuối cùng là nhiệm vụ và cấu trúc của luận văn. – Chương 2, CƠ SỞ LÝ THUYẾT: tổng hợp những vấn đề học thuật liên quan nhất sẽ áp dụng để giải quyết bài toán, tập trung chủ yếu vào nội dung của học sâu, từ Mạng nơ ron nhân tạo (Artificial Neural Network), Mạng đối nghịch (Generative Adversarial Networks) và các kiến thức liên quan. – Chương 3, CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN: trình bày một cách tổng quát về những nghiên cứu liên quan đã và đang được thực hiện, cũng như xu hướng chung hiện nay trong việc giải quyết bài toán.

Phần này cũng đưa ra những bàn luận và đánh giá cho các phương pháp kể trên vì đó là cơ sở quan trọng cho những nghiên cứu của học viên trong quá trình thực hiện luận văn. – Chương 4, MÔ HÌNH ĐỀ XUẤT: giới thiệu mô hình cơ sở cho bài toán. Đồng thời đưa ra các cải tiến và động lực cho các đề xuất đó. Cuối cùng, học viên trình bày các bước tiến hành thí nghiệm trên những tập dữ liệu khác nhau và đánh giá kết quả của những cải tiến so với mô hình cơ sở.

– Chương 5, KẾT LUẬN: tổng hợp các kết quả đạt được trong quá trình thực hiện luận văn từ bước nghiên cứu và xây dựng giả thuyết đến triển khai thực nghiệm. Phần này cũng trình bày những hạn chế và vấn đề tồn đọng, cuối cùng đề xuất các giải pháp cải tiến trong tương lai. 5 Mục lục, Danh sách hình vẽ, Danh sách bảng, Thuật ngữ và từ viết tắt được cung cấp ở đầu luận văn. Tài liệu tham khảo sẽ được trình bày ở cuối luận văn.

6 Chương 2 CƠ SỞ LÝ THUYẾT 2.1 Mel-spectrogram Audio Data có được bằng cách lấy mẫu từ Sound Analog Signal theo một chu kỳ thời gian và đo đặc giá trị của biên độ tại mỗi thời điểm lấy mẫu đó. Audio Data được lưu lại thành file theo một trong các định dạng nén (. Khi đọc lên bằng các thư viện xử lý, nó được giải nén và chuyển thành một Numpy Array. Mảng dữ liệu này là giống nhau cho dù Audio Data được lưu dưới bất kỳ định dạng nào.

Trong bộ nhớ, Audio có thể coi là một chuỗi các giá trị của biên độ theo thời gian. Ví dụ, nếu tần số lấy mẫu là 16800Hz thì cứ 1s Audio sẽ có 16800 giá trị biên độ. Khoảng giá trị của biên độ được quy định bởi thông số bit-length. Ví dụ, bit-length bằng 16 có nghĩa là biên độ có thể có giá trị trong khoảng từ 0 đến 15.

Bit-length càng lớn thì chất lượng của Audio càng tốt. Đây là dạng nguyên thủy của spectrogram và chúng ta không thể thấy rõ được các thông tin về tần số, biên độ mà spectrogram thể hiện. Điều này được giải thích là do khả năng nhận thức âm thanh của con người. Hầu hết những âm thanh mà chúng ta nghe được đều tập trung xung quanh một dải tần số và biên độ khá hẹp.

7 Để giải quyết vấn đề này, spectrogram được chuyển sang một dạng mới, gọi là mel-spectrogram mà ở đó: • Tần số được thay thế bằng giá trị logarithmic của nó, gọi là Mel Scale. • Biên độ được thay thế bằng giá trị logarithmic của nó, gọi là Decibel Scale.1: Ảnh mel-spectrogram của âm thanh [1] 2.2 Mô hình Artificial Neural Network - ANN Mô hình Artificial Neural Network - ANN (Mạng nơ-ron nhân tạo) [2] là mô hình tính toán được xây dựng lấy ý tưởng từ cấu trúc và cách hoạt động của mạng nơ-ron thần kinh trong não người nhằm thực hiện một tác vụ nào đó với tập thông tin đầu vào. Một mạng nơ-ron thần kinh được tạo nên từ nhiều nơ-ron sinh học kết nối và hoạt động cùng nhau. Chúng hoạt động bằng cách tiếp nhận các thông tin đưa vào từ các đuôi gai (dendrite), tính toán và tổng hợp tại thân nơ-ron (cell body), sau đó lan truyền kết quả đến các nơ-ron khác thông qua sợi trục (axon).

Có thể dễ dàng rút ra nhận xét rằng nơ-ron sinh học nhận nhiều thông tin đầu vào nhưng chỉ đưa ra một kết quả duy nhất thông qua quá trình xử lý trung gian phức tạp. 8 Tương tự như cách thức hoạt động nêu trên của mạng nơ-ron thần kinh, ANN cũng được cấu thành từ nhiều nơ-ron được gọi là perceptron có cấu trúc như Hình 2., xn lần lượt là các biến đại diện cho dữ liệu đầu vào. – phép cộng (summation) và hàm kích hoạt (activation function) là các phép tính toán và tổng hợp các thông tin dữ liệu đầu vào., wn là các trọng số cần phải học, đóng vai trò tham gia quá trình tính toán và chuyển đổi các thông tin đầu vào thành thông tin đầu ra. – y là output của tiến trình, đại diện cho dữ liệu đầu ra.2: Cấu trúc của một Perceptron Cụ thể hơn, phương thức tính toán và tổng hợp dữ liệu của một perceptron được mô tả theo từng bước sau: 1.

Perceptron thực hiện phép cộng bằng cách tính tổng giá trị tất cả các tích số của từng cặp dữ liệu đầu vào và giá trị trọng số tương ứng: n X a= w i xi + w 0 (2. Kết quả a của phép cộng được đưa qua một hàm kích hoạt phi tuyến như Sigmoid, Tanh, ReLU, LeakyReLU được minh họa ở Hình 2.3: Các hàm phi tuyến được sử dụng trong Perceptron 3. Sau đó, perceptron thực hiện phép so sánh giá trị nhận được từ hàm kích hoạt f(a) với một giá trị ngưỡng (threshold ) cho trước nhằm xác định giá trị đầu ra ŷ như là tín hiệu kích hoạt của perceptron.2) 0 iff (a) < threshold Bằng cách kết hợp nhiều perceptron với nhau sẽ tạo nên cấu trúc mô hình mạng ANN. Mạng ANN bao gồm nhiều perceptron như là các nút mạng tính toán làm tăng tính phức tạp cũng như khả năng học cho mạng, các perceptron đó hình thành nên các tầng như sau: – Tầng đầu vào (input layer): là tầng đầu tiên, thể hiện các dữ liệu đầu vào của mô hình.

– Tầng ẩn (hidden layer): là tầng nằm giữa gồm các phép tính toán nhằm chuyển đổi dữ liệu đầu vào sang dữ liệu đầu ra. 10 – Tầng kết quả (output layer): là tầng cuối cùng thể hiện dữ liệu đầu ra của mạng. Số lượng tầng ẩn trong mô hình ANN là không giới hạn và được xác định tùy thuộc vào bài toán cần giải quyết. Đặc biệt, khi số lượng tầng ẩn lớn hơn 1 thì mô hình ANN được gọi là mô hình Học sâu (Deep learning).3 Mạng tích chập Convolutional Neural Net- work - CNN Mạng tích chập có 02 phần chính: Lớp trích lọc đặc trưng của ảnh (Conv, Relu và Pool) và Lớp phân loại (FC và softmax).

Đầu vào (dữ liệu training): Hình 2.4: Mô hình CNN cơ bản • Input đầu vào là một bức ảnh được biểu diển bởi ma trận pixel với kích thước: [w × h × d] • W: chiều rộng • H: chiều cao • D: Là độ sâu, hay dễ hiểu là số lớp màu của ảnh. Ví dụ ảnh RBG sẽ là 3 lớp ảnh Đỏ, Xanh Dương, Xanh. Conv Layer: Mục tiêu của các lớp tích chập là trích chọn các đặc trưng của ảnh đầu vào. Ảnh đầu vào được cho qua một bộ lọc chạy dọc bức ảnh.

Bộ lọc có 11 kích thước là m × n và áp dụng phép tích vô hướng để tính toán, cho ra một giá trị duy nhất. Đầu ra của phép tích chập là một tập các giá trị ảnh được gọi là mạng đặc trưng (features map). Phép tích chập đơn giản là phép tìm biên ảnh. Sau khi cho qua bộ lọc nó sẽ làm hiện lên các đặc trưng của đối tượng trong ảnh như đường vẽ xung quanh đối tượng, các góc cạnh,v., và các layer tiếp theo sẽ lại trích xuất tiếp các đặc trưng của đặc trưng của các đối tượng đó, việc có nhiều layer như vậy cho phép chúng ta chia nhỏ đặc trưng của ảnh tới mức nhỏ nhất có thể.

ReLU Layer: ReLU layer áp dụng các kích hoạt (activation function) max(0,x) lên đầu ra của Conv Layer, có tác dụng đưa các giá trị âm về thành 0. Layer này không thay đổi kích thước của ảnh và không có thêm bất kì tham số nào. Mục đích của lớp ReLu là đưa ảnh một mức ngưỡng, ở đây là 0. Để loại bỏ các giá trị âm không cần thiết mà có thể sẽ ảnh hưởng cho việc tính toán ở các layer sau đó.

Pool Layer: Pool Layer thực hiện chức năng làm giảm chiều không gian của đầu và giảm độ phức tạp tính toán của model ngoài ra Pool Layer còn giúp kiểm soát hiện tượng overffiting. Thông thường, Pool layer có nhiều hình thức khác nhau phù hợp cho nhiều bài toán, tuy nhiên Max Pooling là được sử dụng nhiều vào phổ biến hơn cả với ý tưởng cũng rất sát với thực tế con người đó là: Giữ lại chi tiết quan trọng hay hiểu ở trong bài toán này chính giữ lại pixel có giá trị lớn nhất. Fully Connected Layer (FC): Tên tiếng việt là Mạng liên kết đầy đủ. Tại lớp mạng này, mỗi một nơ-ron của layer này sẽ liên kết tới mọi nơ-ron của lớp khác.

Để đưa ảnh từ các layer trước vào mạng này, buộc phải dàn phẳng bức ảnh ra thành 1 vector thay vì là mảng nhiều chiều như trước. Tại layer cuối cùng sẽ sử dụng 1 hàm kinh điển trong học máy softmax để phân loại đối tượng dựa vào vector đặc trưng đã được tính toán của các lớp trước đó.4 Mô hình mạng Generative Adversarial Net- works Generative Adversarial Networks [3] hay còn gọi Mạng đối nghịch tạo sinh (GAN) là một kiến trúc học sâu. GAN đào tạo hai mạng neuron cạnh tranh với nhau nhằm tạo ra dữ liệu mới xác thực hơn từ một tập dữ liệu đào tạo nhất định. GAN được gọi là đối nghịch vì đào tạo hai mạng khác nhau và để hai mạng này cạnh tranh với nhau.

Một mạng tạo ra dữ liệu mới bằng cách lấy mẫu dữ liệu đầu vào và sửa đổi mẫu đó nhiều nhất có thể. Mạng còn lại cố gắng dự đoán liệu đầu ra dữ liệu được tạo có thuộc tập dữ liệu ban đầu hay không. Nói cách khác, mạng dự đoán sẽ xác định liệu dữ liệu được tạo là dữ liệu giả hay thật. Hệ thống tạo ra các phiên bản giá trị dữ liệu giả mới hơn và được cải thiện cho đến khi mạng dự đoán không thể phân biệt được dữ liệu giả và dữ liệu gốc nữa.

Có nhiều loại mô hình GAN khác nhau, tùy thuộc vào công thức toán học được Hình 2.