Nghiên Cứu Tổng Hợp Giọng Nói Cho Ngôn Ngữ Thiếu Tài Nguyên: Ứng Dụng Đặc Biệt Cho Ngôn Ngữ Mường

Nghiên cứu tổng hợp tiếng nói cho ngôn ngữ ít nguồn tài nguyên, ứng dụng thích nghi cho tiếng Mường, mở ra hướng phát triển mới trong công nghệ.

• Tác giả: Pham Van Dong
• Người hướng dẫn: Dr. Mạc Đăng Khoa
• Trường học: Hanoi University of Science and Technology
• Chuyên ngành: Speech Synthesis
• Đề tài: Công Nghệ Tổng Hợp Giọng Nói Cho Ngôn Ngữ Thiếu Tài Nguyên: Ứng Dụng Cho Ngôn Ngữ Mường
• Loại tài liệu: thesis
• Năm xuất bản: 2023
• Địa điểm: Hanoi

Mục lục chi tiết

• DECLARATION OF AUTHORSHIP
• ACKNOWLEDGMENT
• ABSTRACT
• CONTENT
• 1. PART 1: BACKGROUND AND RELATED WORKS
• 1.1. OVERVIEW OF SPEECH SYNTHESIS AND SPEECH SYNTHESIS FOR LOW-RESOURCED LANGUAGE
• 1.2. VIETNAMESE AND MUONG LANGUAGE
• 2. PART 2: SPEECH SYNTHESIS FOR MUONG AS A WRITTEN LANGUAGE
• 2.1. EMULATING OF THE MUONG TTS BASED ON INPUT TRANSFORMATION OF THE VIETNAMESE TTS
• 2.2. CROSS-LINGUAL TRANSFER LEARNING FOR MUONG SPEECH SYNTHESIS
• 3. PART 3: SPEECH SYNTHESIS FOR MUONG AS AN UNWRITTEN LANGUAGE
• 3.1. GENERATE UNWRITTEN LOW-RESOURCED LANGUAGE’S SPEECH DIRECTLY FROM RICH-RESOURCE LANGUAGE’S TEXT
• 3.2. SPEECH SYNTHESIS FOR UNWRITTEN LOW-RESOURCED LANGUAGE USING INTERMEDIATE REPRESENTATION
• 3.3. Conclusion and comparison
• CONCLUSION AND FUTURE WORKS
• ABBREVIATIONS
• LIST OF TABLES
• LIST OF FIGURES

Tóm tắt

I. Tổng Quan Công Nghệ Tổng Hợp Giọng Nói TTS Cho Ngôn Ngữ Mường

Công nghệ tổng hợp giọng nói (TTS), hay còn gọi là Text-to-Speech, là quá trình tự động chuyển đổi văn bản thành lời nói. Thông thường, để xây dựng hệ thống TTS chất lượng cao, cần thu thập hàng chục giờ thu âm từ giọng nói của người đọc chuyên nghiệp, sử dụng micro chất lượng cao. Hiện nay có khoảng 7.000 ngôn ngữ trên toàn thế giới, nhưng chỉ một số ít, như tiếng Anh, tiếng Tây Ban Nha, tiếng Quan Thoại và tiếng Nhật, được sử dụng hiệu quả trong các hệ thống TTS. Những ngôn ngữ "ít tài nguyên" hoặc thậm chí chưa có chữ viết, thường thiếu các hệ thống TTS. Vì vậy, việc nghiên cứu các phương pháp TTS khác là cần thiết để áp dụng công nghệ này cho các ngôn ngữ ít tài nguyên. Nghiên cứu của Pham Van Dong tập trung vào việc phát triển công nghệ TTS cho tiếng Mường, một ngôn ngữ ít tài nguyên ở Việt Nam. Mục tiêu là tạo ra một hệ thống TTS có khả năng chuyển đổi văn bản (hoặc biểu diễn trung gian) thành lời nói tự nhiên bằng tiếng Mường.

1.1. Giới Thiệu Khái Niệm Tổng Hợp Giọng Nói Text to Speech

Tổng hợp giọng nói (TTS) là công nghệ chuyển đổi văn bản thành lời nói, đóng vai trò quan trọng trong tương tác người-máy. Các hệ thống tương tác bằng giọng nói hiện đại như Siri, Google Assistant và Alexa đều dựa vào TTS để giao tiếp với người dùng. Để xây dựng một hệ thống TTS hiệu quả, cần nghiên cứu không chỉ các kỹ thuật xử lý giọng nói mà còn cả ngôn ngữ học, bao gồm ngữ âm, âm vị học, cú pháp và ngữ pháp. Sự phát triển của TTS cho phép người dùng tương tác với thiết bị bằng giọng nói một cách tự nhiên, mở ra nhiều ứng dụng trong các lĩnh vực khác nhau.

1.2. Vấn Đề Với Ngôn Ngữ Thiếu Tài Nguyên Trong Tổng Hợp Giọng Nói

Trong số hàng ngàn ngôn ngữ trên thế giới, chỉ một số ít có đủ nguồn lực để phát triển hệ thống TTS chất lượng cao. Các ngôn ngữ "ít tài nguyên" thường thiếu dữ liệu văn bản và giọng nói, cũng như các nghiên cứu ngôn ngữ học liên quan. Điều này gây ra những thách thức lớn trong việc xây dựng các hệ thống TTS cho các ngôn ngữ này. Các phương pháp machine learning dựa trên dữ liệu lớn không thể áp dụng trực tiếp cho các ngôn ngữ ít tài nguyên, đặc biệt là những ngôn ngữ chưa có chữ viết. Vì vậy, cần có các phương pháp tiếp cận khác để giải quyết vấn đề này. Nghiên cứu của Pham Van Dong nhắm đến việc giải quyết vấn đề này bằng cách phát triển các phương pháp TTS phù hợp cho tiếng Mường.

II. Thách Thức Xây Dựng TTS Cho Tiếng Mường Giải Pháp Đột Phá

Tiếng Mường là một ngôn ngữ thuộc ngữ hệ Nam Á, có quan hệ gần gũi với tiếng Việt và là một trong năm nhóm dân tộc có dân số lớn nhất ở Việt Nam. Tuy nhiên, tiếng Mường vẫn chưa có chữ viết chính thức, là một đại diện điển hình của ngôn ngữ ít tài nguyên ở Việt Nam. Vì vậy, việc nghiên cứu các công nghệ TTS để tạo ra TTS cho tiếng Mường là một thách thức lớn. Thách thức này đến từ sự khan hiếm dữ liệu, thiếu nguồn tài liệu ngôn ngữ và các đặc điểm ngữ âm phức tạp của tiếng Mường. Nghiên cứu của Pham Van Dong khám phá các phương pháp khác nhau để vượt qua những thách thức này, bao gồm sử dụng TTS tiếng Việt hiện có để mô phỏng tiếng Mường và áp dụng các kỹ thuật transfer learning.

2.1. Đặc Điểm Ngôn Ngữ Tiếng Mường Và Sự Thiếu Hụt Tài Nguyên

Tiếng Mường, một ngôn ngữ thuộc ngữ hệ Nam Á, chia sẻ nhiều điểm tương đồng với tiếng Việt, nhưng vẫn còn thiếu các nguồn tài nguyên cần thiết để phát triển các ứng dụng công nghệ ngôn ngữ, đặc biệt là TTS. Sự thiếu hụt này bao gồm dữ liệu văn bản, dữ liệu âm thanh và các nghiên cứu ngôn ngữ học chi tiết. Do đó, việc xây dựng một hệ thống TTS cho tiếng Mường đòi hỏi các phương pháp tiếp cận sáng tạo và hiệu quả để tận dụng tối đa các nguồn lực hạn chế hiện có. Nghiên cứu này của Pham Van Dong tập trung vào việc giải quyết vấn đề này.

2.2. Các Phương Pháp Tiếp Cận Ban Đầu Mô Phỏng và Chuyển Giao Học Tập

Để vượt qua những thách thức về tài nguyên, nghiên cứu của Pham Van Dong đã khám phá hai phương pháp chính: mô phỏng và chuyển giao học tập. Phương pháp mô phỏng sử dụng hệ thống TTS tiếng Việt hiện có để tạo ra giọng nói tiếng Mường bằng cách chuyển đổi văn bản tiếng Mường thành văn bản tiếng Việt tương ứng. Phương pháp chuyển giao học tập tận dụng kiến thức đã học được từ dữ liệu tiếng Việt để huấn luyện một mô hình TTS cho tiếng Mường. Cả hai phương pháp đều có những ưu điểm và hạn chế riêng, và nghiên cứu này đánh giá hiệu quả của từng phương pháp trong việc tạo ra giọng nói tiếng Mường chất lượng cao.

III. Giải Pháp TTS Cho Tiếng Mường Chuyển Đổi Văn Bản Giọng Nói

Nghiên cứu này tập trung vào hai nhóm ngôn ngữ ít tài nguyên chính: (1) Ngôn ngữ có chữ viết: Sử dụng phương pháp mô phỏng để giả lập cách đọc tiếng Mường bằng cách sử dụng TTS tiếng Việt và transfer learning đa ngôn ngữ. (2) Ngôn ngữ không có chữ viết: Thử nghiệm với adaptation theo hai hướng. Thứ nhất là tạo ra tổng hợp giọng nói tiếng Mường trực tiếp từ văn bản tiếng Việt và giọng nói tiếng Mường. Thứ hai là tạo ra tổng hợp giọng nói tiếng Mường từ bản dịch thông qua biểu diễn trung gian. Các giải pháp này đều hướng đến mục tiêu tạo ra một hệ thống TTS hiệu quả cho tiếng Mường, bất kể có chữ viết hay không.

3.1. TTS Dựa Trên Mô Phỏng và Chuyển Giao Học Tập Đa Ngôn Ngữ

Với tiếng Mường có chữ viết (ví dụ, phương ngữ Hòa Bình), nghiên cứu sử dụng phương pháp mô phỏng, tận dụng hệ thống TTS tiếng Việt hiện có. Văn bản tiếng Mường được chuyển đổi thành văn bản tiếng Việt tương ứng, sau đó được đưa vào hệ thống TTS tiếng Việt để tạo ra giọng nói. Ngoài ra, transfer learning đa ngôn ngữ cũng được áp dụng để cải thiện chất lượng giọng nói bằng cách tận dụng dữ liệu từ các ngôn ngữ khác. Phương pháp này giúp giảm bớt nhu cầu về dữ liệu tiếng Mường, đồng thời tận dụng các nguồn tài nguyên hiện có.

3.2. TTS Dựa Trên Adaptation Cho Ngôn Ngữ Không Chữ Viết

Đối với tiếng Mường không có chữ viết (ví dụ, phương ngữ Phú Thọ), nghiên cứu tập trung vào phương pháp adaptation. Hai hướng tiếp cận chính được sử dụng: (1) Tạo ra giọng nói tiếng Mường trực tiếp từ văn bản tiếng Việt và dữ liệu giọng nói tiếng Mường. (2) Tạo ra giọng nói tiếng Mường từ bản dịch thông qua biểu diễn trung gian. Hướng tiếp cận thứ hai cho phép mô hình học được mối quan hệ giữa văn bản tiếng Việt và âm thanh tiếng Mường, từ đó tạo ra giọng nói tiếng Mường tự nhiên hơn.

IV. Ứng Dụng TTS Tiếng Mường Kết Quả Thực Nghiệm Và Đánh Giá MOS

Nghiên cứu thực hiện các thử nghiệm khác nhau trong việc tạo ra TTS cho ngôn ngữ ít tài nguyên; cụ thể, thử nghiệm với tiếng Mường. Các thử nghiệm được đánh giá bằng phương pháp MOS (Mean Opinion Score) và ANOVA (Analysis of Variance) để so sánh hiệu quả của các phương pháp khác nhau. Kết quả cho thấy rằng các phương pháp được đề xuất có thể tạo ra giọng nói tiếng Mường có chất lượng chấp nhận được, mở ra tiềm năng ứng dụng trong nhiều lĩnh vực khác nhau.

4.1. Đánh Giá Chất Lượng Giọng Nói Bằng Phương Pháp MOS và ANOVA

Để đánh giá chất lượng của các hệ thống TTS tiếng Mường, nghiên cứu sử dụng phương pháp Mean Opinion Score (MOS), trong đó người tham gia đánh giá mức độ tự nhiên và dễ nghe của giọng nói được tạo ra. Phương pháp Analysis of Variance (ANOVA) được sử dụng để phân tích thống kê kết quả MOS và xác định xem có sự khác biệt đáng kể giữa các phương pháp TTS khác nhau hay không. Kết quả đánh giá MOS và ANOVA cung cấp thông tin quan trọng về hiệu quả của từng phương pháp và giúp xác định các hướng cải thiện trong tương lai.

4.2. Phân Tích Kết Quả MOS So Sánh Các Phương Pháp TTS Tiếng Mường

Kết quả đánh giá MOS cho thấy sự khác biệt về chất lượng giữa các phương pháp TTS tiếng Mường khác nhau. Các phương pháp dựa trên transfer learning thường cho kết quả tốt hơn so với phương pháp mô phỏng đơn giản. Ngoài ra, việc sử dụng biểu diễn trung gian trong phương pháp adaptation cũng giúp cải thiện chất lượng giọng nói. Phân tích kết quả MOS cho phép xác định các phương pháp TTS tiềm năng nhất cho tiếng Mường và cung cấp hướng dẫn cho các nghiên cứu trong tương lai.

V. Kết Luận và Hướng Phát Triển TTS Cho Ngôn Ngữ Thiếu Tài Nguyên

Nghiên cứu này đóng góp vào việc phát triển tổng hợp giọng nói cho các ngôn ngữ ít tài nguyên trên toàn thế giới và đóng góp vào cơ sở phát triển tổng hợp giọng nói cho 53 ngôn ngữ dân tộc thiểu số ở Việt Nam. Kết quả cho thấy tiềm năng của các phương pháp transfer learning và adaptation trong việc tạo ra giọng nói chất lượng cao cho các ngôn ngữ thiếu dữ liệu. Nghiên cứu cũng nhấn mạnh tầm quan trọng của việc bảo tồn và phát huy các ngôn ngữ bản địa thông qua công nghệ.

5.1. Tóm Tắt Các Đóng Góp Chính Của Nghiên Cứu Về TTS Tiếng Mường

Nghiên cứu này đã đóng góp vào việc phát triển TTS cho tiếng Mường bằng cách khám phá các phương pháp transfer learning và adaptation hiệu quả. Các phương pháp này đã được chứng minh là có khả năng tạo ra giọng nói tiếng Mường có chất lượng chấp nhận được, mặc dù có những hạn chế về dữ liệu và tài nguyên. Nghiên cứu cũng cung cấp các đánh giá khách quan về hiệu quả của từng phương pháp, giúp các nhà nghiên cứu và phát triển trong tương lai có thể lựa chọn phương pháp phù hợp nhất cho tiếng Mường.

5.2. Hướng Nghiên Cứu Tương Lai Và Ứng Dụng Tiềm Năng Của TTS Tiếng Mường

Trong tương lai, nghiên cứu có thể tập trung vào việc cải thiện chất lượng giọng nói của hệ thống TTS tiếng Mường bằng cách sử dụng các mô hình học sâu phức tạp hơn và thu thập thêm dữ liệu giọng nói. Ngoài ra, có thể nghiên cứu các ứng dụng tiềm năng của TTS tiếng Mường trong các lĩnh vực như giáo dục, truyền thông và du lịch. Việc phát triển TTS tiếng Mường có thể giúp bảo tồn và phát huy ngôn ngữ này, đồng thời tạo ra các cơ hội mới cho cộng đồng người Mường.

VI. Phương Pháp Tạo Biểu Diễn Trung Gian Cho Ngôn Ngữ Không Chữ Viết

Nghiên cứu đề xuất một phương pháp sử dụng biểu diễn trung gian ở cấp độ âm vị để tạo ra TTS cho các ngôn ngữ không chữ viết. Phương pháp này bao gồm việc chuyển đổi văn bản từ một ngôn ngữ giàu tài nguyên (ví dụ: tiếng Việt) thành một chuỗi các âm vị tiếng Mường, sau đó sử dụng mô hình TTS để tạo ra giọng nói từ chuỗi âm vị này. Phương pháp này giúp vượt qua những khó khăn trong việc thu thập và xử lý dữ liệu văn bản cho các ngôn ngữ không chữ viết.

6.1. Mô Hình Chuyển Văn Bản Tiếng Việt Sang Chuỗi Âm Vị Tiếng Mường

Việc chuyển đổi văn bản tiếng Việt sang chuỗi âm vị tiếng Mường là một bước quan trọng trong phương pháp sử dụng biểu diễn trung gian. Mô hình chuyển đổi này cần phải học được mối quan hệ giữa các từ và cụm từ tiếng Việt với các âm vị tương ứng trong tiếng Mường. Nghiên cứu sử dụng các kỹ thuật machine translation và sequence-to-sequence learning để xây dựng mô hình chuyển đổi này.

6.2. Tạo Giọng Nói Tiếng Mường Từ Chuỗi Âm Vị Bằng Mô Hình TTS

Sau khi có được chuỗi âm vị tiếng Mường, mô hình TTS sẽ sử dụng thông tin này để tạo ra giọng nói. Mô hình TTS cần phải được huấn luyện trên dữ liệu giọng nói tiếng Mường và dữ liệu âm vị tương ứng. Nghiên cứu sử dụng các mô hình TTS dựa trên deep learning để tạo ra giọng nói tự nhiên và dễ nghe.

Nội dung chính

Tổng quan nghiên cứu

Thống kê từ ấn bản thứ 25 của tổ chức Ethnologue cho thấy thế giới hiện có 7.151 ngôn ngữ còn tồn tại thuộc 141 ngữ hệ khác nhau, nhưng có tới 2.982 ngôn ngữ hoàn toàn chưa có hệ thống chữ viết chính thức. Để xây dựng một hệ thống tổng hợp tiếng nói (Text-to-Speech - TTS) thương mại chất lượng cao, các kỹ sư thường phải thu thập từ 20 đến 50 giờ dữ liệu âm thanh chuẩn phòng thu của các phát thanh viên chuyên nghiệp cùng khối lượng văn bản song ngữ khổng lồ. Rào cản tài nguyên này khiến công nghệ giọng nói nhân tạo gần như chỉ phục vụ một số ít ngôn ngữ phổ biến như tiếng Anh, tiếng Tây Ban Nha, tiếng Quan Thoại hay tiếng Nhật. Tại Việt Nam, ngoài tiếng Việt là ngôn ngữ phổ thông, cộng đồng 53 dân tộc thiểu số đang đối mặt với nguy cơ mai một ngôn ngữ rất cao do thiếu hụt các công cụ số hóa và lưu trữ âm thanh hiện đại.

Tiếng Mường là một trong những ngôn ngữ thuộc nhóm thiểu số có quy mô dân số đông đảo nhất tại Việt Nam (thuộc top 5 dân tộc thiểu số), có quan hệ cội nguồn gần gũi với tiếng Việt trong ngữ hệ Nam Á (Austroasiatic). Tuy nhiên, tiếng Mường đại diện tiêu biểu cho nhóm ngôn ngữ tài nguyên thấp (low-resourced languages). Ngoại trừ phương ngữ Mường Hòa Bình đã được ban hành bộ chữ viết thử nghiệm vào năm 2016, phần lớn các phương ngữ khác như Mường Tân Sơn tại Phú Thọ hoàn toàn không có hệ thống chữ viết chuẩn mực. Thực trạng này đặt ra bài toán cấp bách: làm thế nào để tạo ra giọng nói nhân tạo chất lượng cao cho một ngôn ngữ vừa thiếu dữ liệu huấn luyện, vừa thiếu hệ thống ký tự văn bản hoàn chỉnh.

Mục tiêu cốt lõi của nghiên cứu là xây dựng và kiểm chứng các giải pháp tổng hợp tiếng nói tiên tiến dành cho ngôn ngữ tài nguyên thấp thông qua cách tiếp cận thích nghi (Adaptation Approach). Nghiên cứu được triển khai gắn liền với nhiệm vụ khoa học công nghệ cấp Nhà nước thuộc Đề tài mã số DLCN.20/17 giai đoạn 2017–2023. Luận văn tập trung giải quyết toàn diện hai bài toán: tổng hợp tiếng nói cho tiếng Mường có chữ viết (phương ngữ Mường Bi, Hòa Bình) và tiếng Mường không có chữ viết (phương ngữ Mường Tân Sơn, Phú Thọ). Các giải pháp đề xuất hướng tới việc tối ưu hóa thang điểm đánh giá chất lượng MOS vượt mốc 3.80/5.00 điểm, giảm thiểu sai số méo phổ Mel dưới 4.5 dB, qua đó thiết lập nền tảng công nghệ vững chắc phục vụ phát thanh song ngữ tự động và bảo tồn di sản văn hóa phi vật thể tại Việt Nam.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự tích hợp của ba trụ cột lý thuyết nền tảng trong lĩnh vực trí tuệ nhân tạo và xử lý ngôn ngữ tự nhiên:

Thứ nhất là lý thuyết tổng hợp tiếng nói theo tham số thống kê (Statistical Parametric Speech Synthesis - SPSS) kết hợp với kiến trúc mạng nơ-ron học sâu đầu-cuối (End-to-End Deep Neural Networks). Các mô hình hiện đại như Tacotron 2 và mô-đun sinh sóng âm HiFi-GAN, WaveGlow được khai thác để ánh xạ trực tiếp chuỗi đặc trưng ngôn ngữ sang phổ sóng âm Mel-spectrogram ở tần số lấy mẫu 16.000 Hz, khắc phục hoàn toàn nhược điểm gián đoạn âm thanh của phương pháp ghép nối đơn vị âm (Unit Selection) truyền thống.

Thứ hai là lý thuyết học chuyển giao liên ngôn ngữ (Cross-lingual Transfer Learning) và mạng biến đổi ngữ âm (Phonetic Transformation Network - PTN). Lý thuyết này chỉ ra rằng các ngôn ngữ có cùng nguồn gốc họ hàng thường chia sẻ không gian cấu âm, đặc trưng thanh điệu và cơ quan phát âm của con người. Do đó, một mô hình âm học được huấn luyện trước trên ngôn ngữ giàu tài nguyên (tiếng Việt) có thể chuyển giao tri thức sang ngôn ngữ nghèo tài nguyên (tiếng Mường) thông qua các lớp không gian ký hiệu chung.

Thứ ba là lý thuyết dịch máy dựa trên cụm từ (Phrase-based Statistical Machine Translation - SMT) kết hợp biểu diễn trung gian. Luận văn vận dụng 4 khái niệm kỹ thuật trọng tâm:

• Chuyển đổi ký tự sang âm vị (Grapheme-to-Phoneme - G2P): Tự động phiên mã văn bản chữ viết sang các đơn vị ngữ âm chuẩn hóa theo Bảng ký hiệu ngữ âm quốc tế (IPA).
• Biểu diễn trung gian cấp âm vị (Phoneme-level Intermediate Representation): Cầu nối biểu diễn ngôn ngữ giúp biến đổi văn bản nguồn tiếng Việt sang chuỗi âm vị đích của tiếng Mường mà không cần đi qua bước trung gian là văn bản chữ viết tiếng Mường.
• Thích nghi đầu vào (Input Emulating): Quy tắc biến đổi ngữ âm cho phép hệ thống TTS tiếng Việt có sẵn đọc được văn bản tiếng Mường với độ tự nhiên cao.
• Độ đo méo phổ Mel với căn chỉnh thời gian động (MCD-DTW): Đại lượng định lượng sự sai lệch giữa phổ âm thanh nhân tạo và phổ âm thanh thực tế của con người.

Phương pháp nghiên cứu

Nguồn ngữ liệu phục vụ nghiên cứu bao gồm bộ dữ liệu giọng đọc tiếng Việt giàu tài nguyên (trên 15 giờ ghi âm chuẩn) và tập dữ liệu tiếng Mường bản xứ thu âm trực tiếp tại tỉnh Hòa Bình và Phú Thọ. Dữ liệu tiếng Mường được phân chia thành các tập huấn luyện có thời lượng kiểm soát nghiêm ngặt: tập 15 phút (M_15m), tập 30 phút (M_30m) và tập 60 phút (M_60m). Cỡ mẫu đánh giá chủ quan gồm 30 tình nguyện viên bản ngữ người Mường, thực hiện thẩm định trên 100 câu thử nghiệm thuộc cả hai nhóm: trong miền dữ liệu (in-domain) và ngoài miền dữ liệu (out-domain).

Phương pháp chọn mẫu có chủ đích được áp dụng nhằm đảm bảo tính đại diện văn hóa và độ chuẩn xác ngữ âm của hai vùng phương ngữ Mường Bi và Mường Tân Sơn. Dữ liệu âm thanh sau khi thu âm được chuẩn hóa, gắn nhãn ngữ âm bán tự động và căn chỉnh thời gian theo khung 10–25 mili-giây. Để đánh giá hiệu quả, luận văn kết hợp phương pháp tính toán khách quan qua chỉ số MCD-DTW cùng phương pháp đánh giá chủ quan bằng thang điểm ý kiến trung bình MOS (Mean Opinion Score) từ 1 đến 5 điểm và bài kiểm tra độ hiểu rõ âm vị (Intelligibility Test).

Lý do lựa chọn phương pháp phân tích phương sai ANOVA (Analysis of Variance) với mức ý nghĩa thống kê p < 0.05 là nhằm kiểm tra tính vững chắc của các giả thuyết khoa học, chứng minh rằng sự khác biệt về điểm số chất lượng giữa các phương pháp thích nghi là có ý nghĩa thực chất chứ không phải do sai số ngẫu nhiên của mẫu thử. Toàn bộ chu trình nghiên cứu, xây dựng thuật toán và thử nghiệm thực địa được tiến hành trong thời gian từ năm 2017 đến cuối năm 2023.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đã chứng minh tính khả thi và hiệu quả vượt trội của phương pháp tiếp cận thích nghi qua 4 phát hiện khoa học mang tính đột phá:

Thứ nhất, đối với tiếng Mường có chữ viết, phương pháp giả lập đầu vào (Emulating Input) kết hợp bảng quy tắc ngữ âm IPA đã giúp hệ thống TTS tiếng Việt đọc được văn bản tiếng Mường với độ hiểu âm vị đạt trên 85.6%. Các âm vị tương đương giữa hai ngôn ngữ đạt độ chính xác gần như tuyệt đối (96.4%), trong khi các âm vị đặc thù của tiếng Mường vẫn đạt độ nhận diện trên 78.2% mà hoàn toàn không cần tiêu tốn tài nguyên huấn luyện lại mô hình học sâu.

Thứ hai, việc áp dụng kỹ thuật học chuyển giao liên ngôn ngữ (Cross-lingual Transfer Learning) trên nền tảng mạng nơ-ron Tacotron 2 và vocoder HiFi-GAN mang lại bước nhảy vọt về chất lượng giọng nói. Khi tinh chỉnh (fine-tuning) mô hình tiếng Việt đã huấn luyện trước với chỉ 60 phút dữ liệu tiếng Mường (tập M_60m), điểm chất lượng MOS đạt mức 4.08/5.00 điểm đối với câu in-domain và 3.85/5.00 điểm đối với câu out-domain. Tốc độ hội tụ của hàm mất mát (loss function) trong giai đoạn fine-tuning nhanh hơn 3.5 lần so với việc huấn luyện một mô hình độc lập từ đầu (train from scratch) trên tập dữ liệu nhỏ.

Thứ ba, đối với tiếng Mường không có chữ viết, giải pháp sinh tiếng nói thông qua biểu diễn trung gian âm vị (Vietnamese Text to Muong Phoneme to Muong Sound) đạt chất lượng vượt trội so với phương pháp sinh trực tiếp từ văn bản tiếng Việt sang âm thanh tiếng Mường. Điểm số MOS của mô hình biểu diễn trung gian tại vùng phương ngữ Mường Bi đạt 3.88 điểm (tăng 14.5% so với mức 3.39 điểm của phương pháp sinh trực tiếp). Tương tự, tại phương ngữ Mường Tân Sơn, điểm MOS đạt 3.76 điểm, khẳng định tính đúng đắn của việc tách biệt pha chuyển đổi ngôn ngữ và pha tổng hợp âm thanh.

Thứ tư, kiểm định phân tích phương sai ANOVA đa nhân tố trên toàn bộ các tập thử nghiệm đều trả về giá trị p-value < 0.001 (thấp hơn nhiều so với ngưỡng alpha = 0.05). Kết quả này bác bỏ hoàn toàn giả thuyết vô hiệu H0, khẳng định sự cải thiện về chất lượng âm thanh khi tăng quy mô dữ liệu từ 15 phút lên 60 phút và khi chuyển đổi qua biểu diễn trung gian là có ý nghĩa thống kê tuyệt đối.

Thảo luận kết quả

Sự thành công của phương pháp thích nghi bắt nguồn từ mối quan hệ đồng nguyên chặt chẽ trong ngữ hệ Nam Á giữa tiếng Việt và tiếng Mường. Phân tích đối sánh cấu trúc âm tiết cho thấy hai ngôn ngữ có sự tương đồng sâu sắc về mô hình âm tiết 5 thành phần (âm đầu, âm đệm, âm chính, âm cuối và thanh điệu). Hệ thống thanh điệu tiếng Mường gồm 5–6 thanh có quy luật đối ứng trực tiếp với 6 thanh điệu của tiếng Việt (ví dụ thanh bằng tương ứng thanh ngang, thanh trắc tương ứng thanh sắc/nặng). Nhờ sự tương đồng này, không gian biểu diễn đặc trưng ẩn (latent representation) của mô hình tiếng Việt đóng vai trò như một bộ khởi tạo hoàn hảo, giúp mạng nơ-ron nhanh chóng học được các đặc trưng âm học tiếng Mường chỉ với 15 đến 60 phút dữ liệu mẫu.

So với các công trình quốc tế trước đây, tiêu biểu như nghiên cứu mô phỏng giọng nói tiếng Somali từ tiếng Anh của nhóm tác giả Harold Somers hay dự án phiên dịch tiếng Ả Rập Iraq TRANSTAC tiêu tốn hàng triệu USD để kiến tạo bộ chữ nhân tạo, phương pháp tiếp cận trong luận văn này tiết kiệm hơn 85% chi phí thu thập dữ liệu và thời gian gán nhãn chuyên gia. Nghiên cứu chứng minh rằng không nhất thiết phải xây dựng một bộ chữ viết hoàn chỉnh mới có thể tạo ra hệ thống tổng hợp giọng nói cho một sắc dân thiểu số.

Các dữ liệu thực nghiệm trong luận văn được mô hình hóa trực quan qua nhiều biểu đồ phân phối hàm mất mát huấn luyện (Training Loss Curve), biểu đồ biến thiên khoảng cách méo phổ MCD-DTW và các bảng phân tích phương sai ANOVA đa chiều. Sự tương đồng ngữ âm cũng được minh chứng rõ nét qua ma trận đối sánh 12 từ vựng chỉ bộ phận cơ thể người giữa tiếng Việt, Mường Bi và Mường Tân Sơn, cung cấp cái nhìn trực quan về quy luật dịch chuyển phụ âm đầu từ các phụ âm xát sang phụ âm tắc.

Đề xuất và khuyến nghị

Dựa trên các kết luận thực nghiệm, luận văn đưa ra 4 nhóm giải pháp công nghệ và chính sách có tính ứng dụng cao:

1. Mở rộng quy mô thu thập ngữ liệu số hóa cho 53 dân tộc thiểu số tại Việt Nam: Cần triển khai chương trình thu âm chuẩn hóa với thời lượng tối thiểu từ 3 đến 5 giờ chất lượng cao (tần số 48 kHz, độ phân giải 24-bit) cho mỗi nhánh phương ngữ chính. Đơn vị thực hiện: Viện Công nghệ Thông tin và Truyền thông phối hợp cùng Ban Dân tộc các tỉnh miền núi, hoàn thành trong giai đoạn 2024–2026 với mục tiêu bao phủ ít nhất 10 ngôn ngữ thiểu số có nguy cơ mai một cao nhất.

2. Chuẩn hóa và tối ưu hóa bộ công cụ dịch tự động sang biểu diễn trung gian âm vị: Nâng cấp mô-đun dịch máy từ kiến trúc cụm từ SMT sang mô hình Transformer NMT kích thước nhỏ, hướng tới mục tiêu đạt tỷ lệ chính xác âm vị trên 95.0% và thời gian trễ xử lý dưới 150 mili-giây. Chủ thể thực hiện: Nhóm nghiên cứu xử lý tiếng nói tại các trường đại học kỹ thuật trọng điểm, hoàn thành trước quý 4 năm 2025.

3. Triển khai hệ thống phát thanh truyền thanh thông minh tự động đa ngữ cấp cơ sở: Ứng dụng ngay kết quả nghiên cứu vào các trạm truyền thanh thông minh tại 100% các xã vùng cao thuộc tỉnh Hòa Bình và Phú Thọ. Hệ thống tự động chuyển đổi các văn bản thông báo, chỉ thị bằng tiếng Việt sang giọng đọc tiếng Mường bản xứ, nâng cao hiệu quả tiếp cận thông tin kinh tế - xã hội cho hơn 1.45 triệu đồng bào Mường đến năm 2027.

4. Nén và tối ưu hóa mô hình học sâu để nhúng trực tiếp vào thiết bị di động biên (Edge Devices): Áp dụng kỹ thuật lượng tử hóa trọng số (model quantization) và chưng cất tri thức (knowledge distillation) để giảm dung lượng mô hình tổng hợp tiếng nói xuống dưới 35 MB, cho phép vận hành trơn tru không cần kết nối Internet trên các dòng điện thoại thông minh phổ thông phục vụ công tác dạy học và bảo tồn tiếng nói từ năm 2026.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang giá trị tham khảo chuyên sâu cho 4 nhóm đối tượng trọng tâm:

1. Kỹ sư trí tuệ nhân tạo và các nhà nghiên cứu xử lý tiếng nói (Speech Processing Researchers): Cung cấp tài liệu tham khảo chi tiết về quy trình fine-tuning mô hình Tacotron 2, cấu hình tham số vocoder HiFi-GAN và giải pháp giải quyết vấn đề bất tương thích không gian ký hiệu đầu vào (input space mismatch) trong bài toán học chuyển giao liên ngôn ngữ.

2. Các nhà ngôn ngữ học và dân tộc học: Cung cấp kho tư liệu thực chứng phong phú về hệ thống âm vị học đối sánh Việt - Mường, cấu trúc âm tiết, thanh điệu thực nghiệm của phương ngữ Mường Bi và Mường Tân Sơn, hỗ trợ đắc lực cho các nghiên cứu lịch sử ngôn ngữ Nam Á.

3. Cơ quan quản lý nhà nước và các tổ chức bảo tồn văn hóa: Là căn cứ khoa học thực tiễn giúp Bộ Thông tin và Truyền thông, Ủy ban Dân tộc xây dựng các đề án số hóa di sản văn hóa phi vật thể, xây dựng cổng thông tin điện tử và kênh phát thanh hỗ trợ đồng bào thiểu số trên toàn quốc.

4. Doanh nghiệp phát triển giải pháp EdTech và trợ lý ảo thông minh: Mở ra cơ hội tích hợp giọng đọc bản địa vào các ứng dụng học tập song ngữ, ứng dụng khám chữa bệnh từ xa và hệ thống trợ lý ảo phục vụ người dân tại các vùng địa đầu Tổ quốc.

Câu hỏi thường gặp

1. Phương pháp thích nghi (Adaptation) mang lại lợi thế vượt trội gì so với phương pháp huấn luyện truyền thống? Phương pháp thích nghi tận dụng tri thức cấu âm sẵn có từ mô hình tiếng Việt đã huấn luyện trên hàng chục giờ dữ liệu, giúp hệ thống tiếng Mường chỉ cần từ 15 đến 60 phút ghi âm mẫu là có thể phát âm tự nhiên, tiết kiệm hơn 85% chi phí và thời gian thu thập dữ liệu so với phương pháp truyền thống.

2. Tại sao nghiên cứu lại lựa chọn hai phương ngữ Mường Bi và Mường Tân Sơn làm đối tượng khảo sát? Mường Bi (Hòa Bình) đại diện cho nhóm ngôn ngữ có chữ viết chính thức ban hành năm 2016, trong khi Mường Tân Sơn (Phú Thọ) đại diện cho nhóm ngôn ngữ hoàn toàn chưa có chữ viết. Việc lựa chọn hai phương ngữ này giúp luận văn kiểm chứng toàn diện cả hai mô hình tổng hợp tiếng nói cho văn bản có chữ và không chữ.

3. Biểu diễn trung gian cấp âm vị hoạt động như thế nào khi chuyển đổi văn bản sang tiếng nói? Hệ thống không cố gắng tạo ra chữ viết Mường mà sử dụng mô hình dịch máy để chuyển trực tiếp văn bản tiếng Việt sang một chuỗi ký hiệu ngữ âm quốc tế (IPA) chuẩn hóa của tiếng Mường. Chuỗi âm vị này sau đó được mô-đun Phone-to-Sound tổng hợp thẳng thành dạng sóng âm thanh hoàn chỉnh.

4. Cần lượng dữ liệu thu âm tối thiểu bao nhiêu để mô hình đạt chất lượng giọng đọc tự nhiên? Thực nghiệm trong luận văn chỉ ra rằng tập dữ liệu tinh chỉnh 15 phút đã cho phép hệ thống phát âm tròn vành rõ chữ, nhưng tập dữ liệu 60 phút (M_60m) là ngưỡng tối ưu để giọng nói đạt độ mượt mà tự nhiên cao nhất với điểm MOS đạt trên 4.0 điểm.

5. Công nghệ tổng hợp tiếng nói trong luận văn có thể nhân rộng sang các ngôn ngữ dân tộc khác không? Hoàn toàn có thể. Khung kiến trúc thích nghi đầu vào và biểu diễn trung gian âm vị được thiết kế mang tính phổ quát, có thể áp dụng ngay cho 53 ngôn ngữ dân tộc thiểu số khác tại Việt Nam như Tày, Nùng, Thái, Ba Na hay Ê Đê chỉ cần xây dựng bảng ánh xạ ngữ âm tương ứng.

Kết luận

• Luận văn đã giải quyết xuất sắc bài toán tổng hợp tiếng nói cho ngôn ngữ tài nguyên thấp thông qua phương pháp thích nghi toàn diện.
• Đề xuất hai khung kiến trúc đột phá: Giả lập đầu vào / Học chuyển giao cho ngôn ngữ có chữ viết và Biểu diễn trung gian âm vị cho ngôn ngữ chưa có chữ viết.
• Chứng minh bằng thực nghiệm rằng chỉ với 60 phút dữ liệu thu âm bản ngữ, mô hình đã đạt thang điểm chất lượng âm thanh MOS xuất sắc 4.08/5.00 điểm.
• Kiểm định thống kê ANOVA khẳng định độ tin cậy khoa học tuyệt đối của phương pháp với giá trị p-value < 0.001 trên toàn bộ các tập thử nghiệm.
• Đóng góp trực tiếp vào kết quả nghiệm thu của Đề tài khoa học cấp Nhà nước mã số DLCN.20/17, tạo tiền đề số hóa tiếng nói cho cộng đồng dân tộc thiểu số.

Nghiên cứu mở ra hướng đi chiến lược cho lộ trình bảo tồn ngôn ngữ giai đoạn 2024–2026 thông qua công nghệ trí tuệ nhân tạo. Kính mời các nhà khoa học, các tổ chức văn hóa và cộng đồng nghiên cứu tiếp tục khai thác các mô hình âm học mã nguồn mở để nhân rộng công nghệ này cho toàn bộ các ngôn ngữ thiểu số tại Việt Nam.

Trích đoạn nội dung tài liệu

DECLARATION OF AUTHORSHIP I, Pham Van Dong, declare that the dissertation titled “Speech Synthesis for Low- Resourced Languages based on Adaptation Approach: Application to Muong Language” has been entirely composed by myself. I assure you of some points as follows:  This work was done wholly or mainly while in candidature for a Ph. research degree at Hanoi University of Science and Technology.  The work has not been submitted for any other degree or qualifications at Hanoi University of Science and Technology or any other institution.

 Appropriate acknowledgment has been given within this dissertation, where reference has been made to the published work of others.  The dissertation submitted is my own, except where work in the collaboration has been included. The collaborative contributions have been indicated. Hanoi, December 8, 2023 Ph.

Student Pham Van Dong ADVISORS 1. Mac Dang Khoa 2. Tran Do Dat i ACKNOWLEDGMENT Foremost, I would like to express my most sincere and deepest gratitude to my thesis advisors Dr. Mạc Đăng Khoa (Speech Communication Department, MultiLab at MICA), Prof.

TRẦN Đỗ Đạt (The Ministry of Science and Technology, Vietnam) for their continuous support and guidance during my Ph. program, and for providing me with such a severe and inspiring research environment. I am grateful to Dr. Mạc Đăng Khoa for his excellent mentorship, caring, patience, and immense Text-To-Speech (TTS) knowledge.

His advice helped me in all the research and writing of this thesis. I am very thankful to Prof. Đạt for shaping my thesis at the beginning and for their enthusiasm and encouragement. Trần Đỗ Đạt substantially facilitated my Ph.

research, especially when I was a freshman on speech processing and TTS, with his valuable comments on Vietnamese and Muong TTS. I thank all MICA members for their help during my Ph. My sincere thanks to Dr. Nguyen Viet Son, Assoc.

Dao Trung Kien and Dr. Do Thi Ngoc Diep for giving me much support and valuable advice. Thanks to Nguyen Van Thinh, Nguyen Tien Thanh, Dang Thanh Mai, and Vu Thi Hai Ha for their help. I want to thank my Hanoi University of Mining and Geology colleagues for all their support during my Ph.

Special thanks to my family for understanding my hours glued to the computer screen. Hanoi, December 8, 2023 Ph. Student ii ABSTRACT Text-to-speech (TTS) synthesis is the automatic conversion of text into speech. Typically, building high-quality voiceovers requires collecting tens of hours of the voice of a professional speaker with a high-quality microphone.

There are about 7,000 languages spoken worldwide, but only a few languages, such as English, Spanish, Mandarin, and Japanese, are used in good TTS. With so-called "low-resourced languages" or even languages that are not yet written, these languages do not have TTS. Thus, to apply TTS technology to low-resourced language, it is necessary to study other TTS methods. In Vietnam, Vietnamese is the mother tongue and is used the most.

The Muong is a group of the language spoken by the Muong people of Vietnam. They are in the Austroasiatic language family and are closely related to Vietnamese, and Muong is also one of the five ethnic groups with the largest population. However, Muong still needs an official script, a typical representative of the low-resourced language in Vietnam. Therefore, researching TTS technologies to create TTS for the Muong language is challenging.

In the first part of this thesis, we do an overview of TTS. Researching the phonetics of Vietnamese and Muong languages, the thesis has also researched and published some tools to support TTS technology for Vietnamese and Muong languages. In the rest of the thesis, we conduct various experiments in creating TTS for low-resourced language; specifically, we experiment with the Muong language. We focus on two main low-resourced language groups:  Written: We use emulating to simulate the reading of the Muong language using Vietnamese TTS and cross-lingual adaptation transfer-learning.

 Unwritten: We experiment with adaptation in two directions. The first is to create Muong speech synthesis directly from Vietnamese Text and Muong voice. The second is to create Muong speech synthesis from translation through intermediate representation We hope our findings can serve as an impetus to develop speech synthesis for low-resourced languages worldwide and contribute to the basis for speech synthesis development for 53 ethnic minority languages in Viet Nam. Hanoi, December 8, 2023 Ph.

Student iii CONTENT DECLARATION OF AUTHORSHIP. VIII LIST OF TABLES. X LIST OF FIGURES. 1 PART 1 : BACKGROUND AND RELATED WORKS.

OVERVIEW OF SPEECH SYNTHESIS AND SPEECH SYNTHESIS FOR LOW-RESOURCED LANGUAGE. Overview of speech synthesis. Evolution of TTS methods over time. TTS using unit-selection method.

Statistical parameter speech synthesis. Speech synthesis using deep neural networks. Neural speech synthesis. Speech synthesis for low-resourced languages.

TTS using emulating input approach. TTS using the polyglot approach. Speech synthesis for low-resourced language using the adaptation approach. Neural translation model.

Attention in neural machine translation. Statistical machine translation based on phrase. Statistical machine translation problem based on phrase. Translation model and language model.

Decode the input sentence in the translation system. Model for building a statistical translation system. Machine translation through intermediate representation. Speech translation for unwritten low-resourced languages.

Speech synthesis evaluation metrics. Mean Opinion Score (MOS). Mel Cepstral Distortion (MCD). MCD with Dynamic Time Warping (MCD – DTW).

Analysis of variance (Anova). VIETNAMESE AND MUONG LANGUAGE. History of Vietnamese. Vietnamese phonetic system.

Vietnamese syllabus structure. Vietnamese phonetic system. Vietnamese tone system. Overview of Muong people and Muong language.

Viet Muong group. Muong written script. Muong phonetics system. Muong syllable structure.

Muong phoneme system. Muong tone system. Comparison between Vietnamese and Muong. Dicussion and proposal approach.

60 PART 2 : SPEECH SYNTHESIS FOR MUONG AS A WRITTEN LANGUAGE. EMULATING OF THE MUONG TTS BASED ON INPUT TRANSFORMATION OF THE VIETNAMESE TTS. Muong emulating IPA module. Analysis by ANOVA method.

MOS analysis by ANOVA. Intelligibility analysis by ANOVA. CROSS-LINGUAL TRANSFER LEARNING FOR MUONG SPEECH SYNTHESIS. Muong Project‘s data.

Muong fine-tuning data. Graphemes to phonemes. Training the pretrained model using Vietnamese dataset. Finetuned TTS model on Muong datasets.

MOS analysis by ANOVA. 94 PART 3 : SPEECH SYNTHESIS FOR MUONG AS AN UNWRITTEN LANGUAGE. GENERATE UNWRITTEN LOW-RESOURCED LANGUAGE’S SPEECH DIRECTLY FROM RICH-RESOURCE LANGUAGE’S TEXT. Training the speech synthesis system.

MOS analysis by ANOVA. ANOVA analysis in Muong Bi speech synthesis. ANOVA analysis in Muong Tan Son speech synthesis. SPEECH SYNTHESIS FOR UNWRITTEN LOW-RESOURCED LANGUAGE USING INTERMEDIATE REPRESENTATION.

Text to phone translation. Phone to Sound Conversion. Evaluation in Muong Bi and Muong Tan Son. MOS analysis by ANOVA.

ANOVA analysis in Muong Bi speech synthesis. ANOVA analysis in Muong Tan Son speech synthesis. Conclusion and comparison. 128 CONCLUSION AND FUTURE WORKS.

Vietnamese and Muong phonetic. Muong Vietnamese phone mapping. Information of Muong volunteers who participated in the assessment. Speech signal samples of the Muong TTS in chapter 5.

12 vii ABBREVIATIONS Expansion Explanation Abbreviation CART Classification And Regression Tree F0 Fundamental Frequency HMM Hidden Markov Model HTK Hidden markov model A portable toolkit for building and ToolKit manipulating hidden Markov models HTS HMM-based speech synthesis IPA International Phonetic Alphabet MARY Modular Architecture for (TTS) Research on speech sYnthesis MFCC Mel Frequency Cepstral Coefficents ML Maximum Likelihood MLSA Mel Log Spectrum Approximation MOS Mean Opinion Score MSD- Multi-Space probability HMM Distribution HMM NLP Natural Language Processing OCR Optical Character Recognition POS Part-Of-Speech Word class or a lexical category PP Prepositional Phrase PSOLA Pitch Synchronous OverLap and Add SAMPA Speech Assessment Methods Phonetic Alphabet SPTK Speech signal Processing ToolKit SSML Speech Synthesis Markup Language TD- Time-Domain Pitch PSOLA Synchronous OverLap and Add TTS Text-To-Speech VNSP VNSpeechCorpus for synthesis WEKA Waikato Environment for A collection of machine learning Knowledge algorithms for data mining tasks: Analysis X-SAMPA Extended Speech Assessment Methods Phonetic Alphabet XML eXtensible Markup Language PLP Perceptual Linear Prediction viii G2P Grapheme to Phoneme ANOVA Analysis of Variance DNN Deep Neural Network ANN Artificial Neural Network LPC Linear Predictive Coding EM Expectation Maximization Algorithm MLE Maximum Likelihood Network PTN Phonetic Transformation Network CNN Convolutional Neural Network NMT Neural Machine Translation SMT Statistical Machine Translation RNN Recurrent Neural Network GRU Gated Recurrent Unit DTW Dynamic Time Warping MCD Mel Ceptral Distortion Argmax Arguments of the maxima Argmax is an operation that finds the argument that gives the maximum value from a target function Log Logarith ̅ Sample mean p(e | f) Conditional Probability  Pi Product of a sequence of numbers  Sigma Factor H0 Null Hypothesis ix LIST OF TABLES Table 2.1 Vietnamese syllabus structure [94] .2 Vietnamese syllabus structure [96] .3 Vietnamese syllables based on structure .4 Hanoi Vietnamese inital consonants .5 The letter of initial consonant .6 Hanoi Vietnamese final consonant .7 Tone of Hanoi Vietnamese [108] .8 Muong syllabic structure .9 Muong final sound system .10 Muong Hoa Binh tone system [115] .11 Muong Bi and Muong Tan Son Tone .12 Muong and Vietnamese phonetic comparison (orthography in normal, IPA in italic; Vi: Vietnamese; Mb: Muong Bi ; Mts : Muong Tan Son) .13 Comparing the tone of Vietnamese with Muong Tan Son and Muong Bi .1 Muong G2P Result Sample .2 Examples of applying transformation rules to convert the Muong text into input text for Vietnamese TTS. Testing material for emulating tone. Testing material for emulating phone (the concerning phonemes in bold). Testing material for remaining phonemes .6 ANOVA Results for MOS Test.7 ANOVA Results for Intelligibility Test .1 Parameters of acoustic model .2 Vietnamese dataset information .3 Muong recorded data .4 The Muong split data set .5 Parameter for optimizer .6 Value of parameters when training Hifigan model .7 The specifications of the in-domain and out-domain test sets .8 Test set samples .10 ANOVA Results for in-domain MOS Test .11 ANOVA Results for out-domain MOS Test .12 ANOVA Results for in/out domain MOS Test .2 TTS evaluation with in-domain test set .3 TTS evaluation with out-domain test set .4 ANOVA Results for in-domain MOS Test for Muong Bi .5 ANOVA Results for out-domain MOS Test for Muong Bi .6 ANOVA Results for Muong Bi in/out domain MOS Test .7 ANOVA Results for in-domain MOS Test for Muong Tan Son .8 ANOVA Results for out-domain MOS Test for Muong Tan Son .9 ANOVA Results for Muong Tan Son in/out domain MOS Test.1 Examples of labeling Vietnamese text into an intermediate representation of Muong Bi and Muong Tan Son phonemes.2 Text information of Muong language datasets .3 TTS evaluation with in-domain test set .4 TTS evaluation with out-domain test set .5 ANOVA Results for in-domain MOS Test for Muong Bi .6 ANOVA Results for out-domain MOS Test for Muong Bi .7 ANOVA Results for Muong Bi in/out domain MOS Test .8 ANOVA Results for in-domain MOS Test for Muong Tan Son .9 ANOVA Results for out-domain MOS Test for Muong Tan Son .10 ANOVA Results for Muong Tan Son in/out domain MOS Test.2 The Muong initial consonant .3 Muong vowels system .4 The correspondences between Vietnamese and Muong in 12 words refer to the human body parts [137] .8 Muong Vietnamese phone mapping.9 Muong Hoa Binh volunteers .10 Muong Phu Tho volunteers .10 xi LIST OF FIGURES Figure 1.

Basic system architecture of a TTS system [22] .2 Neural TTS architecture [3]. General and clustering-based unit-selection scheme: Solid lines represent target costs and dashed lines represent concatenation costs [13]. Core architecture of HMM-based speech synthesis system [25]. General HMM-based synthesis scheme [13, p.

A speech synthesis framework based on a DNN [29] .7 Encoder and Decoder diagram in Seq2Seq model .8 Char2Wav model [23].9 Model of the Tacotron synthesis system [24] .10 Block diagram of the Tacotron 2 system architecture [25] .11 Scheme of a HMM-based polyglot synthesizer [48] .