Tổng hợp giọng nói cho ngôn ngữ ít tài nguyên: Ứng dụng cho ngôn ngữ Mường

Nghiên cứu tổng hợp tiếng nói cho ngôn ngữ ít nguồn tài nguyên, ứng dụng thích nghi với tiếng Mường, mở ra hướng phát triển mới trong công nghệ ngôn ngữ.

• Tác giả: Pham Van Dong
• Người hướng dẫn: Dr. Mạc Đăng Khoa
• Trường học: Hanoi University of Science and Technology
• Chuyên ngành: Computer Science
• Đề tài: Nghiên cứu tổng hợp giọng nói cho ngôn ngữ ít tài nguyên: Ứng dụng cho ngôn ngữ Mường
• Loại tài liệu: Doctoral Dissertation
• Năm xuất bản: 2023
• Địa điểm: Ha Noi

Mục lục chi tiết

• DECLARATION OF AUTHORSHIP
• ACKNOWLEDGMENT
• ABSTRACT
• CONTENT
• 1. PART 1 : BACKGROUND AND RELATED WORKS
• 1.1. OVERVIEW OF SPEECH SYNTHESIS AND SPEECH SYNTHESIS FOR LOW-RESOURCED LANGUAGE
• 1.1.1. Overview of speech synthesis
• 1.1.2. Evolution of TTS methods over time
• 1.1.3. TTS using unit-selection method
• 1.1.4. Statistical parameter speech synthesis
• 1.1.5. Speech synthesis using deep neural networks
• 1.1.6. Neural speech synthesis
• 1.1.7. Speech synthesis for low-resourced languages
• 1.1.8. TTS using emulating input approach
• 1.1.9. TTS using the polyglot approach
• 1.1.10. Speech synthesis for low-resourced language using the adaptation approach
• 1.1.11. Neural translation model
• 1.1.12. Attention in neural machine translation
• 1.1.13. Statistical machine translation based on phrase
• 1.1.14. Statistical machine translation problem based on phrase
• 1.1.15. Translation model and language model
• 1.1.16. Decode the input sentence in the translation system
• 1.1.17. Model for building a statistical translation system
• 1.1.18. Machine translation through intermediate representation
• 1.1.19. Speech translation for unwritten low-resourced languages
• 1.1.20. Speech synthesis evaluation metrics
• 1.1.20.1. Mean Opinion Score (MOS)
• 1.1.20.2. Mel Cepstral Distortion (MCD)
• 1.1.20.3. MCD with Dynamic Time Warping (MCD – DTW)
• 1.1.20.4. Analysis of variance (Anova)
• 1.2. VIETNAMESE AND MUONG LANGUAGE
• 1.2.1. History of Vietnamese
• 1.2.2. Vietnamese phonetic system
• 1.2.3. Vietnamese syllabus structure
• 1.2.4. Vietnamese tone system
• 1.2.5. Overview of Muong people and Muong language
• 1.2.6. Viet Muong group
• 1.2.7. Muong written script
• 1.2.8. Muong phonetics system
• 1.2.9. Muong syllable structure
• 1.2.10. Muong phoneme system
• 1.2.11. Muong tone system
• 1.2.12. Comparison between Vietnamese and Muong
• 1.2.13. Dicussion and proposal approach
• 2. PART 2 : SPEECH SYNTHESIS FOR MUONG AS A WRITTEN LANGUAGE
• 2.1. EMULATING OF THE MUONG TTS BASED ON INPUT TRANSFORMATION OF THE VIETNAMESE TTS
• 2.1.1. Muong emulating IPA module
• 2.1.2. Analysis by ANOVA method
• 2.1.3. MOS analysis by ANOVA
• 2.1.4. Intelligibility analysis by ANOVA
• 2.2. CROSS-LINGUAL TRANSFER LEARNING FOR MUONG SPEECH SYNTHESIS
• 2.2.1. Muong Project‘s data
• 2.2.2. Muong fine-tuning data
• 2.2.3. Graphemes to phonemes
• 2.2.4. Training the pretrained model using Vietnamese dataset
• 2.2.5. Finetuned TTS model on Muong datasets
• 2.2.6. MOS analysis by ANOVA
• 3. PART 3 : SPEECH SYNTHESIS FOR MUONG AS AN UNWRITTEN LANGUAGE
• 3.1. GENERATE UNWRITTEN LOW-RESOURCED LANGUAGE’S SPEECH DIRECTLY FROM RICH-RESOURCE LANGUAGE’S TEXT
• 3.1.1. Training the speech synthesis system
• 3.1.2. MOS analysis by ANOVA
• 3.1.3. ANOVA analysis in Muong Bi speech synthesis
• 3.1.4. ANOVA analysis in Muong Tan Son speech synthesis
• 3.2. SPEECH SYNTHESIS FOR UNWRITTEN LOW-RESOURCED LANGUAGE USING INTERMEDIATE REPRESENTATION
• 3.2.1. Text to phone translation
• 3.2.2. Phone to Sound Conversion
• 3.2.3. Evaluation in Muong Bi and Muong Tan Son
• 3.2.4. MOS analysis by ANOVA
• 3.2.5. ANOVA analysis in Muong Bi speech synthesis
• 3.2.6. ANOVA analysis in Muong Tan Son speech synthesis
• 3.2.7. Conclusion and comparison
• CONCLUSION AND FUTURE WORKS
• ABBREVIATIONS
• LIST OF TABLES
• LIST OF FIGURES

Tóm tắt

I. Giới Thiệu Nghiên Cứu Tổng Hợp Giọng Nói Tiếng Mường

Công nghệ xử lý tiếng nói ngày nay đóng vai trò quan trọng trong tương tác người-máy. Các hệ thống tương tác bằng giọng nói cho phép người dùng giao tiếp với thiết bị trên smartphone, xe thông minh, nhà thông minh. Một thành phần thiết yếu là tổng hợp giọng nói hoặc Text-to-Speech (TTS), chuyển văn bản thành giọng nói. Phát triển hệ thống TTS cho ngôn ngữ đòi hỏi nghiên cứu ngôn ngữ học về ngữ âm, âm vị học, cú pháp và ngữ pháp. Theo Ethnologue, có 7.151 ngôn ngữ trên thế giới, 2.982 ngôn ngữ không có chữ viết. Các phương pháp học máy dựa trên dữ liệu lớn không áp dụng được cho ngôn ngữ ít tài nguyên, đặc biệt là ngôn ngữ Mường chưa viết. Lĩnh vực xử lý ngôn ngữ ít tài nguyên này mới bắt đầu được chú ý và còn ít kết quả. Nghiên cứu này mang lại công nghệ giao tiếp bằng giọng nói cho cộng đồng dân tộc thiểu số, góp phần bảo tồn ngôn ngữ.

1.1. Tầm quan trọng của TTS tiếng Mường trong tương tác người máy

Tổng hợp giọng nói tiếng Mường mở ra khả năng tương tác tự nhiên hơn giữa người Mường và các thiết bị công nghệ. Nó có thể được sử dụng trong các ứng dụng giáo dục, giải trí và hỗ trợ giao tiếp. Nghiên cứu này nhấn mạnh vai trò quan trọng của công nghệ TTS trong việc bảo tồn và phát triển ngôn ngữ Mường, đặc biệt trong bối cảnh số hóa.

1.2. Thách thức đặc thù của ngôn ngữ Mường trong nghiên cứu ngôn ngữ học

Ngôn ngữ Mường có đặc điểm ngôn ngữ độc đáo gây khó khăn khi phát triển hệ thống TTS, như thanh điệu và cấu trúc ngữ âm phức tạp. Việc thiếu tài nguyên ngôn ngữ tiếng Mường như văn bản và dữ liệu giọng nói cũng là một thách thức lớn. Nghiên cứu này nhằm giải quyết các thách thức này và cải thiện khả năng tiếp cận công nghệ TTS cho ngôn ngữ Mường.

II. Vấn Đề Thiếu Hụt Tài Nguyên Ngôn Ngữ Tiếng Mường

Trong lĩnh vực xử lý tiếng Việt, các đơn vị nghiên cứu trong nước đã chú ý đến các khía cạnh khác nhau từ xử lý ngôn ngữ tự nhiên đến xử lý tiếng nói. Tuy nhiên, vấn đề xử lý ngôn ngữ và tiếng nói, bao gồm cả hệ thống TTS cho các ngôn ngữ dân tộc thiểu số không có hệ thống chữ viết, chưa được quan tâm nhiều. Nguyên nhân do thiếu dữ liệu song ngữ và dữ liệu giọng nói, cũng như thiếu nghiên cứu ngôn ngữ học liên quan. Ngôn ngữ Mường có những đặc điểm ngôn ngữ độc đáo gây khó khăn cho việc phát triển hệ thống TTS, như thanh điệu và cấu trúc ngữ âm phức tạp. Luận án này tập trung vào phát triển hệ thống TTS cho ngôn ngữ Mường, một ngôn ngữ thiểu số ở Việt Nam không có hệ thống chữ viết (chỉ phương ngữ Mường Hòa Bình có hệ thống chữ viết năm 2016).

2.1. Sự khan hiếm cơ sở dữ liệu giọng nói tiếng Mường chất lượng cao

Việc xây dựng một hệ thống TTS hiệu quả đòi hỏi một cơ sở dữ liệu giọng nói tiếng Mường phong phú và chất lượng cao. Tuy nhiên, việc thu thập và gán nhãn dữ liệu giọng nói này gặp nhiều khó khăn do thiếu nguồn lực và nhân lực chuyên môn. Nghiên cứu này cần giải quyết vấn đề thu thập và xử lý dữ liệu giọng nói để tạo ra một cơ sở dữ liệu giọng nói tiếng Mường đủ lớn và chất lượng.

2.2. Khó khăn trong việc chuẩn hóa phát âm tiếng Mường

Ngôn ngữ Mường có nhiều phương ngữ khác nhau, mỗi phương ngữ có những đặc điểm phát âm riêng. Điều này gây khó khăn trong việc chuẩn hóa phát âm tiếng Mường để xây dựng một hệ thống TTS thống nhất. Nghiên cứu này cần xem xét các phương ngữ khác nhau của ngôn ngữ Mường và tìm ra giải pháp để tạo ra một hệ thống TTS có thể xử lý được sự đa dạng về phát âm.

III. Phương Pháp Áp Dụng Học Máy cho Tổng Hợp Giọng Nói

Luận án phân loại ngôn ngữ ít tài nguyên thành hai loại: có chữ viết và không có chữ viết. Ngôn ngữ Mường sẽ là đối tượng nghiên cứu trong cả hai trường hợp: Mường Hòa Bình (có chữ viết) và Mường Phú Thọ (không có chữ viết). Nghiên cứu này nhằm giải quyết những thách thức này và cải thiện khả năng tiếp cận công nghệ TTS cho cả hai phương ngữ Mường. Mục tiêu là phát triển hệ thống TTS tiếng Mường có khả năng chuyển đổi văn bản (nếu có) hoặc phiên âm thành giọng nói một cách tự nhiên và dễ hiểu.

3.1. Sử dụng deep learning cho tổng hợp giọng nói

Deep learning cung cấp các mô hình mạnh mẽ để học các biểu diễn phức tạp của dữ liệu giọng nói và văn bản. Các mô hình như Tacotron 2 và WaveGlow có thể được sử dụng để xây dựng hệ thống TTS tiếng Mường có chất lượng cao. Nghiên cứu này sẽ tập trung vào việc điều chỉnh và tối ưu hóa các mô hình deep learning hiện có để phù hợp với đặc điểm của ngôn ngữ Mường.

3.2. Chuyển giao học tập Transfer Learning từ tiếng Việt sang tiếng Mường

Do thiếu hụt tài nguyên ngôn ngữ tiếng Mường, chuyển giao học tập từ tiếng Việt (một ngôn ngữ có nhiều tài nguyên hơn) là một phương pháp hiệu quả. Mô hình TTS đã được huấn luyện trên tiếng Việt có thể được tinh chỉnh trên một lượng nhỏ dữ liệu tiếng Mường để tạo ra một hệ thống TTS tiếng Mường có chất lượng chấp nhận được. Nghiên cứu này sẽ khám phá các kỹ thuật chuyển giao học tập khác nhau và đánh giá hiệu quả của chúng.

3.3. Xây dựng mô hình tổng hợp giọng nói dựa trên đơn vị

Mô hình tổng hợp giọng nói dựa trên đơn vị (unit selection synthesis) là một phương pháp khác để tạo ra giọng nói tự nhiên. Phương pháp này sử dụng một cơ sở dữ liệu giọng nói lớn và chọn các đơn vị giọng nói phù hợp để ghép lại thành câu nói. Nghiên cứu này sẽ thử nghiệm với phương pháp này và so sánh kết quả với phương pháp deep learning.

IV. Ứng Dụng Tạo TTS Tiếng Mường Từ Văn Bản Tiếng Việt

Nghiên cứu này tiến hành các thử nghiệm khác nhau để tạo TTS cho ngôn ngữ ít tài nguyên, cụ thể là ngôn ngữ Mường. Nghiên cứu tập trung vào hai nhóm ngôn ngữ ít tài nguyên chính: Có chữ viết (sử dụng mô phỏng để đọc ngôn ngữ Mường bằng TTS tiếng Việt và chuyển giao học tập đa ngôn ngữ) và Không có chữ viết (thử nghiệm với sự thích ứng theo hai hướng: tạo tổng hợp giọng nói tiếng Mường trực tiếp từ văn bản tiếng Việt và giọng nói tiếng Mường; tạo tổng hợp giọng nói tiếng Mường từ bản dịch thông qua biểu diễn trung gian).

4.1. Mô phỏng phát âm tiếng Mường bằng TTS tiếng Việt

Phương pháp này sử dụng hệ thống TTS tiếng Việt hiện có để tạo ra giọng nói tiếng Mường bằng cách chuyển đổi văn bản tiếng Việt thành phiên âm tiếng Mường và sau đó sử dụng TTS tiếng Việt để đọc phiên âm đó. Phương pháp này đơn giản nhưng có thể không tạo ra giọng nói tiếng Mường tự nhiên do sự khác biệt giữa hai ngôn ngữ. Nghiên cứu này sẽ đánh giá chất lượng của giọng nói được tạo ra bằng phương pháp này thông qua các thử nghiệm đánh giá chủ quan.

4.2. Tạo TTS tiếng Mường từ biểu diễn trung gian

Phương pháp này sử dụng một biểu diễn trung gian (ví dụ: phiên âm ngữ âm) để chuyển đổi văn bản tiếng Việt thành giọng nói tiếng Mường. Văn bản tiếng Việt được chuyển đổi thành biểu diễn trung gian, sau đó biểu diễn trung gian được sử dụng để tạo ra giọng nói tiếng Mường. Phương pháp này có thể tạo ra giọng nói tiếng Mường tự nhiên hơn so với phương pháp mô phỏng trực tiếp, vì nó cho phép mô hình học các mối quan hệ giữa các đơn vị ngữ âm của hai ngôn ngữ. Nghiên cứu này sẽ thiết kế và xây dựng một biểu diễn trung gian phù hợp cho ngôn ngữ Mường.

V. Đánh Giá Đo Lường Chất Lượng Tổng Hợp Giọng Nói

Hy vọng rằng những phát hiện này có thể thúc đẩy sự phát triển của tổng hợp giọng nói cho ngôn ngữ ít tài nguyên trên toàn thế giới và đóng góp vào cơ sở phát triển tổng hợp giọng nói cho 53 ngôn ngữ dân tộc thiểu số ở Việt Nam. Các thử nghiệm đánh giá chủ quan được thực hiện để đo lường chất lượng và độ tự nhiên của giọng nói được tạo ra. Các chỉ số như Mean Opinion Score (MOS) và khả năng dễ hiểu được sử dụng.

5.1. Sử dụng Mean Opinion Score MOS để đánh giá

Mean Opinion Score (MOS) là một phương pháp đánh giá chủ quan phổ biến được sử dụng để đo lường chất lượng của giọng nói được tạo ra. Người tham gia sẽ nghe các mẫu giọng nói và đánh giá chúng trên thang điểm từ 1 đến 5, với 5 là chất lượng tốt nhất. Nghiên cứu này sẽ sử dụng MOS để so sánh chất lượng của các hệ thống TTS tiếng Mường khác nhau.

5.2. Phân tích Mel Cepstral Distortion MCD

Mel Cepstral Distortion (MCD) là một phương pháp đánh giá khách quan được sử dụng để đo lường sự khác biệt giữa giọng nói được tạo ra và giọng nói thực tế. MCD đo lường khoảng cách giữa các hệ số Mel Cepstral của hai giọng nói. Nghiên cứu này sẽ sử dụng MCD để đánh giá độ chính xác của hệ thống TTS tiếng Mường.

5.3. Kiểm tra khả năng dễ hiểu của giọng nói tổng hợp

Khả năng dễ hiểu là một yếu tố quan trọng trong việc đánh giá chất lượng của hệ thống TTS. Người tham gia sẽ nghe các câu được tạo ra bởi hệ thống TTS và cố gắng viết lại những gì họ nghe được. Tỷ lệ các từ được viết lại chính xác sẽ được sử dụng để đo lường khả năng dễ hiểu của giọng nói tổng hợp. Nghiên cứu này sẽ sử dụng các thử nghiệm khả năng dễ hiểu để đảm bảo rằng giọng nói được tạo ra bởi hệ thống TTS tiếng Mường dễ hiểu.

VI. Kết Luận Tương Lai Phát Triển Ứng Dụng Cho Tiếng Mường

Nghiên cứu này đã khám phá các phương pháp khác nhau để phát triển hệ thống TTS cho ngôn ngữ Mường, một ngôn ngữ ít tài nguyên ở Việt Nam. Các kết quả cho thấy rằng chuyển giao học tập và sử dụng biểu diễn trung gian là những phương pháp hứa hẹn. Trong tương lai, nghiên cứu sẽ tập trung vào việc cải thiện chất lượng của giọng nói được tạo ra, mở rộng cơ sở dữ liệu giọng nói tiếng Mường, và phát triển các ứng dụng thực tế cho hệ thống TTS tiếng Mường.

6.1. Hướng phát triển hệ thống TTS cho các phương ngữ Mường khác

Nghiên cứu này tập trung vào hai phương ngữ Mường (Hòa Bình và Phú Thọ). Trong tương lai, cần mở rộng nghiên cứu để phát triển hệ thống TTS cho các phương ngữ Mường khác nhau, từ đó tạo ra một hệ thống TTS toàn diện cho ngôn ngữ Mường.

6.2. Xây dựng ứng dụng tổng hợp giọng nói tiếng Mường phục vụ cộng đồng

Mục tiêu cuối cùng của nghiên cứu là xây dựng các ứng dụng thực tế cho hệ thống TTS tiếng Mường để phục vụ cộng đồng người Mường. Các ứng dụng này có thể bao gồm ứng dụng học tiếng Mường, ứng dụng đọc sách báo tiếng Mường, và ứng dụng hỗ trợ giao tiếp cho người khuyết tật. Sự phát triển của các ứng dụng này sẽ góp phần bảo tồn và phát triển ngôn ngữ Mường.

Nội dung chính

Tổng quan luận án

Tính cấp thiết và khoảng trống nghiên cứu

Công nghệ tổng hợp tiếng nói từ văn bản (Text-to-Speech - TTS) là thành phần cốt lõi trong các hệ thống tương tác người - máy hiện đại, từ trợ lý ảo trên điện thoại thông minh (Apple Siri, Google Assistant, Amazon Alexa), phương tiện giao thông thông minh (BMW, Ford) đến các thiết bị nhà thông minh. Việc xây dựng một hệ thống tổng hợp tiếng nói chất lượng cao truyền thống đòi hỏi nguồn tài nguyên rất lớn, bao gồm hàng chục giờ thu âm chuẩn phòng thu từ người đọc chuyên nghiệp cùng các nghiên cứu ngôn ngữ học hoàn chỉnh về ngữ âm, âm vị, cú pháp và ngữ nghĩa.

Theo thống kê từ ấn bản thứ 25 của tổ chức Ethnologue, thế giới hiện có 7.151 ngôn ngữ đang được sử dụng thuộc 141 ngữ hệ, nhưng trong đó có tới 2.982 ngôn ngữ chưa có chữ viết chính thức. Phần lớn các công nghệ TTS hiện nay chỉ tập trung vào một số ít ngôn ngữ giàu tài nguyên như tiếng Anh, tiếng Tây Ban Nha, tiếng Quan Thoại hay tiếng Nhật Bản. Đối với các ngôn ngữ ít tài nguyên (low-resourced languages) hoặc ngôn ngữ không có chữ viết (unwritten languages), việc áp dụng các mô hình học máy dựa trên dữ liệu lớn gặp rào cản nghiêm trọng do sự khan hiếm dữ liệu văn bản, dữ liệu âm thanh song ngữ và thiếu vắng các tài liệu nghiên cứu ngôn ngữ học chuyên sâu.

Tại Việt Nam, tiếng Việt là ngôn ngữ phổ thông chiếm ưu thế và đã nhận được sự đầu tư nghiên cứu toàn diện trong lĩnh vực xử lý ngôn ngữ tự nhiên và tiếng nói. Ngược lại, các ngôn ngữ dân tộc thiểu số, tiêu biểu là tiếng Mường, vẫn đối mặt với tình trạng thiếu hụt tài nguyên nghiêm trọng. Tiếng Mường thuộc ngữ hệ Nam Á (Austroasiatic), nhánh Môn-Khmer, nhóm Việt-Mường, có quan hệ họ hàng rất gần gũi với tiếng Việt và là một trong năm nhóm dân tộc có dân số lớn nhất tại Việt Nam. Tuy nhiên, phần lớn các phương ngữ tiếng Mường chưa có chữ viết chuẩn hóa (ngoại trừ phương ngữ Mường Hòa Bình được ban hành bộ chữ viết vào năm 2016). Trong thực tế, người Mường thường đọc trực tiếp văn bản tiếng Việt và chuyển đổi sang tiếng Mường trong phát thanh và giao tiếp hàng ngày. Việc nghiên cứu giải pháp tổng hợp tiếng nói cho ngôn ngữ ít tài nguyên và chưa có chữ viết như tiếng Mường đặt ra bài toán khoa học mang tính cấp thiết nhằm phục vụ phát thanh truyền thông và bảo tồn các ngôn ngữ có nguy cơ mai một.

Mục tiêu và câu hỏi nghiên cứu

Luận án xác định mục tiêu phát triển hệ thống tổng hợp tiếng nói cho ngôn ngữ ít tài nguyên, lấy tiếng Mường làm trường hợp thực nghiệm điển hình thông qua các kỹ thuật thích nghi (adaptation) và học chuyển giao (transfer learning) từ ngôn ngữ giàu tài nguyên (tiếng Việt). Luận án phân loại ngôn ngữ ít tài nguyên thành hai nhóm và xác định các hướng giải quyết cụ thể:

1. Đối với ngôn ngữ ít tài nguyên có chữ viết (Written low-resourced languages): Nghiên cứu phương pháp mô phỏng đầu vào (emulating input) dựa trên hệ thống TTS tiếng Việt sẵn có và phương pháp học chuyển giao xuyên ngôn ngữ (cross-lingual transfer learning) để tinh chỉnh mô hình với lượng dữ liệu tiếng Mường hạn chế.
2. Đối với ngôn ngữ ít tài nguyên không có chữ viết (Unwritten low-resourced languages): Nghiên cứu hai hướng tiếp cận gồm: (1) tổng hợp tiếng nói tiếng Mường trực tiếp từ văn bản tiếng Việt và giọng đọc tiếng Mường; (2) dịch văn bản tiếng Việt sang biểu diễn trung gian dạng chuỗi âm vị (intermediate representation) của tiếng Mường, sau đó tổng hợp tiếng nói từ chuỗi âm vị này.

Đối tượng và phạm vi nghiên cứu

• Đối tượng nghiên cứu: Các phương pháp và mô hình tổng hợp tiếng nói áp dụng cho ngôn ngữ ít tài nguyên và ngôn ngữ không có chữ viết; quan hệ cấu trúc ngữ âm và thanh điệu giữa tiếng Việt và tiếng Mường.
• Phạm vi không gian và phương ngữ: Thực nghiệm tập trung vào hai phương ngữ tiếng Mường đại diện:
  • Phương ngữ Mường Bi (tỉnh Hòa Bình): Đại diện cho nhóm phương ngữ có chữ viết (sử dụng bộ chữ viết ban hành năm 2016).
  • Phương ngữ Mường Tân Sơn (tỉnh Phú Thọ): Đại diện cho nhóm phương ngữ không có chữ viết.
• Phạm vi đề tài và thời gian: Luận án được thực hiện trong khuôn khổ và phối hợp với đề tài khoa học công nghệ cấp Nhà nước mã số DLCN.20/17: "Nghiên cứu xây dựng hệ dịch tự động văn bản tiếng Việt ra tiếng nói tiếng Mường, hướng đến áp dụng cho các ngôn ngữ dân tộc thiểu số chưa có chữ viết ở Việt Nam". Toàn bộ nghiên cứu hoàn thành và bảo vệ năm 2023 tại Đại học Bách khoa Hà Nội.

---

Tổng quan tài liệu và vị trí của luận án

Tiến trình phát triển của các phương pháp tổng hợp tiếng nói

Luận án điểm lại lịch sử phát triển của công nghệ tổng hợp tiếng nói qua các mốc thời gian:

• Thập niên 1950: Homer Dudley phát triển hệ thống "VODER" và Franklin S. Cooper phát triển "Pattern Playback", đặt nền móng sơ khai cho việc tạo tiếng nói nhân tạo.
• Thập niên 1960: Phương pháp tổng hợp dựa trên formant (formant-based synthesis), mô phỏng sự cộng hưởng của đường dẫn thanh âm.
• Thập niên 1970: Phương pháp mã hóa dự đoán tuyến tính (Linear Predictive Coding - LPC), hỗ trợ mô hình hóa tín hiệu tiếng nói tự nhiên hơn.
• Thập niên 1980: Phương pháp tổng hợp ghép nối (Concatenative synthesis), ghép các đoạn âm thanh thu âm sẵn để tạo chuỗi âm thanh hoàn chỉnh.
• Thập niên 1990: Phương pháp lựa chọn đơn vị (Unit selection synthesis) theo các nghiên cứu của Zen (2009), Black và Campbell (1995), Hunt và Black (1996). Phương pháp này tính toán chi phí mục tiêu (target cost) và chi phí nối ghép (concatenation cost) thông qua giải thuật tìm kiếm Viterbi hoặc phân cụm cây quyết định.
• Thập niên 2000: Phương pháp tổng hợp tham số thống kê (Statistical Parametric Speech Synthesis - SPSS), tiêu biểu là hệ thống HMM-based Speech Synthesis (HTS) của Zen và cộng sự (2007, 2009), Tokuda và cộng sự (2013). Hệ thống sử dụng mô hình Markov ẩn (HMM) phụ thuộc ngữ cảnh, ước lượng hợp lý cực đại (MLE) thông qua thuật toán Expectation-Maximization (EM), phân phối thời lượng trạng thái Gamma/Gaussian và bộ lọc tổng hợp Mel Log Spectrum Approximation (MLSA).
• Thập niên 2010 đến nay: Ứng dụng mạng nơ-ron sâu (DNN) của Ze và cộng sự (2013), Zen và cộng sự (2013); các mô hình Neural TTS tạo trực tiếp dạng sóng như WaveNet của van den Oord và cộng sự (Google DeepMind, 2016) sử dụng mạng tích chập nhân quả giãn nở (dilated causal convolutions), DeepVoice 2 (Gibiansky và cộng sự, 2017), Deep Voice 3 (Ping và cộng sự, 2018), FastSpeech 2 (Ren và cộng sự, 2020), ClariNet (2018), EATS (2020). Các hệ thống End-to-End Seq2Seq tiêu biểu gồm Char2Wav (Sotelo và cộng sự, 2017), Tacotron (Wang và cộng sự, 2017) với kiến trúc CBHG và thuật toán Griffin-Lim, Tacotron 2 (Shen và cộng sự, 2017) kết hợp mạng dự đoán chuỗi đặc trưng Mel-spectrogram với WaveNet vocoder, VITS (Kim và cộng sự, 2021) kết hợp Conditional VAE với mạng sinh đối nghịch GAN, NaturalSpeech (Tan và cộng sự, 2022), và bộ tái tạo tín hiệu âm thanh HiFi-GAN (Kong và cộng sự, 2020), WaveGlow (Prenger và cộng sự, 2019).

Các hướng nghiên cứu cho ngôn ngữ ít tài nguyên

Luận án tổng hợp các hướng tiếp cận chính trên thế giới đối với ngôn ngữ ít tài nguyên:

• Phương pháp mô phỏng đầu vào (Emulating input approach): Evans và cộng sự (2000) phát triển bộ mô phỏng đầu vào cho các ngôn ngữ như tiếng Hy Lạp, Albania, Séc và xứ Wales thông qua quy tắc chuyển đổi ký tự sang âm vị (G2P) và chuyển sang bộ tổng hợp âm thanh của ngôn ngữ khác; Somers và cộng sự (2006, 2007) áp dụng mô phỏng tiếng Somali dựa trên ngôn ngữ giàu tài nguyên, đánh giá bằng thang đo Modified Rhyme Test (MRT) và Mean Opinion Score (MOS).
• Phương pháp đa ngữ (Polyglot/Multilingual TTS): Samsudin và cộng sự (2003, 2004) phát triển hệ thống HTS đa ngữ dùng chung giọng đọc; Romsdorfer và cộng sự (1999) xử lý tổng hợp văn bản hỗn hợp ngôn ngữ; Ziyao Zhang (2020) nghiên cứu thực nghiệm bóc tách (ablation study) về sự ảnh hưởng của họ ngôn ngữ, giới tính và số lượng người nói trong tập dữ liệu đơn ngữ đến chất lượng tổng hợp đa ngữ.
• Phương pháp thích nghi và học chuyển giao (Adaptation and Transfer Learning): Xu Tan (2021) khảo sát tổng thể về TTS cho ngôn ngữ ít tài nguyên; Yuan-Jui Chen và cộng sự (2019) đề xuất mạng biến đổi ngữ âm (Phonetic Transformation Network - PTN) để ánh xạ không gian ký hiệu âm vị giữa ngôn ngữ nguồn và ngôn ngữ đích; Sahar Jamal và cộng sự (2019) sử dụng mô hình Tacotron tiền huấn luyện từ tiếng Anh và tiếng Ả Rập để chuyển giao sang tiếng Urdu; Marlene Staib và cộng sự (2020) thay thế đầu vào ký tự của Tacotron 2 bằng tập đặc trưng IPA; Huybrechts và cộng sự (2020) đề xuất quy trình tăng cường dữ liệu 3 bước chỉ với 15 phút ghi âm; Muthukumar và cộng sự (2018) nghiên cứu biểu diễn ngữ âm cho ngôn ngữ không chữ viết.
• Dịch máy và biểu diễn trung gian: Luận án điểm lại mô hình dịch máy thống kê dựa trên cụm từ (Phrase-based SMT) từ ý tưởng của Warren Weaver (1949), nhóm nghiên cứu IBM (1991), Koehn và cộng sự (2003), Och và Ney (2004) với mô hình log-linear và giải thuật giải mã A* hoặc Beam search; mô hình dịch máy nơ-ron (NMT) Seq2Seq của Sutskever và cộng sự (2014), Cho và cộng sự (2014) kết hợp cơ chế chú ý (Attention mechanism) của Bahdanau và cộng sự (2014).

Vị trí và khoảng trống nghiên cứu của luận án

Trong bối cảnh các nghiên cứu về xử lý tiếng nói cho ngôn ngữ dân tộc thiểu số tại Việt Nam còn rất hạn chế, luận án định vị là công trình nghiên cứu hệ thống đầu tiên giải quyết bài toán tổng hợp tiếng nói tiếng Mường ở cả hai trạng thái có chữ viết (Mường Bi) và không có chữ viết (Mường Tân Sơn), kết hợp các kỹ thuật thích nghi ngữ âm, học chuyển giao xuyên ngôn ngữ từ tiếng Việt và mô hình dịch máy sang biểu diễn trung gian âm vị.

---

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết và mô hình tính toán

Luận án xây dựng trên nền tảng các lý thuyết xử lý ngôn ngữ tự nhiên và âm học:

• Mô hình kiến trúc tổng hợp tiếng nói Neural TTS: Kiến trúc End-to-End Seq2Seq (Tacotron 2) tiếp nhận chuỗi ký tự hoặc âm vị đầu vào, trích xuất biểu diễn ngữ cảnh qua bộ mã hóa (Encoder), đưa qua bộ giải mã (Decoder) kết hợp cơ chế chú ý (Location-sensitive Attention) để dự đoán chuỗi đặc trưng phổ Mel-spectrogram 80 chiều.
• Mô hình Vocoder nơ-ron: HiFi-GAN (sử dụng cấu trúc Multi-Scale Generator kết hợp Multi-Period Discriminator và Multi-Scale Discriminator) và WaveGlow (mô hình dòng chảy dựa trên biến đổi khả nghịch không cần vòng lặp tự hồi quy) nhằm tổng hợp dạng sóng âm thanh từ Mel-spectrogram.
• Lý thuyết dịch máy thống kê và nơ-ron: Áp dụng định lý Bayes trong dịch máy cụm từ:

$$\hat{e}(f) = \arg\max_{e} p(e) \cdot p(f|e)$$

kết hợp mô hình log-linear với các hàm đặc trưng gồm mô hình ngôn ngữ $p(e)$, xác suất dịch cụm từ hai chiều $\log p(f|e)$, $\log p(e|f)$, mô hình chuyển vị $d_g$, và giải thuật giải mã Beam Search.

Phương pháp nghiên cứu

• Phương pháp ngôn ngữ học so sánh đối chiếu (Định tính): Khảo sát cấu trúc âm tiết, hệ thống âm đầu, âm đệm, âm chính, âm cuối và hệ thống thanh điệu giữa tiếng Việt (phương ngữ Hà Nội) và tiếng Mường (Mường Bi và Mường Tân Sơn); phân tích sự tương ứng từ vựng qua 12 từ chỉ bộ phận cơ thể người.
• Phương pháp thực nghiệm mô hình hóa (Định lượng):
  • Kỹ thuật mô phỏng quy tắc (Emulating): Xây dựng mô-đun IPA mô phỏng, biến đổi văn bản tiếng Mường thành chuỗi ký tự tương đương của tiếng Việt để phát âm qua hệ thống TTS tiếng Việt sẵn có mà không cần huấn luyện lại.
  • Kỹ thuật học chuyển giao (Transfer Learning): Tiền huấn luyện mô hình Tacotron 2 trên tập dữ liệu tiếng Việt quy mô lớn, sau đó tinh chỉnh (fine-tune) mô hình âm học với các tập dữ liệu tiếng Mường có dung lượng khác nhau (15 phút, 30 phút, 60 phút).
  • Kỹ thuật tạo tiếng nói trực tiếp (Direct L1 Text to L2 Speech): Huấn luyện mô hình End-to-End nhận đầu vào là văn bản tiếng Việt và sinh ra trực tiếp giọng đọc tiếng Mường.
  • Kỹ thuật biểu diễn trung gian (Intermediate Representation): Kết hợp hệ thống dịch văn bản tiếng Việt sang chuỗi âm vị tiếng Mường (Text-to-Phone) và mô hình tổng hợp âm thanh từ chuỗi âm vị (Phone-to-Sound).
• Phương pháp đánh giá và kiểm định thống kê:
  • Đánh giá chủ quan: Điểm số ý kiến trung bình (Mean Opinion Score - MOS) đánh giá độ tự nhiên và bài kiểm tra tính dễ hiểu (Intelligibility test) đánh giá độ rõ của âm vị và thanh điệu, thực hiện bởi các tình nguyện viên bản ngữ người Mường tại Hòa Bình và Phú Thọ.
  • Đánh giá khách quan: Độ méo phổ Mel-Cepstral (Mel-Cepstral Distortion - MCD) kết hợp nắn chỉnh thời gian động Dynamic Time Warping (MCD-DTW).
  • Kiểm định thống kê: Phân tích phương sai (Analysis of Variance - ANOVA) để xác định mức ý nghĩa thống kê ($p$-value so với giả thuyết vô hiệu $H_0$) của sự khác biệt giữa các mô hình trên tập thử nghiệm trong miền (in-domain) và ngoài miền (out-domain).

Nguồn dữ liệu thực nghiệm

• Dữ liệu tiếng Việt: Tập dữ liệu tiếng Việt chuẩn (VNSpeechCorpus và dữ liệu ghi âm chất lượng cao) dùng cho tiền huấn luyện mô hình âm học và vocoder.
• Dữ liệu tiếng Mường (thu thập từ đề tài DLCN.20/17):
  • Dữ liệu âm thanh thu âm từ người bản ngữ phương ngữ Mường Bi (Hòa Bình) và Mường Tân Sơn (Phú Thọ).
  • Các tập dữ liệu phân chia theo thời lượng huấn luyện: M_15m (15 phút), M_30m (30 phút), M_60m (60 phút).
  • Tập văn bản song ngữ và bán tự động gán nhãn chuỗi âm vị phục vụ mô hình dịch máy và biểu diễn trung gian.

---

Nội dung chính theo từng chương

Chapter 1: Overview of speech synthesis and speech synthesis for low-resourced language

Chương 1 trình bày tổng quan hệ thống về lý thuyết tổng hợp tiếng nói và các giải pháp kỹ thuật cho ngôn ngữ ít tài nguyên. Nội dung chương tập trung vào:

• Kiến trúc cơ bản của hệ thống TTS truyền thống gồm 4 thành phần: Xử lý văn bản (Text Processing), Chuyển đổi ký tự sang âm vị (G2P Conversion), Mô hình hóa ngữ điệu (Prosody Modeling), và Tổng hợp dạng sóng âm thanh (Speech Synthesis).
• Phân tích chi tiết các kỹ thuật tổng hợp qua các thời kỳ: Lựa chọn đơn vị (Unit-selection) dựa trên tối ưu hóa hàm chi phí mục tiêu và chi phí ghép nối; Tổng hợp tham số thống kê (SPSS) dựa trên HMM và thuật toán EM; Mạng nơ-ron sâu (DNN) mô hình hóa phi tuyến; Các kiến trúc Neural TTS hiện đại (WaveNet, Char2Wav, Tacotron, Tacotron 2, VITS, NaturalSpeech, HiFi-GAN).
• Tổng hợp ba hướng tiếp cận chính cho ngôn ngữ ít tài nguyên: Kỹ thuật mô phỏng đầu vào (Emulating), Kỹ thuật tổng hợp đa ngữ (Polyglot), và Kỹ thuật thích nghi/học chuyển giao xuyên ngôn ngữ (Adaptation/Cross-lingual Transfer Learning).
• Cơ sở lý thuyết về dịch máy thống kê (Phrase-based SMT), dịch máy nơ-ron (NMT với cơ chế Attention) và kiến trúc dịch tiếng nói thông qua biểu diễn âm vị trung gian cho ngôn ngữ không có chữ viết.
• Các tiêu chuẩn và chỉ số đánh giá chất lượng tiếng nói tổng hợp: Thang đo chủ quan MOS, thang đo khách quan MCD, MCD-DTW và phương pháp phân tích phương sai ANOVA.

Chapter 2: Vietnamese and Muong language

Chương 2 phân tích đặc điểm ngôn ngữ học và so sánh đối chiếu ngữ âm giữa tiếng Việt và tiếng Mường:

• Lịch sử và cấu trúc ngữ âm tiếng Việt: Cấu trúc âm tiết tiếng Việt bao gồm âm đầu, âm đệm, âm chính, âm cuối và thanh điệu; hệ thống phụ âm đầu phương ngữ Hà Nội, hệ thống phụ âm cuối và hệ thống 6 thanh điệu (ngang, huyền, ngã, hỏi, sắc, nặng).
• Tổng quan về người Mường và tiếng Mường: Tiếng Mường thuộc nhóm Việt-Mường trong ngữ hệ Nam Á; phân bố phương ngữ và tình trạng chữ viết (phương ngữ Mường Hòa Bình được xây dựng chữ viết năm 2016; các vùng khác như Mường Phú Thọ không có chữ viết chính thức).
• Cấu trúc ngữ âm tiếng Mường: Cấu trúc âm tiết tiếng Mường, hệ thống phụ âm đầu, hệ thống nguyên âm, hệ thống âm cuối và hệ thống thanh điệu tiếng Mường Hòa Bình (Mường Bi) và tiếng Mường Phú Thọ (Mường Tan Son).
• Bảng so sánh ngữ âm và thanh điệu giữa tiếng Việt và tiếng Mường (Mường Bi và Mường Tân Sơn): Đối chiếu sự tương đồng và khác biệt về ký hiệu âm vị quốc tế (IPA), các trường hợp phụ âm đầu/cuối tương đương và khác biệt, cùng quy luật biến đổi từ vựng qua 12 từ chỉ bộ phận cơ thể người.

Thành phần ngữ âm	Tiếng Việt (Hà Nội)	Tiếng Mường Bi (Hòa Bình)	Tiếng Mường Tân Sơn (Phú Thọ)
Ngữ tộc / Ngữ hệ	Nam Á (Việt-Mường)	Nam Á (Việt-Mường)	Nam Á (Việt-Mường)
Chữ viết chính thức	Chữ Quốc ngữ	Bộ chữ Mường Hòa Bình (2016)	Chưa có chữ viết (Unwritten)
Cấu trúc âm tiết	Âm đầu - Âm đệm - Âm chính - Âm cuối - Thanh điệu	Âm đầu - Âm đệm - Âm chính - Âm cuối - Thanh điệu	Âm đầu - Âm đệm - Âm chính - Âm cuối - Thanh điệu
Số lượng thanh điệu	6 thanh	6 thanh	Phân bố thanh điệu theo phương ngữ
Tương ứng từ vựng	Có quan hệ họ hàng gần gũi	Tương đồng cao về từ gốc	Tương đồng cao về từ gốc

Chapter 3: Emulating of the Muong TTS based on input transformation of the Vietnamese TTS

Chương 3 đề xuất giải pháp tổng hợp tiếng nói tiếng Mường có chữ viết (Mường Bi) bằng phương pháp mô phỏng đầu vào dựa trên hệ thống TTS tiếng Việt sẵn có mà không cần thu âm dữ liệu giọng đọc tiếng Mường để huấn luyện mới:

• Thiết kế mô-đun IPA mô phỏng cho tiếng Mường (Muong emulating IPA module), thiết lập tập luật chuyển đổi văn bản chữ viết tiếng Mường sang văn bản đầu vào cho hệ thống TTS tiếng Việt dựa trên sự tương đồng ngữ âm giữa hai ngôn ngữ.
• Xây dựng tài liệu kiểm thử cho các thanh điệu mô phỏng, các âm vị tương đương gần và các âm vị còn lại.
• Thực hiện kiểm thử tính dễ hiểu (Intelligibility Test) trên các âm vị và thanh điệu mô phỏng; đánh giá thang điểm MOS về độ tự nhiên.
• Áp dụng phân tích phương sai ANOVA để kiểm định độ tin cậy của kết quả đánh giá MOS và độ rõ âm thanh, chứng minh tính khả thi của phương pháp mô phỏng trong việc tạo nhanh hệ thống tổng hợp tiếng nói cho các ngôn ngữ dân tộc thiểu số có chữ viết nhưng thiếu dữ liệu thu âm.

Chapter 4: Cross-lingual transfer learning for Muong speech synthesis

Chương 4 nghiên cứu giải pháp học chuyển giao xuyên ngôn ngữ cho tiếng Mường có chữ viết nhằm nâng cao chất lượng âm thanh so với phương pháp mô phỏng:

• Xây dựng bộ công cụ chuyển đổi ký tự sang âm vị (G2P) cho chữ viết tiếng Mường; chuẩn bị các tập dữ liệu huấn luyện tiếng Mường từ dự án DLCN.20/17 gồm ba mức thời lượng: M_15m (15 phút), M_30m (30 phút) và M_60m (60 phút).
• Huấn luyện mô hình âm học Tacotron 2 tiền huấn luyện trên tập dữ liệu tiếng Việt quy mô lớn, sau đó tinh chỉnh mô hình với các tập dữ liệu tiếng Mường; sử dụng mạng HiFi-GAN làm vocoder tái tạo tín hiệu âm thanh dạng sóng.
• Đánh giá chất lượng tiếng nói tổng hợp trên hai tập kiểm thử: trong miền (in-domain) và ngoài miền (out-domain).
• Phân tích thống kê ANOVA đối với kết quả MOS trên tập in-domain, out-domain và so sánh tổng thể giữa các tập dữ liệu, làm rõ mối quan hệ giữa dung lượng dữ liệu tinh chỉnh (15, 30, 60 phút) và chất lượng tiếng nói tiếng Mường được tổng hợp.

Chapter 5: Generate unwritten low-resourced language’s speech directly from rich-resource language’s text

Chương 5 giải quyết bài toán tổng hợp tiếng nói cho ngôn ngữ ít tài nguyên không có chữ viết bằng phương pháp tiếp cận trực tiếp từ văn bản của ngôn ngữ giàu tài nguyên (tiếng Việt - L1 Text) sang tiếng nói của ngôn ngữ không chữ viết (tiếng Mường - L2 Speech):

• Xây dựng hệ thống TTS End-to-End nơ-ron nhận đầu vào trực tiếp là văn bản tiếng Việt và sinh ra trực tiếp tiếng nói tiếng Mường, loại bỏ bước trung gian văn bản tiếng Mường.
• Áp dụng mô hình âm học Tacotron 2 kết hợp với WaveGlow vocoder cho cả hai phương ngữ: Mường Bi (Hòa Bình) và Mường Tân Sơn (Phú Thọ).
• Đánh giá chất lượng hệ thống thông qua kiểm thử MOS trên tập dữ liệu trong miền và ngoài miền.
• Thực hiện phân tích ANOVA chi tiết cho kết quả thử nghiệm tiếng nói phương ngữ Mường Bi và Mường Tân Sơn, chứng minh khả năng học biểu diễn phát âm tiếng Mường trực tiếp từ câu chữ tiếng Việt tương ứng.

Chapter 6: Speech synthesis for Unwritten low-resourced language using intermediate representation

Chương 6 đề xuất phương pháp tổng hợp tiếng nói cho ngôn ngữ không chữ viết thông qua biểu diễn trung gian dạng chuỗi âm vị (Intermediate Representation):

• Quy trình gồm hai giai đoạn độc lập:
  • Giai đoạn 1 (Text-to-Phone Translation): Dịch văn bản tiếng Việt sang chuỗi âm vị trung gian của hai phương ngữ tiếng Mường (Mường Bi và Mường Tân Sơn) thông qua mô hình dịch máy.
  • Giai đoạn 2 (Phone-to-Sound Conversion): Tổng hợp tiếng nói từ chuỗi âm vị tiếng Mường đã được dịch bằng mô hình âm học và vocoder.
• Đánh giá thực nghiệm chất lượng trên cả hai phương ngữ Mường Bi và Mường Tân Sơn đối với tập dữ liệu in-domain và out-domain.
• Phân tích phương sai ANOVA đánh giá điểm MOS của phương pháp biểu diễn trung gian; so sánh đối chiếu kết quả giữa ba phương pháp tổng hợp trên phương ngữ Mường Bi (Mô phỏng, Học chuyển giao, Biểu diễn trung gian) và hai phương pháp trên phương ngữ Mường Tân Sơn (Trực tiếp End-to-End và Biểu diễn trung gian).

---

Kết quả và những đóng góp mới

Những đóng góp mới về mặt khoa học và kỹ thuật

1. Phương pháp tổng hợp tiếng nói cho ngôn ngữ ít tài nguyên có chữ viết:
   • Đề xuất kỹ thuật thích nghi mô phỏng (Emulating approach) dựa trên việc chuyển đổi đầu vào của hệ thống TTS tiếng Việt sang ký hiệu âm vị tiếng Mường, cho phép tạo tiếng nói tổng hợp tiếng Mường có thể hiểu được mà không cần dữ liệu thu âm huấn luyện.
   • Đề xuất quy trình học chuyển giao xuyên ngôn ngữ (Cross-lingual transfer learning) từ mô hình tiền huấn luyện tiếng Việt sang tiếng Mường, chứng minh việc tinh chỉnh với lượng dữ liệu rất nhỏ (từ 15 phút đến 60 phút) kết hợp HiFi-GAN vocoder giúp tạo ra giọng nói tự nhiên, rõ ràng.
2. Phương pháp tổng hợp tiếng nói cho ngôn ngữ ít tài nguyên không có chữ viết:
   • Đề xuất mô hình mạng nơ-ron End-to-End tổng hợp trực tiếp tiếng nói ngôn ngữ không chữ viết (L2 - tiếng Mường) từ văn bản ngôn ngữ giàu tài nguyên (L1 - tiếng Việt) sử dụng kiến trúc Tacotron 2 và WaveGlow.
   • Đề xuất kiến trúc hai chặng sử dụng biểu diễn âm vị trung gian (Text-to-Phone kết hợp Phone-to-Sound), giải quyết bài toán thiếu chữ viết chuẩn hóa cho hai phương ngữ Mường Bi và Mường Tân Sơn.
3. Đóng góp về mặt ngữ âm học và tư liệu ngôn ngữ tính toán:
   • Xây dựng bảng so sánh, ánh xạ âm vị chi tiết giữa tiếng Việt và hai phương ngữ tiếng Mường (Mường Bi, Mường Tân Sơn).
   • Công bố bộ công cụ chuyển đổi G2P và các tài liệu phục vụ tiền xử lý văn bản, ngữ âm cho tiếng Mường.

Kết quả ứng dụng thực tiễn

Toàn bộ các mô hình và giải pháp nghiên cứu trong luận án đã được tích hợp và ứng dụng trực tiếp vào đề tài khoa học công nghệ cấp Nhà nước mã số DLCN.20/17, phục vụ việc xây dựng hệ thống dịch tự động từ văn bản tiếng Việt sang tiếng nói tiếng Mường, tạo cơ sở triển khai các ứng dụng phát thanh truyền thanh cơ sở và bảo tồn ngôn ngữ cho cộng đồng người Mường tại Hòa Bình và Phú Thọ.

---

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của luận án

• Chất lượng tiếng nói tổng hợp cho các câu ngoài miền thử nghiệm (out-domain) và các cấu trúc câu dài, phức tạp vẫn còn khoảng cách so với giọng đọc tự nhiên trong miền (in-domain).
• Phương pháp mô phỏng đầu vào (Chương 3) bị giới hạn bởi sự sai khác ngữ âm giữa ngôn ngữ nguồn và ngôn ngữ đích, dẫn đến chất lượng tự nhiên chưa cao ở một số âm vị đặc thù không có trong tiếng Việt.
• Dung lượng dữ liệu âm thanh tiếng Mường thu thập phục vụ thực nghiệm còn khiêm tốn do hạn chế về người đọc bản ngữ chuẩn và kinh phí thu âm.

Hướng nghiên cứu tiếp

• Tiếp tục mở rộng nghiên cứu các kỹ thuật học chuyển giao, học không giám sát (unsupervised learning) và tăng cường dữ liệu (data augmentation) cho xử lý tiếng nói với dữ liệu siêu nhỏ.
• Đầu tư nghiên cứu thu thập, bảo tồn và số hóa dữ liệu ngữ âm chuyên sâu cho các phương ngữ tiếng Mường khác nhau.
• Mở rộng áp dụng khung phương pháp (mô phỏng, chuyển giao, biểu diễn trung gian) cho 53 ngôn ngữ dân tộc thiểu số khác tại Việt Nam, đặc biệt là các ngôn ngữ chưa có hệ thống chữ viết.

---

Giá trị tham khảo

Đối tượng thụ hưởng

• Nghiên cứu sinh, học viên cao học và kỹ sư ngành Công nghệ thông tin: Chuyên ngành Khoa học máy tính, Xử lý ngôn ngữ tự nhiên (NLP), Xử lý tín hiệu âm thanh và tiếng nói, đặc biệt là những người nghiên cứu các bài toán học chuyển giao và xử lý ngôn ngữ ít tài nguyên.
• Các nhà nghiên cứu ngôn ngữ học và nhân học: Tham khảo các phân tích so sánh đối chiếu ngữ âm, thanh điệu, cấu trúc âm tiết giữa tiếng Việt và các phương ngữ tiếng Mường.
• Cơ quan quản lý nhà nước, đài phát thanh - truyền hình địa phương và Ban Dân tộc: Tham khảo giải pháp kỹ thuật để xây dựng hệ thống phát thanh tự động, báo nói tiếng dân tộc thiểu số từ văn bản tiếng Việt.

Các nội dung đáng tham khảo

• Chương 2 cung cấp hệ thống tư liệu ngữ âm so sánh chi tiết giữa tiếng Việt và tiếng Mường Bi, Mường Tân Sơn.
• Chương 3 và Chương 4 cung cấp quy trình kỹ thuật hoàn chỉnh để xây dựng hệ thống TTS cho ngôn ngữ có dữ liệu thu âm hạn chế (từ 0 đến 60 phút).
• Chương 5 và Chương 6 cung cấp khung kiến trúc mẫu mực cho bài toán dịch và tổng hợp tiếng nói cho các ngôn ngữ không có chữ viết.

---

Câu hỏi thường gặp

1. Luận án phân loại ngôn ngữ ít tài nguyên thành những nhóm nào và chọn đối tượng thực nghiệm cụ thể là gì?

Luận án phân loại ngôn ngữ ít tài nguyên thành hai nhóm: (1) Nhóm có chữ viết (Written low-resourced languages) và (2) Nhóm không có chữ viết (Unwritten low-resourced languages). Đối tượng thực nghiệm cụ thể là tiếng Mường tại Việt Nam, trong đó phương ngữ Mường Bi (tỉnh Hòa Bình) đại diện cho nhóm có chữ viết (sử dụng bộ chữ ban hành năm 2016) và phương ngữ Mường Tân Sơn (tỉnh Phú Thọ) đại diện cho nhóm không có chữ viết.

2. Phương pháp mô phỏng đầu vào (Emulating approach) ở Chương 3 hoạt động như thế nào?

Phương pháp mô phỏng đầu vào tận dụng hệ thống TTS tiếng Việt sẵn có mà không cần thu âm giọng đọc tiếng Mường để huấn luyện mới. Mô hình sử dụng mô-đun IPA mô phỏng cùng các quy tắc chuyển đổi văn bản chữ viết tiếng Mường thành chuỗi ký tự tương đương của tiếng Việt dựa trên sự gần gũi về ngữ âm giữa hai ngôn ngữ, sau đó đưa qua bộ tổng hợp tiếng Việt để phát âm.

3. Trong kỹ thuật học chuyển giao xuyên ngôn ngữ (Chương 4), tác giả sử dụng các mức dữ liệu huấn luyện nào và mô hình vocoder nào?

Trong Chương 4, tác giả thực hiện tiền huấn luyện mô hình âm học Tacotron 2 trên tập dữ liệu tiếng Việt quy mô lớn, sau đó tinh chỉnh (fine-tune) trên ba tập dữ liệu tiếng Mường với các mốc thời lượng gồm: 15 phút (M_15m), 30 phút (M_30m) và 60 phút (M_60m). Mô hình vocoder được sử dụng để tái tạo dạng sóng âm thanh từ Mel-spectrogram là HiFi-GAN.

4. Hai hướng tiếp cận chính được đề xuất để tổng hợp tiếng nói cho ngôn ngữ không có chữ viết là gì?

Hai hướng tiếp cận chính gồm:

1. Tổng hợp trực tiếp (Chương 5): Sử dụng mô hình mạng nơ-ron End-to-End tiếp nhận trực tiếp văn bản tiếng Việt (L1) và sinh ra tiếng nói tiếng Mường (L2) thông qua mô hình âm học Tacotron 2 và WaveGlow vocoder.
2. Tổng hợp qua biểu diễn trung gian (Chương 6): Sử dụng quy trình hai chặng, gồm mô-đun dịch văn bản tiếng Việt sang chuỗi âm vị trung gian của tiếng Mường (Text-to-Phone), sau đó sử dụng mô-đun tổng hợp tiếng nói từ chuỗi âm vị đó (Phone-to-Sound).

5. Luận án gắn liền với đề tài nghiên cứu cấp Nhà nước nào và kết quả được ứng dụng ra sao?

Luận án được thực hiện trong khuôn khổ đề tài nghiên cứu cấp Nhà nước mã số DLCN.20/17: "Nghiên cứu xây dựng hệ dịch tự động văn bản tiếng Việt ra tiếng nói tiếng Mường, hướng đến áp dụng cho các ngôn ngữ dân tộc thiểu số chưa có chữ viết ở Việt Nam". Toàn bộ các mô hình và giải pháp kỹ thuật của luận án đã được chuyển giao, tích hợp thành công vào hệ thống dịch tự động của đề tài để phục vụ truyền thông phát thanh cho đồng bào người Mường.

---

Kết luận

Luận án Tiến sĩ ngành Khoa học máy tính của nghiên cứu sinh Phạm Văn Đồng đã giải quyết bài toán tổng hợp tiếng nói cho ngôn ngữ ít tài nguyên và chưa có chữ viết, lấy tiếng Mường làm trường hợp ứng dụng điển hình. Thông qua việc phân loại đối tượng thành nhóm có chữ viết (Mường Bi) và không có chữ viết (Mường Tân Sơn), luận án đã đề xuất và thực nghiệm thành công các phương pháp mô phỏng đầu vào, học chuyển giao xuyên ngôn ngữ với dữ liệu nhỏ (15–60 phút), tổng hợp trực tiếp từ văn bản tiếng Việt và tổng hợp qua biểu diễn âm vị trung gian. Các kết quả nghiên cứu không chỉ đóng góp giá trị học thuật trong lĩnh vực xử lý tiếng nói và ngôn ngữ học tính toán mà còn được ứng dụng trực tiếp vào đề tài cấp Nhà nước DLCN.20/17, mở ra hướng ứng dụng thực tiễn cho 53 ngôn ngữ dân tộc thiểu số tại Việt Nam.

Trích đoạn nội dung tài liệu

MINISTRY OF EDUCATION AND TRAINING HANOI UNIVERSITY OF SCIENCE AND TECHNOLOGY Pham Van Dong SPEECH SYNTHESIS FOR LOW-RESOURCED LANGUAGES BASED ON ADAPTATION APPROACH: APPLICATION TO MUONG LANGUAGE DOCTORAL DISSERTATION IN COMPUTER SCIENCE Ha Noi – 2023 MINISTRY OF EDUCATION AND TRAINING HANOI UNIVERSITY OF SCIENCE AND TECHNOLOGY Pham Van Dong SPEECH SYNTHESIS FOR LOW-RESOURCED LANGUAGES BASED ON ADAPTATION APPROACH: APPLICATION TO MUONG LANGUAGE Major: Computer science Code: 9480101 DOCTORAL DISSERTATION IN COMPUTER SCIENCE SUPERVISORS: 1. MAC DANG KHOA 2. TRAN DO DAT Ha Noi - 2023 DECLARATION OF AUTHORSHIP I, Pham Van Dong, declare that the dissertation titled “Speech Synthesis for Low- Resourced Languages based on Adaptation Approach: Application to Muong Language” has been entirely composed by myself. I assure you of some points as follows:  This work was done wholly or mainly while in candidature for a Ph.

research degree at Hanoi University of Science and Technology.  The work has not been submitted for any other degree or qualifications at Hanoi University of Science and Technology or any other institution.  Appropriate acknowledgment has been given within this dissertation, where reference has been made to the published work of others.  The dissertation submitted is my own, except where work in the collaboration has been included.

The collaborative contributions have been indicated. Hanoi, December 8, 2023 Ph. Student Pham Van Dong ADVISORS 1. Mac Dang Khoa 2.

Tran Do Dat i ACKNOWLEDGMENT Foremost, I would like to express my most sincere and deepest gratitude to my thesis advisors Dr. Mạc Đăng Khoa (Speech Communication Department, MultiLab at MICA), Prof. TRẦN Đỗ Đạt (The Ministry of Science and Technology, Vietnam) for their continuous support and guidance during my Ph. program, and for providing me with such a severe and inspiring research environment.

I am grateful to Dr. Mạc Đăng Khoa for his excellent mentorship, caring, patience, and immense Text-To-Speech (TTS) knowledge. His advice helped me in all the research and writing of this thesis. I am very thankful to Prof.

Đạt for shaping my thesis at the beginning and for their enthusiasm and encouragement. Trần Đỗ Đạt substantially facilitated my Ph. research, especially when I was a freshman on speech processing and TTS, with his valuable comments on Vietnamese and Muong TTS. I thank all MICA members for their help during my Ph.

My sincere thanks to Dr. Nguyen Viet Son, Assoc. Dao Trung Kien and Dr. Do Thi Ngoc Diep for giving me much support and valuable advice.

Thanks to Nguyen Van Thinh, Nguyen Tien Thanh, Dang Thanh Mai, and Vu Thi Hai Ha for their help. I want to thank my Hanoi University of Mining and Geology colleagues for all their support during my Ph. Special thanks to my family for understanding my hours glued to the computer screen. Hanoi, December 8, 2023 Ph.

Student ii ABSTRACT Text-to-speech (TTS) synthesis is the automatic conversion of text into speech. Typically, building high-quality voiceovers requires collecting tens of hours of the voice of a professional speaker with a high-quality microphone. There are about 7,000 languages spoken worldwide, but only a few languages, such as English, Spanish, Mandarin, and Japanese, are used in good TTS. With so-called "low-resourced languages" or even languages that are not yet written, these languages do not have TTS.

Thus, to apply TTS technology to low-resourced language, it is necessary to study other TTS methods. In Vietnam, Vietnamese is the mother tongue and is used the most. The Muong is a group of the language spoken by the Muong people of Vietnam. They are in the Austroasiatic language family and are closely related to Vietnamese, and Muong is also one of the five ethnic groups with the largest population.

However, Muong still needs an official script, a typical representative of the low-resourced language in Vietnam. Therefore, researching TTS technologies to create TTS for the Muong language is challenging. In the first part of this thesis, we do an overview of TTS. Researching the phonetics of Vietnamese and Muong languages, the thesis has also researched and published some tools to support TTS technology for Vietnamese and Muong languages.

In the rest of the thesis, we conduct various experiments in creating TTS for low-resourced language; specifically, we experiment with the Muong language. We focus on two main low-resourced language groups:  Written: We use emulating to simulate the reading of the Muong language using Vietnamese TTS and cross-lingual adaptation transfer-learning.  Unwritten: We experiment with adaptation in two directions. The first is to create Muong speech synthesis directly from Vietnamese Text and Muong voice.

The second is to create Muong speech synthesis from translation through intermediate representation We hope our findings can serve as an impetus to develop speech synthesis for low-resourced languages worldwide and contribute to the basis for speech synthesis development for 53 ethnic minority languages in Viet Nam. Hanoi, December 8, 2023 Ph. Student iii CONTENT DECLARATION OF AUTHORSHIP. VIII LIST OF TABLES.

X LIST OF FIGURES. 1 PART 1 : BACKGROUND AND RELATED WORKS. OVERVIEW OF SPEECH SYNTHESIS AND SPEECH SYNTHESIS FOR LOW-RESOURCED LANGUAGE. Overview of speech synthesis.

Evolution of TTS methods over time. TTS using unit-selection method. Statistical parameter speech synthesis. Speech synthesis using deep neural networks.

Neural speech synthesis. Speech synthesis for low-resourced languages. TTS using emulating input approach. TTS using the polyglot approach.

Speech synthesis for low-resourced language using the adaptation approach. Neural translation model. Attention in neural machine translation. Statistical machine translation based on phrase.

Statistical machine translation problem based on phrase. Translation model and language model. Decode the input sentence in the translation system. Model for building a statistical translation system.

Machine translation through intermediate representation. Speech translation for unwritten low-resourced languages. Speech synthesis evaluation metrics. Mean Opinion Score (MOS).

Mel Cepstral Distortion (MCD). MCD with Dynamic Time Warping (MCD – DTW). Analysis of variance (Anova). VIETNAMESE AND MUONG LANGUAGE.

History of Vietnamese. Vietnamese phonetic system. Vietnamese syllabus structure. Vietnamese phonetic system.

Vietnamese tone system. Overview of Muong people and Muong language. Viet Muong group. Muong written script.

Muong phonetics system. Muong syllable structure. Muong phoneme system. Muong tone system.

Comparison between Vietnamese and Muong. Dicussion and proposal approach. 60 PART 2 : SPEECH SYNTHESIS FOR MUONG AS A WRITTEN LANGUAGE. EMULATING OF THE MUONG TTS BASED ON INPUT TRANSFORMATION OF THE VIETNAMESE TTS.

Muong emulating IPA module. Analysis by ANOVA method. MOS analysis by ANOVA. Intelligibility analysis by ANOVA.

CROSS-LINGUAL TRANSFER LEARNING FOR MUONG SPEECH SYNTHESIS. Muong Project‘s data. Muong fine-tuning data. Graphemes to phonemes.

Training the pretrained model using Vietnamese dataset. Finetuned TTS model on Muong datasets. MOS analysis by ANOVA. 94 PART 3 : SPEECH SYNTHESIS FOR MUONG AS AN UNWRITTEN LANGUAGE.

GENERATE UNWRITTEN LOW-RESOURCED LANGUAGE’S SPEECH DIRECTLY FROM RICH-RESOURCE LANGUAGE’S TEXT. Training the speech synthesis system. MOS analysis by ANOVA. ANOVA analysis in Muong Bi speech synthesis.

ANOVA analysis in Muong Tan Son speech synthesis. SPEECH SYNTHESIS FOR UNWRITTEN LOW-RESOURCED LANGUAGE USING INTERMEDIATE REPRESENTATION. Text to phone translation. Phone to Sound Conversion.

Evaluation in Muong Bi and Muong Tan Son. MOS analysis by ANOVA. ANOVA analysis in Muong Bi speech synthesis. ANOVA analysis in Muong Tan Son speech synthesis.

Conclusion and comparison. 128 CONCLUSION AND FUTURE WORKS. Vietnamese and Muong phonetic. Muong Vietnamese phone mapping.

Information of Muong volunteers who participated in the assessment. Speech signal samples of the Muong TTS in chapter 5. 12 vii ABBREVIATIONS Expansion Explanation Abbreviation CART Classification And Regression Tree F0 Fundamental Frequency HMM Hidden Markov Model HTK Hidden markov model A portable toolkit for building and ToolKit manipulating hidden Markov models HTS HMM-based speech synthesis IPA International Phonetic Alphabet MARY Modular Architecture for (TTS) Research on speech sYnthesis MFCC Mel Frequency Cepstral Coefficents ML Maximum Likelihood MLSA Mel Log Spectrum Approximation MOS Mean Opinion Score MSD- Multi-Space probability HMM Distribution HMM NLP Natural Language Processing OCR Optical Character Recognition POS Part-Of-Speech Word class or a lexical category PP Prepositional Phrase PSOLA Pitch Synchronous OverLap and Add SAMPA Speech Assessment Methods Phonetic Alphabet SPTK Speech signal Processing ToolKit SSML Speech Synthesis Markup Language TD- Time-Domain Pitch PSOLA Synchronous OverLap and Add TTS Text-To-Speech VNSP VNSpeechCorpus for synthesis WEKA Waikato Environment for A collection of machine learning Knowledge algorithms for data mining tasks: Analysis X-SAMPA Extended Speech Assessment Methods Phonetic Alphabet XML eXtensible Markup Language PLP Perceptual Linear Prediction viii G2P Grapheme to Phoneme ANOVA Analysis of Variance DNN Deep Neural Network ANN Artificial Neural Network LPC Linear Predictive Coding EM Expectation Maximization Algorithm MLE Maximum Likelihood Network PTN Phonetic Transformation Network CNN Convolutional Neural Network NMT Neural Machine Translation SMT Statistical Machine Translation RNN Recurrent Neural Network GRU Gated Recurrent Unit DTW Dynamic Time Warping MCD Mel Ceptral Distortion Argmax Arguments of the maxima Argmax is an operation that finds the argument that gives the maximum value from a target function Log Logarith ̅ Sample mean p(e | f) Conditional Probability  Pi Product of a sequence of numbers  Sigma Factor H0 Null Hypothesis ix LIST OF TABLES Table 2.1 Vietnamese syllabus structure [94] .2 Vietnamese syllabus structure [96] .3 Vietnamese syllables based on structure .4 Hanoi Vietnamese inital consonants .5 The letter of initial consonant .6 Hanoi Vietnamese final consonant .7 Tone of Hanoi Vietnamese [108] .8 Muong syllabic structure .9 Muong final sound system .10 Muong Hoa Binh tone system [115] .11 Muong Bi and Muong Tan Son Tone .12 Muong and Vietnamese phonetic comparison (orthography in normal, IPA in italic; Vi: Vietnamese; Mb: Muong Bi ; Mts : Muong Tan Son) .13 Comparing the tone of Vietnamese with Muong Tan Son and Muong Bi .1 Muong G2P Result Sample .2 Examples of applying transformation rules to convert the Muong text into input text for Vietnamese TTS. Testing material for emulating tone.

Testing material for emulating phone (the concerning phonemes in bold). Testing material for remaining phonemes .6 ANOVA Results for MOS Test.7 ANOVA Results for Intelligibility Test .1 Parameters of acoustic model .2 Vietnamese dataset information .3 Muong recorded data .4 The Muong split data set .5 Parameter for optimizer .6 Value of parameters when training Hifigan model .7 The specifications of the in-domain and out-domain test sets .8 Test set samples .10 ANOVA Results for in-domain MOS Test .11 ANOVA Results for out-domain MOS Test .12 ANOVA Results for in/out domain MOS Test .2 TTS evaluation with in-domain test set .3 TTS evaluation with out-domain test set .4 ANOVA Results for in-domain MOS Test for Muong Bi .5 ANOVA Results for out-domain MOS Test for Muong Bi .6 ANOVA Results for Muong Bi in/out domain MOS Test .7 ANOVA Results for in-domain MOS Test for Muong Tan Son .8 ANOVA Results for out-domain MOS Test for Muong Tan Son .9 ANOVA Results for Muong Tan Son in/out domain MOS Test.1 Examples of labeling Vietnamese text into an intermediate representation of Muong Bi and Muong Tan Son phonemes.2 Text information of Muong language datasets .3 TTS evaluation with in-domain test set .4 TTS evaluation with out-domain test set .5 ANOVA Results for in-domain MOS Test for Muong Bi .6 ANOVA Results for out-domain MOS Test for Muong Bi .7 ANOVA Results for Muong Bi in/out domain MOS Test .8 ANOVA Results for in-domain MOS Test for Muong Tan Son .9 ANOVA Results for out-domain MOS Test for Muong Tan Son .10 ANOVA Results for Muong Tan Son in/out domain MOS Test.2 The Muong initial consonant .3 Muong vowels system .4 The correspondences between Vietnamese and Muong in 12 words refer to the human body parts [137] .8 Muong Vietnamese phone mapping.9 Muong Hoa Binh volunteers .10 Muong Phu Tho volunteers .10 xi LIST OF FIGURES Figure 1. Basic system architecture of a TTS system [22] .2 Neural TTS architecture [3] .