Nghiên Cứu Tổng Hợp Giọng Nói Cho Ngôn Ngữ Thiếu Tài Nguyên: Ứng Dụng Đặc Biệt Cho Ngôn Ngữ Mường

• Tác giả: Pham Van Dong
• Người hướng dẫn: Dr. Mạc Đăng Khoa
• Trường học: Hanoi University of Science and Technology
• Chuyên ngành: Speech Synthesis
• Đề tài: Công Nghệ Tổng Hợp Giọng Nói Cho Ngôn Ngữ Thiếu Tài Nguyên: Ứng Dụng Cho Ngôn Ngữ Mường
• Loại tài liệu: thesis
• Năm xuất bản: 2023
• Địa điểm: Hanoi

• DECLARATION OF AUTHORSHIP
• ACKNOWLEDGMENT
• ABSTRACT
• CONTENT
• 1. PART 1: BACKGROUND AND RELATED WORKS
• 1.1. OVERVIEW OF SPEECH SYNTHESIS AND SPEECH SYNTHESIS FOR LOW-RESOURCED LANGUAGE
• 1.2. VIETNAMESE AND MUONG LANGUAGE
• 2. PART 2: SPEECH SYNTHESIS FOR MUONG AS A WRITTEN LANGUAGE
• 2.1. EMULATING OF THE MUONG TTS BASED ON INPUT TRANSFORMATION OF THE VIETNAMESE TTS
• 2.2. CROSS-LINGUAL TRANSFER LEARNING FOR MUONG SPEECH SYNTHESIS
• 3. PART 3: SPEECH SYNTHESIS FOR MUONG AS AN UNWRITTEN LANGUAGE
• 3.1. GENERATE UNWRITTEN LOW-RESOURCED LANGUAGE’S SPEECH DIRECTLY FROM RICH-RESOURCE LANGUAGE’S TEXT
• 3.2. SPEECH SYNTHESIS FOR UNWRITTEN LOW-RESOURCED LANGUAGE USING INTERMEDIATE REPRESENTATION
• 3.3. Conclusion and comparison
• CONCLUSION AND FUTURE WORKS
• ABBREVIATIONS
• LIST OF TABLES
• LIST OF FIGURES

I. Tổng Quan Công Nghệ Tổng Hợp Giọng Nói TTS Cho Ngôn Ngữ Mường

Công nghệ tổng hợp giọng nói (TTS), hay còn gọi là Text-to-Speech, là quá trình tự động chuyển đổi văn bản thành lời nói. Thông thường, để xây dựng hệ thống TTS chất lượng cao, cần thu thập hàng chục giờ thu âm từ giọng nói của người đọc chuyên nghiệp, sử dụng micro chất lượng cao. Hiện nay có khoảng 7.000 ngôn ngữ trên toàn thế giới, nhưng chỉ một số ít, như tiếng Anh, tiếng Tây Ban Nha, tiếng Quan Thoại và tiếng Nhật, được sử dụng hiệu quả trong các hệ thống TTS. Những ngôn ngữ "ít tài nguyên" hoặc thậm chí chưa có chữ viết, thường thiếu các hệ thống TTS. Vì vậy, việc nghiên cứu các phương pháp TTS khác là cần thiết để áp dụng công nghệ này cho các ngôn ngữ ít tài nguyên. Nghiên cứu của Pham Van Dong tập trung vào việc phát triển công nghệ TTS cho tiếng Mường, một ngôn ngữ ít tài nguyên ở Việt Nam. Mục tiêu là tạo ra một hệ thống TTS có khả năng chuyển đổi văn bản (hoặc biểu diễn trung gian) thành lời nói tự nhiên bằng tiếng Mường.

1.1. Giới Thiệu Khái Niệm Tổng Hợp Giọng Nói Text to Speech

Tổng hợp giọng nói (TTS) là công nghệ chuyển đổi văn bản thành lời nói, đóng vai trò quan trọng trong tương tác người-máy. Các hệ thống tương tác bằng giọng nói hiện đại như Siri, Google Assistant và Alexa đều dựa vào TTS để giao tiếp với người dùng. Để xây dựng một hệ thống TTS hiệu quả, cần nghiên cứu không chỉ các kỹ thuật xử lý giọng nói mà còn cả ngôn ngữ học, bao gồm ngữ âm, âm vị học, cú pháp và ngữ pháp. Sự phát triển của TTS cho phép người dùng tương tác với thiết bị bằng giọng nói một cách tự nhiên, mở ra nhiều ứng dụng trong các lĩnh vực khác nhau.

1.2. Vấn Đề Với Ngôn Ngữ Thiếu Tài Nguyên Trong Tổng Hợp Giọng Nói

Trong số hàng ngàn ngôn ngữ trên thế giới, chỉ một số ít có đủ nguồn lực để phát triển hệ thống TTS chất lượng cao. Các ngôn ngữ "ít tài nguyên" thường thiếu dữ liệu văn bản và giọng nói, cũng như các nghiên cứu ngôn ngữ học liên quan. Điều này gây ra những thách thức lớn trong việc xây dựng các hệ thống TTS cho các ngôn ngữ này. Các phương pháp machine learning dựa trên dữ liệu lớn không thể áp dụng trực tiếp cho các ngôn ngữ ít tài nguyên, đặc biệt là những ngôn ngữ chưa có chữ viết. Vì vậy, cần có các phương pháp tiếp cận khác để giải quyết vấn đề này. Nghiên cứu của Pham Van Dong nhắm đến việc giải quyết vấn đề này bằng cách phát triển các phương pháp TTS phù hợp cho tiếng Mường.

II. Thách Thức Xây Dựng TTS Cho Tiếng Mường Giải Pháp Đột Phá

Tiếng Mường là một ngôn ngữ thuộc ngữ hệ Nam Á, có quan hệ gần gũi với tiếng Việt và là một trong năm nhóm dân tộc có dân số lớn nhất ở Việt Nam. Tuy nhiên, tiếng Mường vẫn chưa có chữ viết chính thức, là một đại diện điển hình của ngôn ngữ ít tài nguyên ở Việt Nam. Vì vậy, việc nghiên cứu các công nghệ TTS để tạo ra TTS cho tiếng Mường là một thách thức lớn. Thách thức này đến từ sự khan hiếm dữ liệu, thiếu nguồn tài liệu ngôn ngữ và các đặc điểm ngữ âm phức tạp của tiếng Mường. Nghiên cứu của Pham Van Dong khám phá các phương pháp khác nhau để vượt qua những thách thức này, bao gồm sử dụng TTS tiếng Việt hiện có để mô phỏng tiếng Mường và áp dụng các kỹ thuật transfer learning.

2.1. Đặc Điểm Ngôn Ngữ Tiếng Mường Và Sự Thiếu Hụt Tài Nguyên

Tiếng Mường, một ngôn ngữ thuộc ngữ hệ Nam Á, chia sẻ nhiều điểm tương đồng với tiếng Việt, nhưng vẫn còn thiếu các nguồn tài nguyên cần thiết để phát triển các ứng dụng công nghệ ngôn ngữ, đặc biệt là TTS. Sự thiếu hụt này bao gồm dữ liệu văn bản, dữ liệu âm thanh và các nghiên cứu ngôn ngữ học chi tiết. Do đó, việc xây dựng một hệ thống TTS cho tiếng Mường đòi hỏi các phương pháp tiếp cận sáng tạo và hiệu quả để tận dụng tối đa các nguồn lực hạn chế hiện có. Nghiên cứu này của Pham Van Dong tập trung vào việc giải quyết vấn đề này.

2.2. Các Phương Pháp Tiếp Cận Ban Đầu Mô Phỏng và Chuyển Giao Học Tập

Để vượt qua những thách thức về tài nguyên, nghiên cứu của Pham Van Dong đã khám phá hai phương pháp chính: mô phỏng và chuyển giao học tập. Phương pháp mô phỏng sử dụng hệ thống TTS tiếng Việt hiện có để tạo ra giọng nói tiếng Mường bằng cách chuyển đổi văn bản tiếng Mường thành văn bản tiếng Việt tương ứng. Phương pháp chuyển giao học tập tận dụng kiến thức đã học được từ dữ liệu tiếng Việt để huấn luyện một mô hình TTS cho tiếng Mường. Cả hai phương pháp đều có những ưu điểm và hạn chế riêng, và nghiên cứu này đánh giá hiệu quả của từng phương pháp trong việc tạo ra giọng nói tiếng Mường chất lượng cao.

III. Giải Pháp TTS Cho Tiếng Mường Chuyển Đổi Văn Bản Giọng Nói

Nghiên cứu này tập trung vào hai nhóm ngôn ngữ ít tài nguyên chính: (1) Ngôn ngữ có chữ viết: Sử dụng phương pháp mô phỏng để giả lập cách đọc tiếng Mường bằng cách sử dụng TTS tiếng Việt và transfer learning đa ngôn ngữ. (2) Ngôn ngữ không có chữ viết: Thử nghiệm với adaptation theo hai hướng. Thứ nhất là tạo ra tổng hợp giọng nói tiếng Mường trực tiếp từ văn bản tiếng Việt và giọng nói tiếng Mường. Thứ hai là tạo ra tổng hợp giọng nói tiếng Mường từ bản dịch thông qua biểu diễn trung gian. Các giải pháp này đều hướng đến mục tiêu tạo ra một hệ thống TTS hiệu quả cho tiếng Mường, bất kể có chữ viết hay không.

3.1. TTS Dựa Trên Mô Phỏng và Chuyển Giao Học Tập Đa Ngôn Ngữ

Với tiếng Mường có chữ viết (ví dụ, phương ngữ Hòa Bình), nghiên cứu sử dụng phương pháp mô phỏng, tận dụng hệ thống TTS tiếng Việt hiện có. Văn bản tiếng Mường được chuyển đổi thành văn bản tiếng Việt tương ứng, sau đó được đưa vào hệ thống TTS tiếng Việt để tạo ra giọng nói. Ngoài ra, transfer learning đa ngôn ngữ cũng được áp dụng để cải thiện chất lượng giọng nói bằng cách tận dụng dữ liệu từ các ngôn ngữ khác. Phương pháp này giúp giảm bớt nhu cầu về dữ liệu tiếng Mường, đồng thời tận dụng các nguồn tài nguyên hiện có.

3.2. TTS Dựa Trên Adaptation Cho Ngôn Ngữ Không Chữ Viết

Đối với tiếng Mường không có chữ viết (ví dụ, phương ngữ Phú Thọ), nghiên cứu tập trung vào phương pháp adaptation. Hai hướng tiếp cận chính được sử dụng: (1) Tạo ra giọng nói tiếng Mường trực tiếp từ văn bản tiếng Việt và dữ liệu giọng nói tiếng Mường. (2) Tạo ra giọng nói tiếng Mường từ bản dịch thông qua biểu diễn trung gian. Hướng tiếp cận thứ hai cho phép mô hình học được mối quan hệ giữa văn bản tiếng Việt và âm thanh tiếng Mường, từ đó tạo ra giọng nói tiếng Mường tự nhiên hơn.

IV. Ứng Dụng TTS Tiếng Mường Kết Quả Thực Nghiệm Và Đánh Giá MOS

Nghiên cứu thực hiện các thử nghiệm khác nhau trong việc tạo ra TTS cho ngôn ngữ ít tài nguyên; cụ thể, thử nghiệm với tiếng Mường. Các thử nghiệm được đánh giá bằng phương pháp MOS (Mean Opinion Score) và ANOVA (Analysis of Variance) để so sánh hiệu quả của các phương pháp khác nhau. Kết quả cho thấy rằng các phương pháp được đề xuất có thể tạo ra giọng nói tiếng Mường có chất lượng chấp nhận được, mở ra tiềm năng ứng dụng trong nhiều lĩnh vực khác nhau.

4.1. Đánh Giá Chất Lượng Giọng Nói Bằng Phương Pháp MOS và ANOVA

Để đánh giá chất lượng của các hệ thống TTS tiếng Mường, nghiên cứu sử dụng phương pháp Mean Opinion Score (MOS), trong đó người tham gia đánh giá mức độ tự nhiên và dễ nghe của giọng nói được tạo ra. Phương pháp Analysis of Variance (ANOVA) được sử dụng để phân tích thống kê kết quả MOS và xác định xem có sự khác biệt đáng kể giữa các phương pháp TTS khác nhau hay không. Kết quả đánh giá MOS và ANOVA cung cấp thông tin quan trọng về hiệu quả của từng phương pháp và giúp xác định các hướng cải thiện trong tương lai.

4.2. Phân Tích Kết Quả MOS So Sánh Các Phương Pháp TTS Tiếng Mường

Kết quả đánh giá MOS cho thấy sự khác biệt về chất lượng giữa các phương pháp TTS tiếng Mường khác nhau. Các phương pháp dựa trên transfer learning thường cho kết quả tốt hơn so với phương pháp mô phỏng đơn giản. Ngoài ra, việc sử dụng biểu diễn trung gian trong phương pháp adaptation cũng giúp cải thiện chất lượng giọng nói. Phân tích kết quả MOS cho phép xác định các phương pháp TTS tiềm năng nhất cho tiếng Mường và cung cấp hướng dẫn cho các nghiên cứu trong tương lai.

V. Kết Luận và Hướng Phát Triển TTS Cho Ngôn Ngữ Thiếu Tài Nguyên

Nghiên cứu này đóng góp vào việc phát triển tổng hợp giọng nói cho các ngôn ngữ ít tài nguyên trên toàn thế giới và đóng góp vào cơ sở phát triển tổng hợp giọng nói cho 53 ngôn ngữ dân tộc thiểu số ở Việt Nam. Kết quả cho thấy tiềm năng của các phương pháp transfer learning và adaptation trong việc tạo ra giọng nói chất lượng cao cho các ngôn ngữ thiếu dữ liệu. Nghiên cứu cũng nhấn mạnh tầm quan trọng của việc bảo tồn và phát huy các ngôn ngữ bản địa thông qua công nghệ.

5.1. Tóm Tắt Các Đóng Góp Chính Của Nghiên Cứu Về TTS Tiếng Mường

Nghiên cứu này đã đóng góp vào việc phát triển TTS cho tiếng Mường bằng cách khám phá các phương pháp transfer learning và adaptation hiệu quả. Các phương pháp này đã được chứng minh là có khả năng tạo ra giọng nói tiếng Mường có chất lượng chấp nhận được, mặc dù có những hạn chế về dữ liệu và tài nguyên. Nghiên cứu cũng cung cấp các đánh giá khách quan về hiệu quả của từng phương pháp, giúp các nhà nghiên cứu và phát triển trong tương lai có thể lựa chọn phương pháp phù hợp nhất cho tiếng Mường.

5.2. Hướng Nghiên Cứu Tương Lai Và Ứng Dụng Tiềm Năng Của TTS Tiếng Mường

Trong tương lai, nghiên cứu có thể tập trung vào việc cải thiện chất lượng giọng nói của hệ thống TTS tiếng Mường bằng cách sử dụng các mô hình học sâu phức tạp hơn và thu thập thêm dữ liệu giọng nói. Ngoài ra, có thể nghiên cứu các ứng dụng tiềm năng của TTS tiếng Mường trong các lĩnh vực như giáo dục, truyền thông và du lịch. Việc phát triển TTS tiếng Mường có thể giúp bảo tồn và phát huy ngôn ngữ này, đồng thời tạo ra các cơ hội mới cho cộng đồng người Mường.

VI. Phương Pháp Tạo Biểu Diễn Trung Gian Cho Ngôn Ngữ Không Chữ Viết

Nghiên cứu đề xuất một phương pháp sử dụng biểu diễn trung gian ở cấp độ âm vị để tạo ra TTS cho các ngôn ngữ không chữ viết. Phương pháp này bao gồm việc chuyển đổi văn bản từ một ngôn ngữ giàu tài nguyên (ví dụ: tiếng Việt) thành một chuỗi các âm vị tiếng Mường, sau đó sử dụng mô hình TTS để tạo ra giọng nói từ chuỗi âm vị này. Phương pháp này giúp vượt qua những khó khăn trong việc thu thập và xử lý dữ liệu văn bản cho các ngôn ngữ không chữ viết.

6.1. Mô Hình Chuyển Văn Bản Tiếng Việt Sang Chuỗi Âm Vị Tiếng Mường

Việc chuyển đổi văn bản tiếng Việt sang chuỗi âm vị tiếng Mường là một bước quan trọng trong phương pháp sử dụng biểu diễn trung gian. Mô hình chuyển đổi này cần phải học được mối quan hệ giữa các từ và cụm từ tiếng Việt với các âm vị tương ứng trong tiếng Mường. Nghiên cứu sử dụng các kỹ thuật machine translation và sequence-to-sequence learning để xây dựng mô hình chuyển đổi này.

6.2. Tạo Giọng Nói Tiếng Mường Từ Chuỗi Âm Vị Bằng Mô Hình TTS

Sau khi có được chuỗi âm vị tiếng Mường, mô hình TTS sẽ sử dụng thông tin này để tạo ra giọng nói. Mô hình TTS cần phải được huấn luyện trên dữ liệu giọng nói tiếng Mường và dữ liệu âm vị tương ứng. Nghiên cứu sử dụng các mô hình TTS dựa trên deep learning để tạo ra giọng nói tự nhiên và dễ nghe.