Luận văn Thạc sĩ: Mô hình hóa ngữ điệu tiếng Việt cho tổng hợp tiếng nói

Luận văn nghiên cứu đặc điểm ngữ điệu tiếng Việt ứng dụng trong công nghệ tổng hợp tiếng nói, phân tích các yếu tố âm học và phương pháp xử lý.

• Tác giả: Mạc Đăng Khoa
• Người hướng dẫn: Prof. Phạm Thị Ngọc Yến
• Trường học: Hanoi University Of Technology
• Chuyên ngành: Information Processing And Communication
• Đề tài: Modeling The Prosody Of Vietnamese Language For Speech Synthesis
• Loại tài liệu: Master thesis
• Năm xuất bản: 2007
• Địa điểm: Hanoi

Tóm tắt

I. Khái niệm và định nghĩa ngữ điệu tiếng Việt

Ngữ điệu tiếng Việt là một lĩnh vực nghiên cứu quan trọng trong xử lý ngôn ngữ tự nhiên và tổng hợp tiếng nói. Ngữ điệu đề cập đến những biến thiên về cao độ, cường độ và thời lượng trong quá trình phát âm. Đây là một trong những đặc điểm nổi bật của tiếng Việt, giúp phân biệt ý nghĩa giữa các từ khác nhau. Việc mô hình hóa ngữ điệu tiếng Việt là nền tảng thiết yếu để phát triển các hệ thống tổng hợp tiếng nói chất lượng cao. Luận văn này tập trung vào việc xây dựng các mô hình toán học để mô tả và dự đoán các đặc trưng ngữ điệu, nhằm cải thiện chất lượng output của các hệ thống text-to-speech (TTS). Sự hiểu biết sâu sắc về cấu trúc ngữ điệu tiếng Việt giúp các nhà nghiên cứu phát triển các giải pháp công nghệ ngôn ngữ tiên tiến.

1.1. Khái niệm ngữ điệu trong ngôn ngữ học

Ngữ điệu là tập hợp các đặc trưng âm thanh liên quan đến sự thay đổi cao độ, cường độ và thời lượng của âm tiết. Trong tiếng Việt, ngữ điệu đóng vai trò cực kỳ quan trọng vì nó ảnh hưởng trực tiếp đến ý nghĩa của từ và câu. Các thành phần chính của ngữ điệu bao gồm cao độ cơ bản (F0), cường độ năng lượng và thời lượng phát âm. Việc phân tích chi tiết các thành phần này là tiền đề để xây dựng các mô hình ngữ điệu chính xác.

1.2. Vai trò của ngữ điệu trong tổng hợp tiếng nói

Trong các hệ thống tổng hợp tiếng nói, ngữ điệu quyết định mức độ tự nhiên và khả năng hiểu của giọng nói tổng hợp. Một hệ thống TTS hiệu quả cần phải có khả năng tạo ra các biến thiên ngữ điệu phù hợp với ngữ cảnh và loại câu. Việc mô hình hóa chính xác các mẫu ngữ điệu giúp tránh các lỗi trong diễn đạt và tăng cường sự thân thiện trong giao tiếp giữa người và máy.

II. Các thành phần chính của ngữ điệu tiếng Việt

Ngữ điệu tiếng Việt bao gồm hai mức độ chính: vi mô ngữ điệu và vĩ mô ngữ điệu. Vi mô ngữ điệu liên quan trực tiếp đến hệ thống sáu tones cơ bản của tiếng Việt, trong đó mỗi tone có một đặc trưng cao độ riêng biệt. Vĩ mô ngữ điệu, ngược lại, liên quan đến cấu trúc của toàn bộ câu, bao gồm các yếu tố như kiểu câu (phát biểu, nghi vấn, mệnh lệnh). Sự tương tác giữa hai mức độ này tạo thành một hệ thống phức tạp cần được mô hình hóa chi tiết trong quá trình tổng hợp tiếng nói. Việc hiểu rõ các thành phần này là chìa khóa để phát triển các hệ thống text-to-speech có chất lượng tự nhiên.

2.1. Vi mô ngữ điệu và hệ thống sáu tones

Tiếng Việt có hệ thống sáu tones với các biến thể về cao độ đặc trưng. Mỗi tone được định nghĩa bởi mẫu cao độ F0 (Fundamental Frequency) riêng, từ tone 1 (bằng) đến tone 6 (hỏi). Các nghiên cứu cho thấy sự khác biệt trong hình dạng đường cong cao độ giữa nam và nữ, điều này cần được xem xét kỹ lưỡng trong mô hình ngữ điệu. Việc trích xuất và phân tích chính xác các mẫu tone này là bước đầu tiên trong quá trình xây dựng các hệ thống tổng hợp.

2.2. Vĩ mô ngữ điệu và kiểu câu

Vĩ mô ngữ điệu trong tiếng Việt thể hiện qua các biến thiên cao độ trên toàn bộ câu, đặc biệt là ở cuối câu. Câu phát biểu thường có xu hướng giảm cao độ, trong khi câu nghi vấn có xu hướng tăng cao độ ở phần cuối. Sự phân biệt này là rất quan trọng để tổng hợp tiếng nói tự nhiên và giúp người nghe dễ dàng nhận biết được loại câu đang được nói.

III. Mô hình Fujisaki trong tổng hợp tiếng nói

Mô hình Fujisaki là một trong những phương pháp tiêu chuẩn để mô hình hóa ngữ điệu trong các hệ thống tổng hợp tiếng nói. Mô hình này sử dụng hai thành phần chính: thành phần tần số cơ bản (F0) và các tham số điều khiển. Mô hình Fujisaki được phát triển để có thể xử lý cả các đặc trưng tones (vi mô) và các yếu tố intonation ở câu (vĩ mô). Đối với tiếng Việt, các nhà nghiên cứu đã điều chỉnh mô hình Fujisaki để phù hợp với các đặc điểm riêng biệt của ngữ điệu tiếng Việt. Sử dụng mô hình toán học này cho phép các hệ thống TTS tạo ra các biến thiên ngữ điệu mượt mà và tự nhiên, cải thiện đáng kể chất lượng âm thanh tổng hợp.

3.1. Cấu trúc và nguyên lý của mô hình Fujisaki

Mô hình Fujisaki hoạt động bằng cách phân tách đường cong cao độ thành hai thành phần: thành phần accent (liên quan đến các phần nhấn) và thành phần toàn cụm. Mỗi thành phần được kiểm soát bởi một tập hợp các tham số toán học. Việc áp dụng mô hình này cho ngữ điệu tiếng Việt yêu cầu phải điều chỉnh các tham số để phản ánh chính xác đặc trưng của sáu tones cơ bản và các hiện tượng intonation đặc biệt.

3.2. Ứng dụng mô hình Fujisaki cho tiếng Việt

Để áp dụng mô hình Fujisaki hiệu quả cho tiếng Việt, cần phải xác định các tham số đặc biệt phản ánh ngữ điệu tiếng Việt. Điều này bao gồm việc trích xuất dữ liệu từ corpus tiếng nói tự nhiên, phân tích các mẫu F0, và tối ưu hóa các tham số mô hình. Các nghiên cứu cho thấy rằng mô hình Fujisaki cải tiến có thể tạo ra các giọng nói tổng hợp có chất lượng gần với giọng nói tự nhiên.

IV. Phương pháp trích xuất và xử lý dữ liệu ngữ điệu

Để phát triển các mô hình ngữ điệu tiếng Việt hiệu quả, cần phải có một phương pháp khoa học để trích xuất và xử lý dữ liệu ngữ điệu. Quá trình này bao gồm việc thu thập corpus tiếng nói, xác định các âm tiết chính (key syllables), và sử dụng các công cụ phân tích âm thanh để trích xuất các đặc trưng F0. Các mẫu ngữ điệu được trích xuất từ dữ liệu thực tế này sẽ được sử dụng để huấn luyện và kiểm chứng các mô hình toán học. Việc áp dụng các kỹ thuật xử lý tín hiệu tiên tiến và machine learning giúp nâng cao độ chính xác của các mô hình. Cuối cùng, các mô hình này được tích hợp vào các hệ thống tổng hợp tiếng nói để tạo ra âm thanh tự nhiên và hiệu quả.

4.1. Tập dữ liệu corpus và ghi âm tiếng nói

Corpus tiếng nói là tập hợp các bản ghi âm tiếng nói tự nhiên, bao gồm các câu được phát âm bởi nhiều người phát biểu khác nhau (nam, nữ, tuổi khác nhau). Việc xây dựng một corpus chất lượng cao yêu cầu phải có quy trình ghi âm chuẩn hóa, điều kiện xử lý tín hiệu tốt, và chú thích dữ liệu chi tiết. Dữ liệu từ corpus này là nền tảng để trích xuất các mẫu ngữ điệu và phát triển các mô hình máy học.

4.2. Công cụ phân tích và trích xuất đặc trưng F0

Các công cụ như PRAAT được sử dụng rộng rãi để trích xuất đặc trưng cao độ F0 từ các bản ghi âm. Quá trình trích xuất này bao gồm việc xác định âm tiết chính (key syllables) trong câu và đo lường các tham số F0 tại các vị trí cụ thể. Dữ liệu F0 được trích xuất cần phải được xử lý để loại bỏ nhiễu và chuẩn hóa theo các giọng nói khác nhau trước khi được sử dụng để huấn luyện các mô hình ngữ điệu.

Trích đoạn nội dung tài liệu

MINISTRY OF EDUCATION AND TRAINING LIANOL UNIVERSITY OF TECIINOLOGY Thesis for the degree of MASTER OF SCTENCE Modeling the prosody of Vietnamese language for speech synthesis Speciality: “Information processing and Cammunication” Code MAC DANG KHOA Supervisor: Prof. PHAM TH] NGQOC YEN Hanoi, 2007 HANOI UNIVERSITY OF TECHNOLOGY Faculty of Information Technology International research center of Multimedia Information, Communication and Application Master thesis Acknowledgment Many people provided me generous help and inspiration during ny time of master student. Furst, I would like to express iny deep sense of respect and gratilude lowards my supervisors: Dr. Eric Castelli and Prof.

Pham Thi Ngoc Yén. Thank you very much for orienting and guiding my research in speech processing domain. Thank you for all your useful advices, your true criticisms and your patience during my time of master research. Special thanks also gocs to Mrs.

Genevieve Caclcn-Haumont, PhD students Tran Đỗ Đạt, Vũ Minh Quang and all members of MICA’s speech group. I could not have done this thesis without your supports. Thank all of you for all your suggestions and your sincere remarks on entire of my research. 1 would like to thank to Ms.

Đoàn Thị Ngọc Hiển, who guiding me in recording the corpus. | would also like to thank to a lot of MICA member who spent much of time for recording and testing for my research. Tam grateful to Prof. Nguyén Trong Giling and MICA’s directorate supporting, me the best convenient conditions during time working in Intemational Research Center MICA.

Finally, I owe a great deal to my parents and my sister for ther continued support. 1 also give a very special thanks to my girl friend for her constant encouragement, giving me strength and motivation in my work and in my life. Mạc Đăng Khoa Master thesis Table of contents Acknowledgment. List of Figures.

List of Tables Table of contents. 0 INTRODUCTION 1 PROSODY AND PROSODIC MODEL. LAA, The concept af prosody 1.2 Major components af wrosady 1. The fanetions of prosedy 1.

Levele of representation of prosadic phenomena.5, This thesis work approaoh.cseooeee 2 VIETNAMESE LANGUAGE AND PROSODY. Vieinamese language 2LL Vietnamese characteristics. Vietoamese phoneme system.1 Mioro-prosody and tones system in Vietuamese.2 Macro-prosodly and sentence typer in Vielnamese 34 2. Some special phenomena in Vielnamese prosody 38 3 TTS SYSTEM AND PROSODY GENERATION 3.

An overview of TTS system. Overview of prosody generat 3. From lext lo prosody 3. Otherzesearches and our proposal 4 PROSODY PATTERNS EXTRACTION 41.

Mạc Đăng Khoa Master thesis List of Figures Figure 1-1: Category of methods for prcdicting syÏlable đuzation [6|. 23 Figure 2-1: Example of the contows of six tones, as đescribzd in [21). 30 Figure 2-2: The shape of Tone 1 with femals and mnale voiee [18].31 Figure 2-3: The shape of Tone 2 with female and male voiee [18.31 Figure 2-4: The shape of Tone 3 with female and male voiee [18].32 Figure 2-5: The shape of Tone 4 with female and male voice [18] 32 Figure 2-6: The shape of Tone $ with female and male voice [18] 32 Figwe 2-7: The shape of Tone Sh with faiale and male voice [18]. 33 Figure 2-8: The shape of Tone 6 wilh fermale and nuale voice [18] 33 Figure 2-9: The shape of Tone 6b with female and male voiee [18|.

34 Figure 2-10: Sentence classificalion by sfrueture [20],. 38 Figure 2-11: The sentences “Lan thich an com khéng” in - 36 Figure 2-12: The sentences “Bao cd ging tap di” in. Figure 2-13: The sentznces "Tân bỏ đi chứ” in. 137 Figure 2-14: The differences of FU contour between Assertive and Interrogative sentence [16].

- 37 Figure 3-1: A general function diagram of TTS system [13].4T Eigure 3-2: Pujisaki modl.Ôˆ- Eigure 3-3: Fujisaki mnodsl for tonal languags [19|.s<--ee eee dG Figure 3-4: Function diagram of proposal TTS system. BD Figure 3-5: Prosody generation module .cccsessessssestsiestassessieseseeee eee dB Figure 4-1: Key-syllable segmentation 36 Figure 4-2: Extracting PO contour using PRAAT - 30 Figure 4-3: An example of prosody pattem - 60 Figure S-1 amuple of synthesized non-sense phrase - 7 Figur: 5-3 1 T4 Eigure 5-3: An cxamplc of synfhesized nulfi-typc senfcnees.BÚ Mạc Đăng Khoa Master thesis Table of contents Acknowledgment. List of Figures. List of Tables Table of contents.

0 INTRODUCTION 1 PROSODY AND PROSODIC MODEL. LAA, The concept af prosody 1.2 Major components af wrosady 1. The fanetions of prosedy 1. Levele of representation of prosadic phenomena.5, This thesis work approaoh.cseooeee 2 VIETNAMESE LANGUAGE AND PROSODY.

Vieinamese language 2LL Vietnamese characteristics. Vietoamese phoneme system.1 Mioro-prosody and tones system in Vietuamese.2 Macro-prosodly and sentence typer in Vielnamese 34 2. Some special phenomena in Vielnamese prosody 38 3 TTS SYSTEM AND PROSODY GENERATION 3. An overview of TTS system.

Overview of prosody generat 3. From lext lo prosody 3. Otherzesearches and our proposal 4 PROSODY PATTERNS EXTRACTION 41. Mạc Đăng Khoa Master thesis Mạc Đăng Khoa Master thesis Table of contents Acknowledgment.

List of Figures. List of Tables Table of contents. 0 INTRODUCTION 1 PROSODY AND PROSODIC MODEL. LAA, The concept af prosody 1.2 Major components af wrosady 1.

The fanetions of prosedy 1. Levele of representation of prosadic phenomena.5, This thesis work approaoh.cseooeee 2 VIETNAMESE LANGUAGE AND PROSODY. Vieinamese language 2LL Vietnamese characteristics. Vietoamese phoneme system.1 Mioro-prosody and tones system in Vietuamese.2 Macro-prosodly and sentence typer in Vielnamese 34 2.

Some special phenomena in Vielnamese prosody 38 3 TTS SYSTEM AND PROSODY GENERATION 3. An overview of TTS system. Overview of prosody generat 3. From lext lo prosody 3.

Otherzesearches and our proposal 4 PROSODY PATTERNS EXTRACTION 41. Mạc Đăng Khoa Master thesis List of Figures Figure 1-1: Category of methods for prcdicting syÏlable đuzation [6|. 23 Figure 2-1: Example of the contows of six tones, as đescribzd in [21). 30 Figure 2-2: The shape of Tone 1 with femals and mnale voiee [18].31 Figure 2-3: The shape of Tone 2 with female and male voiee [18.31 Figure 2-4: The shape of Tone 3 with female and male voiee [18].32 Figure 2-5: The shape of Tone 4 with female and male voice [18] 32 Figure 2-6: The shape of Tone $ with female and male voice [18] 32 Figwe 2-7: The shape of Tone Sh with faiale and male voice [18].

33 Figure 2-8: The shape of Tone 6 wilh fermale and nuale voice [18] 33 Figure 2-9: The shape of Tone 6b with female and male voiee [18|. 34 Figure 2-10: Sentence classificalion by sfrueture [20],. 38 Figure 2-11: The sentences “Lan thich an com khéng” in - 36 Figure 2-12: The sentences “Bao cd ging tap di” in. Figure 2-13: The sentznces "Tân bỏ đi chứ” in.

137 Figure 2-14: The differences of FU contour between Assertive and Interrogative sentence [16]. - 37 Figure 3-1: A general function diagram of TTS system [13].4T Eigure 3-2: Pujisaki modl.Ôˆ- Eigure 3-3: Fujisaki mnodsl for tonal languags [19|.s<--ee eee dG Figure 3-4: Function diagram of proposal TTS system. BD Figure 3-5: Prosody generation module .cccsessessssestsiestassessieseseeee eee dB Figure 4-1: Key-syllable segmentation 36 Figure 4-2: Extracting PO contour using PRAAT - 30 Figure 4-3: An example of prosody pattem - 60 Figure S-1 amuple of synthesized non-sense phrase - 7 Figur: 5-3 1 T4 Eigure 5-3: An cxamplc of synfhesized nulfi-typc senfcnees.BÚ Mạc Đăng Khoa Master thesis List of Tables Table 1. cà tien TỔ Table 1.2:Links between levels of representation of prosodic phenomena [13].3: Intonation modsl classiicaliơn.

eee LB 'Table 2.- cà nh 2n ereieiee TỰ: Table 2.3: Arrangement of Vietnamese consonants.4:The phonological hierarchy of Vietnamese syllables with total nmmbers of cach phonetic unit (14] - - 28 Talile 2.5 The six Vietnamese tones 30 Table 3.1: Comparison between direct patterm and ruodel patfeHn.1: Prosody corpus siruetEe. con nnrnreimisioeaooe S2 Table 4.2: Prosody corpus text information - 33 Table 4.3: Recording information oÈ Prosody eoTps.1: Confusion matrix (in %) for 8 tones with male Voiee.2: Confusion matrix (in %) for 8 tones with female voice 75 Table 5.3: Confusion matrix (%) of sentence types with male voice 6 Table 3.4: Confusion matrix (%) of sentence types with fernide voi 7 Table 5.5: Test data for Experiment 2.ccssesssnsnessuntntssntasentntrnenseennne ID Table 5.8: Confluston matrix (in %) of sentence types (average of Male and Female) K4 Table 5.9: Correct recognition rate (%) with other types of sentences.10: Result of three experiments. - 87 Mạc Đăng Khoa Master thesis Abstract Text-To-Speceh (TTS) system is a computer system which is able to produce the speech fiom the text. In the TTS system, the naturalness of the produced speech depends greatly on the variation of pitch, duration and energy during speaking, We call it the “prosody controlling ability’.

A TTS system with good prosody controlling ability can be simulate the human speech prosody corresponding to the context of speaking. With tonal languages such as Vietnamese, the prosody of an utterance is the combination results of the two components: "micro-prosody" corresponding to the tone of each syllable in a sentence and "“macro-prosody” corresponding to the whole sentence. The main goal of this thesis is to model the characteristics of Vietnamese prosody for speech synthesis. It focuses on the influences of the macro-prosody on the micro-prosody, in three types of sentence: assertive, interrogative and imperative The first task is to set up a “prosody corpus” and extract all possible prosody parameters.

Base on the extracted data, we defined seventy-two simple prosody patterns for Viemamese syllables in three types of sentence. After that, these patterns were applied lo synthesize some sitaple senlences. Finally, some perception experiments were taken to evaluate the: synthesized seniton es. The results shown that the proposcd patterns can be applicd successfully to goncrate the presody of simple sentence.

‘This work is our preliminary work in Viemamese prosody, just concerning the sentence types and the position of syllable ina sentence. Tn the future, we expect to contimie this research with more faclors of Vietnamesz prosody, improve our pattern and apply them Vietnamese TTS system Mạc Đăng Khoa Master thesis List of Tables Table 1. cà tien TỔ Table 1.2:Links between levels of representation of prosodic phenomena [13].3: Intonation modsl classiicaliơn. eee LB 'Table 2.- cà nh 2n ereieiee TỰ: Table 2.3: Arrangement of Vietnamese consonants.4:The phonological hierarchy of Vietnamese syllables with total nmmbers of cach phonetic unit (14] - - 28 Talile 2.5 The six Vietnamese tones 30 Table 3.1: Comparison between direct patterm and ruodel patfeHn.1: Prosody corpus siruetEe.

con nnrnreimisioeaooe S2 Table 4.2: Prosody corpus text information - 33 Table 4.3: Recording information oÈ Prosody eoTps.1: Confusion matrix (in %) for 8 tones with male Voiee.2: Confusion matrix (in %) for 8 tones with female voice 75 Table 5.3: Confusion matrix (%) of sentence types with male voice 6 Table 3.4: Confusion matrix (%) of sentence types with fernide voi 7 Table 5.5: Test data for Experiment 2.ccssesssnsnessuntntssntasentntrnenseennne ID Table 5.8: Confluston matrix (in %) of sentence types (average of Male and Female) K4 Table 5.9: Correct recognition rate (%) with other types of sentences.10: Result of three experiments. - 87 Mạc Đăng Khoa Master thesis Mạc Đăng Khoa Master thesis List of Tables Table 1. cà tien TỔ Table 1.2:Links between levels of representation of prosodic phenomena [13].3: Intonation modsl classiicaliơn. eee LB 'Table 2.- cà nh 2n ereieiee TỰ: Table 2.3: Arrangement of Vietnamese consonants.4:The phonological hierarchy of Vietnamese syllables with total nmmbers of cach phonetic unit (14] - - 28 Talile 2.5 The six Vietnamese tones 30 Table 3.1: Comparison between direct patterm and ruodel patfeHn.1: Prosody corpus siruetEe.

con nnrnreimisioeaooe S2 Table 4.2: Prosody corpus text information - 33 Table 4.3: Recording information oÈ Prosody eoTps.1: Confusion matrix (in %) for 8 tones with male Voiee.2: Confusion matrix (in %) for 8 tones with female voice 75 Table 5.3: Confusion matrix (%) of sentence types with male voice 6 Table 3.4: Confusion matrix (%) of sentence types with fernide voi 7 Table 5.5: Test data for Experiment 2.