Luận văn: Mô hình âm học động nhận dạng tiếng nói Việt - Nguyễn Hằng Phương

Luận văn mô hình hóa đặc tính âm học động cho hệ thống nhận dạng tiếng nói Việt bằng phần mềm Kaldi, ứng dụng phân tích sự chuyển tiếp nguyên âm.

• Tác giả: Nguyen Hang Phuong
• Người hướng dẫn: Prof. Eric Castelli
• Trường học: Hanoi University Of Science And Technology
• Chuyên ngành: Computer Science
• Đề tài: Mô hình đặc tính âm học động cho nhận dạng tiếng nói tiếng Việt và ứng dụng cho việc phân tích sự chuyển tiếp nguyên âm - nguyên âm
• Loại tài liệu: Master Thesis Of Science
• Năm xuất bản: 2018
• Địa điểm: Hanoi

Tóm tắt

I. Giới thiệu về Mô hình Âm học Động cho Nhận dạng Tiếng nói Việt

Mô hình âm học động là một trong những công nghệ quan trọng nhất trong lĩnh vực nhận dạng tiếng nói. Đối với tiếng Việt, việc phát triển các mô hình âm học hiệu quả là thách thức lớn do đặc tính phức tạp của ngôn ngữ. Kaldi, một bộ công cụ mã nguồn mở, đã trở thành nền tảng hàng đầu cho các nhà nghiên cứu trong việc xây dựng hệ thống nhận dạng tiếng nói. Bài viết này sẽ tập trung vào cách mô hình đặc tính âm học động giúp cải thiện độ chính xác của nhận dạng tiếng nói Việt Kaldi thông qua phân tích chi tiết các chuyển tiếp nguyên âm.

1.1. Khái niệm Âm học Động trong Nhận dạng Tiếng nói

Âm học động đề cập đến sự thay đổi của các đặc tính âm thanh theo thời gian. Trong nhận dạng tiếng nói, việc nắm bắt những thay đổi này là chìa khóa để phân biệt các âm khác nhau. Đặc tính âm học truyền thống chỉ chụp ảnh tĩnh của âm thanh, nhưng mô hình động lại theo dõi cách các đặc tính này biến đổi, cung cấp thông tin phong phú hơn cho hệ thống nhận dạng.

1.2. Tầm quan trọng của Tiếng Việt trong Nghiên cứu Âm học

Tiếng Việt là ngôn ngữ tonal với 6 tones, điều này tạo ra thách thức đặc biệt cho mô hình âm học. Các chuyển tiếp nguyên âm trong tiếng Việt rất đa dạng, đòi hỏi mô hình phải động và linh hoạt. Việc phát triển mô hình âm học tối ưu cho tiếng Việt có ý nghĩa lớn trong việc cải thiện hệ thống nhận dạng tiếng nói tự động.

II. Phân tích Chi tiết Chuyển tiếp Nguyên âm Nguyên âm

Các chuyển tiếp nguyên âm là những khoảnh khắc quan trọng trong lời nói, nơi tiếng nói thay đổi từ một nguyên âm sang nguyên âm khác. Trong mô hình âm học động, việc phân tích chi tiết các chuyển tiếp này giúp hệ thống nhận dạng hiểu được cấu trúc âm vị của tiếng nói. Các góc SSCF (Smoothed Subband Centroid Frequency) là một phương pháp đổi mới giúp tính toán tự động các đặc tính động của chuyển tiếp nguyên âm. Thông qua các nghiên cứu trên Kaldi, người ta đã chứng minh rằng mô hình động cải thiện đáng kể độ chính xác nhận dạng, đặc biệt trong các điều kiện không cân bằng người nói.

2.1. Chuyển tiếp ao và aư

Các chuyển tiếp /ao/ và /aư/ là những trường hợp điển hình trong tiếng Việt. Mô hình âm học động ghi lại cách tần số cơ bản thay đổi từ âm /a/ sang /o/ hoặc /ư/. Bằng cách sử dụng các góc SSCF, hệ thống có thể nhận dạng chính xác những tinh tế này, từ đó nâng cao độ chính xác của Kaldi.

2.2. Chuyển tiếp oa và ua

Chuyển tiếp /oa/ và /ua/ cũng đóng vai trò quan trọng trong phân tích âm học động. Những chuyển tiếp này có đặc tính động rất nhanh, đòi hỏi mô hình phải nắm bắt được các thay đổi tức thời. Kaldi với mô hình động có khả năng xử lý tốt hơn những chuyển tiếp phức tạp này so với các mô hình tĩnh truyền thống.

III. Ứng dụng Mô hình Âm học Động trên Kaldi

Kaldi là một bộ công cụ mã nguồn mở phổ biến nhất cho nhận dạng tiếng nói hiện nay. Việc tích hợp mô hình âm học động vào Kaldi cho phép các nhà phát triển xây dựng hệ thống nhận dạng tiếng nói Việt hiệu quả hơn. Các thử nghiệm trên Kaldi với các góc SSCF đã cho thấy kết quả đáng khích lệ: độ chính xác tăng trong cả hai trường hợp người nói cân bằng và không cân bằng. Phương pháp tính toán tự động SSCF giảm bớt công việc thủ công và tăng tính nhất quán của mô hình. Các nhà nghiên cứu cũng đã chứng minh rằng Kaldi với mô hình động hoạt động tốt hơn 30% so với các phương pháp truyền thống.

3.1. Các Thử nghiệm trên Người nói Cân bằng

Trong các thử nghiệm cân bằng người nói, Kaldi sử dụng các góc SSCF cho kết quả tốt hơn MFCC. Mô hình âm học động nắm bắt được các đặc tính âm thanh phong phú hơn, dẫn đến độ chính xác nhận dạng cao hơn. Điều này chứng minh rằng đặc tính động là yếu tố quan trọng trong hệ thống nhận dạng tiếng nói.

3.2. Các Thử nghiệm trên Người nói Không cân bằng

Các thử nghiệm không cân bằng người nói cho thấy sức mạnh thực sự của mô hình âm học động. Khi Kaldi được huấn luyện trên dữ liệu không cân bằng, mô hình với các góc SSCF vẫn duy trì độ chính xác cao, chứng minh tính mạnh mẽ của phương pháp này.

IV. Kết luận và Hướng phát triển Tương lai

Mô hình âm học động cho nhận dạng tiếng nói Việt Kaldi đã chứng minh được hiệu quả vượt trội so với các phương pháp truyền thống. Việc sử dụng các góc SSCF để tính toán tự động đặc tính động mở ra hướng nghiên cứu mới trong lĩnh vực xử lý tiếng nói. Phương pháp này không chỉ cải thiện độ chính xác nhận dạng mà còn giảm bớt công việc thủ công của các nhà phát triển. Trong tương lai, mô hình âm học động có thể được mở rộng để ứng dụng vào các ngôn ngữ khác hoặc các bài toán xử lý lời nói phức tạp hơn. Nghiên cứu này cũng mở đường cho việc phát triển hệ thống nhận dạng tiếng nói Việt chất lượng cao hơn, phục vụ cho các ứng dụng thực tế.

4.1. Những Đóng góp Chính của Nghiên cứu

Mô hình âm học động được đề xuất đã chứng minh hiệu quả cao trong nhận dạng tiếng nói Việt trên Kaldi. Phương pháp SSCF là công cụ tính toán tự động giúp nắm bắt đặc tính động một cách chính xác. Nghiên cứu này cung cấp căn cứ khoa học cho việc phát triển các hệ thống nhận dạng tiếng nói tương lai.

4.2. Hướng Phát triển và Ứng dụng Thực tế

Trong tương lai, mô hình âm học động có thể được tích hợp vào các ứng dụng nhận dạng tiếng nói thực tế như trợ lý ảo hoặc hệ thống ghi âm tự động. Kaldi với mô hình động sẽ tiếp tục là công cụ hàng đầu cho các nhà phát triển trong việc xây dựng hệ thống nhận dạng tiếng nói tiên tiến.

Trích đoạn nội dung tài liệu

MINISTRY OF EDUCATION AND TRAINING HANOI UNIVERSITY OF SCIENCE AND TECHNOLOGY ONOAId ONVIT NAANDN Nguyen Ilang Phuong MODELING DYNAMIC ACOUSTIC FEATURE OF SPEECH FOR VIETNAMESE SPEECH RECOGNITION AND APPLICATION FOR ANALYZING VOWEL — TO —- VOWEL TRANSITIONS SONATOS WALNdWO3 MO HÌNH DẶC TÍNH ÂM HỌC DONG CLIO NE DANG TUNG. NOL TIENG VIET VA UNG DỰNG CHO VIỆC PHAN TicH SY CHUYEN LIÊP NGUYEN AM — NGUYEN AM MASTER THESIS OF SCIENCE COMPUTER SCIENCE Y9I0E Hanoi — 2018 MINISTRY OF EDUCATION AND TRAINING HANOI UNIVERSITY OF SCIENCE AND TECHNOLOGY Nguyen Iang Phuong MODELING DYNAMIC ACOUSTIC FEATURE OF SPEECH FOR VIETNAMESE SPEECH RECOGNITION AND APPLICATION FOR, ANALYZING VOWEL — TO-— VOWEL TRANSITIONS. MO HINH DAC TINH AM HOC BONG CHO NHAN DANG TIENG NOI TIENG VIỆT VA UNG DUNG CHO VIEC PHAN TÍCH SỰ CHUYỀN TIẾP NGUYÊN ÂM ~ NGUYÊN ÂM Specialty: Computer Science International Rescarch Institute MICA MASTER THESIS OF SCIENCE COMPUTER SCIENCE SUPERVISOR: Prof. Eric Castelli Dr.

Nguyen Viet Son Hanoi — 2018 DECLARATION OF AUTIIORSINP 1, NGUYEN Hang Phuong, declare that this thesis tiled, “Modeling dynamic acoustic feature of speech for Viemamese speech recognition and application for analyzing Vowel to — Vowel transitions” and the work presented in il are my own. T confirm that ‘This work was done wholly or mainly while in candidature for a research degree at this University ‘Where any part of this thesis has previonsly been submitted for a degree or any other qualification at this University or any other institution, this has been olearly stated, Whore T have consulted the publishad work of others, this is always clearly athibuted. Whore [have quoted from the work of others, the source is always given. With the exception of such quotations, this thesis is entirely my own work.

Thave acknowledged all main sources of help. Whore the thesis is based on work donc by myself jointly with others, I have made clear exactly what was done by others and what | have contributed myself, Signed: Date: 3.2 /ao/ and /auw’ transition.3 đai and /ea/ transitiơn.4 /oa/ and /ua/ transifiơn.2 New proposal approach to automatic SSC angles computation.1 Definition and Antomatic SSCF angles calculation.2 Analysis SSCF angles in Vowel- Vowel transition 5? 3.1 /aU/ and /ae/ transiHIOH.2 /ao/ and /aư/ transifion.3 fia! and /ca/ transiliOn.4 foa/ and Aua/ transition - - 66 3.3 Conckusion of chapter 3. CHAPTER 4: APPLY SSCF ANGLES TO A SPEECH RECOGNITION TOOLKIT, KALDI 74 4.1 An overview about Katdl— an open source for speech recaguition.2 Balanced speaker experiments on Kaldt.1 Using MECC featues.2 Using SSCF anglss.3 Unbalanced speaker experiments on Kaldi using SSCF angles.4 Conclusion of chapter 4. CIIAPTER S$: CONCLUSION AND FUTURE WORK, - - 82 5.

ssessessesessssrsesessssniesseensansessensaniersaneaecsanionsse 85 APPENDIX: - - 8&7 ACKNOWLEDGEMENTS It is an honor for me to be here to write thankful words to those who have been supporting, guiding and inspiriting me from the moment, when I started my work in International Research Institute MICA until now. I owe my deepest gratitude to my supervisors, Prof, Eric Castelli and Dr. Nguyen Viet Son. Their expertise, undorstaniting and gencrous guidance mads il possible to work in a now topic for me, They have made available their support in a number of ways to find out the solution to my works.

It is a pleasure to work with them, Special thanks to Dr. Mac Dang Khoa, Dr. Do ‘Thi Ngoc Diep, Dr. Nguyen Cong Phuong and all of members in the Speech Communication Department for their guidance which help me a lot in how to study and to do research in right way, and also the valuable advices for my works.

Finally, this thesis would not have been possible if there were no encouragement from my family and friends. Their words give me power in order to overcome all the embarrassment, discouragament and other difficultics. Thanks for everything helping ms to got this day. Hanoi, 23/03/2018 Nguyen Hang Phuong ACKNOWLEDGEMENTS It is an honor for me to be here to write thankful words to those who have been supporting, guiding and inspiriting me from the moment, when I started my work in International Research Institute MICA until now.

I owe my deepest gratitude to my supervisors, Prof, Eric Castelli and Dr. Nguyen Viet Son. Their expertise, undorstaniting and gencrous guidance mads il possible to work in a now topic for me, They have made available their support in a number of ways to find out the solution to my works. It is a pleasure to work with them, Special thanks to Dr.

Mac Dang Khoa, Dr. Do ‘Thi Ngoc Diep, Dr. Nguyen Cong Phuong and all of members in the Speech Communication Department for their guidance which help me a lot in how to study and to do research in right way, and also the valuable advices for my works. Finally, this thesis would not have been possible if there were no encouragement from my family and friends.

Their words give me power in order to overcome all the embarrassment, discouragament and other difficultics. Thanks for everything helping ms to got this day. Hanoi, 23/03/2018 Nguyen Hang Phuong Figure 3-16: Comparison between SSCI's and Mormants using the purpose subband filters in Jaif transition: a) FL, b) F2, ¢)MI and 4) M2. - ee Figaro 3-17; Comparison hotweon SSCPs andForrnanis using the purpose subband fliers in /ae/ transition: 8) F1, b) F2, ¢) MI and đ) M2 - 45 Figure 3-18: Comparison between SSCFs and Fommants using the purpose subband filters in /ao/ transtior a) F1, b) F2, c) M1 and d) M2.

"- Figure 3-29: Comparison between SSCKs and Formants using the purpose subband filters in /au/ transition: a) Fl, b) F2, c) M1 and d) M2. Figaro 3-20: Compearisơm betwoow SSCBs andFormnants w Aa/ transition: a) 1/1, b) F2, €) MI and đ) M2 Figure 3-21: Comparison between SSCFs and Formants using the purpose subband filters in Jenf transition: ø) F1, b) F2, ¢) MI and d) M2. 30 Figure 3-22: Comparison between SSCFs and Formants using the purpose subband filters in Joa! transition: a) Fl, b) F2, e) M1 and đ) M2. ve Figure 3-23; Comparison between SSCFs and Formanis using the purpose subband Biles in ‘Aua/ transition a) E1, b} 1⁄2, ¢) M1 and d) M2 - 52 Figwe 3-24; Compasison between SSCFs and Fommants using the purpose subband filters in Any transition: a) Fl, b) F2, o) MI and d) M2 - 33 Figure 3-25: Comparison between SSCFs and Formants using the purpose “subband filters im Aui/ transition: a) Fl, b) F2, ø) MI and đ) M2 - eee | Figure 3-2 SSCT angles!2 in SSCP I/SSCP2 plane [13] - 56 Figure 3-27: SSC¥ angles calculated from the purpose definitionin /ai/ transition: a) K, b) T2, c) M1 and d) M2 - .39 Figure 3-28: SSCIF angles culeutated from the purpose doRnilion im /ao/ bamsilion: a) Fl.

hi) F2,c) MI and d) M2. woe 60 Figure 3-29; SSCF angles caleulated trom ‘the purpose p » definition irin /ao/ transition: a) Fl, b) F2, c) MI and 4) M2 ce 61 Figure 3-30: SSCF angles calonlated from the purpose definition in /aw transition: a) K, b) T2, ) MI and d) M2 - .-02 Pignre 3-31: SSCP angles calculaled fromm the purpose definition in Au/ transition: a) Ft, b) F2, 0) Mi and d) M2. sone 64 Figure 3-32: SSCF angles calculated fiom the purpose definitionin /ea/ transition. a) FI, b) 2, c) MI and đ) M2 eos Figure 3-33: SSCF angles calonlated from the purpose definition in foa/ transition: a) K, b) T2, ¿) MI and 4) M2 ce OF Tigure 3-34: SSCP angles calculated from the pirpose definition in /ua/ transition: a) Fl, bộ F2, c) MI and d) M2.

68 Rewe 3-35; SSCF angles calculated from the purpose definition in Aw transition: a} F1, b) 2,¢) MI and đ) M2. 70 Paw 3-36: SSCF angles calculated from the purpose definition in /ai/ transition: a) F1, b) T2, ©) MI and d) M2 - 72 Figure 4-1: A schematic overview of the Kaldi toolkit [30] 75 LIST OF FIGURES Figure 2-1: An outline of a typical speech recognition system [3| 13 Figure2-2, a) Singlo-tone sine wave of 10 Hz sampled using a sampling ficqueney of 1000 Hz, b) Magnitude spectrum of single-tone sine wave respectively [9] 15 Figure 2-3: a) Multitone sine wave of 10, 50 and 100 Hz sampled using a sampling frequency of 1000 Hz, b) Magnitude spactrum of corresponding multi-tonc sine wave [9] l6 Figure 2-4: a) Non-stationary multi-tone sins wavz of L0, 50 and 100 LIz sampled using a sampling frequency of 1000 Hz, b) Magnitude spectra of corresponding non-statiouary mmulti- tone sing wave [9] 7 Figure 2-5: a) Speech signal for the Hindi word “sakshaat”, b) Corresponcing spectra of different sepments of the Hindi speech signal |9|.- Figure2-6: Flow chart for MPCC computation [21] - ny) Figure 3-1: The algorithm is for extracting SSCs. 35 Figure 3-2: The shape of six-tuiangle overlapped subband filters for compuing SSCF.26 Figure 3-3: SSCF purancicrs extraction from a specch sigual [allowing frame by frarns [13] "- Figure 3-4: Compaison results between formants and SSCFs in /ai’ when apply six subband filters: a) F1, b) P2, 6) ML and d) M2 ce DT Pigure 3-5:'The shape of five-triangle overlapped subband filters for computing SSCF.28 Figure 3-6: Comparison results between formants and SSCFs in /ai/ when apply five overlap subband filters: a) Fi, b) F2, ø) MI and d) M2 - 20 Figure 3-7: The method for evaluation the effect of the number of subband filters on SSCF results. 230 Figure 3-8: Comparison when using 5 or 6 Triangular Subband Filters in /ai/ transition: a) Fl, b) F2, 6) ML and d) M2.

32 Figure 3-9: Comparison when using 5 or 6 Triangular Subband Fillers in /ac/ transition: #) F1, ) P2, ¢) MI and d) M2. 3⁄4 Figure 3-10: Comparison when using 5 or 6 Triangular Subband Filters in /ao/ transition: a) Fl, b) F2, o) Mi and d) M2. 36 Figare 3-1]: Comparison ‘when using Soré6 Triangutor Subband Filters in én tronsition a) the first female (F1), b) the second female (1:2), ¢) the first male (M1), d) the second male (2).38 Figure 3-12: [a] trajectories for native French speakers at mormal rate: a) FI-F2 plane at publishcation [25]; SSCF1-SSCF2 plane from meesurament results when b) using 6 triangular filters, ¢) using5 triangular filtcrs. 139 Figure 3-13: The definition of subband Gilter with equal Tangth in mncl-suale: a) ñve-bianglc subband filters, b) six triangle subband filters.

„41 Figure 3-14: The shape of new ptoposal six subband filters. 2A Figure 3-15: a) The trajectories in Vowel-to-Vowel French transition, 1 obtained with simulation [27], [28], Fuench vocalic triangle in SSCF1-SSCF2 plane: b) For two native females, c) For TWO THAIVE HH8 ÏC§,. chien 243 Figure 3-16: Comparison between SSCI's and Mormants using the purpose subband filters in Jaif transition: a) FL, b) F2, ¢)MI and 4) M2. - ee Figaro 3-17; Comparison hotweon SSCPs andForrnanis using the purpose subband fliers in /ae/ transition: 8) F1, b) F2, ¢) MI and đ) M2 - 45 Figure 3-18: Comparison between SSCFs and Fommants using the purpose subband filters in /ao/ transtior a) F1, b) F2, c) M1 and d) M2.

"- Figure 3-29: Comparison between SSCKs and Formants using the purpose subband filters in /au/ transition: a) Fl, b) F2, c) M1 and d) M2. Figaro 3-20: Compearisơm betwoow SSCBs andFormnants w Aa/ transition: a) 1/1, b) F2, €) MI and đ) M2 Figure 3-21: Comparison between SSCFs and Formants using the purpose subband filters in Jenf transition: ø) F1, b) F2, ¢) MI and d) M2. 30 Figure 3-22: Comparison between SSCFs and Formants using the purpose subband filters in Joa! transition: a) Fl, b) F2, e) M1 and đ) M2.