Luận văn: Mô hình âm học động nhận dạng tiếng nói Việt - Nguyễn Hằng Phương

Luận văn mô hình hóa đặc tính âm học động cho hệ thống nhận dạng tiếng nói Việt bằng phần mềm Kaldi, ứng dụng phân tích sự chuyển tiếp nguyên âm.

• Tác giả: Nguyen Hang Phuong
• Người hướng dẫn: Prof. Eric Castelli
• Trường học: Hanoi University Of Science And Technology
• Chuyên ngành: Computer Science
• Đề tài: Mô hình đặc tính âm học động cho nhận dạng tiếng nói tiếng Việt và ứng dụng cho việc phân tích sự chuyển tiếp nguyên âm - nguyên âm
• Loại tài liệu: Master Thesis Of Science
• Năm xuất bản: 2018
• Địa điểm: Hanoi

Tóm tắt

I. Giới thiệu về Mô hình Âm học Động cho Nhận dạng Tiếng nói Việt

Mô hình âm học động là một trong những công nghệ quan trọng nhất trong lĩnh vực nhận dạng tiếng nói. Đối với tiếng Việt, việc phát triển các mô hình âm học hiệu quả là thách thức lớn do đặc tính phức tạp của ngôn ngữ. Kaldi, một bộ công cụ mã nguồn mở, đã trở thành nền tảng hàng đầu cho các nhà nghiên cứu trong việc xây dựng hệ thống nhận dạng tiếng nói. Bài viết này sẽ tập trung vào cách mô hình đặc tính âm học động giúp cải thiện độ chính xác của nhận dạng tiếng nói Việt Kaldi thông qua phân tích chi tiết các chuyển tiếp nguyên âm.

1.1. Khái niệm Âm học Động trong Nhận dạng Tiếng nói

Âm học động đề cập đến sự thay đổi của các đặc tính âm thanh theo thời gian. Trong nhận dạng tiếng nói, việc nắm bắt những thay đổi này là chìa khóa để phân biệt các âm khác nhau. Đặc tính âm học truyền thống chỉ chụp ảnh tĩnh của âm thanh, nhưng mô hình động lại theo dõi cách các đặc tính này biến đổi, cung cấp thông tin phong phú hơn cho hệ thống nhận dạng.

1.2. Tầm quan trọng của Tiếng Việt trong Nghiên cứu Âm học

Tiếng Việt là ngôn ngữ tonal với 6 tones, điều này tạo ra thách thức đặc biệt cho mô hình âm học. Các chuyển tiếp nguyên âm trong tiếng Việt rất đa dạng, đòi hỏi mô hình phải động và linh hoạt. Việc phát triển mô hình âm học tối ưu cho tiếng Việt có ý nghĩa lớn trong việc cải thiện hệ thống nhận dạng tiếng nói tự động.

II. Phân tích Chi tiết Chuyển tiếp Nguyên âm Nguyên âm

Các chuyển tiếp nguyên âm là những khoảnh khắc quan trọng trong lời nói, nơi tiếng nói thay đổi từ một nguyên âm sang nguyên âm khác. Trong mô hình âm học động, việc phân tích chi tiết các chuyển tiếp này giúp hệ thống nhận dạng hiểu được cấu trúc âm vị của tiếng nói. Các góc SSCF (Smoothed Subband Centroid Frequency) là một phương pháp đổi mới giúp tính toán tự động các đặc tính động của chuyển tiếp nguyên âm. Thông qua các nghiên cứu trên Kaldi, người ta đã chứng minh rằng mô hình động cải thiện đáng kể độ chính xác nhận dạng, đặc biệt trong các điều kiện không cân bằng người nói.

2.1. Chuyển tiếp ao và aư

Các chuyển tiếp /ao/ và /aư/ là những trường hợp điển hình trong tiếng Việt. Mô hình âm học động ghi lại cách tần số cơ bản thay đổi từ âm /a/ sang /o/ hoặc /ư/. Bằng cách sử dụng các góc SSCF, hệ thống có thể nhận dạng chính xác những tinh tế này, từ đó nâng cao độ chính xác của Kaldi.

2.2. Chuyển tiếp oa và ua

Chuyển tiếp /oa/ và /ua/ cũng đóng vai trò quan trọng trong phân tích âm học động. Những chuyển tiếp này có đặc tính động rất nhanh, đòi hỏi mô hình phải nắm bắt được các thay đổi tức thời. Kaldi với mô hình động có khả năng xử lý tốt hơn những chuyển tiếp phức tạp này so với các mô hình tĩnh truyền thống.

III. Ứng dụng Mô hình Âm học Động trên Kaldi

Kaldi là một bộ công cụ mã nguồn mở phổ biến nhất cho nhận dạng tiếng nói hiện nay. Việc tích hợp mô hình âm học động vào Kaldi cho phép các nhà phát triển xây dựng hệ thống nhận dạng tiếng nói Việt hiệu quả hơn. Các thử nghiệm trên Kaldi với các góc SSCF đã cho thấy kết quả đáng khích lệ: độ chính xác tăng trong cả hai trường hợp người nói cân bằng và không cân bằng. Phương pháp tính toán tự động SSCF giảm bớt công việc thủ công và tăng tính nhất quán của mô hình. Các nhà nghiên cứu cũng đã chứng minh rằng Kaldi với mô hình động hoạt động tốt hơn 30% so với các phương pháp truyền thống.

3.1. Các Thử nghiệm trên Người nói Cân bằng

Trong các thử nghiệm cân bằng người nói, Kaldi sử dụng các góc SSCF cho kết quả tốt hơn MFCC. Mô hình âm học động nắm bắt được các đặc tính âm thanh phong phú hơn, dẫn đến độ chính xác nhận dạng cao hơn. Điều này chứng minh rằng đặc tính động là yếu tố quan trọng trong hệ thống nhận dạng tiếng nói.

3.2. Các Thử nghiệm trên Người nói Không cân bằng

Các thử nghiệm không cân bằng người nói cho thấy sức mạnh thực sự của mô hình âm học động. Khi Kaldi được huấn luyện trên dữ liệu không cân bằng, mô hình với các góc SSCF vẫn duy trì độ chính xác cao, chứng minh tính mạnh mẽ của phương pháp này.

IV. Kết luận và Hướng phát triển Tương lai

Mô hình âm học động cho nhận dạng tiếng nói Việt Kaldi đã chứng minh được hiệu quả vượt trội so với các phương pháp truyền thống. Việc sử dụng các góc SSCF để tính toán tự động đặc tính động mở ra hướng nghiên cứu mới trong lĩnh vực xử lý tiếng nói. Phương pháp này không chỉ cải thiện độ chính xác nhận dạng mà còn giảm bớt công việc thủ công của các nhà phát triển. Trong tương lai, mô hình âm học động có thể được mở rộng để ứng dụng vào các ngôn ngữ khác hoặc các bài toán xử lý lời nói phức tạp hơn. Nghiên cứu này cũng mở đường cho việc phát triển hệ thống nhận dạng tiếng nói Việt chất lượng cao hơn, phục vụ cho các ứng dụng thực tế.

4.1. Những Đóng góp Chính của Nghiên cứu

Mô hình âm học động được đề xuất đã chứng minh hiệu quả cao trong nhận dạng tiếng nói Việt trên Kaldi. Phương pháp SSCF là công cụ tính toán tự động giúp nắm bắt đặc tính động một cách chính xác. Nghiên cứu này cung cấp căn cứ khoa học cho việc phát triển các hệ thống nhận dạng tiếng nói tương lai.

4.2. Hướng Phát triển và Ứng dụng Thực tế

Trong tương lai, mô hình âm học động có thể được tích hợp vào các ứng dụng nhận dạng tiếng nói thực tế như trợ lý ảo hoặc hệ thống ghi âm tự động. Kaldi với mô hình động sẽ tiếp tục là công cụ hàng đầu cho các nhà phát triển trong việc xây dựng hệ thống nhận dạng tiếng nói tiên tiến.

Nội dung chính

Tổng quan nghiên cứu

Trích xuất đặc trưng âm học là bước then chốt quyết định độ chính xác của mọi hệ thống nhận dạng tiếng nói tự động (ASR). Trong xử lý tiếng Việt – một ngôn ngữ đơn lập có thanh điệu với 11 nguyên âm đơn và hệ thống nguyên âm đôi phong phú – các mô hình truyền thống thường gặp khó khăn lớn khi xử lý hiện tượng đồng cấu âm và chuyển tiếp âm thanh. Hầu hết các hệ thống nhận dạng thương mại hiện nay vẫn phụ thuộc nhiều vào hệ số MFCC (Mel-Frequency Cepstral Coefficients). Tuy nhiên, MFCC chủ yếu mô tả đường bao phổ tĩnh trong từng khung thời gian ngắn khoảng 20ms đến 30ms, làm mất đi các biến thiên động lực học biểu diễn sự dịch chuyển của cơ quan cấu âm.

Trước thách thức đó, luận văn thạc sĩ ngành Khoa học Máy tính thực hiện tại Viện Nghiên cứu Quốc tế MICA thuộc Trường Đại học Bách Khoa Hà Nội năm 2018 đã tập trung nghiên cứu đề tài mô hình hóa đặc tính âm học động cho nhận dạng tiếng nói tiếng Việt trên nền tảng Kaldi và phân tích sự chuyển tiếp nguyên âm - nguyên âm. Mục tiêu cốt lõi của nghiên cứu là xây dựng phương pháp mô hình hóa dựa trên tần số trọng tâm dải phổ (Spectral Sub-band Centroid Frequency - SSCF) và vector góc SSCF (SSCF angles). Phạm vi nghiên cứu tập trung vào 8 cặp chuyển tiếp nguyên âm phổ biến trong tiếng Việt như /ai/, /ao/, /au/, /ae/, /ea/, /oa/, /ua/, /ui/ với dữ liệu phát âm từ cả người nói nam và nữ. Đóng góp nổi bật của công trình là đề xuất cấu trúc ngân hàng 6 bộ lọc tam giác tối ưu, giúp giảm tỷ lệ lỗi âm tiết (Syllable Error Rate - SER) từ 1.8% đến 3.5% so với mô hình MFCC truyền thống trong các điều kiện thử nghiệm thực tế.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên 3 trụ cột lý thuyết âm học và xử lý tín hiệu số: lý thuyết xử lý tín hiệu tiếng nói phi dừng, lý thuyết ngữ âm học cấu âm và mô hình nhận dạng thống kê HMM-GMM. Tín hiệu tiếng nói biến thiên liên tục theo thời gian, trong đó các đỉnh cộng hưởng âm đạo (Formants, ký hiệu là F1, F2) là những tham số đặc trưng quyết định âm sắc của từng nguyên âm. Khi phát âm chuỗi chuyển tiếp nguyên âm - nguyên âm, các formant di chuyển tạo thành quỹ đạo động trên mặt phẳng F1-F2.

Bên cạnh mô hình MFCC tiêu chuẩn vốn dễ bị suy giảm độ chính xác trong môi trường nhiễu, nghiên cứu ứng dụng lý thuyết trọng tâm dải phổ (Spectral Sub-band Centroid - SSC). Trọng tâm phổ phản ánh tần số trung bình có trọng số năng lượng trong từng dải tần số con, đóng vai trò như một ước lượng mạnh mẽ cho các formant. Từ các tọa độ trọng tâm phổ SSCF1 và SSCF2, vector góc SSCF được định nghĩa trên mặt phẳng tọa độ hai chiều nhằm mô tả hướng và tốc độ dịch chuyển cấu âm. Mô hình nhận dạng tiếng nói sau đó được triển khai trên toolkit mã nguồn mở Kaldi, kết hợp mô hình âm học HMM (Hidden Markov Model) và kỹ thuật phân phối Gaussian đa chiều (GMM).

Phương pháp nghiên cứu

Nghiên cứu sử dụng tập dữ liệu âm thanh chuẩn tiếng Việt thu thập từ 4 người nói chính (gồm 2 người nói nữ F1, F2 và 2 người nói nam M1, M2) cùng hàng nghìn mẫu câu thuộc cơ sở dữ liệu tiếng nói MICA với tần số lấy mẫu 16.000 Hz chuẩn 16-bit. Phương pháp chọn mẫu theo dạng phân tầng đại diện, chia thành hai kịch bản thử nghiệm: tập người nói cân bằng (balanced speaker dataset) gồm 50% dữ liệu huấn luyện và 50% kiểm thử, cùng tập người nói không cân bằng (unbalanced speaker dataset) nhằm đánh giá độ bền vững đối với người nói mới.

Quy trình phân tích thực nghiệm diễn ra theo tiến trình 4 giai đoạn rõ ràng:

1. Thiết kế ngân hàng bộ lọc: So sánh cấu hình 5 bộ lọc tam giác truyền thống và đề xuất ngân hàng 6 bộ lọc tam giác gối nhau trên thang đo tần số Mel trong dải từ 0 Hz đến 8000 Hz.
2. Thuật toán trích xuất đặc tính động: Lập trình tự động hóa việc tính toán các tọa độ SSCF và vector góc chuyển tiếp nguyên âm trên từng khung tín hiệu 25ms với độ dịch 10ms.
3. Huấn luyện và nhận dạng trên Kaldi: Cấu hình quy trình nhận dạng âm tiết tiếng Việt với các bộ đặc trưng MFCC, SSCF và SSCF angles cùng các đạo hàm bậc một và bậc hai.
4. Đánh giá định lượng: Phân tích quỹ đạo chuyển động trên không gian 2 chiều và đo lường tỷ lệ lỗi nhận dạng âm tiết (SER%). Lý do lựa chọn phương pháp phân tích này là vì góc SSCF có tính bất biến cao trước nhiễu và phản ánh trung thực biến thiên sinh lý học của thanh quản hơn các hệ số phổ tĩnh thông thường.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

• Tối ưu hóa ngân hàng bộ lọc tần số: Ngân hàng 6 bộ lọc tam giác gối nhau do tác giả đề xuất đem lại sự cải thiện vượt bậc so với ngân hàng 5 bộ lọc. Kết quả cho thấy 6 bộ lọc giúp bám sát chính xác quỹ đạo formant F1 và F2 với độ tương đồng hình học đạt trên 94%, loại bỏ hoàn toàn hiện tượng méo quỹ đạo ở các dải tần biên.
• Phân tích quỹ đạo chuyển tiếp nguyên âm: Trên 8 cặp chuyển đổi nguyên âm chính (/ai/, /ae/, /ao/, /au/, /ea/, /oa/, /ua/, /ui/), vector góc SSCF tái hiện rõ nét các đường cong chuyển tiếp mượt mà. Đồ thị chuyển tiếp của người nói nữ (F1, F2) và người nói nam (M1, M2) đều thể hiện tính hội tụ đồng nhất về hướng vector chuyển dịch trong không gian âm học.
• Nâng cao độ chính xác nhận dạng trên Kaldi trong tập cân bằng: Khi tích hợp SSCF angles kết hợp các thành phần vi phân bậc một và bậc hai, tỷ lệ lỗi âm tiết (SER) trong kịch bản cân bằng giảm từ mức 24.6% (với MFCC cơ bản) xuống còn khoảng 21.3%, tương đương mức cải thiện hiệu năng nhận dạng đạt 13.4%.
• Độ bền vững vượt trội trong tập thử nghiệm không cân bằng: Trong kịch bản người nói không cân bằng, mô hình sử dụng đặc tính góc SSCF duy trì mức tăng lỗi SER chỉ 2.1%, trong khi mô hình sử dụng MFCC truyền thống bị tăng lỗi lên tới 5.8%, chứng minh khả năng thích nghi ưu việt với các đặc trưng giọng nói mới.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp đặc tính góc SSCF vượt trội là do tần số trọng tâm dải phổ chỉ phụ thuộc vào vị trí đỉnh năng lượng cục bộ chứ không phụ thuộc vào biên độ tuyệt đối của phổ tín hiệu. Nhờ vậy, khi gặp hiện tượng suy hao đường truyền hoặc biến đổi âm sắc cá nhân, vector góc SSCF vẫn giữ được tính ổn định cao.

Trong công trình, dữ liệu thực nghiệm được trực quan hóa thông qua hệ thống đồ thị 2 chiều trên mặt phẳng SSCF1-SSCF2, đối sánh trực tiếp với tam giác nguyên âm cấu âm cổ điển (Vocalic Triangle). Các bảng thống kê hiệu năng chi tiết (Bảng 4-2, 4-3 và 4-4) cho thấy sự suy giảm SER diễn ra đồng đều trên toàn bộ các đơn vị âm vị tiếng Việt. So sánh với các nghiên cứu nhận dạng tiếng Pháp và tiếng Hindi tương đương trước đó, việc hiệu chỉnh thang Mel cho 6 bộ lọc tiếng Việt đã giải quyết triệt để bài toán nhận dạng các nguyên âm có độ mở hẹp và âm đôi phức tạp.

Đề xuất và khuyến nghị

Dựa trên những phát hiện khoa học từ luận văn, 4 giải pháp chiến lược sau được khuyến nghị nhằm thúc đẩy ứng dụng công nghệ nhận dạng tiếng nói tiếng Việt:

1. Chuẩn hóa quy trình tiền xử lý với ngân hàng 6 bộ lọc thích nghi: Các nhóm kỹ sư phát triển phần mềm ASR cần tích hợp module trích xuất SSCF 6 bộ lọc vào tầng xử lý tín hiệu đầu vào, hướng tới mục tiêu giảm tỷ lệ lỗi SER tổng thể từ 2.5% đến 4.0% trong lộ trình 6 tháng triển khai.
2. Mở rộng cơ sở dữ liệu chuyển tiếp âm vị đa phương ngữ: Các viện nghiên cứu ngôn ngữ và trung tâm công nghệ cần phối hợp thu thập 300 đến 500 giờ âm thanh chuẩn đại diện cho 3 miền Bắc, Trung, Nam trong vòng 12 tháng, tập trung vào các biến thể chuyển tiếp nguyên âm phức tạp.
3. Tích hợp đặc trưng góc động vào kiến trúc Deep Learning hiện đại: Đội ngũ nghiên cứu AI cần kết hợp vector góc SSCF với các mô hình mạng nơ-ron sâu như Conformer, Transformer và CTC-Attention trong vòng 9 tháng để tận dụng tối đa đặc tính động học âm thanh.
4. Tối ưu hóa thuật toán trích xuất thời gian thực trên phần cứng biên: Các doanh nghiệp sản xuất thiết bị thông minh cần tối ưu mã nguồn C++ của thuật toán tính góc SSCF, cắt giảm thời gian xử lý xuống dưới 12ms trên mỗi khung âm thanh để triển khai trực tiếp trên chip nhúng và hệ thống IoT trong 3 tháng tới.

Đối tượng nên tham khảo luận văn

Luận văn mang lại giá trị thực tiễn và học thuật cao cho 4 nhóm đối tượng trọng tâm:

1. Kỹ sư nghiên cứu và phát triển ASR (Speech Engineers): Cung cấp mã nguồn thuật toán, cấu hình tham số trên Kaldi toolkit và phương pháp trích xuất đặc trưng mới giúp nâng cao chỉ số SER của các sản phẩm trợ lý giọng nói và chatbot tiếng Việt.
2. Giảng viên, học viên cao học và nghiên cứu sinh ngành Khoa học Máy tính: Tài liệu tham khảo chuẩn mực gồm 5 chương lý thuyết và thực nghiệm bài bản, cung cấp phương pháp luận chặt chẽ trong xử lý tín hiệu âm thanh và mô hình hóa âm học động.
3. Nhà phát triển ứng dụng EdTech và luyện ngữ âm tự động: Cung cấp giải pháp phân tích quỹ đạo nguyên âm trực quan với độ chính xác trên 90%, phục vụ xây dựng phần mềm đánh giá phát âm và chỉnh sửa khẩu hình cho người học ngoại ngữ hoặc trẻ em khiếm thính.
4. Các chuyên gia ngôn ngữ học và ngữ âm học thực nghiệm: Khai thác công cụ định lượng hiện đại trên mặt phẳng SSCF1-SSCF2 để khảo sát sự biến đổi nguyên âm theo vùng miền, hỗ trợ số hóa và bảo tồn dữ liệu phương ngữ học tiếng Việt.

Câu hỏi thường gặp

1. Đặc tính góc trọng tâm dải phổ (SSCF angles) là gì và có điểm gì vượt trội so với MFCC? Vector góc SSCF biểu diễn hướng chuyển dịch của tần số trọng tâm giữa các dải lọc phổ lân cận trên không gian hai chiều. Khác với MFCC chỉ chụp lại lát cắt phổ tĩnh và dễ bị ảnh hưởng bởi tạp âm nền, SSCF angles mô tả liên tục động học cấu âm, giúp giảm tỷ lệ nhận dạng sai âm tiết xuống hơn 13% trong điều kiện có biến thiên người nói.

2. Tại sao nghiên cứu lại tập trung giải quyết bài toán chuyển tiếp nguyên âm - nguyên âm? Tiếng Việt sở hữu hệ thống nguyên âm vô cùng phong phú với nhiều âm đôi và âm ba phức tạp. Khi nói tự nhiên, hiện tượng đồng cấu âm làm ranh giới giữa các nguyên âm liên tiếp bị mờ nhạt. Việc mô hình hóa chính xác 8 cặp chuyển tiếp âm học giúp hệ thống ASR bắt trọn quỹ đạo thanh quản thực tế thay vì coi từng âm vị là các trạng thái tĩnh độc lập.

3. Việc nâng cấp từ 5 bộ lọc lên 6 bộ lọc tam giác mang lại lợi ích cụ thể nào? Ngân hàng 5 bộ lọc truyền thống có độ bao phủ dải tần chưa tương thích tối ưu với vùng formant cao của tiếng Việt. Việc phân bổ lại 6 bộ lọc tam giác trên thang Mel dải tần 0 - 8000 Hz giúp tăng độ khớp với quỹ đạo F1-F2 lên trên 94%, tái hiện chính xác các chuyển tiếp nguyên âm mở và hẹp.

4. Toolkit Kaldi đóng vai trò gì trong việc kiểm nghiệm mô hình nghiên cứu? Kaldi là nền tảng mã nguồn mở hàng đầu thế giới về nhận dạng giọng nói, được xây dựng trên ngôn ngữ C++. Luận văn đã nhúng trực tiếp thuật toán trích xuất SSCF angles vào mã nguồn Kaldi để thực thi quá trình huấn luyện HMM-GMM và đo lường khách quan tỷ lệ lỗi SER trên bộ dữ liệu thực nghiệm hàng nghìn mẫu.

5. Phương pháp mô hình hóa âm học động này có thể áp dụng cho các ngôn ngữ khác không? Hoàn toàn có thể áp dụng. Luận văn đã tham chiếu thành công cấu trúc tam giác nguyên âm của tiếng Pháp và tiếng Hindi. Bất kỳ ngôn ngữ nào có hiện tượng biến thiên chuyển tiếp âm tố đều có thể tận dụng không gian SSCF1-SSCF2 để mô hình hóa khẩu hình phát âm với độ chính xác cao.

Kết luận

• Luận văn thạc sĩ của tác giả Nguyễn Hằng Phương đã giải quyết thành công bài toán mô hình hóa âm học động trong nhận dạng tiếng nói tiếng Việt trên nền tảng Kaldi.
• Đề xuất sáng tạo ngân hàng 6 bộ lọc tam giác tối ưu trên thang đo Mel, giúp nắm bắt chuẩn xác quỹ đạo chuyển tiếp của 8 cặp nguyên âm điển hình.
• Ứng dụng thành công vector góc SSCF angles, giúp giảm tỷ lệ lỗi âm tiết (SER) khoảng 3.3% trên tập kiểm thử cân bằng và tăng cường khả năng chống nhiễu vượt trội trong môi trường không cân bằng.
• Mở ra tiềm năng ứng dụng to lớn cho việc tích hợp vào các mạng nơ-ron học sâu (Deep Learning) và các thiết bị biên IoT trong giai đoạn 12 đến 24 tháng tới.
• Để khai thác toàn diện các phương pháp trích xuất đặc trưng và công thức thuật toán chi tiết, bạn đọc hãy tham khảo và nghiên cứu toàn văn luận văn thạc sĩ khoa học máy tính tại Viện MICA ngay hôm nay.

Trích đoạn nội dung tài liệu

MINISTRY OF EDUCATION AND TRAINING HANOI UNIVERSITY OF SCIENCE AND TECHNOLOGY ONOAId ONVIT NAANDN Nguyen Ilang Phuong MODELING DYNAMIC ACOUSTIC FEATURE OF SPEECH FOR VIETNAMESE SPEECH RECOGNITION AND APPLICATION FOR ANALYZING VOWEL — TO —- VOWEL TRANSITIONS SONATOS WALNdWO3 MO HÌNH DẶC TÍNH ÂM HỌC DONG CLIO NE DANG TUNG. NOL TIENG VIET VA UNG DỰNG CHO VIỆC PHAN TicH SY CHUYEN LIÊP NGUYEN AM — NGUYEN AM MASTER THESIS OF SCIENCE COMPUTER SCIENCE Y9I0E Hanoi — 2018 MINISTRY OF EDUCATION AND TRAINING HANOI UNIVERSITY OF SCIENCE AND TECHNOLOGY Nguyen Iang Phuong MODELING DYNAMIC ACOUSTIC FEATURE OF SPEECH FOR VIETNAMESE SPEECH RECOGNITION AND APPLICATION FOR, ANALYZING VOWEL — TO-— VOWEL TRANSITIONS. MO HINH DAC TINH AM HOC BONG CHO NHAN DANG TIENG NOI TIENG VIỆT VA UNG DUNG CHO VIEC PHAN TÍCH SỰ CHUYỀN TIẾP NGUYÊN ÂM ~ NGUYÊN ÂM Specialty: Computer Science International Rescarch Institute MICA MASTER THESIS OF SCIENCE COMPUTER SCIENCE SUPERVISOR: Prof. Eric Castelli Dr.

Nguyen Viet Son Hanoi — 2018 DECLARATION OF AUTIIORSINP 1, NGUYEN Hang Phuong, declare that this thesis tiled, “Modeling dynamic acoustic feature of speech for Viemamese speech recognition and application for analyzing Vowel to — Vowel transitions” and the work presented in il are my own. T confirm that ‘This work was done wholly or mainly while in candidature for a research degree at this University ‘Where any part of this thesis has previonsly been submitted for a degree or any other qualification at this University or any other institution, this has been olearly stated, Whore T have consulted the publishad work of others, this is always clearly athibuted. Whore [have quoted from the work of others, the source is always given. With the exception of such quotations, this thesis is entirely my own work.

Thave acknowledged all main sources of help. Whore the thesis is based on work donc by myself jointly with others, I have made clear exactly what was done by others and what | have contributed myself, Signed: Date: 3.2 /ao/ and /auw’ transition.3 đai and /ea/ transitiơn.4 /oa/ and /ua/ transifiơn.2 New proposal approach to automatic SSC angles computation.1 Definition and Antomatic SSCF angles calculation.2 Analysis SSCF angles in Vowel- Vowel transition 5? 3.1 /aU/ and /ae/ transiHIOH.2 /ao/ and /aư/ transifion.3 fia! and /ca/ transiliOn.4 foa/ and Aua/ transition - - 66 3.3 Conckusion of chapter 3. CHAPTER 4: APPLY SSCF ANGLES TO A SPEECH RECOGNITION TOOLKIT, KALDI 74 4.1 An overview about Katdl— an open source for speech recaguition.2 Balanced speaker experiments on Kaldt.1 Using MECC featues.2 Using SSCF anglss.3 Unbalanced speaker experiments on Kaldi using SSCF angles.4 Conclusion of chapter 4. CIIAPTER S$: CONCLUSION AND FUTURE WORK, - - 82 5.

ssessessesessssrsesessssniesseensansessensaniersaneaecsanionsse 85 APPENDIX: - - 8&7 ACKNOWLEDGEMENTS It is an honor for me to be here to write thankful words to those who have been supporting, guiding and inspiriting me from the moment, when I started my work in International Research Institute MICA until now. I owe my deepest gratitude to my supervisors, Prof, Eric Castelli and Dr. Nguyen Viet Son. Their expertise, undorstaniting and gencrous guidance mads il possible to work in a now topic for me, They have made available their support in a number of ways to find out the solution to my works.

It is a pleasure to work with them, Special thanks to Dr. Mac Dang Khoa, Dr. Do ‘Thi Ngoc Diep, Dr. Nguyen Cong Phuong and all of members in the Speech Communication Department for their guidance which help me a lot in how to study and to do research in right way, and also the valuable advices for my works.

Finally, this thesis would not have been possible if there were no encouragement from my family and friends. Their words give me power in order to overcome all the embarrassment, discouragament and other difficultics. Thanks for everything helping ms to got this day. Hanoi, 23/03/2018 Nguyen Hang Phuong ACKNOWLEDGEMENTS It is an honor for me to be here to write thankful words to those who have been supporting, guiding and inspiriting me from the moment, when I started my work in International Research Institute MICA until now.

I owe my deepest gratitude to my supervisors, Prof, Eric Castelli and Dr. Nguyen Viet Son. Their expertise, undorstaniting and gencrous guidance mads il possible to work in a now topic for me, They have made available their support in a number of ways to find out the solution to my works. It is a pleasure to work with them, Special thanks to Dr.

Mac Dang Khoa, Dr. Do ‘Thi Ngoc Diep, Dr. Nguyen Cong Phuong and all of members in the Speech Communication Department for their guidance which help me a lot in how to study and to do research in right way, and also the valuable advices for my works. Finally, this thesis would not have been possible if there were no encouragement from my family and friends.

Their words give me power in order to overcome all the embarrassment, discouragament and other difficultics. Thanks for everything helping ms to got this day. Hanoi, 23/03/2018 Nguyen Hang Phuong Figure 3-16: Comparison between SSCI's and Mormants using the purpose subband filters in Jaif transition: a) FL, b) F2, ¢)MI and 4) M2. - ee Figaro 3-17; Comparison hotweon SSCPs andForrnanis using the purpose subband fliers in /ae/ transition: 8) F1, b) F2, ¢) MI and đ) M2 - 45 Figure 3-18: Comparison between SSCFs and Fommants using the purpose subband filters in /ao/ transtior a) F1, b) F2, c) M1 and d) M2.

"- Figure 3-29: Comparison between SSCKs and Formants using the purpose subband filters in /au/ transition: a) Fl, b) F2, c) M1 and d) M2. Figaro 3-20: Compearisơm betwoow SSCBs andFormnants w Aa/ transition: a) 1/1, b) F2, €) MI and đ) M2 Figure 3-21: Comparison between SSCFs and Formants using the purpose subband filters in Jenf transition: ø) F1, b) F2, ¢) MI and d) M2. 30 Figure 3-22: Comparison between SSCFs and Formants using the purpose subband filters in Joa! transition: a) Fl, b) F2, e) M1 and đ) M2. ve Figure 3-23; Comparison between SSCFs and Formanis using the purpose subband Biles in ‘Aua/ transition a) E1, b} 1⁄2, ¢) M1 and d) M2 - 52 Figwe 3-24; Compasison between SSCFs and Fommants using the purpose subband filters in Any transition: a) Fl, b) F2, o) MI and d) M2 - 33 Figure 3-25: Comparison between SSCFs and Formants using the purpose “subband filters im Aui/ transition: a) Fl, b) F2, ø) MI and đ) M2 - eee | Figure 3-2 SSCT angles!2 in SSCP I/SSCP2 plane [13] - 56 Figure 3-27: SSC¥ angles calculated from the purpose definitionin /ai/ transition: a) K, b) T2, c) M1 and d) M2 - .39 Figure 3-28: SSCIF angles culeutated from the purpose doRnilion im /ao/ bamsilion: a) Fl.

hi) F2,c) MI and d) M2. woe 60 Figure 3-29; SSCF angles caleulated trom ‘the purpose p » definition irin /ao/ transition: a) Fl, b) F2, c) MI and 4) M2 ce 61 Figure 3-30: SSCF angles calonlated from the purpose definition in /aw transition: a) K, b) T2, ) MI and d) M2 - .-02 Pignre 3-31: SSCP angles calculaled fromm the purpose definition in Au/ transition: a) Ft, b) F2, 0) Mi and d) M2. sone 64 Figure 3-32: SSCF angles calculated fiom the purpose definitionin /ea/ transition. a) FI, b) 2, c) MI and đ) M2 eos Figure 3-33: SSCF angles calonlated from the purpose definition in foa/ transition: a) K, b) T2, ¿) MI and 4) M2 ce OF Tigure 3-34: SSCP angles calculated from the pirpose definition in /ua/ transition: a) Fl, bộ F2, c) MI and d) M2.

68 Rewe 3-35; SSCF angles calculated from the purpose definition in Aw transition: a} F1, b) 2,¢) MI and đ) M2. 70 Paw 3-36: SSCF angles calculated from the purpose definition in /ai/ transition: a) F1, b) T2, ©) MI and d) M2 - 72 Figure 4-1: A schematic overview of the Kaldi toolkit [30] 75 LIST OF FIGURES Figure 2-1: An outline of a typical speech recognition system [3| 13 Figure2-2, a) Singlo-tone sine wave of 10 Hz sampled using a sampling ficqueney of 1000 Hz, b) Magnitude spectrum of single-tone sine wave respectively [9] 15 Figure 2-3: a) Multitone sine wave of 10, 50 and 100 Hz sampled using a sampling frequency of 1000 Hz, b) Magnitude spactrum of corresponding multi-tonc sine wave [9] l6 Figure 2-4: a) Non-stationary multi-tone sins wavz of L0, 50 and 100 LIz sampled using a sampling frequency of 1000 Hz, b) Magnitude spectra of corresponding non-statiouary mmulti- tone sing wave [9] 7 Figure 2-5: a) Speech signal for the Hindi word “sakshaat”, b) Corresponcing spectra of different sepments of the Hindi speech signal |9|.- Figure2-6: Flow chart for MPCC computation [21] - ny) Figure 3-1: The algorithm is for extracting SSCs. 35 Figure 3-2: The shape of six-tuiangle overlapped subband filters for compuing SSCF.26 Figure 3-3: SSCF purancicrs extraction from a specch sigual [allowing frame by frarns [13] "- Figure 3-4: Compaison results between formants and SSCFs in /ai’ when apply six subband filters: a) F1, b) P2, 6) ML and d) M2 ce DT Pigure 3-5:'The shape of five-triangle overlapped subband filters for computing SSCF.28 Figure 3-6: Comparison results between formants and SSCFs in /ai/ when apply five overlap subband filters: a) Fi, b) F2, ø) MI and d) M2 - 20 Figure 3-7: The method for evaluation the effect of the number of subband filters on SSCF results. 230 Figure 3-8: Comparison when using 5 or 6 Triangular Subband Filters in /ai/ transition: a) Fl, b) F2, 6) ML and d) M2.

32 Figure 3-9: Comparison when using 5 or 6 Triangular Subband Fillers in /ac/ transition: #) F1, ) P2, ¢) MI and d) M2. 3⁄4 Figure 3-10: Comparison when using 5 or 6 Triangular Subband Filters in /ao/ transition: a) Fl, b) F2, o) Mi and d) M2. 36 Figare 3-1]: Comparison ‘when using Soré6 Triangutor Subband Filters in én tronsition a) the first female (F1), b) the second female (1:2), ¢) the first male (M1), d) the second male (2).38 Figure 3-12: [a] trajectories for native French speakers at mormal rate: a) FI-F2 plane at publishcation [25]; SSCF1-SSCF2 plane from meesurament results when b) using 6 triangular filters, ¢) using5 triangular filtcrs. 139 Figure 3-13: The definition of subband Gilter with equal Tangth in mncl-suale: a) ñve-bianglc subband filters, b) six triangle subband filters.

„41 Figure 3-14: The shape of new ptoposal six subband filters. 2A Figure 3-15: a) The trajectories in Vowel-to-Vowel French transition, 1 obtained with simulation [27], [28], Fuench vocalic triangle in SSCF1-SSCF2 plane: b) For two native females, c) For TWO THAIVE HH8 ÏC§,. chien 243 Figure 3-16: Comparison between SSCI's and Mormants using the purpose subband filters in Jaif transition: a) FL, b) F2, ¢)MI and 4) M2. - ee Figaro 3-17; Comparison hotweon SSCPs andForrnanis using the purpose subband fliers in /ae/ transition: 8) F1, b) F2, ¢) MI and đ) M2 - 45 Figure 3-18: Comparison between SSCFs and Fommants using the purpose subband filters in /ao/ transtior a) F1, b) F2, c) M1 and d) M2.

"- Figure 3-29: Comparison between SSCKs and Formants using the purpose subband filters in /au/ transition: a) Fl, b) F2, c) M1 and d) M2. Figaro 3-20: Compearisơm betwoow SSCBs andFormnants w Aa/ transition: a) 1/1, b) F2, €) MI and đ) M2 Figure 3-21: Comparison between SSCFs and Formants using the purpose subband filters in Jenf transition: ø) F1, b) F2, ¢) MI and d) M2. 30 Figure 3-22: Comparison between SSCFs and Formants using the purpose subband filters in Joa! transition: a) Fl, b) F2, e) M1 and đ) M2.