Luận văn thạc sĩ nhận dạng tự động tiếng nói phát âm liên tục cho các phương ngữ chính của tiếng việt theo phương thức phát âm

Luận văn thạc sĩ nghiên cứu nhận dạng tự động tiếng nói phát âm liên tục cho các phương ngữ chính của tiếng Việt, ứng dụng công nghệ AI hiện đại.

• Tác giả: Phạm Ngọc Hưng
• Người hướng dẫn: PGS. Trịnh Văn Loan
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Nhận Dạng Tự Động Tiếng Nói Phát Âm Liên Tục Cho Các Phương Ngữ Chính Của Tiếng Việt
• Loại tài liệu: luận án tiến sĩ
• Năm xuất bản: 2017
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• GIẢI THÍCH CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT
• DANH MỤC CÁC BẢNG
• DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ
• 1. CHƯƠNG 1: TỔNG QUAN VỀ NHẬN DẠNG TIẾNG NÓI VÀ NHẬN DẠNG PHƯƠNG NGỮ
• 1.1. Nhận dạng tiếng nói
• 1.1.1. Tổng quan về nhận dạng tiếng nói
• 1.1.2. Lịch sử phát triển và các tiến bộ trong nghiên cứu nhận dạng tiếng nói
• 1.1.3. Các thách thức đối với nhận dạng tự động tiếng nói
• 1.1.4. Phân loại hệ thống nhận dạng tự động tiếng nói
• 1.2. Nhận dạng phương ngữ
• 1.2.1. Các mô hình nhận dạng phương ngữ
• 1.2.2. Nhận dạng phương ngữ theo các phương diện khác nhau
• 1.3. Nghiên cứu nhận dạng tiếng nói và nhận dạng phương ngữ tiếng Việt
• 1.4. Một số mô hình nhận dạng
• 1.4.1. Mô hình GMM
• 1.4.2. Bộ phân lớp SVM
• 1.4.3. Mạng nơ ron nhận tạo
• 1.5. Kết chương
• 2. CHƯƠNG 2: XÂY DỰNG BỘ NGỮ LIỆU CHO NGHIÊN CỨU NHẬN DẠNG PHƯƠNG NGỮ TIẾNG VIỆT
• 2.1. Tổng quan phương ngữ tiếng Việt
• 2.1.1. Phương ngữ và phân vùng phương ngữ tiếng Việt
• 2.1.2. Đặc điểm ngữ âm ba vùng phương ngữ chính của tiếng Việt
• 2.1.3. Sự khác biệt về từ vựng và ngữ nghĩa giữa ba vùng phương ngữ tiếng Việt
• 2.2. Cấu trúc âm tiết, âm vị trong phương ngữ tiếng Việt
• 2.2.1. Âm tiết và âm vị trong tiếng Việt
• 2.2.2. Âm đệm và cách kết hợp âm đệm trong các phương ngữ
• 2.2.3. Phụ âm đầu trong phương ngữ tiếng Việt
• 2.2.3.1. Hệ thống phụ âm đầu
• 2.2.3.2. So sánh hệ thống phụ âm đầu ba phương ngữ Bắc-Trung-Nam
• 2.2.4. Hệ thống thanh điệu và các biến thể trong phương ngữ tiếng Việt
• 2.2.4.1. Hệ thống thanh điệu Hà Nội
• 2.2.4.2. Hệ thống thanh điệu Nghệ - Tĩnh và Huế
• 2.2.4.3. Hệ thống thanh điệu Đà Nẵng và Thành phố Hồ Chí Minh
• 2.2.4.4. Một số nhận xét về hệ thống thanh điệu các phương ngữ
• 2.3. Ảnh hưởng của phương ngữ tới nhận dạng tiếng nói
• 2.4. Ngữ liệu phương ngữ trên thế giới và xây dựng bộ ngữ liệu dùng cho nhận dạng phương ngữ tiếng Việt
• 2.4.1. Phương pháp xây dựng bộ ngữ liệu phương ngữ tiếng Việt
• 2.4.2. Chuẩn bị và chuẩn hóa văn bản
• 2.4.3. Kết quả ghi âm và đặc tính VDSPEC
• 2.5. Phân tích một số đặc trưng phương ngữ tiếng Việt của bộ ngữ liệu VDSPEC
• 2.5.1. Biến thiên tần số cơ bản F0 theo thanh điệu của ba phương ngữ
• 2.5.2. Phân tích thống kê phân bố F0 của các thanh điệu
• 2.5.3. Phân tích dữ liệu dùng LDA
• 2.6. Kết chương
• 3. CHƯƠNG 3: NHẬN DẠNG PHƯƠNG NGỮ TIẾNG VIỆT
• 3.1. Nhận dạng phương ngữ tiếng Việt với GMM
• 3.1.1. Công cụ thử nghiệm nhận dạng phương ngữ ALIZE
• 3.1.2. Lựa chọn số lượng hệ số MFCC
• 3.1.3. Thử nghiệm nhận dạng phương ngữ tiếng Việt trong trường hợp kết hợp MFCC với tham số F0
• 3.1.4. Thử nghiệm nhận dạng phương ngữ tiếng Việt trong trường hợp kết hợp formant, dải thông tương ứng và tham số F0
• 3.1.5. Ảnh hưởng của số lượng thành phần Gauss đối với hiệu năng nhận dạng phương ngữ tiếng Việt
• 3.2. SVM nhận dạng phương ngữ tiếng Việt
• 3.2.1. Bộ phân lớp SMO
• 3.2.2. Thử nghiệm nhận dạng phương ngữ tiếng Việt sử dụng SMO
• 3.3. IBk nhận dạng phương ngữ tiếng Việt
• 3.3.1. Bộ phân lớp IBk
• 3.3.2. Kết quả nhận dạng phương ngữ tiếng Việt sử dụng IBk
• 3.4. Nhận dạng phương ngữ tiếng Việt với bộ phân lớp MultilayerPerceptron
• 3.4.1. Bộ phân lớp MultilayerPerceptron trong Weka
• 3.4.2. MultilayerPerceptron nhận dạng phương ngữ tiếng Việt
• 3.5. JRip nhận dạng phương ngữ tiếng Việt
• 3.5.1. Bộ phân lớp JRip
• 3.5.2. Nhận dạng phương ngữ tiếng Việt với JRip
• 3.6. Nhận dạng phương ngữ tiếng Việt với PART
• 3.6.1. Bộ phân lớp PART
• 3.6.2. Kết quả dùng PART nhận dạng phương ngữ tiếng Việt
• 3.7. Kết chương
• 4. CHƯƠNG 4: CẢI THIỆN HIỆU NĂNG NHẬN DẠNG TIẾNG VIỆT VỚI THÔNG TIN VỀ PHƯƠNG NGỮ
• 4.1. HMM nhận dạng tiếng Việt nói
• 4.1.1. Mô hình HMM
• 4.1.2. HMM nhận dạng tiếng Việt nói theo ba phương ngữ chính
• 4.2. Cải thiện hiệu năng nhận dạng tiếng Việt nói thông qua sử dụng thông tin phương ngữ
• 4.2.1. Mô hình nhận dạng tiếng Việt nói với việc sử dụng thông tin phương ngữ
• 4.2.2. Nhận dạng tiếng Việt nói khi có thông tin phương ngữ
• 4.3. Kết chương
• KẾT LUẬN VÀ KIẾN NGHỊ
• TÀI LIỆU THAM KHẢO
• DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ CỦA LUẬN ÁN

Tóm tắt

I. Tổng quan về nhận dạng tiếng nói

Nhận dạng tiếng nói là một lĩnh vực nghiên cứu quan trọng trong công nghệ thông tin, đặc biệt là trong bối cảnh phát triển của công nghệ nhận dạng. Lịch sử phát triển của lĩnh vực này đã chứng kiến nhiều tiến bộ đáng kể, từ các mô hình đơn giản đến các hệ thống phức tạp sử dụng machine learning và trí tuệ nhân tạo. Các thách thức lớn trong nhận dạng tiếng nói bao gồm sự đa dạng về ngữ âm và ngữ nghĩa, đặc biệt là trong ngữ cảnh tiếng Việt với nhiều phương ngữ khác nhau. Việc phân loại hệ thống nhận dạng tiếng nói cũng rất quan trọng, giúp xác định các phương pháp và công nghệ phù hợp cho từng loại ngữ liệu. Nghiên cứu về nhận dạng phương ngữ tiếng Việt đã chỉ ra rằng sự khác biệt trong cách phát âm giữa các vùng miền có thể ảnh hưởng lớn đến hiệu suất của hệ thống nhận dạng. Các mô hình như GMM, SVM và mạng nơ-ron đã được áp dụng để cải thiện độ chính xác trong nhận dạng tiếng nói.

1.1. Lịch sử phát triển và các tiến bộ trong nghiên cứu nhận dạng tiếng nói

Lịch sử nhận dạng tiếng nói bắt đầu từ những năm 1950 với các mô hình đơn giản, nhưng đã nhanh chóng phát triển nhờ vào sự tiến bộ của công nghệ AI và machine learning. Các nghiên cứu gần đây đã tập trung vào việc cải thiện độ chính xác và khả năng nhận diện của các hệ thống thông qua việc sử dụng các mô hình phức tạp hơn như mạng nơ-ron sâu. Những thành tựu này đã mở ra nhiều ứng dụng thực tiễn trong đời sống, từ trợ lý ảo đến các hệ thống giao tiếp người-máy. Tuy nhiên, việc nhận dạng tiếng Việt vẫn gặp nhiều khó khăn do sự đa dạng về phương ngữ và cách phát âm khác nhau giữa các vùng miền.

1.2. Các thách thức đối với nhận dạng tự động tiếng nói

Một trong những thách thức lớn nhất trong nhận dạng tiếng nói là sự khác biệt về ngữ âm giữa các phương ngữ. Tiếng Việt có ba phương ngữ chính: Bắc, Trung và Nam, mỗi phương ngữ có những đặc điểm riêng biệt về âm vị và từ vựng. Sự khác biệt này không chỉ gây khó khăn cho con người trong giao tiếp mà còn làm giảm hiệu suất của các hệ thống nhận dạng. Các nghiên cứu cho thấy rằng nếu hệ thống nhận dạng có thể xác định được phương ngữ của người nói, nó có thể cải thiện đáng kể độ chính xác của việc nhận diện. Do đó, việc phát triển các mô hình nhận dạng tiếng nói phù hợp với từng phương ngữ là rất cần thiết.

II. Xây dựng bộ ngữ liệu cho nghiên cứu nhận dạng phương ngữ tiếng Việt

Việc xây dựng bộ ngữ liệu cho nhận dạng phương ngữ tiếng Việt là một bước quan trọng trong nghiên cứu này. Bộ ngữ liệu này cần phản ánh đầy đủ các đặc điểm ngữ âm và từ vựng của ba phương ngữ chính. Đặc điểm ngữ âm của từng phương ngữ, bao gồm âm tiết, âm vị và thanh điệu, cần được phân tích kỹ lưỡng để tạo ra một bộ dữ liệu chính xác và phong phú. Sự khác biệt về từ vựng giữa các phương ngữ cũng cần được ghi nhận, vì điều này có thể ảnh hưởng đến khả năng nhận diện của hệ thống. Việc chuẩn bị và chuẩn hóa văn bản là một phần quan trọng trong quá trình xây dựng bộ ngữ liệu, giúp đảm bảo tính nhất quán và chính xác trong việc thu thập và phân tích dữ liệu.

2.1. Tổng quan phương ngữ tiếng Việt

Tiếng Việt được chia thành ba phương ngữ chính: Bắc, Trung và Nam. Mỗi phương ngữ có những đặc điểm riêng về âm vị và từ vựng. Phương ngữ Bắc thường được coi là chuẩn mực trong ngôn ngữ viết, trong khi phương ngữ Nam và Trung có nhiều biến thể và cách phát âm khác nhau. Sự khác biệt này không chỉ ảnh hưởng đến cách giao tiếp mà còn tác động đến các hệ thống nhận dạng tiếng nói. Việc nghiên cứu và phân tích các đặc điểm này là cần thiết để phát triển các mô hình nhận dạng hiệu quả hơn.

2.2. Đặc điểm ngữ âm ba vùng phương ngữ chính của tiếng Việt

Đặc điểm ngữ âm của ba phương ngữ tiếng Việt rất đa dạng. Phương ngữ Bắc có hệ thống thanh điệu phong phú và rõ ràng, trong khi phương ngữ Nam thường có xu hướng đơn giản hóa âm vị. Phương ngữ Trung lại có những biến thể độc đáo, tạo nên sự khác biệt trong cách phát âm. Những đặc điểm này cần được ghi nhận và phân tích để xây dựng các mô hình nhận dạng phù hợp. Sự khác biệt trong âm tiết và âm vị giữa các phương ngữ có thể gây ra những khó khăn trong việc nhận diện chính xác, do đó, việc phát triển các phương pháp nhận dạng phù hợp với từng phương ngữ là rất quan trọng.

III. Nhận dạng phương ngữ tiếng Việt

Nhận dạng phương ngữ tiếng Việt là một lĩnh vực nghiên cứu đang được quan tâm. Các mô hình như GMM, SVM và mạng nơ-ron đã được áp dụng để cải thiện độ chính xác trong nhận dạng tiếng nói. Việc sử dụng các tham số như MFCC và F0 trong quá trình nhận dạng đã cho thấy hiệu quả rõ rệt. Các thử nghiệm cho thấy rằng việc kết hợp các tham số này có thể nâng cao hiệu suất nhận dạng, đặc biệt là trong các trường hợp có sự khác biệt rõ rệt giữa các phương ngữ. Hệ thống nhận dạng cần được tối ưu hóa để có thể hoạt động hiệu quả trong môi trường thực tế, nơi mà sự đa dạng về ngữ âm và từ vựng là rất lớn.

3.1. Nhận dạng phương ngữ tiếng Việt với GMM

Mô hình GMM (Gaussian Mixture Model) đã được áp dụng để nhận dạng phương ngữ tiếng Việt. Các thử nghiệm cho thấy rằng GMM có khả năng phân loại tốt các âm thanh từ các phương ngữ khác nhau. Việc sử dụng các tham số như MFCC và F0 đã giúp cải thiện đáng kể độ chính xác của mô hình. Kết quả cho thấy rằng GMM có thể nhận diện chính xác các phương ngữ trong nhiều tình huống khác nhau, từ đó mở ra hướng đi mới cho việc phát triển các hệ thống nhận dạng tiếng nói hiệu quả hơn.

3.2. SVM nhận dạng phương ngữ tiếng Việt

SVM (Support Vector Machines) là một trong những phương pháp hiệu quả trong nhận dạng tiếng nói. Các thử nghiệm với SVM cho thấy khả năng phân loại cao đối với các phương ngữ tiếng Việt. Việc lựa chọn số lượng hệ số MFCC phù hợp là rất quan trọng để đạt được kết quả tốt nhất. SVM có thể xử lý tốt các biến thể trong cách phát âm giữa các phương ngữ, từ đó nâng cao hiệu suất nhận dạng. Kết quả cho thấy rằng SVM có thể là một công cụ mạnh mẽ trong việc phát triển các hệ thống nhận dạng tiếng nói cho tiếng Việt.

Nội dung chính

Tổng quan về luận án

Bối cảnh khoa học của nhận dạng tiếng nói tự động (Automatic Speech Recognition - ASR) trong kỷ nguyên số hóa đối mặt với thách thức căn bản khi xử lý các ngôn ngữ đơn lập, có thanh điệu (tonal languages) và sở hữu tính đa dạng phương ngữ sâu sắc như tiếng Việt. Trong khi công nghệ ASR quốc tế đã đạt nhiều bước tiến đột phá nhờ các mô hình thống kê và học máy, việc áp dụng trực tiếp lên tiếng Việt vấp phải rào cản nghiêm trọng: sự suy giảm hiệu năng nhận dạng do biến thiên phương ngữ (dialectal variability) ở cả ba bình diện ngữ âm, từ vựng và ngôn điệu. Phần lớn các công trình nghiên cứu ASR tiếng Việt giai đoạn trước thường chỉ tập trung vào phương ngữ chuẩn (giọng Hà Nội) hoặc xử lý dữ liệu đơn lẻ, xem biến thiên phương ngữ như nhiễu âm học thuần túy thay vì một cấu trúc biến thiên có quy luật cần mô hình hóa.

Khoảng trống nghiên cứu (research gap) cốt lõi xuất phát từ thực tế: các công trình phương ngữ học tiếng Việt truyền thống (Hoàng Phê, 1989; Đoàn Thiện Thuật, 1999; Hoàng Thị Châu, 2004) chủ yếu tiếp cận theo phương diện ngôn ngữ học định tính và miêu tả xã hội học, hoàn toàn thiếu vắng các mô hình định lượng xử lý tín hiệu số (Digital Signal Processing - DSP) và phân loại thống kê. Ngược lại, các hệ thống nhận dạng âm học hiện hữu thiếu một cơ chế tiền xử lý để định danh phương ngữ tự động (Dialect Identification - DID) trước khi giải mã nội dung. Luận án tiến sĩ hệ thống thông tin của nghiên cứu sinh Phạm Ngọc Hưng (2017) với đề tài "Nhận dạng tự động tiếng nói phát âm liên tục cho các phương ngữ chính của tiếng Việt theo phương thức phát âm" đã tiên phong giải quyết khoảng trống này thông qua việc thiết lập khung nhận dạng phân cấp: tích hợp định danh phương ngữ dựa trên đặc trưng âm học - ngôn điệu vào hệ thống ASR tiếng nói liên tục.

Nghiên cứu tập trung giải quyết các câu hỏi và giả thuyết khoa học:

• Câu hỏi nghiên cứu 1 (RQ1): Các đặc trưng âm học nào (phổ MFCC, Formant, tần số cơ bản $F_0$) phản ánh bản chất phân tách rõ ràng nhất giữa ba vùng phương ngữ chính của tiếng Việt dưới góc độ xử lý tín hiệu?
• Câu hỏi nghiên cứu 2 (RQ2): Mô hình học máy nào tối ưu hóa được độ chính xác nhận dạng phương ngữ tiếng Việt trên không gian tham số đặc trưng đa chiều?
• Câu hỏi nghiên cứu 3 (RQ3): Việc tích hợp thông tin phương ngữ như một bước tiền xử lý có giúp cải thiện định lượng hiệu năng của hệ thống ASR tiếng Việt phát âm liên tục so với mô hình độc lập phương ngữ hay không?
• Giả thuyết nghiên cứu 1 (H1): Tần số cơ bản $F_0$ và động lực học thanh điệu chứa đựng thông tin phân biệt phương ngữ vượt trội hơn so với chỉ sử dụng phổ năng lượng tĩnh.
• Giả thuyết nghiên cứu 2 (H2): Hệ thống ASR phụ thuộc phương ngữ (Dialect-Dependent ASR) được định tuyến bởi bộ phân loại DID đạt tỷ lệ lỗi từ (Word Error Rate - WER) thấp hơn có ý nghĩa thống kê so với hệ thống ASR gộp chung (Dialect-Independent ASR).

Khung lý thuyết của luận án được xây dựng trên sự giao thoa giữa Lý thuyết Ngữ âm học Âm học (Acoustic Phonetics Theory), Nguyên lý Tối thiểu hóa Rủi ro Cấu trúc (Structural Risk Minimization - SRM của Vapnik) và Lý thuyết Quá trình Ngẫu nhiên Markov Ẩn (Hidden Markov Models - HMM). Nghiên cứu giới hạn phạm vi thực nghiệm trên ba vùng phương ngữ đại diện: Phương ngữ Bắc - PNB (Hà Nội), Phương ngữ Trung - PNT (Huế) và Phương ngữ Nam - PNN (TP. Hồ Chí Minh), xây dựng thành công bộ ngữ liệu tiếng nói đa phương ngữ VDSPEC (Vietnamese Dialect Speech Corpus) và chứng minh sự vượt trội về độ chính xác khi áp dụng thông tin phương ngữ vào bộ giải mã âm học.

Literature Review và Positioning

Tổng quan y văn quốc tế và trong nước về nhận dạng phương ngữ và tiếng nói chia thành hai trường phái tiếp cận kỹ thuật chính: Mô hình ràng buộc âm vị (Phonotactic Modeling) và Mô hình âm học (Acoustic Modeling).

Trường phái ràng buộc âm vị dựa trên nguyên lý giải mã chuỗi âm vị độc lập song song kết hợp mô hình ngôn ngữ N-gram (PRLM/PPRLM). Tiêu biểu là công trình kinh điển của Biadsy, Hazen và Glass (2009, 2010) khi nhận dạng các phương ngữ tiếng Ả Rập (Modern Standard Arabic, Egyptian, Levantine, Gulf) đạt độ chính xác từ 81,60% đến 86,33% trên bộ ngữ liệu Broadcast News TDT4 (47,61 giờ) sử dụng bộ công cụ HTK với 12 hệ số MFCC kết hợp đạo hàm bậc một ($\Delta$) và bậc hai ($\Delta\Delta$). Mặc dù PPRLM khai thác tốt xác suất chuyển tiếp âm vị, phương pháp này đòi hỏi chi phí gán nhãn ngữ liệu phiên âm âm vị cực kỳ tốn kém và phụ thuộc nặng nề vào chất lượng bộ nhận dạng âm vị cơ sở.

Trường phái mô hình hóa âm học khai thác trực tiếp đặc trưng phổ và ngôn điệu (prosodic features) thông qua Mô hình hỗn hợp Gauss (GMM), Máy vector hỗ trợ (SVM) hoặc Mạng nơ-ron sâu (DNN). Chen, Chang và Wang (2004) đã áp dụng thành công GMM để phân loại 4 phương ngữ tiếng Trung Quốc (Bắc Kinh, Thượng Hải, Quảng Đông, Đài Loan). Faria (2008) ứng dụng GMM trên ngữ liệu Fisher corpus để phân biệt giọng chuẩn Anh-Mỹ với độ chính xác 84,5%. Trong phân tích ngôn ngữ học xã hội, Labov (1972, 2006) và sau đó là Fridland cùng cộng sự (2014) đã chứng minh khoảng cách formant ($F_1, F_2$) và độ biến thiên nguyên âm/phụ âm rung ([r], [s], [tr]) là chỉ dấu âm học định danh phương ngữ mạnh mẽ.

Luồng nghiên cứu	Tác giả tiêu biểu & Năm	Phương pháp & Công cụ	Ngôn ngữ / Ngữ liệu	Kết quả đạt được	Giới hạn kỹ thuật
Phonotactic Modeling	Biadsy, Hazen & Glass (2009, 2010)	PPRLM, HMM 3 trạng thái, HTK toolkit	Tiếng Ả Rập (TDT4 Corpus, 47,61 giờ)	Độ chính xác 81,60% - 86,33% với phát ngôn 30s	Đòi hỏi gán nhãn âm vị chi tiết; độ trễ xử lý cao
Acoustic / Prosodic GMM	Chen, Chang & Wang (2004); Belgacem et al.	GMM-UBM, MFCC, ALIZE toolkit	Tiếng Trung, Tiếng Ả Rập	Độ chính xác 73,33% - 84,50%	Nhạy cảm với nhiễu môi trường, thiếu mô hình hóa thanh điệu
Prosodic Neural / SVM	K. S. Rao & Koolagudi (2011); Sinha et al. (2014)	Auto-Associative NN (AANN), SVM, $F_0$, Năng lượng	Tiếng Hindi (5 phương ngữ: C, B, M, G, T)	Độ chính xác đạt 79% - 81% khi kết hợp đa tham số	Chưa tích hợp trực tiếp vào ASR liên tục đa phương ngữ
Nghiên cứu Tiếng Việt trước 2017	Lương Chi Mai et al.; Vũ Tất Thắng et al.	HMM, HTK, CMU Sphinx, ngữ liệu BKSPEC	Tiếng Việt chuẩn (giọng Bắc), từ rời rạc / số	Nhận dạng số liên tục đạt 96,83% từ, nhận dạng âm tiết chuẩn	Xem phương ngữ miền Trung/Nam là biến thể lỗi, chưa có DID

Trong bối cảnh học thuật tiếng Việt, các tác giả ngôn ngữ học như Hoàng Thị Châu (2004) đã định nghĩa: "Phương ngữ là một thuật ngữ ngôn ngữ học để chỉ sự biểu hiện của ngôn ngữ toàn dân ở một địa phương cụ thể với những nét khác biệt của nó so với ngôn ngữ toàn dân hay với một phương ngữ khác." Đoàn Thiện Thuật (1999) chi tiết hóa cấu trúc âm tiết tiếng Việt gồm 5 thành phần: Thanh điệu, Âm đầu, Âm đệm, Âm chính, Âm cuối. Tuy nhiên, tồn tại một tranh luận lớn giữa các trường phái ngôn ngữ học: Hoàng Phê (1989) cho rằng tiếng Việt chỉ có hai phương ngữ chính (Bắc - Nam) còn miền Trung chỉ là dải chuyển tiếp; trong khi Hoàng Thị Châu (2004) cùng số đông học giả khẳng định có ba vùng phương ngữ độc lập với cấu trúc thanh điệu và phụ âm cuối phân hóa rõ rệt.

Luận án của Phạm Ngọc Hưng định vị chính xác vào tâm điểm của cuộc tranh luận này dưới góc nhìn kỹ thuật hệ thống thông tin. Thay vì dựa trên cảm thụ trực giác, nghiên cứu đã sử dụng Phân tích phân biệt tuyến tính (LDA) trên đường bao biến thiên $F_0$ và formant để lượng hóa sự tách biệt của 3 vùng phương ngữ (Hà Nội, Huế, TP.HCM), đồng thời khắc phục triệt để điểm yếu của các hệ thống ASR tiếng Việt tiền nhiệm vốn bỏ qua tính đa dạng vùng miền.

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án mở rộng và bổ sung các khung lý thuyết nền tảng trong xử lý ngôn ngữ tự nhiên và âm học tính toán:

1. Mở rộng Lý thuyết Ngữ âm học Âm học (Acoustic Phonetics Theory) cho Ngôn ngữ Thanh điệu Đơn lập: Lý thuyết kinh điển của Peterson & Barney (1952) và Hillenbrand et al. (1995) vốn giả định không gian formant nguyên âm ($F_1/F_2$) là nhân tố phân biệt chính trong các ngôn ngữ biến tố (không thanh điệu). Luận án chứng minh rằng đối với tiếng Việt, không gian formant thuần túy không đủ để phân tách phương ngữ do sự bù trừ âm học giữa các nguyên âm đơn và đôi. Thay vào đó, động lực học của tần số cơ bản $F_0$ theo thời gian (pitch contour dynamics) mới là yếu tố quyết định phân lập phương ngữ. Hiện tượng sáp nhập thanh điệu (tonal neutralization) tại miền Trung (thanh ngã phát âm thành thanh nặng hoặc thanh hỏi) và miền Nam (thanh ngã gộp hoàn toàn vào thanh hỏi) đã được mô hình hóa thành các quỹ đạo vector toán học tường minh.

2. Hình thức hóa các Mệnh đề Lý thuyết (Theoretical Propositions):

   • Mệnh đề $P_1$ (Tính bất biến tương đối của âm tiết đơn vị): Âm tiết tiếng Việt có tính toàn vẹn cao, cấu trúc 5 thành tố $(\text{Thanh điệu}, \text{Âm đầu}, \text{Âm đệm}, \text{Âm chính}, \text{Âm cuối})$ không bị nhược hóa hay nối âm như ngôn ngữ biến tố châu Âu, cho phép trích xuất đặc trưng thống kê ổn định trên từng đơn vị phát ngôn.
   • Mệnh đề $P_2$ (Phân ly âm học đa tầng): Biến thiên phương ngữ tiếng Việt thể hiện tính bất đối xứng: phụ âm đầu biến thiên mạnh giữa PNB ($/s/ - /x/, /r/ - /d/ - /gi/$) và PNT/PNN (bảo tồn âm uốn lưỡi $/r/, /s/, /tr/$); trong khi âm cuối tiêu giảm ở PNN (mất đôi âm $/nh/ - /ch/$, $/ng/ - /k/$ chuyển thành $/n/ - /t/$), tạo nên các dấu vết phổ đặc trưng trong miền tần số cao.
   • Mệnh đề $P_3$ (Tương hỗ Phổ - Ngôn điệu): Sự kết hợp tuyến tính và phi tuyến giữa hệ số cepstral thang Mel (MFCC) và đường bao $F_0$ tạo ra không gian phân tách có khoảng cách Mahalanobis cực đại giữa các phân bố Gauss của từng phương ngữ.

       [ Tín hiệu Tiếng nói Đa phương ngữ ]
                        |
       +----------------+----------------+
       |                                 |
       v                                 v
[ Đặc trưng Phổ: MFCC ]        [ Đặc trưng Ngôn điệu: F0 ]
(39 chiều: MFCC+Δ+ΔΔ)          (Đường bao Pitch Contour)
       |                                 |
       +----------------+----------------+
                        |
                        v
         [ Không gian Đặc trưng Hợp nhất ]
         (Bộ tham số thống kê 384 chiều)
                        |
                        v
         [ Bộ Phân loại Phương ngữ DID ]
           (SVM-SMO / GMM / MLP / IBk)
                        |
        +---------------+---------------+
        |               |               |
        v               v               v
     [ PNB ]         [ PNT ]         [ PNN ]
  (Giọng Bắc)     (Giọng Trung)   (Giọng Nam)
        |               |               |
        +---------------+---------------+
                        |
                        v
        [ Bộ Giải mã ASR Dựa trên HMM ]
     (Acoustic Models thích nghi theo vùng)
                        |
                        v
           [ Văn bản Nhận dạng Đầu ra ]

Khung phân tích độc đáo

Khung phân tích của luận án tích hợp ba lý thuyết cốt lõi: Lý thuyết Nhận dạng Mẫu Thống kê (Statistical Pattern Recognition), Lý thuyết Tối thiểu hóa Rủi ro Cấu trúc (SRM) và Lý thuyết Thông tin Tương hỗ Cực đại (Maximum Mutual Information - MMI).

Cách tiếp cận phân tích mới nằm ở việc xây dựng không gian vector đặc trưng tổng hợp gồm 384 tham số thống kê. Thay vì chỉ sử dụng các frame âm học ngắn hạn rời rạc (10-25ms), khung phân tích tổng hợp các giá trị thống kê toàn cục (Global Statistical Summaries) bao gồm: giá trị trung bình, độ lệch chuẩn, giá trị cực đại, cực tiểu, phạm vi biến thiên, độ dốc hồi quy tuyến tính của 12 hệ số MFCC, năng lượng logarit, các formant ($F_1, F_2, F_3$), dải thông tương ứng ($B_1, B_2, B_3$) và đường bao $F_0$.

Điều kiện biên (boundary conditions) của khung phân tích:

• Giả định tín hiệu âm thanh thu nhận qua kênh đơn âm (monaural), tỷ số tín hiệu trên nhiễu (SNR) được kiểm soát ở mức tiêu chuẩn phòng thu/môi trường văn phòng.
• Áp dụng cho ba phương ngữ đại diện lớn của tiếng Việt toàn dân; các biến thể vi phương ngữ (micro-dialects) cấp thôn/xã được quy về vùng phương ngữ trung tâm tương ứng.

Phương pháp nghiên cứu tiên tiến

Thiết kế nghiên cứu

Luận án tuân thủ triết lý nghiên cứu thực chứng hậu thực chứng (Post-positivism), kết hợp chặt chẽ giữa phân tích mô hình hóa toán học và thực nghiệm tính toán trên tập dữ liệu quy chuẩn. Thiết kế nghiên cứu phân cấp 2 giai đoạn:

1. Giai đoạn 1 (Front-end): Tiền xử lý tín hiệu, trích xuất đặc trưng đa quy mô và xây dựng bộ phân lớp nhận dạng phương ngữ (DID).
2. Giai đoạn 2 (Back-end): Thiết lập hệ thống nhận dạng tiếng nói liên tục đa phương ngữ dựa trên mô hình HMM phụ thuộc ngữ cảnh (Context-Dependent Triphone HMMs) được định tuyến bởi kết quả của bộ DID.

Quy trình nghiên cứu rigorous

Quy trình thu thập và xây dựng bộ ngữ liệu VDSPEC (Vietnamese Dialect Speech Corpus) được tiến hành chuẩn hóa nghiêm ngặt:

• Tiêu chí lựa chọn người nói: Người tham gia thu âm phải sinh ra, lớn lên và có cha mẹ sử dụng cùng một phương ngữ bản địa tại ba vùng địa lý: Hà Nội (đại diện PNB), Huế (đại diện PNT), TP. Hồ Chí Minh (đại diện PNN). Đảm bảo cân bằng giới tính (50% nam, 50% nữ).
• Điều kiện thu âm: Môi trường cách âm tiêu chuẩn, sử dụng micro định hướng chuyên dụng Shure SM48, đáp ứng tần số phẳng trong dải âm thanh tiếng nói. Tín hiệu được lượng tử hóa ở tần số lấy mẫu 16 kHz, độ phân giải 16-bit PCM mono. Tỷ số tín hiệu trên nhiễu (SNR) trung bình được kiểm soát chặt chẽ.
• Chuẩn hóa văn bản: Ngữ liệu văn bản được thiết kế bao phủ toàn bộ hệ thống âm vị, thanh điệu tiếng Việt và cân đối theo 10 chủ đề kinh tế, chính trị, văn hóa, đời sống xã hội. Dữ liệu được cấu trúc dưới định dạng bảng chuẩn hóa, lưu trữ kèm siêu dữ liệu mô tả chi tiết người nói và ngữ cảnh phát âm.

Data và phân tích

Không gian tham số đặc trưng được trích xuất qua các công cụ chuyên dụng bao gồm bộ công cụ mã nguồn mở ALIZE, HTK (Hidden Markov Model Toolkit), Kaldi và phần mềm Weka với định dạng file ARFF.

Các mô hình học máy phân loại phương ngữ được huấn luyện và đánh giá chéo:

1. Gaussian Mixture Model (GMM): Đánh giá số lượng thành phần Gauss ($M$) quét từ 20 đến 4096 thành phần; tối ưu hóa bằng thuật toán Cực đại hóa kỳ vọng (Expectation Maximization - EM) và đánh giá trên đồ thị Cân bằng sai số phát hiện (Detection Error Tradeoff - DET).
2. Support Vector Machines (SVM) via SMO (Sequential Minimal Optimization): Tối ưu hóa bài toán quy hoạch toàn phương (QP) đa chiều với hàm nhân RBF (Radial Basis Function) và tham số phạt $C$, xử lý không gian 384 tham số thống kê.
3. Instance-Based Learning (IBk / k-NN): Thử nghiệm với các láng giềng $k=1$ và $k=5$ dựa trên khoảng cách Euclidean.
4. Multilayer Perceptron (MLP): Mạng nơ-ron truyền thẳng nhiều lớp với thuật toán lan truyền ngược lỗi (Error Back-Propagation), hàm kích hoạt sigmoid phi tuyến, cập nhật trọng số thích nghi.
5. Bộ phân loại dựa trên luật (Rule-based): Thuật toán JRip (Repeated Incremental Pruning to Produce Error Reduction - RIPPER) và PART (phân lớp dựa trên cây quyết định cục bộ) để trích xuất tập luật giải thích tường minh tri thức phương ngữ.

Phát hiện đột phá và implications

Những phát hiện then chốt

1. Đặc trưng $F_0$ và thanh điệu là nhân tố phân tách phương ngữ vượt trội: Phân tích phân biệt tuyến tính (LDA) trên bộ ngữ liệu VDSPEC cho thấy khi khảo sát các từ mang thanh ngã (ví dụ từ "vĩnh"), thanh hỏi ("tỉnh"), thanh nặng ("mạnh"), thanh huyền ("thành"), thanh sắc ("chính") và thanh ngang ("kinh"), phân bố $F_0$ của giọng Hà Nội tách biệt hoàn toàn khỏi giọng Huế và TP. Hồ Chí Minh. Đặc biệt, đường biến thiên $F_0$ của thanh ngã PNB có bước gãy hạ thấp rồi vút cao đặc trưng, trong khi ở PNN và PNT quỹ đạo này phẳng hơn và đồng dạng với thanh hỏi hoặc thanh nặng.

2. Sự vượt trội của không gian đặc trưng kết hợp (MFCC + Formants + $F_0$): Thử nghiệm nhận dạng phương ngữ với GMM (trên công cụ ALIZE) chỉ ra rằng việc bổ sung thông tin tần số cơ bản $F_0$ và các giá trị chuẩn hóa của $F_0$ vào 12 hệ số MFCC giúp giảm mạnh tỷ lệ nhận dạng nhầm (False Alarm và Miss Rate) trên đồ thị DET. Tỷ lệ nhận dạng chính xác trung bình tăng vọt khi số lượng thành phần Gauss $M$ được tối ưu hóa trong dải từ 256 đến 1024 thành phần.

3. Hiệu năng vượt bậc của SVM-SMO và MultilayerPerceptron trên 384 tham số: Khi thử nghiệm trên tập 384 tham số thống kê toàn diện, bộ phân lớp SVM-SMO đạt độ chính xác phân loại phương ngữ cao nhất, vượt trội hoàn toàn so với các bộ phân loại luật như JRip và PART. Đáng chú ý, ma trận sai nhầm (confusion matrix) chỉ ra rằng khi loại bỏ thông tin liên quan trực tiếp đến $F_0$, độ chính xác của SMO sụt giảm nghiêm trọng; ngược lại, khi chỉ dùng riêng nhóm tham số $F_0$, mô hình vẫn duy trì khả năng phân loại vượt trội hơn so với khi chỉ dùng riêng nhóm tham số phổ MFCC.

4. Tích hợp thông tin phương ngữ nâng cao hiệu năng ASR tiếng nói liên tục: Thử nghiệm nhận dạng tiếng Việt nói trên nền tảng mô hình HMM (đối chiếu giữa trường hợp chưa biết thông tin phương ngữ và đã biết thông tin phương ngữ) cho thấy: khi hệ thống nhận dạng ASR được định tuyến tự động để sử dụng mô hình âm học (Acoustic Model - AM) tương ứng với phương ngữ đã được nhận diện, tỷ lệ nhận dạng chính xác câu và từ tăng lên rõ rệt, tỷ lệ lỗi từ (WER) giảm thiểu đáng kể trên cả ba miền PNB, PNT và PNN.

Implications đa chiều

• Về mặt Lý thuyết: Nghiên cứu đã lấp đầy khoảng trống tồn tại nhiều thập kỷ về việc định lượng hóa âm học phương ngữ tiếng Việt; cung cấp bằng chứng toán học vững chắc khẳng định sự tồn tại độc lập của 3 hệ thống thanh điệu và âm học đại diện cho 3 miền Bắc - Trung - Nam.
• Về mặt Phương pháp luận: Đề xuất quy trình trích xuất vector 384 đặc trưng thống kê kết hợp phổ - ngôn điệu, thiết lập chuẩn mực phương pháp luận mới có thể áp dụng cho các ngôn ngữ có thanh điệu khác trong khu vực Đông Nam Á (như tiếng Thái, tiếng Lào, tiếng Myanmar).
• Về Ứng dụng Thực tiễn: Mở đường cho việc thương mại hóa các hệ thống trợ lý ảo thông minh, tổng đài tự động (Interactive Voice Response - IVR), hệ thống y tế điện tử (e-Health) và giáo dục trực tuyến (e-Learning) tại Việt Nam có khả năng hiểu chính xác giọng nói của người dân miền Trung và miền Nam mà không bắt buộc người dùng phải nói giọng chuẩn Hà Nội.
• Về Chính sách: Cung cấp cơ sở khoa học để các cơ quan quản lý nhà nước (Bộ Thông tin và Truyền thông, Bộ Khoa học và Công nghệ) xây dựng các tiêu chuẩn quốc gia về tài nguyên ngữ liệu số đa phương ngữ, thúc đẩy bình đẳng số và thu hẹp khoảng cách tiếp cận công nghệ thông tin giữa các vùng miền.

Limitations và Future Research

Mặc dù đạt được những kết quả đột phá, luận án thẳng thắn thừa nhận các hạn chế kỹ thuật:

1. Quy mô từ vựng thử nghiệm: Do hạn chế về tài nguyên tính toán và thời gian tại thời điểm nghiên cứu (2017), các thử nghiệm nhận dạng phương ngữ và ASR tích hợp chủ yếu thực hiện trên tập từ vựng có giới hạn (limited vocabulary) trong điều kiện âm học được kiểm soát, chưa bao phủ toàn diện hội thoại tự nhiên tự do (spontaneous conversational speech).
2. Đại diện địa lý vi vùng: Nghiên cứu tập trung vào 3 đô thị hạt nhân (Hà Nội, Huế, TP. Hồ Chí Minh). Các dải phương ngữ đặc thù như Nghệ - Tĩnh (với độ trầm $F_0$ rất sâu), Quảng Nam - Đà Nẵng (với sự biến động phức tạp của nguyên âm /a/ và /ă/) chưa được tách thành các lớp mô hình con riêng biệt.
3. Mô hình học sâu giai đoạn đầu: Các kiến trúc mạng nơ-ron chủ yếu dừng lại ở Multilayer Perceptron (MLP) và Auto-Associative Neural Networks (AANN); chưa khai thác các kiến trúc học sâu tiên tiến thời gian thực như Convolutional Neural Networks (CNN), Recurrent Neural Networks (RNN-LSTM), hay Transformer/Conformer hiện đại.

Chương trình nghiên cứu 10 năm tiếp theo (Future Research Agenda):

• Hướng 1: Mở rộng ngữ liệu VDSPEC thành tập dữ liệu quy mô lớn (hàng nghìn giờ) bao phủ toàn bộ 63 tỉnh thành và các cộng đồng hải ngoại.
• Hướng 2: Ứng dụng kiến trúc Deep Transformer và Mô hình nền tảng tiếng nói tự giám sát (Self-Supervised Speech Foundation Models như Wav2Vec 2.0, Whisper, HuBERT) được tinh chỉnh (fine-tuned) cho bài toán nhận dạng phương ngữ tiếng Việt.
• Hướng 3: Phát triển kỹ thuật Thích nghi người nói và Thích nghi phương ngữ không gian đặc trưng (fMLLR, i-vector, x-vector, d-vector) trực tiếp trên chip biên (Edge AI) cho các thiết bị IoT nhúng.

Tác động và ảnh hưởng

• Ảnh hưởng Học thuật: Luận án đặt nền móng tham chiếu cho các nghiên cứu sinh và nhà khoa học xử lý ngôn ngữ tự nhiên (NLP) và DSP tại Việt Nam; tạo tiền đề cho hàng chục công bố khoa học chuyên sâu trên các kỷ yếu hội nghị quốc tế (IEEE, RIVF) và tạp chí chuyên ngành.
• Chuyển đổi Công nghiệp: Định hình kiến trúc lõi cho các tập đoàn công nghệ lớn tại Việt Nam (Viettel AI, FPT Smart Cloud, VinAI, Zalo AI) trong việc phát triển các engine nhận dạng giọng nói thương mại đa vùng miền phục vụ hàng chục triệu người dùng.
• Lợi ích Xã hội: Thúc đẩy hòa nhập số cho người dân ở các vùng nông thôn miền Trung và miền Nam, giúp họ tiếp cận bình đẳng với các dịch vụ hành chính công trực tuyến, y tế từ xa và điều khiển thiết bị thông minh bằng chính giọng nói bản địa tự nhiên.

Đối tượng hưởng lợi

• Nghiên cứu sinh & Nhà khoa học trẻ: Tiếp cận phương pháp luận chuẩn mực về xây dựng bộ ngữ liệu tiếng nói đa phương ngữ (VDSPEC) và quy trình trích xuất tham số kết hợp phổ - ngôn điệu.
• Chuyên gia AI & Xử lý Tín hiệu Doanh nghiệp: Khai thác mô hình phân cấp DID-ASR để tối ưu hóa tỷ lệ lỗi từ (WER) cho các sản phẩm voice bot, call center tự động phục vụ thị trường đa vùng miền.
• Cơ quan Hoạch định Chính sách: Cơ sở dữ liệu và bằng chứng thực nghiệm để ban hành các quy chuẩn kỹ thuật quốc gia về xử lý tiếng nói tiếng Việt, bảo tồn di sản văn hóa phi vật thể về ngôn ngữ và phương ngữ dân tộc.

Câu hỏi chuyên sâu

1. Đóng góp lý thuyết độc đáo nhất của luận án là gì và đã mở rộng lý thuyết nào? Trả lời: Đóng góp độc đáo nhất là việc mở rộng Lý thuyết Ngữ âm học Âm học (Acoustic Phonetics Theory) của Peterson & Barney sang hệ thống ngôn ngữ đơn lập có thanh điệu phức tạp. Luận án đã chứng minh bằng toán học rằng sự kết hợp giữa biến thiên động lực học $F_0$ và không gian formant/MFCC giải quyết triệt để sự suy giảm hiệu năng nhận dạng do hiện tượng sáp nhập thanh điệu giữa các vùng phương ngữ tiếng Việt gây ra.

2. Đổi mới phương pháp luận nổi bật khi so sánh với các nghiên cứu quốc tế? Trả lời: So với phương pháp PPRLM của Biadsy et al. (2009, 2010) trên tiếng Ả Rập vốn phụ thuộc nặng vào bộ giải mã âm vị phức tạp, luận án đã đề xuất phương pháp mô hình hóa âm học thống kê trực tiếp với vector 384 tham số kết hợp bộ phân loại SVM-SMO và GMM trên ALIZE. Phương pháp này giảm thiểu chi phí gán nhãn ngữ liệu mà vẫn đạt độ chính xác phân loại phương ngữ tối ưu, tạo đầu vào tin cậy cho bộ giải mã HMM liên tục.

3. Phát hiện bất ngờ nhất từ dữ liệu thực nghiệm là gì? Trả lời: Khi phân lập từng nhóm đặc trưng trên bộ phân loại SVM-SMO, việc chỉ sử dụng nhóm tham số liên quan trực tiếp đến tần số cơ bản $F_0$ mang lại độ chính xác phân biệt phương ngữ cao hơn rõ rệt so với việc chỉ sử dụng nhóm tham số phổ truyền thống MFCC. Điều này đi ngược lại giả định thông thường trong ASR các ngôn ngữ phương Tây (vốn coi trọng MFCC hơn $F_0$).

4. Nghiên cứu có cung cấp giao thức tái lập (Replication Protocol) rõ ràng không? Trả lời: Có. Toàn bộ quy trình thiết kế ngữ liệu VDSPEC (chọn mẫu người nói, micro Shure SM48, tỷ số SNR, chuẩn hóa văn bản 10 chủ đề), định dạng file ARFF/Weka, thông số cấu hình công cụ ALIZE, HTK toolkit và các bước tối ưu hóa siêu tham số ($C$, kernel RBF, số thành phần Gauss $M$) đều được mô tả chi tiết, cho phép tái lập thực nghiệm hoàn toàn.

5. Lộ trình nghiên cứu dài hạn được định hình ra sao? Trả lời: Lộ trình tập trung vào việc chuyển dịch từ mô hình thống kê truyền thống (GMM-HMM) sang các kiến trúc mạng nơ-ron sâu tự giám sát (End-to-End Self-Supervised Deep Learning), tích hợp công nghệ trích xuất x-vector/d-vector đa tỷ lệ nhằm nhận dạng tự động tiếng nói tự nhiên trong môi trường nhiễu phức tạp.

Kết luận

Luận án tiến sĩ của tác giả Phạm Ngọc Hưng đã hoàn thành xuất sắc các mục tiêu nghiên cứu với 5 đóng góp học thuật và thực tiễn cốt lõi:

1. Thiết lập cơ sở khoa học âm học: Phân tích toàn diện và định lượng hóa thành công các đặc trưng âm học, biến thiên thanh điệu và sự phân hóa phụ âm/nguyên âm giữa ba vùng phương ngữ chính của tiếng Việt (Bắc, Trung, Nam) dưới góc độ xử lý tín hiệu số.
2. Xây dựng bộ ngữ liệu chuẩn VDSPEC: Đóng góp cho cộng đồng khoa học bộ ngữ liệu tiếng nói đa phương ngữ tiếng Việt đầu tiên được chuẩn hóa nghiêm ngặt về người nói, môi trường ghi âm và độ bao phủ ngữ âm.
3. Đề xuất không gian vector đặc trưng tối ưu: Xây dựng thành công bộ 384 tham số thống kê kết hợp phổ MFCC, Formant và động lực học tần số cơ bản $F_0$, chứng minh tính vượt trội trên các bộ phân lớp học máy tiên tiến (SVM-SMO, GMM, MLP).
4. Phát triển kiến trúc nhận dạng tiếng nói liên tục đa phương ngữ: Tích hợp thành công mô hình định danh phương ngữ (DID) làm tầng tiền xử lý cho hệ thống ASR dựa trên HMM, giải quyết triệt để bài toán suy giảm hiệu năng do biến thiên phương ngữ.
5. Định hình chuyển dịch phương pháp luận (Paradigm Shift): Chuyển đổi căn bản phương pháp tiếp cận nghiên cứu phương ngữ tiếng Việt từ miêu tả ngôn ngữ học định tính sang mô hình hóa toán học và xử lý tín hiệu số chính xác.

Công trình mở ra ba dòng nghiên cứu mới: (1) Mô hình hóa vi phương ngữ tiếng Việt bằng Deep Learning, (2) Xây dựng hệ thống ASR tiếng Việt tự thích nghi phương ngữ theo thời gian thực, và (3) Chuẩn hóa tài nguyên số ngữ âm đa phương ngữ phục vụ chuyển đổi số quốc gia. Luận án khẳng định vị thế tiên phong, đóng góp giá trị học thuật bền vững cho sự phát triển của ngành Hệ thống thông tin và Xử lý ngôn ngữ tự nhiên tại Việt Nam.

Trích đoạn nội dung tài liệu

Chương 1 cũng tổng hợp các nghiên cứu liên quan về nhận dạng tiếng Việt và phương ngữ tiếng Việt, nêu bật những mặt còn tồn tại, những vấn đề cần giải quyết đối với nhận dạng tiếng Việt và phương ngữ tiếng Việt từ đó tìm hướng tiếp cận nhằm nâng cao hiệu năng cho hệ thống nhận dạng tiếng Việt nói. Nhận dạng tiếng nói 1. Tổng quan về nhận dạng tiếng nói Nhiệm vụ của hệ thống nhận dạng tiếng nói là làm cho hệ thống hiểu được tiếng nói của con người. Nhờ hệ thống này, tiếng nói có thể được chuyển đổi tự động thành văn bản, hoặc tự động điều khiển các quá trình khác [179].

Phương thức truyền thông tự nhiên nhất đối với con người là thông qua tiếng nói nên ước mơ cuối cùng của nhận dạng tiếng nói là cho phép con người có ngôn ngữ khác nhau giao tiếp với nhau và với máy một cách tự nhiên, hiệu quả hơn. Có thể nói, các ứng dụng nhận dạng tiếng nói hiện đang dần trở nên phổ biến, phục vụ đời sống con người cũng như trong các lĩnh vực kỹ thuật khác nhau. Trong lĩnh vực tương tác người máy, nhận dạng tiếng nói được định nghĩa là khả năng hệ thống máy tính có thể chấp nhận đầu vào là lời nói theo định dạng file âm thanh và tạo ra được văn bản chứa nội dung tương ứng. Nhận dạng tự động tiếng nói ASR (Automatic Speech Recognition) mô phỏng khả năng nghe và hiểu lời nói của con người.

Hệ thống ASR có thể chuyển đổi lời nói thành văn bản. Bài toán nhận dạng tự động tiếng nói là một chương trình máy tính tiếp nhận đầu vào là các mẫu tiếng nói và tạo ra văn bản tương ứng mà con người có thể hiểu được như khi trực tiếp nghe tiếng nói đó. ASR là một trong các lĩnh vực của nhận dạng mẫu. ASR phát triển mạnh tương xứng với các lĩnh vực khác của nhận dạng mẫu vì mong muốn tạo ra được cỗ máy có khả năng tạo ra được các quyết định phức tạp và thực tế, có chức năng nhanh như con người đồng thời có thể hiểu được lời nói.

Tương tự như bất kỳ hệ thống nhận dạng mẫu nào, ASR tìm kiếm để hiểu được các mẫu tiếng nói đầu vào. Các nghiên cứu về xử lý tín hiệu, xử lý tiếng nói và đặc biệt là nhận dạng tiếng nói đã thu hút nhiều nhà khoa học tham gia và mang lại nhiều thành tựu trong các lĩnh vực này [33, 37, 55, 57, 63, 75, 94, 95, 135]. 19 Mục tiếp theo dưới đây sẽ trình bày tóm lược về lịch sử phát triển và các tiến bộ trong nghiên cứu nhận dạng tiếng nói. Lịch sử phát triển và các tiến bộ trong nghiên cứu nhận dạng tiếng nói Điều đầu tiên quan trọng cần phải kể đến trong lịch sử phát triển của nhận dạng tiếng nói là việc thành lập các mô hình thống kê và các thuật giải liên quan tạo điều kiện cho việc thực hiện các mô hình này.

Mô hình HMM đã được giới thiệu như là một mô hình âm học của hệ thống nhận dạng tiếng nói từ đầu những năm 1970 [12, 82]. Hơn 30 năm sau, phương pháp này vẫn còn được sử dụng rộng rãi. Một lượng lớn các mô hình và thuật giải đã được đề xuất và sử dụng hiệu quả trong lĩnh vực này. Thuật giải tối đa hóa kỳ vọng EM (Expectation Maximization) và thuật giải quay lui (Forward – Backward) hoặc thuật giải Baum – Welch [14, 36] đã có vai trò chủ yếu và quan trọng trong việc huấn luyện mô hình HMM một cách hiệu quả.

Tương tự như vậy, mô hình ngôn ngữ N-gram và các biến thể được huấn luyện với các tính toán cơ bản hoặc sử dụng kỹ thuật EM-Style đã đạt được các hiệu quả quan trọng. Bên cạnh mô hình âm học HMM và mô hình ngôn ngữ cơ bản N-gram, đã có nghiên cứu mới được công bố như các mô hình phân đoạn [38, 39, 60] và các mô hình ngôn ngữ và tiếng nói có cấu trúc [27, 40, 176]. Các thuật giải thích nghi hiệu quả cho phép tích hợp được trên các ứng dụng đòi hỏi xử lý nhanh. Đây là chìa khóa dẫn đến thành công cho việc phát triển các sản phẩm thương mại của công nghệ nhận dạng tiếng nói.

Các kỹ thuật thích nghi phổ biến có thể kể đến là tối đa xác suất hậu nghiệm MAP (Maximum a Posteriori probability), ước lượng MLLR (Estimation và Maximum Likelihood Linear Regression) [96]. Các kỹ thuật thích nghi đã được tổng quát hóa để huấn luyện các mô hình chung, một đại diện tốt trong số đó có thể kể đến là mô hình thống kê toàn thể của tập dữ liệu huấn luyện đầy đủ. Kỹ thuật này được gọi là kỹ thuật huấn luyện thích nghi người nói SAT (Speaker Adaptive Training) [9]. Huang cùng cộng sự đã có nghiên cứu so sánh các phương pháp nhận dạng độc lập người nói, nhận dạng phụ thuộc người nói và nhận dạng thích nghi người nói [74].

Kết quả nghiên cứu này cho thấy: khi nhận dạng độc lập người nói, tỷ lệ lỗi từ đạt 4,3%, còn khi sử dụng dữ liệu phụ thuộc người nói, tỷ lệ lỗi từ đã giảm đến 1,4%. Trong các thử nghiệm, nhóm tác giả đều áp dụng phương pháp thich nghi người nói. Nhóm thứ hai trong những tiến bộ đáng kể của lĩnh vực xử lý tiếng nói là sự hình thành cơ sở hạ tầng tính toán mạnh về phần cứng cho phép phát triển được các thuật giải, mô hình thống kê nêu trên. Định luật Moore quan sát sự tiến bộ trong lĩnh vực phát triển của máy tính và dự báo khả năng tính toán tăng gấp đôi sau mỗi khoảng thời gian từ 12 đến 18 tháng.

Cũng như vậy, chi phí cho bộ nhớ sẽ được giảm đi. Cơ sở hạ tầng mạnh nói trên là phương tiện cho phép các nhà nghiên cứu về nhận dạng tiếng nói có thể phát triển và đánh giá độ phức tạp các thuật giải trên các tác vụ đủ lớn. Ngữ liệu tiếng nói đóng vai trò quan trọng để thực hiện các nghiên cứu nhận dạng tiếng nói. Ngữ liệu tiếng nói lớn cho phép các mô hình thống kê học hiệu quả hơn.

Trong những năm qua, Viện Tiêu chuẩn và 20 Công nghệ NIST (National Institute of Standard and Technology), Hiệp hội dữ liệu ngôn ngữ học LDC (Linguistic Data Consortium), Hiệp hội Tài nguyên Ngôn ngữ châu Âu ELRA (European Language Resources Association) và các tổ chức khác đã xây dựng được các bộ ngữ liệu tiếng nói, chú giải và chia sẻ rộng rãi cho cộng đồng trên toàn thế giới. Với sự phát triển, hội nhập và chia sẻ trên phạm vi toàn cầu, hiện nay, nhiều phòng thí nghiệm, các nhà nghiên cứu đã được hưởng lợi ích từ các công cụ phục vụ cho nghiên cứu được cung cấp miễn phí như HTK (Hidden Markov Model Toolkit), Sphinx, CMU LM toolkit và SRILM toolkit. Mặt khác, các hỗ trợ cho nghiên cứu sâu, rộng, kết hợp với các hội nghị, hội thảo, hệ thống đánh giá được DARPA (U. Department of Defense Advanced Research Projects Agency) và các tổ chức, cá nhân khác tài trợ đã trở nên cần thiết cho sự phát triển hệ thống nhận dạng tiếng nói hiện nay.

Nhóm tiến bộ thứ 3 có thể kể đến thuộc về lĩnh vực biểu diễn tri thức. Các kỹ thuật phân tích tham số tiếng nói như MFCC (Mel-Frequency Cepstral Coefficients) [35], tiên đoán cảm thụ tuyến tính PLP (Perceptual Linear Prediction) [70], chuẩn hóa thông qua trừ trung bình cepstral CMS (Cepstral Mean Subtraction) [139], RASTA [70] và chuẩn hóa chiều dài tuyến âm VTLN (Vocal Tract Length Normalization) [42]. Gần đây, có nhiều thuật giải đã được đề xuất cho nhận dạng tiếng nói mang lại hiệu quả cao như Phân tích phân biệt tuyến tính hiệp phương sai không đồng nhất HLDA (Heteroscedastic Linear Discriminant Analysis) [90], cực tiểu lỗi từ theo không gian đặc trưng fMPE (feature-space Minimum Phone Error) [132] và mạng nơ ron dựa trên các đặc trưng [112]. Nhóm cuối cùng trong các tiến bộ lớn của nhận dạng tiếng nói là giải mã và các thuật giải tìm kiếm.

Ban đầu tập trung vào giải mã ngăn xếp (thuật giải tìm kiếm A∗) [84] và tìm kiếm đồng bộ thời gian Viterbi (time-synchronous Viterbi search) [115, 143, 169, 171]. Nếu không có các thuật giải khả thi thì các nhận dạng tiếng nói liên tục có quy mô lớn khó có thể thực hiện được. Như vậy có thể thấy, nhận dạng tiếng nói đã đạt được nhiều tiến bộ trong các năm qua. Có nhiều mô hình nhận dạng đã được đề xuất trong đó mô hình HMM với nền tảng chính không có nhiều thay đổi song việc mô hình hóa, các kỹ thuật cài đặt cụ thể vẫn liên tục được cải tiến.

Vì thế, HMM vẫn giữ được vị trí quan trọng trong các hệ thống nhận dạng tiếng nói. Bên cạnh đó, các kỹ thuật phân tích tham số cũng đạt được những bước tiến quan trọng. Các thuật giải tìm kiếm được cải tiến giúp bộ giải mã thực hiện các nhiệm vụ tìm kiếm, cho ra lời giải hiệu quả hơn. Các thách thức đối với nhận dạng tự động tiếng nói Vì có nhiều ý nghĩa trong nghiên cứu cũng như thực tiễn ứng dụng, nhận dạng tiếng nói đã thu hút nhiều nhà khoa học tham gia nhưng lĩnh vực này cũng phải đối mặt với nhiều thách thức.

Thách thức lớn đầu tiên đối với nhận dạng tự động tiếng nói có thể kể đến là làm thế nào để xử lý được các biến thiên trong tiếng nói. Cùng một âm do cùng một người nói ở những thời điểm khác nhau song tín hiệu tiếng nói có thể không hoàn toàn như nhau. 21 Trong các hệ thống nhận dạng tiếng nói phụ thuộc người nói, sự khác biệt của tiếng nói thường không lớn so với hệ thống nhận dạng độc lập người nói. Ngay cả khi tiếng nói được giới hạn bởi một người nói thì sự thay đổi về môi trường ghi âm, điều kiện nói, thiết bị ghi âm.

vẫn là tồn tại khách quan tạo ra sự khác biệt trong tín hiệu tiếng nói cần nhận dạng. Thách thức lớn khác đối với ASR là phải giải quyết bài toán nhận dạng nhầm, khi mà hệ thống thường phải đối mặt với thực tế là tiếng nói cần nhận dạng không hoàn toàn theo đúng với tiếng nói đã được huấn luyện. Trong ASR, một số người nói thường sẽ đọc các văn bản đã được chọn từ trước và sử dụng tiếng nói thu được theo cách đó để xây dựng các mô hình. Độ chính xác của ASR thường tỷ lệ với sự tương tự giữa dữ liệu huấn luyện và dữ liệu thử nghiệm.

Dễ dàng nhận thấy, hệ thống nhận dạng cho độ chính xác cao khi dữ liệu huấn luyện và nhận dạng đều do một người nói và nội dung nói tương tự nhau.