Luận văn thạc sĩ nhận dạng tự động tiếng nói phát âm liên tục cho các phương ngữ chính của tiếng việt theo phương thức phát âm

Luận văn thạc sĩ nghiên cứu nhận dạng tự động tiếng nói phát âm liên tục cho các phương ngữ chính của tiếng Việt, ứng dụng công nghệ AI hiện đại.

• Tác giả: Phạm Ngọc Hưng
• Người hướng dẫn: PGS. Trịnh Văn Loan
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Nhận Dạng Tự Động Tiếng Nói Phát Âm Liên Tục Cho Các Phương Ngữ Chính Của Tiếng Việt
• Loại tài liệu: luận án tiến sĩ
• Năm xuất bản: 2017
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• GIẢI THÍCH CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT
• DANH MỤC CÁC BẢNG
• DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ
• 1. CHƯƠNG 1: TỔNG QUAN VỀ NHẬN DẠNG TIẾNG NÓI VÀ NHẬN DẠNG PHƯƠNG NGỮ
• 1.1. Nhận dạng tiếng nói
• 1.1.1. Tổng quan về nhận dạng tiếng nói
• 1.1.2. Lịch sử phát triển và các tiến bộ trong nghiên cứu nhận dạng tiếng nói
• 1.1.3. Các thách thức đối với nhận dạng tự động tiếng nói
• 1.1.4. Phân loại hệ thống nhận dạng tự động tiếng nói
• 1.2. Nhận dạng phương ngữ
• 1.2.1. Các mô hình nhận dạng phương ngữ
• 1.2.2. Nhận dạng phương ngữ theo các phương diện khác nhau
• 1.3. Nghiên cứu nhận dạng tiếng nói và nhận dạng phương ngữ tiếng Việt
• 1.4. Một số mô hình nhận dạng
• 1.4.1. Mô hình GMM
• 1.4.2. Bộ phân lớp SVM
• 1.4.3. Mạng nơ ron nhận tạo
• 1.5. Kết chương
• 2. CHƯƠNG 2: XÂY DỰNG BỘ NGỮ LIỆU CHO NGHIÊN CỨU NHẬN DẠNG PHƯƠNG NGỮ TIẾNG VIỆT
• 2.1. Tổng quan phương ngữ tiếng Việt
• 2.1.1. Phương ngữ và phân vùng phương ngữ tiếng Việt
• 2.1.2. Đặc điểm ngữ âm ba vùng phương ngữ chính của tiếng Việt
• 2.1.3. Sự khác biệt về từ vựng và ngữ nghĩa giữa ba vùng phương ngữ tiếng Việt
• 2.2. Cấu trúc âm tiết, âm vị trong phương ngữ tiếng Việt
• 2.2.1. Âm tiết và âm vị trong tiếng Việt
• 2.2.2. Âm đệm và cách kết hợp âm đệm trong các phương ngữ
• 2.2.3. Phụ âm đầu trong phương ngữ tiếng Việt
• 2.2.3.1. Hệ thống phụ âm đầu
• 2.2.3.2. So sánh hệ thống phụ âm đầu ba phương ngữ Bắc-Trung-Nam
• 2.2.4. Hệ thống thanh điệu và các biến thể trong phương ngữ tiếng Việt
• 2.2.4.1. Hệ thống thanh điệu Hà Nội
• 2.2.4.2. Hệ thống thanh điệu Nghệ - Tĩnh và Huế
• 2.2.4.3. Hệ thống thanh điệu Đà Nẵng và Thành phố Hồ Chí Minh
• 2.2.4.4. Một số nhận xét về hệ thống thanh điệu các phương ngữ
• 2.3. Ảnh hưởng của phương ngữ tới nhận dạng tiếng nói
• 2.4. Ngữ liệu phương ngữ trên thế giới và xây dựng bộ ngữ liệu dùng cho nhận dạng phương ngữ tiếng Việt
• 2.4.1. Phương pháp xây dựng bộ ngữ liệu phương ngữ tiếng Việt
• 2.4.2. Chuẩn bị và chuẩn hóa văn bản
• 2.4.3. Kết quả ghi âm và đặc tính VDSPEC
• 2.5. Phân tích một số đặc trưng phương ngữ tiếng Việt của bộ ngữ liệu VDSPEC
• 2.5.1. Biến thiên tần số cơ bản F0 theo thanh điệu của ba phương ngữ
• 2.5.2. Phân tích thống kê phân bố F0 của các thanh điệu
• 2.5.3. Phân tích dữ liệu dùng LDA
• 2.6. Kết chương
• 3. CHƯƠNG 3: NHẬN DẠNG PHƯƠNG NGỮ TIẾNG VIỆT
• 3.1. Nhận dạng phương ngữ tiếng Việt với GMM
• 3.1.1. Công cụ thử nghiệm nhận dạng phương ngữ ALIZE
• 3.1.2. Lựa chọn số lượng hệ số MFCC
• 3.1.3. Thử nghiệm nhận dạng phương ngữ tiếng Việt trong trường hợp kết hợp MFCC với tham số F0
• 3.1.4. Thử nghiệm nhận dạng phương ngữ tiếng Việt trong trường hợp kết hợp formant, dải thông tương ứng và tham số F0
• 3.1.5. Ảnh hưởng của số lượng thành phần Gauss đối với hiệu năng nhận dạng phương ngữ tiếng Việt
• 3.2. SVM nhận dạng phương ngữ tiếng Việt
• 3.2.1. Bộ phân lớp SMO
• 3.2.2. Thử nghiệm nhận dạng phương ngữ tiếng Việt sử dụng SMO
• 3.3. IBk nhận dạng phương ngữ tiếng Việt
• 3.3.1. Bộ phân lớp IBk
• 3.3.2. Kết quả nhận dạng phương ngữ tiếng Việt sử dụng IBk
• 3.4. Nhận dạng phương ngữ tiếng Việt với bộ phân lớp MultilayerPerceptron
• 3.4.1. Bộ phân lớp MultilayerPerceptron trong Weka
• 3.4.2. MultilayerPerceptron nhận dạng phương ngữ tiếng Việt
• 3.5. JRip nhận dạng phương ngữ tiếng Việt
• 3.5.1. Bộ phân lớp JRip
• 3.5.2. Nhận dạng phương ngữ tiếng Việt với JRip
• 3.6. Nhận dạng phương ngữ tiếng Việt với PART
• 3.6.1. Bộ phân lớp PART
• 3.6.2. Kết quả dùng PART nhận dạng phương ngữ tiếng Việt
• 3.7. Kết chương
• 4. CHƯƠNG 4: CẢI THIỆN HIỆU NĂNG NHẬN DẠNG TIẾNG VIỆT VỚI THÔNG TIN VỀ PHƯƠNG NGỮ
• 4.1. HMM nhận dạng tiếng Việt nói
• 4.1.1. Mô hình HMM
• 4.1.2. HMM nhận dạng tiếng Việt nói theo ba phương ngữ chính
• 4.2. Cải thiện hiệu năng nhận dạng tiếng Việt nói thông qua sử dụng thông tin phương ngữ
• 4.2.1. Mô hình nhận dạng tiếng Việt nói với việc sử dụng thông tin phương ngữ
• 4.2.2. Nhận dạng tiếng Việt nói khi có thông tin phương ngữ
• 4.3. Kết chương
• KẾT LUẬN VÀ KIẾN NGHỊ
• TÀI LIỆU THAM KHẢO
• DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ CỦA LUẬN ÁN

Tóm tắt

I. Tổng quan về nhận dạng tiếng nói

Nhận dạng tiếng nói là một lĩnh vực nghiên cứu quan trọng trong công nghệ thông tin, đặc biệt là trong bối cảnh phát triển của công nghệ nhận dạng. Lịch sử phát triển của lĩnh vực này đã chứng kiến nhiều tiến bộ đáng kể, từ các mô hình đơn giản đến các hệ thống phức tạp sử dụng machine learning và trí tuệ nhân tạo. Các thách thức lớn trong nhận dạng tiếng nói bao gồm sự đa dạng về ngữ âm và ngữ nghĩa, đặc biệt là trong ngữ cảnh tiếng Việt với nhiều phương ngữ khác nhau. Việc phân loại hệ thống nhận dạng tiếng nói cũng rất quan trọng, giúp xác định các phương pháp và công nghệ phù hợp cho từng loại ngữ liệu. Nghiên cứu về nhận dạng phương ngữ tiếng Việt đã chỉ ra rằng sự khác biệt trong cách phát âm giữa các vùng miền có thể ảnh hưởng lớn đến hiệu suất của hệ thống nhận dạng. Các mô hình như GMM, SVM và mạng nơ-ron đã được áp dụng để cải thiện độ chính xác trong nhận dạng tiếng nói.

1.1. Lịch sử phát triển và các tiến bộ trong nghiên cứu nhận dạng tiếng nói

Lịch sử nhận dạng tiếng nói bắt đầu từ những năm 1950 với các mô hình đơn giản, nhưng đã nhanh chóng phát triển nhờ vào sự tiến bộ của công nghệ AI và machine learning. Các nghiên cứu gần đây đã tập trung vào việc cải thiện độ chính xác và khả năng nhận diện của các hệ thống thông qua việc sử dụng các mô hình phức tạp hơn như mạng nơ-ron sâu. Những thành tựu này đã mở ra nhiều ứng dụng thực tiễn trong đời sống, từ trợ lý ảo đến các hệ thống giao tiếp người-máy. Tuy nhiên, việc nhận dạng tiếng Việt vẫn gặp nhiều khó khăn do sự đa dạng về phương ngữ và cách phát âm khác nhau giữa các vùng miền.

1.2. Các thách thức đối với nhận dạng tự động tiếng nói

Một trong những thách thức lớn nhất trong nhận dạng tiếng nói là sự khác biệt về ngữ âm giữa các phương ngữ. Tiếng Việt có ba phương ngữ chính: Bắc, Trung và Nam, mỗi phương ngữ có những đặc điểm riêng biệt về âm vị và từ vựng. Sự khác biệt này không chỉ gây khó khăn cho con người trong giao tiếp mà còn làm giảm hiệu suất của các hệ thống nhận dạng. Các nghiên cứu cho thấy rằng nếu hệ thống nhận dạng có thể xác định được phương ngữ của người nói, nó có thể cải thiện đáng kể độ chính xác của việc nhận diện. Do đó, việc phát triển các mô hình nhận dạng tiếng nói phù hợp với từng phương ngữ là rất cần thiết.

II. Xây dựng bộ ngữ liệu cho nghiên cứu nhận dạng phương ngữ tiếng Việt

Việc xây dựng bộ ngữ liệu cho nhận dạng phương ngữ tiếng Việt là một bước quan trọng trong nghiên cứu này. Bộ ngữ liệu này cần phản ánh đầy đủ các đặc điểm ngữ âm và từ vựng của ba phương ngữ chính. Đặc điểm ngữ âm của từng phương ngữ, bao gồm âm tiết, âm vị và thanh điệu, cần được phân tích kỹ lưỡng để tạo ra một bộ dữ liệu chính xác và phong phú. Sự khác biệt về từ vựng giữa các phương ngữ cũng cần được ghi nhận, vì điều này có thể ảnh hưởng đến khả năng nhận diện của hệ thống. Việc chuẩn bị và chuẩn hóa văn bản là một phần quan trọng trong quá trình xây dựng bộ ngữ liệu, giúp đảm bảo tính nhất quán và chính xác trong việc thu thập và phân tích dữ liệu.

2.1. Tổng quan phương ngữ tiếng Việt

Tiếng Việt được chia thành ba phương ngữ chính: Bắc, Trung và Nam. Mỗi phương ngữ có những đặc điểm riêng về âm vị và từ vựng. Phương ngữ Bắc thường được coi là chuẩn mực trong ngôn ngữ viết, trong khi phương ngữ Nam và Trung có nhiều biến thể và cách phát âm khác nhau. Sự khác biệt này không chỉ ảnh hưởng đến cách giao tiếp mà còn tác động đến các hệ thống nhận dạng tiếng nói. Việc nghiên cứu và phân tích các đặc điểm này là cần thiết để phát triển các mô hình nhận dạng hiệu quả hơn.

2.2. Đặc điểm ngữ âm ba vùng phương ngữ chính của tiếng Việt

Đặc điểm ngữ âm của ba phương ngữ tiếng Việt rất đa dạng. Phương ngữ Bắc có hệ thống thanh điệu phong phú và rõ ràng, trong khi phương ngữ Nam thường có xu hướng đơn giản hóa âm vị. Phương ngữ Trung lại có những biến thể độc đáo, tạo nên sự khác biệt trong cách phát âm. Những đặc điểm này cần được ghi nhận và phân tích để xây dựng các mô hình nhận dạng phù hợp. Sự khác biệt trong âm tiết và âm vị giữa các phương ngữ có thể gây ra những khó khăn trong việc nhận diện chính xác, do đó, việc phát triển các phương pháp nhận dạng phù hợp với từng phương ngữ là rất quan trọng.

III. Nhận dạng phương ngữ tiếng Việt

Nhận dạng phương ngữ tiếng Việt là một lĩnh vực nghiên cứu đang được quan tâm. Các mô hình như GMM, SVM và mạng nơ-ron đã được áp dụng để cải thiện độ chính xác trong nhận dạng tiếng nói. Việc sử dụng các tham số như MFCC và F0 trong quá trình nhận dạng đã cho thấy hiệu quả rõ rệt. Các thử nghiệm cho thấy rằng việc kết hợp các tham số này có thể nâng cao hiệu suất nhận dạng, đặc biệt là trong các trường hợp có sự khác biệt rõ rệt giữa các phương ngữ. Hệ thống nhận dạng cần được tối ưu hóa để có thể hoạt động hiệu quả trong môi trường thực tế, nơi mà sự đa dạng về ngữ âm và từ vựng là rất lớn.

3.1. Nhận dạng phương ngữ tiếng Việt với GMM

Mô hình GMM (Gaussian Mixture Model) đã được áp dụng để nhận dạng phương ngữ tiếng Việt. Các thử nghiệm cho thấy rằng GMM có khả năng phân loại tốt các âm thanh từ các phương ngữ khác nhau. Việc sử dụng các tham số như MFCC và F0 đã giúp cải thiện đáng kể độ chính xác của mô hình. Kết quả cho thấy rằng GMM có thể nhận diện chính xác các phương ngữ trong nhiều tình huống khác nhau, từ đó mở ra hướng đi mới cho việc phát triển các hệ thống nhận dạng tiếng nói hiệu quả hơn.

3.2. SVM nhận dạng phương ngữ tiếng Việt

SVM (Support Vector Machines) là một trong những phương pháp hiệu quả trong nhận dạng tiếng nói. Các thử nghiệm với SVM cho thấy khả năng phân loại cao đối với các phương ngữ tiếng Việt. Việc lựa chọn số lượng hệ số MFCC phù hợp là rất quan trọng để đạt được kết quả tốt nhất. SVM có thể xử lý tốt các biến thể trong cách phát âm giữa các phương ngữ, từ đó nâng cao hiệu suất nhận dạng. Kết quả cho thấy rằng SVM có thể là một công cụ mạnh mẽ trong việc phát triển các hệ thống nhận dạng tiếng nói cho tiếng Việt.

Nội dung chính

Tổng quan luận án

Luận án tiến sĩ với đề tài "Nhận dạng tự động tiếng nói phát âm liên tục cho các phương ngữ chính của tiếng Việt theo phương thức phát âm" được tác giả Phạm Ngọc Hưng thực hiện tại Trường Đại học Bách khoa Hà Nội, thuộc chuyên ngành Hệ thống thông tin (mã số: 62480104), dưới sự hướng dẫn khoa học của PGS. Trịnh Văn Loan và TS. Nguyễn Hồng Quang (bảo vệ năm 2017).

Tính cấp thiết và khoảng trống nghiên cứu

Trong lĩnh vực tương tác người - máy, nhận dạng tự động tiếng nói (Automatic Speech Recognition - ASR) đóng vai trò chuyển đổi tiếng nói thành văn bản hoặc hỗ trợ điều khiển hệ thống. Tại Việt Nam, nhiều công trình nhận dạng tiếng Việt nói đã được triển khai cho tiếng nói rời rạc và tiếng nói liên tục, song việc ứng dụng vào thực tế còn gặp trở ngại lớn về độ chính xác và chất lượng nhận dạng do sự khác biệt giữa các phương ngữ tiếng Việt.

Sự khác biệt phương ngữ thể hiện ở hai khía cạnh chính: từ vựng và ngữ âm (trong đó ngữ âm là yếu tố căn bản tạo nên sự khác biệt và phân chia các phương ngữ). Cùng một nội dung nhưng phương thức phát âm ở các vùng miền khác nhau dẫn tới tín hiệu âm thanh đầu vào khác nhau. Các hệ thống nhận dạng tiếng Việt thời điểm đó chủ yếu xây dựng mô hình dùng chung cho mọi phương ngữ, khiến kết quả nhận dạng dễ bị sai lệch khi gặp tiếng nói mang đặc trưng vùng miền. Mặt khác, các nghiên cứu về phương ngữ tiếng Việt trước đó hầu như chỉ tập trung theo hướng ngôn ngữ học thuần túy (miêu tả từ vựng, ngữ pháp, ngữ âm học truyền thống), trong khi các nghiên cứu tiếp cận theo phương diện xử lý tín hiệu âm thanh phục vụ nhận dạng tự động còn rất hạn chế. Luận án xác định khoảng trống này: nếu hệ thống có thể nhận dạng trước tiếng nói thuộc phương ngữ nào (như một bước tiền xử lý tín hiệu), hệ thống sẽ kích hoạt mô hình âm học và tham số tương ứng đã được huấn luyện riêng cho phương ngữ đó, từ đó giảm thiểu sai nhầm và nâng cao hiệu năng nhận dạng tiếng Việt nói.

Mục tiêu nghiên cứu

Mục tiêu chính của luận án là: Nghiên cứu nhận dạng tiếng Việt nói cho các vùng phương ngữ chính, đánh giá ảnh hưởng của phương ngữ đến hiệu năng của hệ thống nhận dạng và đề xuất giải pháp kỹ thuật nhận dạng phương ngữ áp dụng vào hệ thống nhận dạng tiếng Việt nói nhằm nâng cao hiệu năng nhận dạng.

Nhiệm vụ nghiên cứu

Luận án xác định 4 nhiệm vụ nghiên cứu cụ thể:

1. Nghiên cứu đặc điểm phương ngữ tiếng Việt từ đó xác định được các nét đặc trưng, sự khác biệt giữa các phương ngữ chính của tiếng Việt làm cơ sở cho nghiên cứu nhận dạng phương ngữ tiếng Việt. Luận án cũng đánh giá sự ảnh hưởng của phương ngữ tới hệ thống nhận dạng tự động tiếng Việt nói.
2. Xây dựng bộ ngữ liệu phương ngữ tiếng Việt phục vụ cho nghiên cứu nhận dạng phương ngữ tiếng Việt và nhận dạng tiếng Việt nói.
3. Nghiên cứu, đề xuất mô hình hệ thống nhận dạng tự động, bộ tham số phù hợp để nhận dạng phương ngữ tiếng Việt.
4. Nghiên cứu, đề xuất mô hình hệ thống nhận dạng tự động tiếng Việt nói theo phương ngữ chính của tiếng Việt. Hệ thống mới sử dụng các thông tin về phương ngữ nhằm nâng cao hiệu năng của hệ thống nhận dạng tiếng Việt nói.

Đối tượng và phạm vi nghiên cứu

• Đối tượng nghiên cứu trọng tâm: Nhận dạng phương ngữ tiếng Việt; xây dựng mô hình nhận dạng tiếng Việt nói tích hợp thông tin phương ngữ.
• Phạm vi không gian và phương ngữ: Do phương ngữ tiếng Việt có sự phân hóa phức tạp theo từng địa phương nhỏ, luận án giới hạn phạm vi khảo sát vào 3 vùng phương ngữ chính và phổ biến theo phương thức phát âm: Phương ngữ Bắc (lấy giọng Hà Nội làm đại diện), Phương ngữ Trung (lấy giọng Huế làm đại diện), và Phương ngữ Nam (lấy giọng Thành phố Hồ Chí Minh làm đại diện).
• Phạm vi kỹ thuật và xử lý tín hiệu: Luận án tập trung nghiên cứu theo hướng xử lý tín hiệu âm thanh. Nhận dạng phương ngữ được thiết kế như một bước tiền xử lý diễn ra trước khi nhận dạng nội dung (ở thời điểm chưa biết nội dung câu nói). Do đó, hệ thống không khai thác thông tin từ vựng địa phương mà tập trung trích xuất và phân loại các thông tin về phương thức phát âm (đặc trưng âm học, ngôn điệu, phổ, tần số cơ bản). Các thực nghiệm nhận dạng phương ngữ được thực hiện trên tập ngữ liệu với số lượng từ vựng hạn chế.

---

Tổng quan tài liệu và vị trí của luận án

Các hướng nghiên cứu trước mà tác giả điểm lại

Luận án tiến hành tổng quan tình hình nghiên cứu trong nước và quốc tế theo hai trục chính: nhận dạng tiếng nói và nhận dạng phương ngữ.

Về lịch sử và các tiến bộ trong nhận dạng tiếng nói (ASR)

• Mô hình hóa âm học và ngôn ngữ: Sự ra đời của mô hình Markov ẩn (Hidden Markov Model - HMM) từ đầu những năm 1970 bởi Baker (1975) và Jelinek (1976); các thuật giải tối đa hóa kỳ vọng EM (Dempster, Laird, Rubin, 1977), thuật giải Baum - Welch và Forward - Backward. Mô hình ngôn ngữ N-gram cùng các kỹ thuật làm mịn. Các mô hình phân đoạn của Ostendorf et al. (1996), Glass (2003) và mô hình tiếng nói có cấu trúc của Bilmes (2003), Chelba & Jelinek (2000).
• Kỹ thuật thích nghi người nói: Kỹ thuật MAP (Gauvain & Lee, 1994), MLLR (Leggetter & Woodland, 1995), và kỹ thuật huấn luyện thích nghi người nói SAT (Anastassakos et al., 1996). Nghiên cứu của Huang et al. chỉ ra tỷ lệ lỗi từ (WER) giảm từ 4,3% (độc lập người nói) xuống 1,4% khi sử dụng dữ liệu thích nghi phụ thuộc người nói.
• Biểu diễn tri thức và trích chọn tham số: Các hệ số phổ MFCC (Davis & Mermelstein, 1980), tiên đoán cảm thụ tuyến tính PLP và RASTA (Hermansky, 1990), trừ trung bình cepstral CMS (Furui, 1981), chuẩn hóa chiều dài tuyến âm VTLN (Lee & Rose, 1996), phân tích phân biệt tuyến tính hiệp phương sai không đồng nhất HLDA (Kumar, 1997), cực tiểu lỗi âm theo không gian đặc trưng fMPE (Povey et al., 2005).
• Thuật giải giải mã và tìm kiếm: Giải mã ngăn xếp A* (Jelinek, 1969) và tìm kiếm đồng bộ thời gian Viterbi (Ney et al., 1987; Aubert, 2002).

Về các mô hình nhận dạng phương ngữ trên thế giới

• Khảo sát ngữ âm học và phương ngữ: Các khảo sát vùng phương ngữ từ năm 1877 của George Wenker; nghiên cứu phương ngữ Midland của Bailey (1968) và Davis et al. (1992); phân tích không gian formant F1/F2 của Peterson & Barney (1952), Hillenbrand, Clark & Wheeler (1995); nghiên cứu phương ngữ Nam California của Hagiwara (1997); nghiên cứu tỷ lệ F1/F2 và thời lượng nguyên âm của Fridland et al. (2014); phân biệt phương ngữ qua phụ âm "r" của William Labov (1966, 1972).
• Mô hình ràng buộc âm vị (Phonotactic Modeling): Phương pháp PRLM (Phone Recognition followed by Language Modeling) và PPRLM (Parallel Phone Recognition followed by Language Modeling) của Fadi Biadsy et al. (2009, 2010) nhận dạng các phương ngữ tiếng Ả Rập, đạt độ chính xác 81,60% (với câu 30 giây) và 86,33% khi kết hợp ngôn điệu. Phương pháp nhận dạng âm vị song song PPR.
• Mô hình âm học (Acoustic Modeling): Sử dụng mô hình hỗn hợp Gauss (GMM) như Chen, Chang & Wang (phân lớp phương ngữ tiếng Trung: Beijing, Shanghai, Guangdong, Taiwan trên véc-tơ MFCC); Faria (nhận dạng giọng Anh chuẩn trên bộ ngữ liệu Fisher, đạt 84,5%); Belgacem et al. (dùng GMM với công cụ ALIZE nhận dạng phương ngữ tiếng Ả Rập đạt 73,33%).
• Mô hình HMM: Nghiên cứu của Nancy F. Chen, Wade Shen & Joseph P. Torres-Carrasquillo nhận dạng 4 phương ngữ tiếng Ả Rập qua dóng hàng âm vị và cây quyết định, tăng hiệu năng 21-36% so với mức cơ sở; Biadsy et al. dùng HTK xây dựng HMM 3 trạng thái liên tục với 12 thành phần Gauss nhận dạng 5 phương ngữ tiếng Ả Rập trên bộ ngữ liệu TDT4.
• Mô hình máy véc-tơ hỗ trợ (SVM): Phân biệt phương ngữ tiếng Anh bởi Ma et al.; nhận dạng phương ngữ tiếng Hindi của K Sreenivasa Rao & Shashidhar G Koolagudi (2011), đạt tỷ lệ 64% khi dùng phổ, 58% khi dùng độ dài âm tiết, 64% khi dùng F0, và đạt 81% khi kết hợp toàn bộ tham số.
• Mạng nơ-ron nhân tạo (ANN và DNN): Mô hình mạng tự liên kết AANN 5 lớp của Rao & Koolagudi (2011) nhận dạng phương ngữ Hindi đạt 81%; mạng nơ-ron nạp trước 2 lớp của Sinha et al. đạt 79%; mạng nơ-ron sâu (DNN) với phần mềm QuickNet của Jing Ya-peng et al. (2014) nhận dạng phương ngữ tiếng Trung. Ngoài ra có kỹ thuật phân cụm của N. Nagy et al. và tăng tốc phần cứng GPU của Hanani.

Về tình hình nghiên cứu nhận dạng tiếng Việt và phương ngữ tiếng Việt

• Nghiên cứu ngôn ngữ học: Các công trình phân loại và miêu tả hệ thống phương ngữ của Hoàng Thị Châu (1989, 2004), Hoàng Phê (1980), Nguyễn Kim Thản, Nguyễn Trọng Báu, Nguyễn Văn Tu (1983), Mai Ngọc Chừ, Vũ Đức Nghiệu, Hoàng Trọng Phiến (1997), Trần Thị Ngọc Lang (1995), Võ Xuân Trang (1997).
• Nghiên cứu nhận dạng tiếng Việt: Phân tích formant nguyên âm tiếng Việt (Vũ Hải Quân et al.); nhận dạng từ rời rạc (Lương Chi Mai, Phan Xuân Hiếu); nhận dạng chữ số liên tục qua mạng điện thoại (đạt 96,83% từ và 87,67% câu đúng); nhận dạng tiếng nói liên tục vốn từ vựng lớn 7000 âm tiết tương đương 40000 từ (Lương Chi Mai et al.); nhận dạng trên cơ sở dữ liệu VOV bằng HTK (Trịnh Văn Loan et al., cải thiện độ chính xác 10%, giảm sai số 36,5%); nhận dạng trên hệ nhúng thời gian thực (Nguyễn Văn Huy et al.); nhận dạng mức từ với kiến trúc FlaVoR 2 lớp trên cơ sở dữ liệu VNBN (Vũ Hải Quân et al.); nghiên cứu mô hình hóa F0 và 8 mẫu thanh điệu trong HMM tiếng Việt.

Khoảng trống luận án lựa chọn giải quyết

Mặc dù nhận dạng tiếng Việt nói đã có nhiều bước tiến, các nghiên cứu trước đó chưa tích hợp bước nhận dạng phương ngữ tự động trước khi nhận dạng nội dung văn bản. Đồng thời, các nghiên cứu phương ngữ tiếng Việt chủ yếu dừng lại ở góc độ miêu tả định tính của ngôn ngữ học, thiếu vắng bộ ngữ liệu chuẩn hóa phục vụ xử lý tín hiệu và thiếu các mô hình toán học thực nghiệm đánh giá vai trò của các tham số âm học (như MFCC, F0, Formant) trong phân loại phương ngữ. Luận án chọn giải quyết khoảng trống này thông qua việc xây dựng bộ ngữ liệu tiếng nói phương ngữ VDSPEC, khảo sát các bộ phân lớp nhận dạng phương ngữ và xây dựng mô hình nhận dạng tiếng Việt nói có tích hợp thông tin phương ngữ.

---

Cơ sở lý thuyết và phương pháp nghiên cứu

Lý thuyết, khái niệm và khung phân tích

• Lý thuyết cấu trúc âm tiết tiếng Việt: Tiếng Việt là ngôn ngữ đơn âm tiết. Cấu trúc âm tiết đầy đủ gồm 5 thành phần: Thanh điệu, Âm đầu, Âm đệm, Âm chính, Âm cuối. Mối liên kết giữa âm đệm, âm chính và âm cuối (vần) chặt chẽ hơn so với liên kết giữa thanh điệu, âm đầu và vần.
• Khái niệm phân vùng phương ngữ: Phân chia thành 3 vùng phương ngữ chính gồm Phương ngữ Bắc (PNB), Phương ngữ Trung (PNT) và Phương ngữ Nam (PNN).
  • PNB: Đủ 6 thanh điệu, 20 phụ âm đầu (do trùng lặp s/x, r/d/gi, tr/ch), đủ âm cuối.
  • PNT: 5 thanh điệu (thanh ngã nhập vào thanh hỏi ở Thanh Hóa, Bình Trị Thiên hoặc nhập vào thanh nặng ở Nghệ An, Hà Tĩnh), 23 phụ âm đầu (giữ các phụ âm uốn lưỡi s, r, tr).
  • PNN: 5 thanh điệu (thanh ngã thành thanh hỏi), 23 phụ âm đầu, thiếu phụ âm [v], thêm bán âm [w], thay [z] bằng [j], thiếu cặp âm cuối [-ch, -nh], âm đệm [-w-] suy giảm.
• Khung phân tích nhận dạng phương ngữ và ASR:
  • Mô hình âm học nhận dạng phương ngữ sử dụng GMM và các bộ phân lớp học máy: SVM (Support Vector Machines) giải bằng thuật giải SMO (Sequential Minimal Optimization); thuật giải k láng giềng gần nhất (IBk); mạng nơ-ron nhiều lớp (MultilayerPerceptron); các bộ phân lớp dựa trên luật (JRip - RIPPER, PART).
  • Khung nhận dạng tiếng nói liên tục dựa trên HMM (Hidden Markov Model) kết hợp mô hình âm học (AM) và mô hình ngôn ngữ (LM).

Phương pháp nghiên cứu thực tế

Luận án kết hợp nghiên cứu lý thuyết ngôn ngữ học/xử lý tín hiệu với nghiên cứu thực nghiệm định lượng:

• Trích chọn đặc trưng tín hiệu:
  • Trích xuất hệ số phổ MFCC (Mel-Frequency Cepstral Coefficients).
  • Trích xuất tần số cơ bản F0 (Fundamental frequency) và các tham số thống kê chuẩn hóa từ F0.
  • Trích xuất các formant (F1, F2, F3) cùng độ rộng dải thông tương ứng.
  • Kết hợp đạo hàm bậc một (Delta) và bậc hai (Delta-Delta), năng lượng.
• Phương pháp phân tích thống kê và phân lớp:
  • Phân tích thống kê biến thiên đường bao F0 theo thanh điệu giữa các vùng.
  • Phân tích phân biệt tuyến tính (Linear Discriminant Analysis - LDA) để kiểm tra khả năng phân tách của các đặc trưng phương ngữ trên từng thanh điệu.
  • Huấn luyện và đánh giá các bộ phân lớp nhận dạng phương ngữ trên các tập tham số khác nhau (MFCC đơn lẻ, kết hợp MFCC + F0, Formant + F0, toàn bộ 384 tham số).
  • Đánh giá hệ thống nhận dạng ASR bằng độ đo tỷ lệ lỗi từ (Word Error Rate - WER).

Nguồn tư liệu và công cụ phần mềm

• Bộ ngữ liệu VDSPEC (Vietnamese Dialect Speech Corpus): Bộ ngữ liệu do tác giả tự xây dựng phục vụ nghiên cứu, bao gồm tiếng nói phát âm liên tục của người nói đại diện cho 3 miền: Hà Nội (Bắc), Huế (Trung), và TP. Hồ Chí Minh (Nam). Tín hiệu được thu bằng microphone Shure SM48, kiểm soát tỷ số tín hiệu trên nhiễu (SNR) và phân loại theo các chủ đề văn bản chuẩn hóa.
• Các bộ công cụ phần mềm mã nguồn mở:
  • Bộ công cụ ALIZE: Thực hiện các thử nghiệm nhận dạng phương ngữ bằng mô hình GMM.
  • Bộ công cụ khai phá dữ liệu Weka: Thực hiện các thuật giải học máy phân lớp gồm SMO, IBk, MultilayerPerceptron, JRip, và PART trên định dạng ARFF.
  • Bộ công cụ HTK (Hidden Markov Model Toolkit) và Kaldi: Xây dựng và đánh giá hệ thống nhận dạng tự động tiếng Việt nói liên tục dựa trên HMM.
  • Bộ công cụ mô hình hóa ngôn ngữ SRILM và CMU SLM toolkit.

---

Nội dung chính theo từng chương

Chương 1: Tổng quan về nhận dạng tiếng nói và nhận dạng phương ngữ

Chương 1 cung cấp cơ sở lý luận tổng thể về xử lý tiếng nói và bài toán phân loại phương ngữ:

• Trình bày nhiệm vụ của ASR, các thách thức cốt lõi (biến thiên âm thanh giữa các cá nhân, nhiễu kênh truyền, nhiễu môi trường, và sự khác biệt phương ngữ).
• Phân loại hệ thống ASR theo 3 tiêu chí: theo sự phụ thuộc người nói (phụ thuộc, không phụ thuộc, thích nghi người nói); theo đặc tính phát âm (từ rời rạc, từ liên kết, tiếng nói liên tục, tiếng nói tự nhiên); và theo kích thước từ vựng (nhỏ, trung bình, lớn).
• Phân tích các mô hình nhận dạng phương ngữ: Hướng tiếp cận ràng buộc âm vị (PRLM, PPRLM, PPR) và hướng tiếp cận mô hình âm học (GMM). Điểm lại các công trình nhận dạng phương ngữ quốc tế trên tiếng Ả Rập, tiếng Trung, tiếng Anh, tiếng Hindi sử dụng GMM, HMM, SVM, ANN, DNN.
• Tổng hợp tình hình nghiên cứu nhận dạng tiếng Việt (từ các hệ thống nhận dạng số, nhận dạng từ rời rạc đến tiếng nói liên tục vốn từ lớn của Lương Chi Mai, Vũ Hải Quân, Trịnh Văn Loan).
• Trình bày cơ sở toán học của các mô hình nhận dạng sẽ áp dụng trong luận án: Mô hình hỗn hợp Gauss (GMM) với thuật toán EM; Máy véc-tơ hỗ trợ (SVM) với các phương pháp giải bài toán quy hoạch toàn phương QP (Chunking, thuật giải Osuna, và thuật giải tối ưu hóa cực tiểu lần lượt SMO của Platt); Mạng nơ-ron nhân tạo (mô hình nơ-ron phi tuyến, Perceptron, và Multilayer Perceptron huấn luyện bằng thuật giải lan truyền ngược lỗi).

Chương 2: Xây dựng bộ ngữ liệu cho nghiên cứu nhận dạng phương ngữ tiếng Việt

Chương 2 giải quyết nhiệm vụ nghiên cứu đặc trưng ngôn ngữ học và xây dựng cơ sở dữ liệu thực nghiệm:

• Đặc điểm phương ngữ tiếng Việt: Phân tích sự phân vùng địa lý và so sánh đặc điểm 3 vùng phương ngữ chính. Tác giả lập bảng đối chiếu sự khác biệt từ vựng giữa ba miền:

Từ vựng PNB	Biến thể PNT	Biến thể PNN
này / thế này	ni / ri	nầy / vầy
ấy / thế (ấy)	nớ / rứa	Đó / vậy
đâu / thế nào	mô / răng	đâu / Sao
gì	chi	Gì
tôi / chúng tôi	tui / bầy tui	Tui / tụi tui
mày / chúng mày	mi / bây, bọn bây	mầy / tụi mầy
nó / chúng nó	hắn / bọn hắn	Nó / tụi nó
ông ấy / bà ấy	ông nớ / mệ nớ, mụ nớ	ổng / bả

• Cấu trúc âm vị học: Phân tích 5 thành phần của âm tiết tiếng Việt; so sánh hệ thống phụ âm đầu (PNB có 20 phụ âm; PNT và PNN có 23 phụ âm với các âm uốn lưỡi /s/, /r/, /tr/); phân tích sự biến đổi của âm đệm /w/, nguyên âm và phụ âm cuối (như sự chuyển đổi [-nh, -ch] thành [-n, -t] trong phát âm miền Nam).
• Hệ thống thanh điệu: So sánh sự khác biệt thanh điệu giữa 3 miền (Hà Nội đủ 6 thanh điệu; Nghệ - Tĩnh và Huế có 5 thanh điệu với độ trầm cao; Đà Nẵng và TP. Hồ Chí Minh có 5 thanh điệu do thanh ngã gộp vào thanh hỏi).
• Quy trình xây dựng ngữ liệu VDSPEC:
  • Chuẩn bị và chuẩn hóa văn bản theo các chủ đề được lựa chọn.
  • Tổ chức thu âm chuẩn hóa với thiết bị microphone Shure SM48; kiểm soát dạng sóng và tỷ số tín hiệu trên nhiễu (SNR) theo đơn vị dB; tổ chức cấu trúc thư mục lưu trữ dữ liệu âm thanh và nhãn phiên âm theo từng vùng phương ngữ và chủ đề.
• Phân tích đặc trưng tín hiệu trên ngữ liệu VDSPEC:
  • Khảo sát biến thiên đường bao tần số cơ bản F0 của 6 thanh điệu (ngang, huyền, sắc, hỏi, ngã, nặng) đối với cả giọng nam và giọng nữ ở Hà Nội, Huế và TP. Hồ Chí Minh.
  • Phân tích thống kê phân bố F0 giữa các vùng phương ngữ.
  • Ứng dụng phân tích phân biệt tuyến tính (LDA) trên các từ khảo sát ("chính" - thanh sắc, "kinh" - thanh ngang, "mạnh" - thanh nặng, "thành" - thanh huyền, "tỉnh" - thanh hỏi, "vĩnh" - thanh ngã) để chứng minh khả năng phân tách cụm phương ngữ dựa trên đặc trưng âm học.

Chương 3: Nhận dạng phương ngữ tiếng Việt

Chương 3 trình bày các thực nghiệm nhận dạng phương ngữ tiếng Việt sử dụng nhiều bộ phân lớp khác nhau:

• Thực nghiệm với mô hình GMM trên công cụ ALIZE:
  • Thử nghiệm đánh giá lựa chọn số lượng hệ số MFCC tối ưu.
  • Thử nghiệm nhận dạng kết hợp hệ số MFCC với tham số F0 và các giá trị chuẩn hóa từ F0 (đánh giá tỷ lệ nhận dạng và ma trận nhầm lẫn phân loại độc lập giới tính).
  • Thử nghiệm kết hợp các formant (F1, F2, F3), dải thông tương ứng và tham số F0.
  • Đánh giá ảnh hưởng của số lượng thành phần Gauss (M) từ 20 đến 4096 thông qua đồ thị DET (Detection Error Tradeoff), xác định cấu hình số thành phần Gauss cho hiệu năng nhận dạng trung bình tốt nhất.
• Thực nghiệm với SVM (bộ phân lớp SMO trong Weka):
  • Thử nghiệm với toàn bộ 384 tham số âm học trích xuất từ tín hiệu tiếng nói.
  • Phân tích ma trận sai nhầm (confusion matrix) giữa 3 phương ngữ.
  • Thử nghiệm đối sánh các tập tham số: khi không có thông tin liên quan trực tiếp F0; khi chỉ dùng các tham số liên quan trực tiếp F0; và khi chỉ dùng các tham số liên quan trực tiếp MFCC. Kết quả cho thấy việc kết hợp đầy đủ các đặc trưng (đặc biệt là sự có mặt của F0 bên cạnh MFCC) mang lại độ chính xác phân loại cao hơn so với việc chỉ sử dụng đơn lẻ một loại tham số.
• Thực nghiệm với các bộ phân lớp khác trên Weka:
  • Bộ phân lớp IBk (k láng giềng gần nhất): Đánh giá tỷ lệ nhận dạng và ma trận sai nhầm tại k = 1 và k = 5.
  • Bộ phân lớp MultilayerPerceptron (mạng nơ-ron nhiều lớp): Huấn luyện với thuật giải lan truyền ngược lỗi, đánh giá kết quả nhận dạng và ma trận sai nhầm trên dữ liệu phương ngữ.
  • Bộ phân lớp dựa trên luật JRip (cài đặt thuật giải RIPPER) và PART: Đánh giá khả năng sinh luật và độ chính xác phân loại phương ngữ tiếng Việt.

Chương 4: Cải thiện hiệu năng nhận dạng tiếng Việt với thông tin về phương ngữ

Chương 4 hoàn thiện mục tiêu ứng dụng kết quả nhận dạng phương ngữ vào bài toán ASR:

• Xây dựng hệ thống ASR cơ sở bằng mô hình HMM:
  • Kiến trúc bộ nhận dạng dựa trên HMM: Xây dựng mô hình âm vị, mô hình âm phụ thuộc ngữ cảnh (triphone), tạo mô hình kết nối trạng thái và phân cụm cây quyết định.
  • Tạo lưới từ (word lattice) và mạng nhầm lẫn (confusion network) bằng HTK và Kaldi.
  • Huấn luyện mô hình nhận dạng tiếng Việt nói cho từng phương ngữ chính trên bộ dữ liệu VDSPEC.
• Đề xuất mô hình nhận dạng tiếng Việt tích hợp thông tin phương ngữ:
  • Thiết kế sơ đồ hệ thống 2 giai đoạn: Tín hiệu tiếng nói đầu vào trước tiên đi qua khối nhận dạng phương ngữ (bước tiền xử lý). Sau khi xác định được phương ngữ (Bắc, Trung hoặc Nam), hệ thống kích hoạt mô hình âm học HMM tương ứng đã được huấn luyện riêng cho phương ngữ đó để tiến hành giải mã nội dung văn bản.
• Kết quả thử nghiệm và đánh giá so sánh:
  • Phân chia tập dữ liệu huấn luyện và kiểm thử chuẩn hóa trên bộ ngữ liệu VDSPEC.
  • Tiến hành nhận dạng tiếng Việt nói trong trường hợp hệ thống chưa biết thông tin phương ngữ (sử dụng mô hình âm học chung).
  • Tiến hành nhận dạng tiếng Việt nói khi hệ thống đã biết thông tin về phương ngữ (sử dụng mô hình âm học phụ thuộc phương ngữ tương ứng).
  • So sánh kết quả đối chứng: Tỷ lệ lỗi từ (WER) của hệ thống khi có thông tin phương ngữ giảm rõ rệt so với khi không có thông tin phương ngữ, chứng minh giải pháp tích hợp thông tin phương ngữ giúp cải thiện hiệu năng nhận dạng tiếng Việt nói phát âm liên tục.

---

Kết quả và những đóng góp mới

Các đóng góp mới của luận án

Theo công bố của tác giả, luận án mang lại 5 đóng góp khoa học và thực tiễn chính:

1. Phân tích đặc điểm phương ngữ tiếng Việt, chỉ rõ sự khác biệt giữa các phương ngữ chính của tiếng Việt về phương diện phát âm dưới góc độ xử lý tín hiệu âm thanh (tần số cơ bản F0, formant, âm vị, thanh điệu).
2. Xây dựng bộ ngữ liệu tiếng Việt mới (VDSPEC) phục vụ cho nghiên cứu nhận dạng phương ngữ tiếng Việt và nhận dạng nội dung tiếng Việt nói; đồng thời tiến hành các phân tích thống kê biến thiên F0 và phân lớp LDA trên ngữ liệu này.
3. Đề xuất mô hình nhận dạng phương ngữ tiếng Việt và xác định bộ tham số đặc trưng thích hợp (kết hợp MFCC với F0 và các tham số liên quan) thông qua việc đánh giá đối sánh nhiều mô hình phân lớp (GMM, SVM/SMO, IBk, MLP, JRip, PART).
4. Xây dựng và thử nghiệm mô hình HMM (Hidden Markov Model) nhận dạng tiếng Việt nói liên tục trên bộ ngữ liệu tiếng nói có phương ngữ.
5. Đề xuất mô hình nhận dạng tiếng Việt nói theo phương ngữ (tích hợp khối nhận dạng phương ngữ như một bước tiền xử lý nhằm kích hoạt mô hình âm học phù hợp), giúp nâng cao hiệu năng và giảm tỷ lệ lỗi nhận dạng của hệ thống ASR tiếng Việt.

Kiến nghị và giải pháp đề xuất

• Áp dụng cơ chế tiền xử lý nhận dạng phương ngữ vào các hệ thống tương tác người - máy, trợ lý ảo, dịch tự động, hệ thống chăm sóc sức khỏe điện tử (e-health), và giáo dục trực tuyến (e-learning) sử dụng tiếng Việt để thích ứng với người dùng ở các vùng miền khác nhau.
• Khai thác bộ ngữ liệu VDSPEC làm tài nguyên phục vụ các nghiên cứu tiếp theo về xử lý tiếng nói, phân tích ngữ điệu và tổng hợp tiếng nói tiếng Việt.

---

Hạn chế và hướng nghiên cứu tiếp

Hạn chế

Căn cứ theo phạm vi nghiên cứu được tác giả xác định trong văn bản:

• Luận án mới chỉ giới hạn nghiên cứu trên 3 phương ngữ chính đại diện cho 3 miền (Hà Nội đại diện cho miền Bắc, Huế đại diện cho miền Trung, TP. Hồ Chí Minh đại diện cho miền Nam); chưa bao quát được sự đa dạng của các thổ ngữ và phương ngữ chuyển tiếp phong phú khác (như vùng Nghệ - Tĩnh, Thanh Hóa, Quảng Nam - Quảng Ngãi, v.v.).
• Khối nhận dạng phương ngữ hoạt động ở giai đoạn tiền xử lý trước khi nhận dạng nội dung, do đó chỉ khai thác thông tin về phương thức phát âm (tín hiệu âm thanh) mà chưa thể khai thác được các đặc trưng từ vựng địa phương.
• Các thử nghiệm nhận dạng phương ngữ và nhận dạng tiếng nói liên tục mới được thực hiện trên bộ ngữ liệu VDSPEC với số lượng từ vựng hạn chế, chưa mở rộng ra các tập dữ liệu tiếng nói tự nhiên quy mô lớn trong môi trường thực tế nhiều tạp âm.

Hướng nghiên cứu tiếp

• Mở rộng quy mô bộ ngữ liệu VDSPEC: Bổ sung thêm dữ liệu người nói từ nhiều tỉnh thành và các vùng thổ ngữ đặc thù khác của Việt Nam.
• Kết hợp nhận dạng phương ngữ dựa trên phát âm với việc khai thác thông tin từ vựng địa phương ở giai đoạn hậu xử lý (sau khi đã nhận dạng sơ bộ nội dung).
• Nghiên cứu áp dụng các kiến trúc mạng nơ-ron sâu (DNN) tiên tiến hơn cho cả bài toán nhận dạng phương ngữ và bài toán nhận dạng tiếng Việt nói nhằm tiếp tục nâng cao độ chính xác nhận dạng.

---

Giá trị tham khảo

Luận án có giá trị tham khảo chuyên môn đối với các nhóm đối tượng và lĩnh vực sau:

• Nghiên cứu sinh và học viên cao học ngành Hệ thống thông tin, Khoa học máy tính, Công nghệ thông tin: Có thể tham khảo phương pháp luận kết hợp giữa ngôn ngữ học âm vị và kỹ thuật xử lý tín hiệu số; quy trình chuẩn hóa trích chọn tham số (MFCC, F0, Formant) và phương pháp xây dựng bộ ngữ liệu tiếng nói thực nghiệm.
• Các nhà nghiên cứu và kỹ sư phát triển hệ thống nhận dạng tiếng nói (ASR): Tài liệu tham khảo hữu ích về cấu hình công cụ ALIZE (cho mô hình GMM), công cụ Weka (cho các giải thuật SVM/SMO, IBk, MLP) và HTK/Kaldi (cho mô hình HMM) trong việc xử lý tín hiệu tiếng nói tiếng Việt đa phương ngữ.
• Giảng viên và nhà nghiên cứu ngôn ngữ học ứng dụng: Tham khảo các kết quả phân tích định lượng bằng số liệu về biến thiên tần số F0 của 6 thanh điệu qua 3 miền Bắc - Trung - Nam, giúp bổ sung dữ liệu thực nghiệm âm học cho các lý thuyết phương ngữ học tiếng Việt truyền thống.

---

Câu hỏi thường gặp

1. Luận án lựa chọn những phương ngữ nào của tiếng Việt để tiến hành nghiên cứu thực nghiệm?

Trong phạm vi nghiên cứu, tác giả giới hạn khảo sát 3 vùng phương ngữ chính và phổ biến nhất của tiếng Việt theo phương thức phát âm: Phương ngữ Bắc lấy giọng Hà Nội làm đại diện, Phương ngữ Trung lấy giọng Huế làm đại diện, và Phương ngữ Nam lấy giọng Thành phố Hồ Chí Minh làm đại diện.

2. Vì sao luận án lại chọn nhận dạng phương ngữ theo phương thức phát âm thay vì dựa trên từ vựng địa phương?

Luận án định vị khối nhận dạng phương ngữ là bước tiền xử lý tín hiệu diễn ra trước khi hệ thống thực hiện giải mã nội dung tiếng nói. Ở thời điểm này, nội dung câu nói chưa được xác định, do đó hệ thống chưa thể phân tích từ vựng địa phương mà bắt buộc phải dựa vào các đặc trưng âm học của phương thức phát âm (như tần số cơ bản F0, các hệ số MFCC, formant và ngôn điệu) để xác định phương ngữ.

3. Tần số cơ bản F0 có vai trò như thế nào trong bài toán phân loại phương ngữ tiếng Việt của luận án?

Tiếng Việt là ngôn ngữ thanh điệu, và sự khác biệt giữa các phương ngữ thể hiện rất rõ ở hệ thống thanh điệu (số lượng thanh và đường bao cao độ). Kết quả thực nghiệm trong luận án chỉ ra rằng tham số F0 và các đại lượng biến thiên F0 phản ánh trực tiếp cao độ thanh điệu giữa các miền; khi kết hợp F0 cùng với các hệ số phổ MFCC, độ chính xác nhận dạng phương ngữ tăng lên rõ rệt so với việc chỉ sử dụng đơn lẻ tham số MFCC hoặc F0.

4. Những bộ công cụ và phần mềm nào được tác giả sử dụng để triển khai các mô hình trong luận án?

Tác giả đã sử dụng nhiều công cụ mã nguồn mở chuyên dụng:

• Bộ công cụ ALIZE: Dùng để xây dựng và thử nghiệm mô hình GMM nhận dạng phương ngữ.
• Bộ phần mềm Weka: Dùng để thử nghiệm các bộ phân lớp học máy gồm SVM (thuật giải SMO), k láng giềng gần nhất (IBk), mạng nơ-ron nhiều lớp (MultilayerPerceptron), JRip và PART.
• Bộ công cụ HTK và Kaldi: Dùng để xây dựng mô hình HMM cho hệ thống nhận dạng tự động tiếng Việt nói liên tục.
• Bộ công cụ SRILM và CMU SLM toolkit: Dùng để mô hình hóa ngôn ngữ thống kê.

5. Mô hình nhận dạng tiếng Việt cải tiến được đề xuất trong Chương 4 hoạt động theo nguyên lý nào?

Hệ thống nhận dạng được thiết kế theo cấu trúc nối tiếp hai giai đoạn: Tín hiệu tiếng nói đầu vào trước tiên được đưa qua bộ nhận dạng phương ngữ nhằm xác định mẫu tiếng nói thuộc phương ngữ Bắc, Trung hay Nam. Sau khi có nhãn phương ngữ, hệ thống sẽ tự động chọn lựa mô hình âm học (Acoustic Model) tương ứng đã được huấn luyện riêng theo phương ngữ đó để thực hiện giải mã nội dung văn bản, giúp giảm tỷ lệ lỗi từ (WER) so với mô hình dùng chung.

---

Kết luận

Luận án tiến sĩ của tác giả Phạm Ngọc Hưng đã giải quyết bài toán nâng cao hiệu năng nhận dạng tiếng Việt nói liên tục thông qua giải pháp tích hợp thông tin nhận dạng phương ngữ ở giai đoạn tiền xử lý. Tác giả đã xây dựng thành công bộ ngữ liệu tiếng nói thực nghiệm VDSPEC đại diện cho 3 vùng phương ngữ chính (Hà Nội, Huế, TP. Hồ Chí Minh), tiến hành phân tích định lượng các đặc trưng âm học (đặc biệt là F0 và MFCC), đồng thời đối sánh hiệu năng của nhiều bộ phân lớp học máy như GMM, SVM, k-NN và MLP. Kết quả thực nghiệm trên mô hình HMM khẳng định việc phân luồng nhận dạng tiếng nói dựa trên thông tin phương ngữ giúp cải thiện rõ rệt độ chính xác nhận dạng so với mô hình truyền thống không phân biệt phương ngữ, đóng góp thiết thực cho sự phát triển của công nghệ xử lý tiếng Việt.

Trích đoạn nội dung tài liệu

Chương 1 cũng tổng hợp các nghiên cứu liên quan về nhận dạng tiếng Việt và phương ngữ tiếng Việt, nêu bật những mặt còn tồn tại, những vấn đề cần giải quyết đối với nhận dạng tiếng Việt và phương ngữ tiếng Việt từ đó tìm hướng tiếp cận nhằm nâng cao hiệu năng cho hệ thống nhận dạng tiếng Việt nói. Nhận dạng tiếng nói 1. Tổng quan về nhận dạng tiếng nói Nhiệm vụ của hệ thống nhận dạng tiếng nói là làm cho hệ thống hiểu được tiếng nói của con người. Nhờ hệ thống này, tiếng nói có thể được chuyển đổi tự động thành văn bản, hoặc tự động điều khiển các quá trình khác [179].

Phương thức truyền thông tự nhiên nhất đối với con người là thông qua tiếng nói nên ước mơ cuối cùng của nhận dạng tiếng nói là cho phép con người có ngôn ngữ khác nhau giao tiếp với nhau và với máy một cách tự nhiên, hiệu quả hơn. Có thể nói, các ứng dụng nhận dạng tiếng nói hiện đang dần trở nên phổ biến, phục vụ đời sống con người cũng như trong các lĩnh vực kỹ thuật khác nhau. Trong lĩnh vực tương tác người máy, nhận dạng tiếng nói được định nghĩa là khả năng hệ thống máy tính có thể chấp nhận đầu vào là lời nói theo định dạng file âm thanh và tạo ra được văn bản chứa nội dung tương ứng. Nhận dạng tự động tiếng nói ASR (Automatic Speech Recognition) mô phỏng khả năng nghe và hiểu lời nói của con người.

Hệ thống ASR có thể chuyển đổi lời nói thành văn bản. Bài toán nhận dạng tự động tiếng nói là một chương trình máy tính tiếp nhận đầu vào là các mẫu tiếng nói và tạo ra văn bản tương ứng mà con người có thể hiểu được như khi trực tiếp nghe tiếng nói đó. ASR là một trong các lĩnh vực của nhận dạng mẫu. ASR phát triển mạnh tương xứng với các lĩnh vực khác của nhận dạng mẫu vì mong muốn tạo ra được cỗ máy có khả năng tạo ra được các quyết định phức tạp và thực tế, có chức năng nhanh như con người đồng thời có thể hiểu được lời nói.

Tương tự như bất kỳ hệ thống nhận dạng mẫu nào, ASR tìm kiếm để hiểu được các mẫu tiếng nói đầu vào. Các nghiên cứu về xử lý tín hiệu, xử lý tiếng nói và đặc biệt là nhận dạng tiếng nói đã thu hút nhiều nhà khoa học tham gia và mang lại nhiều thành tựu trong các lĩnh vực này [33, 37, 55, 57, 63, 75, 94, 95, 135]. 19 Mục tiếp theo dưới đây sẽ trình bày tóm lược về lịch sử phát triển và các tiến bộ trong nghiên cứu nhận dạng tiếng nói. Lịch sử phát triển và các tiến bộ trong nghiên cứu nhận dạng tiếng nói Điều đầu tiên quan trọng cần phải kể đến trong lịch sử phát triển của nhận dạng tiếng nói là việc thành lập các mô hình thống kê và các thuật giải liên quan tạo điều kiện cho việc thực hiện các mô hình này.

Mô hình HMM đã được giới thiệu như là một mô hình âm học của hệ thống nhận dạng tiếng nói từ đầu những năm 1970 [12, 82]. Hơn 30 năm sau, phương pháp này vẫn còn được sử dụng rộng rãi. Một lượng lớn các mô hình và thuật giải đã được đề xuất và sử dụng hiệu quả trong lĩnh vực này. Thuật giải tối đa hóa kỳ vọng EM (Expectation Maximization) và thuật giải quay lui (Forward – Backward) hoặc thuật giải Baum – Welch [14, 36] đã có vai trò chủ yếu và quan trọng trong việc huấn luyện mô hình HMM một cách hiệu quả.

Tương tự như vậy, mô hình ngôn ngữ N-gram và các biến thể được huấn luyện với các tính toán cơ bản hoặc sử dụng kỹ thuật EM-Style đã đạt được các hiệu quả quan trọng.