Nhận Dạng Tự Động Tiếng Nói Phát Âm Liên Tục Cho Các Phương Ngữ Chính Của Tiếng Việt

Chuyên khảo phân tích Tự động nhận dạng tiếng nói phát âm liên tục cho các phương ngữ chính của tiếng việt theo phương, đánh giá các khía cạnh quan trọng, đề xuất hướng nghiên cứu

• Tác giả: Phạm Ngọc Hưng
• Người hướng dẫn: PGS. Trịnh Văn Loan
• Trường học: Trường Đại học Bách Khoa Hà Nội
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Nhận Dạng Tự Động Tiếng Nói Phát Âm Liên Tục Cho Các Phương Ngữ Chính Của Tiếng Việt
• Loại tài liệu: luận án tiến sĩ
• Năm xuất bản: 2017
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ NHẬN DẠNG TIẾNG NÓI VÀ NHẬN DẠNG PHƯƠNG NGỮ
• 1.1. Nhận dạng tiếng nói
• 1.2. Tổng quan về nhận dạng tiếng nói
• 1.3. Lịch sử phát triển và các tiến bộ trong nghiên cứu nhận dạng tiếng nói
• 1.4. Các thách thức đối với nhận dạng tự động tiếng nói
• 1.5. Phân loại hệ thống nhận dạng tự động tiếng nói
• 1.6. Nhận dạng phương ngữ. Các mô hình nhận dạng phương ngữ
• 1.7. Nhận dạng phương ngữ theo các phương diện khác nhau. Nghiên cứu nhận dạng tiếng nói và nhận dạng phương ngữ tiếng Việt
• 1.8. Một số mô hình nhận dạng
• 1.8.1. Mô hình GMM
• 1.8.2. Bộ phân lớp SVM
• 1.8.3. Mạng nơ ron nhận tạo
• 1.9. Kết chương
• 2. CHƯƠNG 2: XÂY DỰNG BỘ NGỮ LIỆU CHO NGHIÊN CỨU NHẬN DẠNG PHƯƠNG NGỮ TIẾNG VIỆT
• 2.1. Tổng quan phương ngữ tiếng Việt
• 2.2. Phương ngữ và phân vùng phương ngữ tiếng Việt. Đặc điểm ngữ âm ba vùng phương ngữ chính của tiếng Việt
• 2.3. Sự khác biệt về từ vựng và ngữ nghĩa giữa ba vùng phương ngữ tiếng Việt
• 2.4. Cấu trúc âm tiết, âm vị trong phương ngữ tiếng Việt
• 2.4.1. Âm tiết và âm vị trong tiếng Việt
• 2.4.2. Âm đệm và cách kết hợp âm đệm trong các phương ngữ
• 2.4.3. Phụ âm đầu trong phương ngữ tiếng Việt
• 2.4.4. Hệ thống phụ âm đầu
• 2.4.5. So sánh hệ thống phụ âm đầu ba phương ngữ Bắc-Trung-Nam
• 2.4.6. Hệ thống thanh điệu và các biến thể trong phương ngữ tiếng Việt
• 2.4.6.1. Hệ thống thanh điệu Hà Nội
• 2.4.6.2. Hệ thống thanh điệu Nghệ - Tĩnh và Huế
• 2.4.6.3. Hệ thống thanh điệu Đà Nẵng và Thành phố Hồ Chí Minh
• 2.4.7. Một số nhận xét về hệ thống thanh điệu các phương ngữ
• 2.5. Ảnh hưởng của phương ngữ tới nhận dạng tiếng nói
• 2.6. Ngữ liệu phương ngữ trên thế giới và xây dựng bộ ngữ liệu dùng cho nhận dạng phương ngữ tiếng Việt
• 2.6.1. Phương pháp xây dựng bộ ngữ liệu phương ngữ tiếng Việt
• 2.6.2. Chuẩn bị và chuẩn hóa văn bản
• 2.6.3. Kết quả ghi âm và đặc tính VDSPEC
• 2.6.4. Phân tích một số đặc trưng phương ngữ tiếng Việt của bộ ngữ liệu VDSPEC
• 2.6.5. Biến thiên tần số cơ bản F0 theo thanh điệu của ba phương ngữ
• 2.6.6. Phân tích thống kê phân bố F0 của các thanh điệu
• 2.6.7. Phân tích dữ liệu dùng LDA
• 2.7. Kết chương
• 3. CHƯƠNG 3: NHẬN DẠNG PHƯƠNG NGỮ TIẾNG VIỆT
• 3.1. Nhận dạng phương ngữ tiếng Việt với GMM
• 3.2. Công cụ thử nghiệm nhận dạng phương ngữ ALIZE
• 3.3. Lựa chọn số lượng hệ số MFCC
• 3.4. Thử nghiệm nhận dạng phương ngữ tiếng Việt trong trường hợp kết hợp MFCC với tham số F0
• 3.5. Thử nghiệm nhận dạng phương ngữ tiếng Việt trong trường hợp kết hợp formant, dải thông tương ứng và tham số F0
• 3.6. Ảnh hưởng của số lượng thành phần Gauss đối với hiệu năng nhận dạng phương ngữ tiếng Việt
• 3.7. SVM nhận dạng phương ngữ tiếng Việt
• 3.7.1. Bộ phân lớp SMO
• 3.7.2. Thử nghiệm nhận dạng phương ngữ tiếng Việt sử dụng SMO
• 3.8. lBk nhận dạng phương ngữ tiếng Việt
• 3.8.1. Bộ phân lớp IBk
• 3.8.2. Kết quả nhận dạng phương ngữ tiếng Việt sử dụng IBk
• 3.9. Nhận dạng phương ngữ tiếng Việt với bộ phân lớp MultilayerPerceptron
• 3.9.1. Bộ phân lớp MultilayerPerceptron trong Weka
• 3.9.2. MultilayerPerceptron nhận dạng phương ngữ tiếng Việt
• 3.10. JRip nhận dạng phương ngữ tiếng Việt
• 3.10.1. Bộ phân lớp JRip
• 3.10.2. Nhận dạng phương ngữ tiếng Việt với JRip
• 3.11. Nhận dạng phương ngữ tiếng Việt với PART
• 3.11.1. Bộ phân lớp PART
• 3.11.2. Kết quả dùng PART nhận dạng phương ngữ tiếng Việt
• 3.12. Kết chương
• 4. CHƯƠNG 4: CẢI THIỆN HIỆU NĂNG NHẬN DẠNG TIẾNG VIỆT VỚI THÔNG TIN VỀ PHƯƠNG NGỮ
• 4.1. HMM nhận dạng tiếng Việt nói
• 4.1.1. Mô hình HMM
• 4.1.2. HMM nhận dạng tiếng Việt nói theo ba phương ngữ chính
• 4.2. Cải thiện hiệu năng nhận dạng tiếng Việt nói thông qua sử dụng thông tin phương ngữ
• 4.3. Mô hình nhận dạng tiếng Việt nói với việc sử dụng thông tin phương ngữ
• 4.4. Nhận dạng tiếng Việt nói khi có thông tin phương ngữ
• 4.5. Kết chương
• KẾT LUẬN VÀ KIẾN NGHỊ
• TÀI LIỆU THAM KHẢO
• DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ CỦA LUẬN ÁN

Tóm tắt

I. Tổng Quan Về Nhận Dạng Tiếng Nói Phát Âm Liên Tục ASR

Sự phát triển mạnh mẽ của máy tính đã thúc đẩy nhu cầu đơn giản hóa quá trình sử dụng và tăng hiệu quả khai thác máy tính. Trong bối cảnh đó, xử lý tiếng nói nói chung và nhận dạng tiếng nói nói riêng trở nên quan trọng. Nhiều nghiên cứu trên thế giới đã đạt được thành công, với nhiều sản phẩm ứng dụng thực tế. Tuy nhiên, việc triển khai các sản phẩm ứng dụng nhận dạng tiếng Việt còn nhiều hạn chế, đặc biệt về độ chính xác và chất lượng nhận dạng. Một trong những trở ngại lớn là vấn đề phương ngữ tiếng Việt. Sự khác biệt về từ vựng và ngữ âm giữa các phương ngữ ảnh hưởng đáng kể đến hiệu quả của các hệ thống Nhận dạng giọng nói tiếng Việt. Do đó, việc nghiên cứu Nhận dạng tự động tiếng nói (ASR) theo các vùng phương ngữ khác nhau là cần thiết. Cần có giải pháp kỹ thuật nâng cao hiệu quả nhận dạng tiếng Việt.

1.1. Lịch Sử Phát Triển và Các Tiến Bộ của Nhận Dạng Tiếng Nói

Lịch sử phát triển của công nghệ nhận dạng tiếng nói đã trải qua nhiều giai đoạn, từ những hệ thống đơn giản đến các hệ thống phức tạp sử dụng Deep Learning cho nhận dạng tiếng nói. Các tiến bộ trong mô hình ngôn ngữ tiếng Việt và giải thuật nhận dạng tiếng nói đã đóng góp vào việc cải thiện đáng kể độ chính xác. Tuy nhiên, các hệ thống hiện tại vẫn gặp khó khăn khi xử lý tiếng địa phương Việt Nam. Việc thu thập và sử dụng dữ liệu huấn luyện tiếng Việt đa dạng, bao gồm cả các phương ngữ, là yếu tố quan trọng để nâng cao hiệu suất.

1.2. Các Thách Thức Đối Với Nhận Dạng Tự Động Tiếng Việt Phương Ngữ

Nhận dạng tiếng Việt đối mặt với nhiều thách thức, bao gồm sự đa dạng về phương ngữ tiếng Việt, âm vị học tiếng Việt phức tạp và ảnh hưởng của môi trường ồn ào. Sự khác biệt về từ vựng và phát âm giữa các phương ngữ, như sự biến đổi phụ âm cuối "nh" và "ch" trong phương ngữ Nam, gây khó khăn cho các hệ thống ASR. Theo Phạm Ngọc Hưng, sự khác biệt này "gây ra không ít khó khăn cho ngay chính con người khi giao tiếp với người sử dụng phương ngữ khác". Do đó, cần có các mô hình và giải thuật nhận dạng tiếng nói có khả năng thích ứng với các biến thể phương ngữ.

II. Xây Dựng Bộ Ngữ Liệu Tiếng Việt Cho Nhận Dạng Phương Ngữ

Để nghiên cứu Nhận dạng tự động tiếng nói, việc xây dựng một bộ ngữ liệu phương ngữ tiếng Việt chất lượng cao là vô cùng quan trọng. Bộ ngữ liệu này cần đại diện cho các phương ngữ chính của tiếng Việt, bao gồm phương ngữ Bắc, Trung và Nam. Cần thu thập dữ liệu từ nhiều nguồn khác nhau, đảm bảo sự đa dạng về độ tuổi, giới tính và vùng miền của người nói. Việc chuẩn hóa văn bản và ghi âm cũng cần được thực hiện cẩn thận để đảm bảo tính nhất quán và chính xác của dữ liệu. Phân tích các đặc trưng âm vị học tiếng Việt của bộ ngữ liệu, như biến thiên tần số cơ bản F0 theo thanh điệu, là bước quan trọng để hiểu rõ sự khác biệt giữa các phương ngữ.

2.1. Tổng Quan Về Phương Ngữ Tiếng Việt Phân Vùng và Đặc Điểm

Tiếng Việt có nhiều phương ngữ, được phân chia thành các vùng phương ngữ chính như Bắc, Trung và Nam. Mỗi phương ngữ có những đặc điểm riêng về từ vựng, ngữ âm và ngữ điệu. Sự khác biệt về ngữ âm là yếu tố quan trọng để phân biệt các phương ngữ. Ví dụ, phương ngữ Nam có xu hướng biến đổi các phụ âm cuối "nh" và "ch" thành "n" và "t", trong khi phương ngữ Bắc giữ nguyên các phụ âm này. Nghiên cứu của Phạm Ngọc Hưng chỉ ra rằng việc nắm bắt đặc điểm xử lý ngôn ngữ tự nhiên tiếng Việt là rất quan trọng khi phát triển các hệ thống ASR đa phương ngữ.

2.2. Cấu Trúc Âm Tiết Âm Vị Trong Phương Ngữ Tiếng Việt So Sánh

Cấu trúc âm tiết và âm vị trong tiếng Việt có sự khác biệt giữa các phương ngữ. Sự khác biệt này thể hiện ở âm đệm, phụ âm đầu và hệ thống thanh điệu. Ví dụ, cách kết hợp âm đệm /w/ với các nguyên âm có sự khác biệt giữa phương ngữ Bắc và phương ngữ Trung. So sánh hệ thống phụ âm đầu giữa các phương ngữ cũng cho thấy những biến đổi nhất định. Việc phân tích chi tiết cấu trúc âm tiết và âm vị là cần thiết để xây dựng các mô hình âm học (AM) hiệu quả cho từng phương ngữ.

2.3. Ảnh Hưởng Của Phương Ngữ Tới Nhận Dạng Tiếng Nói Phân Tích

Phương ngữ có ảnh hưởng đáng kể đến hiệu năng của các hệ thống ASR tiếng Việt. Sự khác biệt về phát âm và từ vựng có thể làm giảm độ chính xác của hệ thống. Việc sử dụng một mô hình âm học duy nhất cho tất cả các phương ngữ có thể không hiệu quả. Do đó, cần có các mô hình âm học riêng biệt cho từng phương ngữ hoặc các phương pháp thích ứng mô hình để giảm thiểu ảnh hưởng của phương ngữ. Phân tích thống kê sự phân bố F0 của các thanh điệu là một cách để định lượng sự khác biệt giữa các phương ngữ.

III. Phương Pháp Nhận Dạng Phương Ngữ Tiếng Việt Sử Dụng Mô Hình GMM

Một trong những phương pháp phổ biến để nhận dạng phương ngữ tiếng Việt là sử dụng mô hình hỗn hợp Gauss (GMM). GMM là một mô hình thống kê mạnh mẽ có thể mô hình hóa sự phân bố phức tạp của dữ liệu. Trong nhận dạng phương ngữ, GMM được sử dụng để mô hình hóa các đặc trưng âm học của từng phương ngữ. Các đặc trưng này thường là các hệ số Mel Frequency Cepstral Coefficients (MFCC) và các tham số liên quan đến tần số cơ bản (F0). Việc lựa chọn số lượng thành phần Gauss và các tham số MFCC phù hợp là quan trọng để đạt được hiệu năng nhận dạng tốt.

3.1. Nhận Dạng Phương Ngữ Tiếng Việt Với GMM Quy Trình Thực Hiện

Quy trình nhận dạng phương ngữ tiếng Việt với GMM bao gồm các bước sau: thu thập dữ liệu huấn luyện cho từng phương ngữ, trích xuất các đặc trưng âm học (MFCC, F0) từ dữ liệu, huấn luyện một mô hình GMM cho mỗi phương ngữ bằng cách sử dụng dữ liệu huấn luyện, và sử dụng các mô hình GMM đã huấn luyện để phân loại các mẫu tiếng nói mới vào phương ngữ tương ứng. Độ chính xác của hệ thống phụ thuộc vào chất lượng dữ liệu huấn luyện, lựa chọn đặc trưng và tham số mô hình.

3.2. Thử Nghiệm Nhận Dạng Phương Ngữ Tiếng Việt MFCC và F0

Các thử nghiệm nhận dạng phương ngữ tiếng Việt sử dụng GMM đã được thực hiện với nhiều cấu hình khác nhau. Kết quả cho thấy rằng việc kết hợp các hệ số MFCC với tham số F0 cải thiện đáng kể hiệu năng nhận dạng. Việc sử dụng các giá trị chuẩn hóa từ F0 cũng mang lại kết quả tốt hơn so với việc sử dụng F0 trực tiếp. Ảnh hưởng của số lượng thành phần Gauss đối với hiệu năng nhận dạng cũng đã được nghiên cứu, cho thấy rằng có một số lượng thành phần Gauss tối ưu để đạt được hiệu năng tốt nhất.

IV. SVM và Các Bộ Phân Lớp Khác Cho Nhận Dạng Phương Ngữ Tiếng Việt

Ngoài GMM, các thuật toán Machine Learning cho nhận dạng tiếng nói khác như Support Vector Machines (SVM), lBk, Multilayer Perceptron, JRip và PART cũng được sử dụng để nhận dạng phương ngữ tiếng Việt. SVM là một thuật toán phân loại mạnh mẽ có khả năng xử lý dữ liệu phi tuyến tính. Các bộ phân lớp khác như lBk, Multilayer Perceptron, JRip và PART cũng có những ưu điểm riêng và có thể được sử dụng để cải thiện hiệu năng nhận dạng.

4.1. SVM Nhận Dạng Phương Ngữ Tiếng Việt Bộ Phân Lớp SMO

SVM đã chứng minh được hiệu quả trong việc phân loại các phương ngữ tiếng Việt. Sử dụng bộ phân lớp SMO (Sequential Minimal Optimization) với các tham số MFCC, kết quả cho thấy độ chính xác khá cao. Tuy nhiên, cần lưu ý rằng hiệu suất có thể thay đổi tùy thuộc vào việc có sử dụng thông tin liên quan trực tiếp đến F0 hay không. Ma trận sai nhầm cho thấy sự nhầm lẫn giữa các phương ngữ khác nhau.

4.2. lBk Nhận Dạng Phương Ngữ Tiếng Việt Thuật Giải k Láng Giềng Gần Nhất

Thuật giải k-láng giềng gần nhất (k-NN) được triển khai qua bộ phân lớp IBk cũng được áp dụng để nhận dạng phương ngữ. Kết quả cho thấy hiệu năng của IBk phụ thuộc vào giá trị của k (số lượng láng giềng gần nhất). Khi k = 1, độ chính xác có thể cao hơn so với khi k = 5, nhưng có thể dễ bị ảnh hưởng bởi nhiễu. Ma trận sai nhầm cung cấp thông tin chi tiết về sự nhầm lẫn giữa các phương ngữ.

4.3. MultilayerPerceptron và Các Bộ Phân Lớp JRip PART Đánh Giá

MultilayerPerceptron (mạng nơ-ron nhiều lớp) cũng được sử dụng để nhận dạng phương ngữ. Kết quả cho thấy MultilayerPerceptron có thể đạt được độ chính xác cao. Các bộ phân lớp JRip và PART, dựa trên luật, cũng được thử nghiệm để nhận dạng phương ngữ. So sánh kết quả giữa các bộ phân lớp cho thấy sự khác biệt về hiệu năng và đặc điểm, cho phép lựa chọn phương pháp phù hợp nhất cho từng ứng dụng.

V. Cải Thiện Hiệu Năng Nhận Dạng Tiếng Việt Bằng Thông Tin Phương Ngữ

Thông tin về phương ngữ có thể được sử dụng để cải thiện hiệu năng của các hệ thống Nhận dạng giọng nói tiếng Việt. Một cách tiếp cận là xây dựng các mô hình âm học (AM) riêng biệt cho từng phương ngữ. Một cách khác là sử dụng các phương pháp thích ứng mô hình để điều chỉnh các mô hình âm học chung cho phù hợp với từng phương ngữ. Việc sử dụng thông tin phương ngữ có thể giúp giảm thiểu ảnh hưởng của sự khác biệt về phát âm và từ vựng, từ đó cải thiện độ chính xác của hệ thống ASR tiếng Việt.

5.1. HMM Nhận Dạng Tiếng Việt Nói Mô Hình HMM và Phương Ngữ

Mô hình Markov ẩn (HMM) là một mô hình thống kê phổ biến được sử dụng trong Nhận dạng giọng nói tiếng Việt. Để cải thiện hiệu năng, có thể xây dựng các mô hình HMM riêng biệt cho từng phương ngữ. Điều này cho phép mô hình hóa chính xác hơn các đặc điểm phát âm của từng phương ngữ. Các thử nghiệm cho thấy rằng việc sử dụng các mô hình HMM theo phương ngữ giúp cải thiện đáng kể độ chính xác.

5.2. Mô Hình Nhận Dạng Tiếng Việt Nói Sử Dụng Thông Tin Phương Ngữ

Việc sử dụng thông tin phương ngữ trong mô hình nhận dạng tiếng Việt nói có thể được thực hiện bằng cách kết hợp thông tin phương ngữ vào quá trình huấn luyện mô hình hoặc bằng cách sử dụng một mô hình phân loại phương ngữ để xác định phương ngữ của người nói trước khi thực hiện nhận dạng. Kết quả cho thấy rằng việc sử dụng thông tin phương ngữ giúp cải thiện đáng kể độ chính xác của hệ thống ASR.

VI. Kết Luận và Hướng Phát Triển Nhận Dạng Tiếng Nói Phát Âm Liên Tục

Luận án đã nghiên cứu sâu về vấn đề Nhận dạng tự động tiếng nói phát âm liên tục cho các phương ngữ tiếng Việt, đánh giá ảnh hưởng của phương ngữ đến hiệu năng của hệ thống nhận dạng và đề xuất giải pháp kỹ thuật nhận dạng phương ngữ áp dụng vào hệ thống nhận dạng tiếng Việt nói. Kết quả nghiên cứu cho thấy rằng việc учитывать thông tin phương ngữ có thể cải thiện đáng kể độ chính xác của hệ thống. Trong tương lai, cần tiếp tục nghiên cứu các phương pháp thích ứng mô hình tiên tiến hơn và xây dựng các bộ ngữ liệu lớn hơn và đa dạng hơn để nâng cao hiệu năng của các hệ thống Speech Recognition tiếng Việt.

6.1. Tóm Tắt Kết Quả Nghiên Cứu và Đóng Góp Của Luận Án

Luận án đã thành công trong việc xây dựng bộ ngữ liệu VDSPEC (Vietnamese Dialect Speech Corpus), phân tích đặc điểm ngữ âm của các phương ngữ chính và đề xuất các phương pháp nhận dạng phương ngữ hiệu quả. Các kết quả nghiên cứu này đóng góp vào việc phát triển các hệ thống ASR tiếng Việt chính xác hơn và phù hợp hơn với người dùng.

6.2. Kiến Nghị và Hướng Nghiên Cứu Tương Lai Cho Nhận Dạng Tiếng Nói

Trong tương lai, cần tập trung vào việc nghiên cứu các mô hình Deep Learning cho nhận dạng tiếng nói có khả năng thích ứng với phương ngữ, sử dụng các phương pháp chuyển giọng nói thành văn bản tiếng Việt và phát triển các ứng dụng ứng dụng nhận dạng tiếng nói tiếng Việt trong các lĩnh vực như giáo dục, y tế và dịch vụ khách hàng.

Trích đoạn nội dung tài liệu

Chương 1 cũng tổng hợp các nghiên cứu liên quan về nhận dạng tiếng Việt và phương ngữ tiếng Việt, nêu bật những mặt còn tồn tại, những vấn đề cần giải quyết đối với nhận dạng tiếng Việt và phương ngữ tiếng Việt từ đó tìm hướng tiếp cận nhằm nâng cao hiệu năng cho hệ thống nhận dạng tiếng Việt nói. Nhận dạng tiếng nói 1. Tổng quan về nhận dạng tiếng nói Nhiệm vụ của hệ thống nhận dạng tiếng nói là làm cho hệ thống hiểu được tiếng nói của con người. Nhờ hệ thống này, tiếng nói có thể được chuyển đổi tự động thành văn bản, hoặc tự động điều khiển các quá trình khác [178].

Phương thức truyền thông tự nhiên nhất đối với con người là thông qua tiếng nói nên ước mơ cuối cùng của nhận dạng tiếng nói là cho phép con người có ngôn ngữ khác nhau giao tiếp với nhau và với máy một cách tự nhiên, hiệu quả hơn. Có thể nói, các ứng dụng nhận dạng tiếng nói hiện đang dần trở nên phổ biến, phục vụ đời sống con người cũng như trong các lĩnh vực kỹ thuật khác nhau. Trong lĩnh vực tương tác người máy, nhận dạng tiếng nói được định nghĩa là khả năng hệ thống máy tính có thể chấp nhận đầu vào là lời nói theo định dạng file âm thanh và tạo ra được văn bản chứa nội dung tương ứng. Nhận dạng tự động tiếng nói ASR (Automatic Speech Recognition) mô phỏng khả năng nghe và hiểu lời nói của con người.

Hệ thống ASR có thể chuyển đổi lời nói thành văn bản. Bài toán nhận dạng tự động tiếng nói là một chương trình máy tính tiếp nhận đầu vào là các mẫu tiếng nói và tạo ra văn bản tương ứng mà con người có thể hiểu được như khi trực tiếp nghe tiếng nói đó. ASR là một trong các lĩnh vực của nhận dạng mẫu. ASR phát triển mạnh tương xứng với các lĩnh vực khác của nhận dạng mẫu vì mong muốn tạo ra được cỗ máy có khả năng tạo ra được các quyết định phức tạp và thực tế, có chức năng nhanh như con người đồng thời có thể hiểu được lời nói.

Tương tự như bất kỳ hệ thống nhận dạng mẫu nào, ASR tìm kiếm để hiểu được các mẫu tiếng nói đầu vào. Các nghiên cứu về xử lý tín hiệu, xử lý tiếng nói và đặc biệt là nhận dạng tiếng nói đã thu hút nhiều nhà khoa học tham gia và mang lại nhiều thành tựu trong các lĩnh vực này [33, 37, 55, 57, 63, 75, 94, 95, 134]. 18 Luận án tiến sĩ Hệ thống thông tin Mục tiếp theo dưới đây sẽ trình bày tóm lược về lịch sử phát triển và các tiến bộ trong nghiên cứu nhận dạng tiếng nói. Lịch sử phát triển và các tiến bộ trong nghiên cứu nhận dạng tiếng nói Điều đầu tiên quan trọng cần phải kể đến trong lịch sử phát triển của nhận dạng tiếng nói là việc thành lập các mô hình thống kê và các thuật giải liên quan tạo điều kiện cho việc thực hiện các mô hình này.

Mô hình HMM đã được giới thiệu như là một mô hình âm học của hệ thống nhận dạng tiếng nói từ đầu những năm 1970 [12, 82]. Hơn 30 năm sau, phương pháp này vẫn còn được sử dụng rộng rãi. Một lượng lớn các mô hình và thuật giải đã được đề xuất và sử dụng hiệu quả trong lĩnh vực này. Thuật giải tối đa hóa kỳ vọng EM (Expectation Maximization) và thuật giải quay lui (Forward – Backward) hoặc thuật giải Baum – Welch [14, 36] đã có vai trò chủ yếu và quan trọng trong việc huấn luyện mô hình HMM một cách hiệu quả.

Tương tự như vậy, mô hình ngôn ngữ N-gram và các biến thể được huấn luyện với các tính toán cơ bản hoặc sử dụng kỹ thuật EM-Style đã đạt được các hiệu quả quan trọng. Bên cạnh mô hình âm học HMM và mô hình ngôn ngữ cơ bản N-gram, đã có nghiên cứu mới được công bố như các mô hình phân đoạn [38, 39, 60] và các mô hình ngôn ngữ và tiếng nói có cấu trúc [27, 40, 175]. Các thuật giải thích nghi hiệu quả cho phép tích hợp được trên các ứng dụng đòi hỏi xử lý nhanh. Đây là chìa khóa dẫn đến thành công cho việc phát triển các sản phẩm thương mại của công nghệ nhận dạng tiếng nói.

Các kỹ thuật thích nghi phổ biến có thể kể đến là tối đa xác suất hậu nghiệm MAP (Maximum a Posteriori probability), ước lượng MLLR (Estimation và Maximum Likelihood Linear Regression) [96]. Các kỹ thuật thích nghi đã được tổng quát hóa để huấn luyện các mô hình chung, một đại diện tốt trong số đó có thể kể đến là mô hình thống kê toàn thể của tập dữ liệu huấn luyện đầy đủ. Kỹ thuật này được gọi là kỹ thuật huấn luyện thích nghi người nói SAT (Speaker Adaptive Training) [9]. Huang cùng cộng sự đã có nghiên cứu so sánh các phương pháp nhận dạng độc lập người nói, nhận dạng phụ thuộc người nói và nhận dạng thích nghi người nói [74].

Kết quả nghiên cứu này cho thấy: khi nhận dạng độc lập người nói, tỷ lệ lỗi từ đạt 4,3%, còn khi sử dụng dữ liệu phụ thuộc người nói, tỷ lệ lỗi từ đã giảm đến 1,4%. Trong các thử nghiệm, nhóm tác giả đều áp dụng phương pháp thich nghi người nói. Nhóm thứ hai trong những tiến bộ đáng kể của lĩnh vực xử lý tiếng nói là sự hình thành cơ sở hạ tầng tính toán mạnh về phần cứng cho phép phát triển được các thuật giải, mô hình thống kê nêu trên. Định luật Moore quan sát sự tiến bộ trong lĩnh vực phát triển của máy tính và dự báo khả năng tính toán tăng gấp đôi sau mỗi khoảng thời gian từ 12 đến 18 tháng.

Cũng như vậy, chi phí cho bộ nhớ sẽ được giảm đi. Cơ sở hạ tầng mạnh nói trên là phương tiện cho phép các nhà nghiên cứu về nhận dạng tiếng nói có thể phát triển và đánh giá độ phức tạp các thuật giải trên các tác vụ đủ lớn. Ngữ liệu tiếng nói đóng vai trò quan trọng để thực hiện các nghiên cứu nhận dạng tiếng nói. Ngữ liệu tiếng nói lớn cho phép các mô hình thống kê học hiệu quả hơn.

Trong những năm qua, Viện Tiêu chuẩn và 19 Luận án tiến sĩ Hệ thống thông tin Công nghệ NIST (National Institute of Standard and Technology), Hiệp hội dữ liệu ngôn ngữ học LDC (Linguistic Data Consortium), Hiệp hội Tài nguyên Ngôn ngữ châu Âu ELRA (European Language Resources Association) và các tổ chức khác đã xây dựng được các bộ ngữ liệu tiếng nói, chú giải và chia sẻ rộng rãi cho cộng đồng trên toàn thế giới. Với sự phát triển, hội nhập và chia sẻ trên phạm vi toàn cầu, hiện nay, nhiều phòng thí nghiệm, các nhà nghiên cứu đã được hưởng lợi ích từ các công cụ phục vụ cho nghiên cứu được cung cấp miễn phí như HTK (Hidden Markov Model Toolkit), Sphinx, CMU LM toolkit và SRILM toolkit. Mặt khác, các hỗ trợ cho nghiên cứu sâu, rộng, kết hợp với các hội nghị, hội thảo, hệ thống đánh giá được DARPA (U. Department of Defense Advanced Research Projects Agency) và các tổ chức, cá nhân khác tài trợ đã trở nên cần thiết cho sự phát triển hệ thống nhận dạng tiếng nói hiện nay.

Nhóm tiến bộ thứ 3 có thể kể đến thuộc về lĩnh vực biểu diễn tri thức. Các kỹ thuật phân tích tham số tiếng nói như MFCC (Mel-Frequency Cepstral Coefficients) [35], tiên đoán cảm thụ tuyến tính PLP (Perceptual Linear Prediction) [70], chuẩn hóa thông qua trừ trung bình cepstral CMS (Cepstral Mean Subtraction) [138], RASTA [70] và chuẩn hóa chiều dài tuyến âm VTLN (Vocal Tract Length Normalization) [42]. Gần đây, có nhiều thuật giải đã được đề xuất cho nhận dạng tiếng nói mang lại hiệu quả cao như Phân tích phân biệt tuyến tính hiệp phương sai không đồng nhất HLDA (Heteroscedastic Linear Discriminant Analysis) [90], cực tiểu lỗi từ theo không gian đặc trưng fMPE (feature-space Minimum Phone Error) [131] và mạng nơ ron dựa trên các đặc trưng [111]. Nhóm cuối cùng trong các tiến bộ lớn của nhận dạng tiếng nói là giải mã và các thuật giải tìm kiếm.

Ban đầu tập trung vào giải mã ngăn xếp (thuật giải tìm kiếm A∗) [84] và tìm kiếm đồng bộ thời gian Viterbi (time-synchronous Viterbi search) [114, 142, 168, 170]. Nếu không có các thuật giải khả thi thì các nhận dạng tiếng nói liên tục có quy mô lớn khó có thể thực hiện được. Như vậy có thể thấy, nhận dạng tiếng nói đã đạt được nhiều tiến bộ trong các năm qua. Có nhiều mô hình nhận dạng đã được đề xuất trong đó mô hình HMM với nền tảng chính không có nhiều thay đổi song việc mô hình hóa, các kỹ thuật cài đặt cụ thể vẫn liên tục được cải tiến.

Vì thế, HMM vẫn giữ được vị trí quan trọng trong các hệ thống nhận dạng tiếng nói. Bên cạnh đó, các kỹ thuật phân tích tham số cũng đạt được những bước tiến quan trọng. Các thuật giải tìm kiếm được cải tiến giúp bộ giải mã thực hiện các nhiệm vụ tìm kiếm, cho ra lời giải hiệu quả hơn. Các thách thức đối với nhận dạng tự động tiếng nói Vì có nhiều ý nghĩa trong nghiên cứu cũng như thực tiễn ứng dụng, nhận dạng tiếng nói đã thu hút nhiều nhà khoa học tham gia nhưng lĩnh vực này cũng phải đối mặt với nhiều thách thức.

Thách thức lớn đầu tiên đối với nhận dạng tự động tiếng nói có thể kể đến là làm thế nào để xử lý được các biến thiên trong tiếng nói. Cùng một âm do cùng một người nói ở những thời điểm khác nhau song tín hiệu tiếng nói có thể không hoàn toàn như nhau. 20 Luận án tiến sĩ Hệ thống thông tin Trong các hệ thống nhận dạng tiếng nói phụ thuộc người nói, sự khác biệt của tiếng nói thường không lớn so với hệ thống nhận dạng độc lập người nói. Ngay cả khi tiếng nói được giới hạn bởi một người nói thì sự thay đổi về môi trường ghi âm, điều kiện nói, thiết bị ghi âm.

vẫn là tồn tại khách quan tạo ra sự khác biệt trong tín hiệu tiếng nói cần nhận dạng. Thách thức lớn khác đối với ASR là phải giải quyết bài toán nhận dạng nhầm, khi mà hệ thống thường phải đối mặt với thực tế là tiếng nói cần nhận dạng không hoàn toàn theo đúng với tiếng nói đã được huấn luyện. Trong ASR, một số người nói thường sẽ đọc các văn bản đã được chọn từ trước và sử dụng tiếng nói thu được theo cách đó để xây dựng các mô hình. Độ chính xác của ASR thường tỷ lệ với sự tương tự giữa dữ liệu huấn luyện và dữ liệu thử nghiệm.