I. Tổng Quan Về Hệ Thống Nhận Dạng Tiếng Nói Tiếng Việt
Nhận dạng tiếng nói tự động (Automatic Speech Recognition - ASR) từ lâu đã là mục tiêu nghiên cứu quan trọng. Nhờ sự phát triển vượt bậc của khoa học công nghệ, ước mơ này đang trở thành hiện thực. Trong công nghiệp và đời sống, có nhiều ứng dụng cần đến ASR như giao tiếp với máy tính bằng giọng nói, hệ thống điều khiển tự động hỗ trợ người khuyết tật, quay số điện thoại bằng giọng nói,... Hiện nay, nhiều sản phẩm công nghệ đã tích hợp ASR, ví dụ như phần mềm Office của Microsoft. Các phiên bản gần đây đã tích hợp khả năng nhập liệu bằng giọng nói hỗ trợ người khuyết tật, các điện thoại di động đời mới cũng có chức năng quay số bằng giọng nói. Những sản phẩm này được nghiên cứu và phát triển từ lâu và hoạt động với độ chính xác tương đối cao, sử dụng các cơ sở dữ liệu tương đối hoàn chỉnh (chủ yếu là tiếng Anh, tiếng Pháp,...). Tại Việt Nam, hướng nghiên cứu và phát triển các hệ thống nhận dạng tiếng nói đang phát triển mạnh mẽ. Tuy nhiên, ngôn ngữ tiếng Việt có những đặc thù riêng biệt so với nhiều ngôn ngữ khác trên thế giới, nên việc chọn lựa cách tiếp cận và giải quyết bài toán nhận dạng sao cho phù hợp là một vấn đề quan trọng và tương đối khó khăn. Luận văn này được thực hiện nhằm đưa ra một số vấn đề cơ bản khi bắt đầu xây dựng một hệ thống nhận dạng tiếng nói tiếng Việt và đưa ra cách giải quyết cho bài toán nhận dạng tiếng nói tiếng Việt liên tục ở mức độ âm học. Công cụ được sử dụng là HTK, một công cụ về chuỗi Markov ẩn được sử dụng rất nhiều trong nghiên cứu nhận dạng tiếng nói tại các phòng thí nghiệm trên thế giới. Điều này rất quan trọng để chúng ta có thể phát triển được một hệ thống nhận dạng tiếng nói hiệu quả.
1.1. Khái niệm và phân loại hệ thống nhận dạng tiếng nói
Nhận dạng tiếng nói là quá trình làm cho máy tính hiểu và nhận biết được ngữ nghĩa của lời nói. Về bản chất, đây là quá trình chuyển đổi tín hiệu âm thanh thu được qua micro, đường dây điện thoại hoặc các thiết bị thu âm khác thành một chuỗi các từ. Kết quả có thể được sử dụng trong các ứng dụng điều khiển thiết bị, nhập dữ liệu, soạn thảo văn bản bằng lời nói hoặc được đưa đến một quá trình xử lý ngôn ngữ mức cao hơn. Các hệ thống nhận dạng tiếng nói có thể được phân thành các loại như sau: Hệ thống nhận dạng các từ rời rạc/liên tục. Hệ thống nhận dạng có từ điển nhỏ (vài trăm từ)/từ điển lớn (hàng nghìn từ). Nhận dạng tiếng nói ở mức độ âm học/câu, v.v. Điều này cho thấy sự đa dạng và phức tạp của lĩnh vực nhận dạng tiếng nói.
1.2. Các thành phần cơ bản của hệ thống ASR
Một hệ thống nhận dạng tiếng nói điển hình bao gồm các phần tử cơ bản sau: Cơ sở dữ liệu tiếng nói, mô hình âm học, mô hình từ vựng, mô hình ngôn ngữ, tín hiệu tiếng nói, phân tích xác định đặc tính, tìm kiếm, và đầu ra là câu được nhận dạng. Tín hiệu tiếng nói sau khi số hóa được đưa vào bộ Phân tích xác định đặc tính để chuyển thành một tập các vector tham số đặc trưng với các phân đoạn tiếng nói có độ dài khoảng 10 – 30ms. Các đặc tính này được đưa vào bộ Tìm kiếm để tìm kiếm các từ gần nhất với một số điều kiện ràng buộc về âm học, từ vựng và ngữ pháp. Cơ sở dữ liệu tiếng nói được sử dụng trong quá trình huấn luyện để xác định các tham số hệ thống.
II. Phương Pháp Phân Tích Tham Số Đặc Trưng Tiếng Nói
Trong các lĩnh vực xử lý tiếng nói như nhận dạng, tổng hợp, mã hóa đều cần phải phân tích tham số tiếng nói. Có nhiều phương pháp phân tích tham số của tiếng nói như LPC, MFCC, PLP … Tuy nhiên phương pháp phân tích MFCC có nhiều ưu điểm, và là phương pháp hay được sử dụng nhất. Vì vậy phần này sẽ mô tả hàm năng lượng thời gian ngắn, và phương pháp phân tích cepstral theo thang đo mel để tính các hệ số MFCC (Mel frequency Cepstral Coefficient) thông qua việc sử dụng một dãy các băng lọc (filter bank) để trích chọn tham số của tiếng nói. Hệ số MFCC là một trong những phương pháp trích xuất đặc trưng hiệu quả nhất cho nhận dạng tiếng nói.
2.1. Hàm năng lượng thời gian ngắn Short Time Energy
Khái niệm cơ bản trong phân tích tín hiệu tiếng nói là phân tích thời gian ngắn (short time analysis). Trong khoảng thời gian dài, tín hiệu tiếng nói là không dừng, nhưng trong khoảng thời gian đủ ngắn (10 - 30 ms) thì tiếng nói được coi là dừng (ổn định về các thông số như năng lượng, tần số, tín hiệu...). Do đó, thông thường trong các ứng dụng xử lý tiếng nói người ta thường chia tiếng nói thành nhiều đoạn có thời gian bằng nhau gọi là các khung (frame), mỗi khung có độ dài khoảng từ 10 đến 30ms. Hàm năng lượng thời gian ngắn của tín hiệu tiếng nói được tính bằng cách chia tín hiệu tiếng nói thành các khung, mỗi khung dài N mẫu. Mỗi khung này được nhân với một hàm cửa sổ W(n) và với hàm cửa sổ bắt đầu ở mẫu thứ m thì hàm năng lượng ngắn hạn Em được định nghĩa như sau. Hàm cửa sổ thường được sử dụng là cửa sổ hình chữ nhật. Hàm năng lượng thời gian ngắn được sử dụng để phát hiện điểm đầu và điểm cuối của tín hiệu tiếng nói. Nó cũng được sử dụng cùng với các hệ số MFCC để tạo thành một tập tham số đặc trưng cho một tín hiệu tiếng nói.
2.2. Hệ số MFCC Mel Frequency Cepstral Coefficients
Trong lĩnh vực nhận dạng tiếng nói, có một phương pháp trích chọn tham số tiếng nói khác được sử dụng khá rộng rãi bởi tính hiệu quả của nó, đó là phương pháp tính các hệ số MFCC thông qua việc phân tích cepstral theo thang đo mel. Phương pháp này được xây dựng dựa trên sự biến đổi cảm nhận của tai người đối với các dải tần số khác nhau. Đối với các tần số thấp (dưới 100Hz) thì độ cảm nhận là tuyến tính, còn đối với các tần số cao, thì độ biến thiên là theo hàm logarit. Các băng lọc tuyến tính ở tần số thấp và biến thiên theo hàm logarit ở tần số cao sẽ được sử dụng để trích chọn các đặc trưng âm học quan trọng của tiếng nói. Mô hình tính toán các hệ số MFCC bao gồm các bước: Lọc hiệu chỉnh (Pre-emphasis), phân khung (Frame Blocking), lấy cửa sổ (Windowing), biến đổi Fourier rời rạc (FFT), biến đổi sang thang đo Mel trên miền tần số, biến đổi cosine rời rạc (DCT), cepstral có trọng số, và đạo hàm các hệ số MFCC theo thời gian. Điều này giúp trích xuất các đặc trưng một cách chính xác nhất.
III. Các Kỹ Thuật Nhận Dạng Tiếng Nói Phổ Biến Hiện Nay
Hiện nay có 3 kỹ thuật phổ biến được sử dụng trong hệ thống nhận dạng tiếng nói đó là: Kỹ thuật nhận dạng tiếng nói theo âm học - âm vị học (The acoustic - phonetic approach), Kỹ thuật nhận dạng tiếng nói theo nhận dạng mẫu (The pattern recognition approach), Kỹ thuật nhận dạng tiếng nói sử dụng mạng trí tuệ nhân tạo (Artificial Intelligence Approache). Mỗi kỹ thuật đều có những ưu điểm và nhược điểm riêng và phù hợp với các ứng dụng khác nhau. Việc lựa chọn kỹ thuật phù hợp là rất quan trọng để đạt được hiệu quả cao trong nhận dạng tiếng nói.
3.1. Kỹ thuật nhận dạng tiếng nói theo âm học âm vị học
Kỹ thuật này dựa trên lý thuyết về âm học - âm vị học cho rằng tồn tại các đơn vị ngữ âm xác định có tính phân biệt trong lời nói và các đơn vị ngữ âm đó được đặc trưng bởi một tập các đặc tính tín hiệu tiếng nói. Bước đầu tiên trong nhận dạng tiếng nói theo kỹ thuật này là phân đoạn và gán nhãn. Bước này chia tín hiệu tiếng nói thành các đoạn có đặc tính âm học đặc trưng cho một (hoặc một vài) đơn vị ngữ âm, đồng thời gán nhãn cho mỗi đoạn âm thanh đó một hay nhiều nhãn ngữ âm phù hợp. Bước tiếp theo (bước nhận dạng) dựa trên một số điều kiện ràng buộc về từ vựng, ngữ pháp … để xác định ra một từ hoặc một chuỗi từ đúng trong số một chuỗi các nhãn ngữ âm được tạo ra sau bước thứ nhất. Hệ thống này đòi hỏi người thiết kế phải có kiến thức sâu rộng về âm học và âm vị học. Sự phân tích các khối ngữ âm còn mang tính trực giác, khó chính xác. Sự phân loại theo các khối âm thường không tối ưu do khó sử dụng các công cụ toán học để phân tích.
3.2. Kỹ thuật nhận dạng tiếng nói theo mẫu Pattern Recognition
Kỹ thuật này không cần xác định đặc tính âm học hay phân đoạn tiếng nói mà sử dụng trực tiếp các mẫu tín hiệu tiếng nói trong quá trình nhận dạng. Các hệ thống nhận dạng tiếng nói xây dựng theo kỹ thuật này được phát triển dựa trên lý thuyết thống kê về nhận dạng mẫu. Ý tưởng cơ bản của phương pháp này là coi mỗi từ hoặc mỗi câu là một mẫu riêng biệt và sau đó sử dụng các thuật toán để so sánh mẫu tiếng nói đầu vào với các mẫu đã được lưu trữ trong cơ sở dữ liệu. Các thuật toán so sánh mẫu thường được sử dụng bao gồm: Dynamic Time Warping (DTW), Hidden Markov Models (HMM), và Artificial Neural Networks (ANN). Kỹ thuật này thường được sử dụng cho các hệ thống nhận dạng tiếng nói có từ vựng nhỏ và yêu cầu độ chính xác cao.
IV. Ứng Dụng HTK Nhận Dạng Tiếng Việt Liên Tục Mức Âm Học
HTK (HMM Toolkit) là một bộ công cụ mạnh mẽ để xây dựng các hệ thống nhận dạng tiếng nói dựa trên mô hình Markov ẩn (HMM). HTK cung cấp các công cụ để huấn luyện các mô hình HMM từ dữ liệu tiếng nói, cũng như để nhận dạng tiếng nói bằng cách sử dụng các mô hình đã được huấn luyện. Trong chương này, chúng ta sẽ tìm hiểu cách sử dụng HTK để xây dựng một hệ thống nhận dạng tiếng nói tiếng Việt liên tục ở mức độ âm học. Điều này bao gồm việc chuẩn bị dữ liệu huấn luyện, huấn luyện các mô hình HMM cho các âm vị tiếng Việt, và đánh giá hiệu suất của hệ thống nhận dạng.
4.1. Tổng quan về hệ thống HTK HMM Toolkit
HTK (HMM Toolkit) là một bộ công cụ phần mềm được phát triển bởi Đại học Cambridge để xây dựng và làm việc với các mô hình Markov ẩn (HMM). HTK cung cấp các công cụ để xử lý dữ liệu âm thanh, huấn luyện các mô hình HMM, và thực hiện nhận dạng tiếng nói. HTK được sử dụng rộng rãi trong nghiên cứu và phát triển các hệ thống nhận dạng tiếng nói, và nó hỗ trợ nhiều ngôn ngữ khác nhau, bao gồm cả tiếng Việt. HTK là một công cụ mạnh mẽ và linh hoạt, cho phép các nhà nghiên cứu và phát triển tùy chỉnh các hệ thống nhận dạng tiếng nói để phù hợp với các ứng dụng cụ thể.
4.2. Các bước tiến hành thí nghiệm với HTK
Việc sử dụng HTK để nhận dạng tiếng nói tiếng Việt liên tục ở mức độ âm học bao gồm các bước sau: chuẩn bị dữ liệu huấn luyện (bao gồm các file âm thanh và các file nhãn tương ứng), cấu hình HTK (bao gồm các file cấu hình để xác định các tham số huấn luyện và nhận dạng), huấn luyện các mô hình HMM (sử dụng các công cụ huấn luyện của HTK), và đánh giá hiệu suất (sử dụng các công cụ đánh giá của HTK). Việc thực hiện các bước này một cách cẩn thận và chính xác là rất quan trọng để đạt được hiệu suất tốt trong nhận dạng tiếng nói.
V. Đánh Giá và Nhận Xét Hiệu Năng Nhận Dạng Tiếng Việt
Chương này tập trung vào việc đánh giá và nhận xét hiệu năng của hệ thống nhận dạng tiếng nói tiếng Việt đã được xây dựng bằng HTK. Các thí nghiệm được thực hiện với các bộ dữ liệu tiếng Việt khác nhau để đánh giá độ chính xác và khả năng khái quát hóa của hệ thống. Các kết quả được so sánh với các hệ thống nhận dạng tiếng nói khác để đánh giá vị trí của hệ thống trong bối cảnh nghiên cứu hiện tại. Các yếu tố ảnh hưởng đến hiệu năng của hệ thống, chẳng hạn như chất lượng dữ liệu huấn luyện, kích thước từ vựng, và độ phức tạp của mô hình, cũng được thảo luận.
5.1. Các tiêu chí đánh giá hiệu năng hệ thống ASR
Hiệu năng của một hệ thống nhận dạng tiếng nói (ASR) thường được đánh giá dựa trên một số tiêu chí chính, bao gồm: Tỷ lệ lỗi từ (Word Error Rate - WER), là tỷ lệ giữa số lượng từ bị nhận dạng sai và tổng số từ trong câu kiểm tra. Độ chính xác (Accuracy), là tỷ lệ giữa số lượng từ được nhận dạng đúng và tổng số từ trong câu kiểm tra. Tốc độ nhận dạng (Real-Time Factor - RTF), là tỷ lệ giữa thời gian nhận dạng và thời gian thực của tín hiệu tiếng nói. Các tiêu chí này giúp đánh giá một cách toàn diện khả năng của hệ thống ASR.
5.2. Ảnh hưởng của dữ liệu huấn luyện đến độ chính xác
Chất lượng và số lượng dữ liệu huấn luyện có ảnh hưởng lớn đến độ chính xác của hệ thống nhận dạng tiếng nói. Dữ liệu huấn luyện càng đa dạng và phong phú, hệ thống càng có khả năng khái quát hóa tốt hơn và xử lý được các biến thể khác nhau của tiếng nói. Các yếu tố như nhiễu, giọng nói khác nhau, và phương ngữ có thể làm giảm độ chính xác của hệ thống nếu không được xử lý đúng cách trong quá trình huấn luyện. Việc lựa chọn và chuẩn bị dữ liệu huấn luyện là một bước quan trọng trong quá trình xây dựng một hệ thống nhận dạng tiếng nói hiệu quả.
VI. Kết Luận và Hướng Phát Triển Hệ Thống Nhận Dạng Tiếng Nói
Luận văn này đã trình bày một số vấn đề cơ bản và cách tiếp cận để xây dựng một hệ thống nhận dạng tiếng nói tiếng Việt liên tục ở mức độ âm học. Kết quả nghiên cứu cho thấy rằng HTK là một công cụ hữu ích để xây dựng các hệ thống nhận dạng tiếng nói cho tiếng Việt. Tuy nhiên, vẫn còn nhiều thách thức cần giải quyết để nâng cao hiệu năng của hệ thống, chẳng hạn như xử lý phương ngữ, nhiễu, và giọng nói khác nhau. Hướng phát triển trong tương lai bao gồm việc sử dụng các mô hình ngôn ngữ phức tạp hơn, áp dụng các kỹ thuật học sâu (deep learning), và xây dựng các cơ sở dữ liệu tiếng Việt lớn hơn và đa dạng hơn.
6.1. Tổng kết các kết quả nghiên cứu chính
Luận văn đã trình bày các kết quả nghiên cứu về việc sử dụng HTK để xây dựng một hệ thống nhận dạng tiếng nói tiếng Việt liên tục ở mức độ âm học. Các thí nghiệm được thực hiện với các bộ dữ liệu tiếng Việt khác nhau và đánh giá hiệu năng của hệ thống dựa trên các tiêu chí như WER và độ chính xác. Các kết quả cho thấy rằng hệ thống có thể đạt được hiệu năng tốt trong điều kiện thử nghiệm, nhưng vẫn còn nhiều thách thức cần giải quyết để nâng cao hiệu năng trong điều kiện thực tế.
6.2. Các hướng nghiên cứu và phát triển trong tương lai
Trong tương lai, có nhiều hướng nghiên cứu và phát triển tiềm năng để nâng cao hiệu năng của hệ thống nhận dạng tiếng nói tiếng Việt. Một hướng là sử dụng các mô hình ngôn ngữ phức tạp hơn, chẳng hạn như các mô hình dựa trên mạng nơ-ron tái phát (recurrent neural networks), để cải thiện khả năng mô hình hóa các cấu trúc ngôn ngữ phức tạp. Một hướng khác là áp dụng các kỹ thuật học sâu (deep learning), chẳng hạn như mạng nơ-ron tích chập (convolutional neural networks), để trích xuất các đặc trưng âm học hiệu quả hơn. Cuối cùng, việc xây dựng các cơ sở dữ liệu tiếng Việt lớn hơn và đa dạng hơn là rất quan trọng để huấn luyện các mô hình nhận dạng tiếng nói có khả năng khái quát hóa tốt hơn.
