Luận văn: Nhận dạng tiếng Việt bằng Wavelet và mô hình Markov ẩn - ĐH Công nghệ

Luận văn thạc sĩ: Nhận dạng tiếng Việt dùng biến đổi Wavelet & mô hình Markov ẩn. Nghiên cứu chuyên sâu kỹ thuật điện tử viễn thông, mã số 2.07.00.

• Tác giả: Phùng Trung Nghĩa
• Người hướng dẫn: Ts. Trịnh Anh Vũ
• Trường học: Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ Điện tử - Viễn thông
• Đề tài: Nhận dạng tiếng Việt sử dụng biến đổi Wavelet và mô hình Markov ẩn
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2006
• Địa điểm: Hà Nội

Mục lục chi tiết

• Lời cam đoan
• Danh mục các ký hiệu, các chữ viết tắt
• Danh mục các bảng
• Danh mục các hình vẽ, đồ thị
• 1. CHƯƠNG 1: TỔNG QUAN VỀ NHẬN DẠNG TIẾNG NÓI
• 1.1. Nhận dạng
• 1.2. Nhận dạng tiếng nói
• 1.2.1. Xử lý âm thanh
• 1.3. Phân loại nhận dạng tiếng nói
• 1.3.1. Nhận dạng từ liên tục và nhận dạng từ cách biệt
• 1.3.2. Nhận dạng phụ thuộc người nói và độc lập người nói
• 2. CHƯƠNG 2: XỬ LÝ TIẾNG NÓI - RÚT TRÍCH VECTOR ĐẶC TRƯNG
• 2.1. Lấy mẫu tín hiệu
• 2.2. Bộ lọc tín hiệu
• 2.3. Rút trích đặc trưng
• 2.3.1. Các bước rút trích đặc trưng
• 2.3.2. Phân đoạn thành các khung
• 2.3.3. Lấy cửa sổ
• 2.4. Các dạng đặc trưng tiếng nói
• 2.4.1. Biến đổi tín hiệu sang miền tần số
• 2.4.2. Đặc trưng năng lượng
• 2.4.3. Đặc trưng MFCC
• 2.4.4. Đặc trưng LPC
• 2.4.5. Đặc trưng tần số cơ bản
• 3. CHƯƠNG 3: MÔ HÌNH MARKOV ẨN VÀ ỨNG DỤNG TRONG NHẬN DẠNG TIẾNG NÓI
• 3.1. Mô hình Markov ẩn
• 3.2. Ứng dụng Mô hình Markov vào nhận dạng tiếng nói
• 3.2.1. Thuật toán tiến
• 3.2.2. Thuật toán lùi
• 3.2.3. Phương pháp tìm chuỗi trạng thái tối ưu
• 3.2.4. Thuật toán Viterbi
• 3.2.5. Ước lượng Baum-Welch
• 4. CHƯƠNG 4: BIẾN ĐỔI WAVELET VÀ ỨNG DỤNG TRONG XỬ LÝ VÀ NHẬN DẠNG TIẾNG NÓI
• 4.1. Mục đích và ứng dụng của phân tich wavelet
• 4.1.1. Biến đổi Fourier
• 4.1.2. Biến đổi Fourier thời gian ngắn
• 4.1.3. Biến đối wavelet
• 4.2. Các loại biến đổi Wavelet
• 4.2.1. Biến đổi Wavelet liên tục CWT
• 4.2.2. Biến đổi Wavelet rời rạc DWT
• 4.3. Biến đổi Wavelet gói
• 4.4. Ứng dụng biến đổi Wavelet trong xử lý nhiễu và nâng cao chất lượng tiếng nói
• 4.4.1. Phương pháp truyền thống của Dohono và Johnstone
• 4.4.2. Phương pháp khử nhiễu kết hợp kỹ thuật trừ phổ và wavelet
• 4.5. Ứng dụng biến đổi Wavelet trong nhận dạng tiếng nói
• 4.5.1. Nhận dạng tiếng nói dùng CWT
• 4.5.2. Nhận dạng tiếng nói dùng DWT
• 4.5.3. So sánh SCWT, FWT và các vector đặc trưng truyền thống
• 4.5.4. Rút trích các đặc trưng tiếng Việt dùng biến đổi Wavelet
• 4.5.4.1. Trích formant dùng CWT
• 4.5.4.2. Trích chu kỳ Pitch dùng CWT
• 5. CHƯƠNG 5: KHẢO SÁT VỀ NGỮ ÂM TIẾNG VIỆT ỨNG DỤNG XÂY DỰNG HỆ THỐNG NHẬN DẠNG THANH ĐIỆU TIẾNG VIỆT
• 5.1. Một số đặc trưng ngữ âm tiếng Việt
• 5.2. Một số khảo sát về thanh điệu tiếng Việt
• 5.3. Giải pháp nhận dạng theo mô hình âm vị
• 5.4. Xây dựng mô hình nhận dạng thanh điệu tiếng Việt
• 5.4.1. Khối tiền xử lý
• 5.4.2. Khối trích chu kỳ Pitch
• 5.4.3. Tạo vector đặc trưng V(F0)
• 5.4.4. Huấn luyện mô hình
• 5.5. Các kết quả nhận dạng thanh điệu
• 6. CHƯƠNG 6: XÂY DỰNG HỆ THỐNG NHẬN DẠNG TIẾNG VIỆT NGUYÊN TỪ RỜI RẠC HOÀN CHỈNH
• 6.1. Phương pháp sử dụng
• 6.2. Huấn luyện mẫu
• 6.3. Công đoạn nhận dạng
• 6.4. Cài đặt hệ thống nhận dạng tiếng Việt nguyên từ rời rạc hoàn chỉnh
• 6.4.1. Môi trường xây dựng
• 6.4.2. Bộ từ dùng cho huấn luyện và nhận dạng
• 6.4.3. Tạo vector đặc trưng V(SCWT)
• 6.4.4. Mô hình HMM cho các từ nhận dạng
• 6.4.5. Kết quả nhận dạng
• Các kết quả đạt được của luận văn
• Những vấn đề còn tồn tại và biện pháp khắc phục
• Hướng phát triển
• Tài liệu tham khảo

Tóm tắt

I. Tổng Quan Về Nhận Dạng Tiếng Việt Wavelet Markov

Nhận dạng tiếng nói là một lĩnh vực quan trọng trong xử lý ngôn ngữ tự nhiên (NLP) và học máy (Machine Learning), ngày càng được ứng dụng rộng rãi. Từ điều khiển thiết bị bằng giọng nói đến chuyển đổi tiếng nói thành văn bản, tiềm năng của nó là vô tận. Tuy nhiên, việc xây dựng một hệ thống nhận dạng tiếng Việt hiệu quả vẫn còn nhiều thách thức. Sự phức tạp của ngữ âm tiếng Việt, với hệ thống thanh điệu đa dạng và biến đổi âm vị phong phú, đòi hỏi những phương pháp tiếp cận tiên tiến. Biến đổi Wavelet và mô hình Markov ẩn là hai công cụ mạnh mẽ hứa hẹn mang lại đột phá trong lĩnh vực này. Luận văn này tập trung vào việc khám phá và ứng dụng những kỹ thuật này để xây dựng một hệ thống nhận dạng tiếng Việt chính xác và hiệu quả. Cần hiểu rõ sự khác biệt giữa nhận dạng tiếng nói liên tục và rời rạc, cũng như nhận dạng phụ thuộc người nói và độc lập người nói để xây dựng hệ thống phù hợp. Hệ thống nhận dạng tiếng nói tự động (ASR) cần kết hợp các khối tiền xử lý, trích xuất đặc trưng, phân loại và giải mã để đạt hiệu suất tốt nhất. Lý thuyết nhận dạng tiếng nói bao gồm việc rút trích vector đặc trưng, phân lớp và sử dụng mô hình Markov ẩn (HMM) để biểu diễn ngôn ngữ. Quan trọng nhất, độ chính xác và khả năng ứng dụng thực tế vẫn là những tiêu chí hàng đầu. Theo GS.TSKH Bạch Hưng Khang, ngay từ đầu những năm 80, đã có những nghiên cứu về nhận dạng tiếng Việt, nhưng đến nay vẫn chưa có hệ thống hoàn chỉnh, cho thấy sự phức tạp của bài toán. Mô hình Markov xem là mô hình hiệu quả nhất cho nhận dạng tiếng nói.

1.1. Các Phương Pháp Tiếp Cận Nhận Dạng Tiếng Việt Hiện Tại

Các phương pháp tiếp cận hiện tại trong nhận dạng tiếng Việt bao gồm sử dụng mạng Neural nhân tạo (mạng nơ-ron (Neural Network)) và mô hình Markov ẩn. Mạng nơ-ron thường được sử dụng cho các bài toán phân loại phức tạp, trong khi mô hình Markov ẩn thích hợp để mô hình hóa chuỗi dữ liệu, như chuỗi Markov trong xử lý tín hiệu tiếng nói. Sự lựa chọn phương pháp phụ thuộc vào đặc điểm của dữ liệu tiếng nói và yêu cầu về độ chính xác, tốc độ xử lý. Các phương pháp học máy (Machine Learning) như GMM (Gaussian Mixture Model), SVM (Support Vector Machine), DNN (Deep Neural Network), CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), LSTM (Long Short-Term Memory), Transformer, và Attention Mechanism cũng được áp dụng và phát triển để cải thiện hiệu suất nhận dạng.

1.2. Ưu Điểm và Hạn Chế Của Mô Hình Wavelet và Markov

Biến đổi Wavelet có khả năng phân tích tín hiệu trong cả miền thời gian và tần số, giúp trích xuất các đặc trưng quan trọng của tiếng nói. Ưu điểm chính của phân tích Wavelet là khả năng xử lý tín hiệu không dừng, trong khi hạn chế có thể là việc lựa chọn biến đổi Wavelet phù hợp. Mô hình Markov ẩn có khả năng mô hình hóa sự thay đổi trạng thái của tín hiệu tiếng nói theo thời gian. Ưu điểm chính là khả năng mô hình hóa các chuỗi có cấu trúc, nhưng hạn chế có thể là yêu cầu về dữ liệu huấn luyện lớn và khả năng xử lý các biến đổi âm vị phức tạp.

1.3. Tầm Quan Trọng Của Ngữ Âm Học Trong Nhận Dạng Tiếng Việt

Ngữ âm học đóng vai trò then chốt trong nhận dạng tiếng Việt do tính thanh điệu và cấu trúc âm tiết phức tạp của ngôn ngữ này. Việc hiểu rõ các đặc điểm ngữ âm, như thanh điệu, nguyên âm, phụ âm, và sự biến đổi âm vị, là cần thiết để xây dựng các mô hình nhận dạng chính xác. Các mô hình này cần phải có khả năng phân biệt và xử lý các biến thể ngữ âm khác nhau để đạt hiệu suất tốt nhất trong các môi trường và điều kiện khác nhau. Các nghiên cứu sâu về ngữ âm tiếng Việt cần được tích hợp vào quá trình phát triển hệ thống nhận dạng tiếng nói.

II. Bài Toán Thách Thức Nhận Dạng Tiếng Việt Hiện Nay

Mặc dù đã có nhiều tiến bộ trong lĩnh vực nhận dạng tiếng nói, việc xây dựng một hệ thống nhận dạng tiếng Việt hoàn chỉnh vẫn còn nhiều thách thức. Một trong những thách thức lớn nhất là tính đa dạng của giọng nói tiếng Việt trên khắp các vùng miền. Mỗi vùng miền có những đặc trưng ngữ âm riêng, tạo ra sự khác biệt đáng kể trong cách phát âm. Điều này đòi hỏi hệ thống phải có khả năng thích nghi với nhiều loại giọng nói khác nhau để đảm bảo độ chính xác. Bên cạnh đó, tiếng ồn và tạp âm cũng là một vấn đề lớn. Trong môi trường thực tế, tiếng ồn có thể làm giảm đáng kể chất lượng tín hiệu tiếng nói, gây khó khăn cho việc nhận dạng. Việc xây dựng các thuật toán xử lý tín hiệu tiếng nói mạnh mẽ có khả năng loại bỏ tiếng ồn là rất quan trọng. Tiếng Việt là ngôn ngữ có thanh điệu, đòi hỏi phải nhận dạng thanh điệu chính xác, và đây là một thách thức lớn. Ngoài ra, việc xây dựng cơ sở dữ liệu tiếng Việt đủ lớn và đa dạng để huấn luyện mô hình cũng là một vấn đề cần được quan tâm.

2.1. Ảnh Hưởng Của Thanh Điệu Đến Nhận Dạng Tiếng Việt

Thanh điệu là một yếu tố quan trọng trong ngữ âm tiếng Việt, và việc nhận dạng thanh điệu chính xác là điều cần thiết để hiểu đúng nghĩa của từ. Mỗi thanh điệu có một cao độ và đường đi cao độ khác nhau, tạo ra sự khác biệt rõ rệt trong cách phát âm. Việc hệ thống nhận dạng tiếng nói phải có khả năng phân biệt và xử lý các thanh điệu khác nhau để đảm bảo độ chính xác. Các phương pháp tiếp cận thường sử dụng phân tích phổ và trích xuất các đặc trưng liên quan đến tần số cơ bản (F0) để nhận dạng thanh điệu. Việc sử dụng các kỹ thuật xử lý tín hiệu tiên tiến để trích xuất các đặc trưng thanh điệu một cách hiệu quả là một thách thức lớn. Đánh giá hiệu suất của hệ thống nhận dạng thanh điệu là một bước quan trọng trong quá trình phát triển.

2.2. Vấn Đề Xử Lý Tiếng Ồn và Tạp Âm Trong Thực Tế

Trong môi trường thực tế, tín hiệu tiếng nói thường bị lẫn với tiếng ồn và tạp âm, làm giảm chất lượng và gây khó khăn cho việc nhận dạng. Các nguồn tiếng ồn có thể rất đa dạng, từ tiếng ồn xung quanh đến tiếng nói của người khác. Việc xây dựng các thuật toán xử lý tín hiệu tiếng nói mạnh mẽ có khả năng loại bỏ tiếng ồn là rất quan trọng. Các kỹ thuật thường được sử dụng bao gồm lọc tiếng ồn, khử tiếng vọng, và sử dụng mạng nơ-ron để phân biệt tiếng nói và tiếng ồn. Việc ứng dụng biến đổi Wavelet để loại bỏ nhiễu cũng là một hướng tiếp cận đầy hứa hẹn. Các phương pháp Wavelet có khả năng phân tích tín hiệu trong miền thời gian và tần số, giúp tách tiếng ồn khỏi tiếng nói một cách hiệu quả.

2.3. Xây Dựng Cơ Sở Dữ Liệu Tiếng Việt Đa Dạng và Chất Lượng

Để huấn luyện một mô hình nhận dạng tiếng Việt hiệu quả, cần có một cơ sở dữ liệu tiếng Việt đủ lớn và đa dạng. Dữ liệu nên bao gồm nhiều loại giọng nói khác nhau, từ các vùng miền khác nhau, và trong nhiều điều kiện môi trường khác nhau. Việc thu thập và gán nhãn dữ liệu là một quá trình tốn kém và mất thời gian, nhưng rất quan trọng để đảm bảo chất lượng của mô hình. Cần phải có các quy trình kiểm tra chất lượng dữ liệu nghiêm ngặt để đảm bảo tính chính xác và nhất quán. Việc sử dụng các kỹ thuật tăng cường dữ liệu, như tạo ra các biến thể của dữ liệu hiện có, cũng có thể giúp cải thiện hiệu suất của mô hình. Luận văn đã xây dựng hệ thống nhận dạng thanh điệu tiếng Việt theo chu kỳ pitch và sử dụng vector đặc trưng là các hệ số SCWT biến đổi sang miền Ceptral.

III. Giải Pháp Ứng Dụng Biến Đổi Wavelet Trong Nhận Dạng

Biến đổi Wavelet là một công cụ mạnh mẽ trong xử lý tín hiệu, cho phép phân tích tín hiệu trong cả miền thời gian và tần số. Trong nhận dạng tiếng nói, phân tích Wavelet có thể được sử dụng để trích xuất các đặc trưng quan trọng của tín hiệu, như các tần số formant và chu kỳ pitch. Việc sử dụng phương pháp Wavelet có thể giúp cải thiện độ chính xác của hệ thống nhận dạng tiếng Việt, đặc biệt là trong môi trường có tiếng ồn. Biến đổi Wavelet liên tục (CWT) và biến đổi Wavelet rời rạc (DWT) là hai loại biến đổi Wavelet phổ biến nhất. Việc lựa chọn loại biến đổi Wavelet phù hợp phụ thuộc vào đặc điểm của dữ liệu tiếng nói và yêu cầu về độ chính xác, tốc độ xử lý. Các hệ số biến đổi Wavelet có thể được sử dụng làm đặc trưng âm thanh đầu vào cho các mô hình học máy (Machine Learning).

3.1. Tổng Quan Về Biến Đổi Wavelet Liên Tục CWT

Biến đổi Wavelet liên tục (CWT) là một kỹ thuật phân tích tín hiệu cho phép phân tích tín hiệu trong cả miền thời gian và tần số. CWT sử dụng một hàm Wavelet cơ sở để phân tích tín hiệu, bằng cách tính tích chập của tín hiệu với hàm Wavelet ở các tỷ lệ và vị trí khác nhau. Kết quả của CWT là một ma trận các hệ số, thể hiện sự tương quan giữa tín hiệu và hàm Wavelet ở các tỷ lệ và vị trí khác nhau. CWT có thể được sử dụng để trích xuất các đặc trưng quan trọng của tín hiệu, như các tần số formant và chu kỳ pitch. Ưu điểm của CWT là khả năng phân tích tín hiệu không dừng, nhưng hạn chế có thể là tính toán phức tạp. Luận văn đã sử dụng các nghiên cứu về biến đổi Wavelet và mô hình HMM để áp dụng đề xuất một phương pháp nhận dạng thanh điệu tiếng Việt theo chu kỳ pitch.

3.2. Ứng Dụng Biến Đổi Wavelet Rời Rạc DWT Trong Nhận Dạng

Biến đổi Wavelet rời rạc (DWT) là một phiên bản rời rạc của biến đổi Wavelet, cho phép phân tích tín hiệu trong cả miền thời gian và tần số với độ phức tạp tính toán thấp hơn. DWT sử dụng một bộ lọc băng thông rộng và một bộ lọc thông thấp để phân tích tín hiệu thành các thành phần tần số khác nhau. Kết quả của DWT là một tập hợp các hệ số, thể hiện năng lượng của tín hiệu trong các dải tần số khác nhau. DWT có thể được sử dụng để trích xuất các đặc trưng quan trọng của tín hiệu, như các tần số formant và chu kỳ pitch. Ưu điểm của DWT là tính toán hiệu quả, nhưng hạn chế có thể là độ phân giải tần số thấp hơn so với CWT.

3.3. So Sánh Hiệu Quả Của CWT và DWT Trong Nhận Dạng Tiếng Việt

Cả CWT và DWT đều có thể được sử dụng để trích xuất các đặc trưng quan trọng của tín hiệu tiếng nói. Tuy nhiên, CWT có độ phân giải tần số cao hơn, trong khi DWT có tính toán hiệu quả hơn. Sự lựa chọn giữa CWT và DWT phụ thuộc vào đặc điểm của dữ liệu tiếng nói và yêu cầu về độ chính xác, tốc độ xử lý. Trong một số trường hợp, CWT có thể cho kết quả tốt hơn trong việc trích xuất các đặc trưng tinh tế của tín hiệu, trong khi DWT có thể phù hợp hơn cho các ứng dụng thời gian thực. Cần phải thực hiện các thử nghiệm so sánh để xác định phương pháp nào phù hợp nhất cho một bài toán cụ thể. Kết quả nhận dạng thanh điệu thu được trong luận văn là 95 %.

IV. Kết Hợp Mô Hình Markov Ẩn Để Nâng Cao Độ Chính Xác

Mô hình Markov ẩn (HMM) là một công cụ mạnh mẽ trong học máy (Machine Learning) để mô hình hóa chuỗi dữ liệu. Trong nhận dạng tiếng nói, HMM có thể được sử dụng để mô hình hóa sự thay đổi trạng thái của tín hiệu tiếng nói theo thời gian. Mỗi trạng thái trong HMM tương ứng với một đơn vị ngữ âm, như âm vị hoặc âm tiết. Việc kết hợp HMM với biến đổi Wavelet có thể giúp nâng cao độ chính xác của hệ thống nhận dạng tiếng Việt, bằng cách khai thác cả đặc trưng tần số và thời gian của tín hiệu. Việc huấn luyện HMM đòi hỏi một cơ sở dữ liệu tiếng Việt đủ lớn và đa dạng.

4.1. Cơ Sở Lý Thuyết Của Mô Hình Markov Ẩn HMM

Mô hình Markov ẩn (HMM) là một mô hình thống kê mô tả một hệ thống với các trạng thái ẩn và các quan sát được. HMM giả định rằng trạng thái hiện tại của hệ thống chỉ phụ thuộc vào trạng thái trước đó (tính chất Markov), và các quan sát được phụ thuộc vào trạng thái hiện tại. HMM được đặc trưng bởi ba tham số: ma trận chuyển trạng thái, ma trận xác suất quan sát, và vector xác suất khởi tạo. Việc huấn luyện HMM là quá trình ước lượng các tham số này từ dữ liệu huấn luyện. HMM có thể được sử dụng để giải quyết nhiều bài toán khác nhau, như nhận dạng tiếng nói, dự đoán chuỗi thời gian, và phân tích sinh học.

4.2. Ứng Dụng HMM Trong Nhận Dạng Tiếng Việt Chi Tiết

Trong nhận dạng tiếng Việt, HMM có thể được sử dụng để mô hình hóa sự thay đổi trạng thái của tín hiệu tiếng nói theo thời gian. Mỗi trạng thái trong HMM tương ứng với một đơn vị ngữ âm, như âm vị hoặc âm tiết. Tín hiệu tiếng nói được chia thành các khung, và mỗi khung được gán cho một trạng thái trong HMM. Quá trình nhận dạng tiếng nói là tìm ra chuỗi trạng thái phù hợp nhất với tín hiệu đầu vào. Các thuật toán như thuật toán Viterbi có thể được sử dụng để tìm chuỗi trạng thái tối ưu. HMM có thể được kết hợp với biến đổi Wavelet để cải thiện độ chính xác của hệ thống nhận dạng tiếng Việt. Các kết quả đạt được của luận văn cho thấy tiềm năng của phương pháp kết hợp này.

4.3. Thuật Toán Viterbi Và Baum Welch Trong Huấn Luyện HMM

Thuật toán Viterbi được sử dụng để tìm chuỗi trạng thái tối ưu trong HMM, dựa trên các quan sát được. Thuật toán này sử dụng phương pháp lập trình động để tính toán xác suất của tất cả các chuỗi trạng thái có thể, và chọn chuỗi có xác suất cao nhất. Thuật toán Baum-Welch là một thuật toán lặp được sử dụng để ước lượng các tham số của HMM từ dữ liệu huấn luyện. Thuật toán này sử dụng các thuật toán tiến và lùi để tính toán xác suất của các trạng thái ẩn, và sau đó sử dụng các xác suất này để cập nhật các tham số của HMM. Cả hai thuật toán Viterbi và Baum-Welch đều là các công cụ quan trọng trong việc xây dựng và huấn luyện các mô hình HMM hiệu quả. Luận văn này thừa kế các vấn đề lý thuyết đã được nghiên cứu và kiểm chứng trong và ngoài nước, sử dụng các nghiên cứu về biến đổi Wavelet và mô hình HMM.

V. Đánh Giá Hiệu Suất Ứng Dụng Thực Tế Hệ Thống

Việc đánh giá hiệu suất của hệ thống nhận dạng tiếng Việt là một bước quan trọng trong quá trình phát triển. Các chỉ số đánh giá thường được sử dụng bao gồm độ chính xác, độ thu hồi, và F1-score. Độ chính xác đo lường tỷ lệ các từ được nhận dạng đúng, độ thu hồi đo lường tỷ lệ các từ đúng được nhận dạng, và F1-score là trung bình điều hòa của độ chính xác và độ thu hồi. Ngoài ra, cần phải đánh giá hiệu suất của hệ thống trong các điều kiện môi trường khác nhau, như có tiếng ồn hoặc không có tiếng ồn. Việc triển khai hệ thống nhận dạng tiếng Việt trong các ứng dụng thực tế có thể mang lại nhiều lợi ích, như điều khiển thiết bị bằng giọng nói, chuyển đổi tiếng nói thành văn bản, và hỗ trợ người khuyết tật.

5.1. Các Chỉ Số Đánh Giá Hiệu Suất Nhận Dạng Quan Trọng

Các chỉ số đánh giá hiệu suất nhận dạng tiếng nói quan trọng bao gồm Word Error Rate (WER), Character Error Rate (CER), độ chính xác, độ thu hồi, và F1-score. WER và CER đo lường tỷ lệ các lỗi trong quá trình nhận dạng, trong khi độ chính xác, độ thu hồi, và F1-score đo lường khả năng của hệ thống trong việc nhận dạng đúng các từ và ký tự. WER và CER thường được sử dụng để đánh giá hiệu suất của các hệ thống nhận dạng tiếng nói lớn, trong khi độ chính xác, độ thu hồi, và F1-score thường được sử dụng để đánh giá hiệu suất của các hệ thống nhận dạng tiếng nói nhỏ. Cần phải sử dụng các chỉ số đánh giá phù hợp để đánh giá hiệu suất của hệ thống một cách khách quan.

5.2. Ứng Dụng Nhận Dạng Tiếng Việt Wavelet Markov

Hệ thống nhận dạng tiếng Việt sử dụng biến đổi Wavelet và mô hình Markov có thể được triển khai trong nhiều ứng dụng thực tế khác nhau. Một số ứng dụng tiềm năng bao gồm điều khiển thiết bị bằng giọng nói, chuyển đổi tiếng nói thành văn bản, hỗ trợ người khuyết tật, và dịch thuật tự động. Trong lĩnh vực giáo dục, hệ thống có thể được sử dụng để hỗ trợ học sinh học tiếng Việt. Trong lĩnh vực y tế, hệ thống có thể được sử dụng để giúp bác sĩ và y tá ghi chú bệnh án. Trong lĩnh vực giải trí, hệ thống có thể được sử dụng để tạo ra các trò chơi và ứng dụng tương tác bằng giọng nói.

5.3. So Sánh Với Các Phương Pháp Nhận Dạng Tiếng Việt Khác

Việc so sánh hiệu suất của hệ thống nhận dạng tiếng Việt sử dụng biến đổi Wavelet và mô hình Markov với các phương pháp khác là cần thiết để đánh giá tính hiệu quả của phương pháp này. Các phương pháp khác có thể bao gồm sử dụng mạng Neural nhân tạo, mô hình GMM (Gaussian Mixture Model), hoặc kết hợp các kỹ thuật khác nhau. Cần phải so sánh hiệu suất của các phương pháp khác nhau trên cùng một cơ sở dữ liệu tiếng Việt để đảm bảo tính công bằng. Kết quả so sánh có thể giúp xác định điểm mạnh và điểm yếu của từng phương pháp, và đưa ra các khuyến nghị về việc lựa chọn phương pháp phù hợp cho từng ứng dụng cụ thể. Luận văn cũng đề xuất một phương pháp nhận dạng tiếng Việt nguyên từ rời rạc hoàn chỉnh.

VI. Kết Luận Hướng Phát Triển Nghiên Cứu Trong Tương Lai

Luận văn này đã trình bày một phương pháp tiếp cận mới trong nhận dạng tiếng Việt, sử dụng biến đổi Wavelet và mô hình Markov ẩn. Kết quả nghiên cứu cho thấy rằng phương pháp này có tiềm năng cải thiện độ chính xác của hệ thống nhận dạng tiếng Việt, đặc biệt là trong môi trường có tiếng ồn. Tuy nhiên, vẫn còn nhiều vấn đề cần được giải quyết để hoàn thiện hệ thống, như cải thiện khả năng thích nghi với nhiều loại giọng nói khác nhau và xây dựng một cơ sở dữ liệu tiếng Việt đủ lớn và đa dạng. Trong tương lai, có thể tập trung vào việc kết hợp các kỹ thuật học sâu (Deep Learning) với biến đổi Wavelet và mô hình Markov ẩn để tạo ra các hệ thống nhận dạng tiếng Việt thông minh hơn.

6.1. Tổng Kết Các Kết Quả Đạt Được Của Nghiên Cứu

Nghiên cứu đã đạt được một số kết quả đáng khích lệ trong việc ứng dụng biến đổi Wavelet và mô hình Markov ẩn vào nhận dạng tiếng Việt. Hệ thống nhận dạng thanh điệu tiếng Việt đã đạt được độ chính xác cao, cho thấy tiềm năng của phương pháp này trong việc xử lý các đặc trưng ngữ âm phức tạp của tiếng Việt. Ngoài ra, nghiên cứu cũng đã đề xuất một phương pháp nhận dạng tiếng Việt nguyên từ rời rạc hoàn chỉnh, sử dụng mô hình nhận dạng thanh điệu đã khảo sát để phân lớp và vector đặc trưng là các hệ số SCWT biến đổi sang miền Ceptral. Các kết quả thu được độ chính xác của hệ thống nhận dạng là 91 % kém hơn một chút so với các hệ thống nhận dạng truyền thống dùng MFCC và ANN. Những kết quả này cho thấy rằng biến đổi Wavelet và mô hình Markov ẩn là các công cụ hữu ích trong việc xây dựng các hệ thống nhận dạng tiếng Việt hiệu quả.

6.2. Các Vấn Đề Còn Tồn Tại và Hướng Khắc Phục

Mặc dù đã đạt được một số kết quả đáng khích lệ, nghiên cứu vẫn còn một số vấn đề cần được giải quyết. Một trong những vấn đề lớn nhất là khả năng thích nghi của hệ thống với nhiều loại giọng nói khác nhau. Cần phải có các phương pháp để giảm thiểu sự ảnh hưởng của sự khác biệt giọng nói đến hiệu suất của hệ thống. Ngoài ra, cần phải xây dựng một cơ sở dữ liệu tiếng Việt đủ lớn và đa dạng để huấn luyện mô hình một cách hiệu quả. Việc sử dụng các kỹ thuật tăng cường dữ liệu có thể giúp cải thiện hiệu suất của mô hình trong trường hợp thiếu dữ liệu. Ngoài việc nhận dạng tiếng nói thu âm sẵn, luận văn cũng xây dựng hệ thống thu âm và nhận dạng tiếng nói trực tiếp từ micro cũng được xây dựng với bộ tiền xử lý nâng cao chất lượng tiếng nói.

6.3. Hướng Phát Triển Nghiên Cứu Nhận Dạng Tiếng Việt Tương Lai

Trong tương lai, có thể tập trung vào việc kết hợp các kỹ thuật học sâu (Deep Learning) với biến đổi Wavelet và mô hình Markov ẩn để tạo ra các hệ thống nhận dạng tiếng Việt thông minh hơn. Các mạng Neural sâu có khả năng học các đặc trưng phức tạp của tín hiệu tiếng nói, và có thể giúp cải thiện độ chính xác của hệ thống. Ngoài ra, có thể tập trung vào việc phát triển các phương pháp để giảm thiểu ảnh hưởng của tiếng ồn và tạp âm đến hiệu suất của hệ thống. Việc sử dụng các kỹ thuật xử lý tín hiệu tiên tiến có thể giúp loại bỏ tiếng ồn và tạp âm một cách hiệu quả. Nếu được đầu tư nghiên cứu nhiều hơn, phương pháp nhận dạng tiếng Việt dùng SCWT và HMM có phân lớp thanh điệu theo chu kỳ pitch sẽ là một phương pháp hứa hẹn có khả năng nâng cao được độ chính xác của hệ thống nhận dạng và có thể ứng dụng trong thực tiễn.

Trích đoạn nội dung tài liệu

Chương 1. TỔNG QUAN VỀ NHẬN DẠNG TIẾNG NÓI 1.1 Nhận dạng Nhận dạng của loài người là một quá trình hoàn hảo, đó là sự quan sát đối tượng cần nhận dạng, ghi nhận lại những đặc trưng của đối tượng, phân lớp đối tượng và có sử dụng khả năng phán đoán suy luận để phân biệt đối tượng đó với đối tượng khác (trong một tập gần như vô hạn đối tượng). Trong khi đó, nhận dạng tự động – nhận dạng bằng công cụ máy vi tính chỉ đơn giản là quá trình phân biệt tín hiệu này với tín hiệu khác (trong một tập hữu hạn các tín hiệu), quá trình này được thực hiện bằng cách thực hiện các bước tổng quát sau (như trong hình 1.1 Sơ đồ nhận dạng tổng quát - Thu nhận tín hiệu và trích đặc trưng: thu nhận tín hiệu cần nhận dạng, khử nhiễu, lọc tín hiệu (tiền xử lý) và rút ra các đặc trưng của tín hiệu - Học mẫu: phân lớp các nhóm vector đặc trưng của từng nhóm tín hiệu (bằng các thuật giải Heristic, bằng cách sử dụng mạng Neural, bằng các thuật toán K-means, Batchelor- Wilkins, ……). Quá trình này tạo ra các lớp tín hiệu, mỗi lớp đặc trưng cho từng nhóm tín hiệu.

TIEU LUAN MOI download : [e-mail] 18 - Nhận dạng, so khớp mẫu: tìm mối liên hệ giữa tín hiệu cần nhận dạng và các lớp tín hiệu được tạo ra ở bước trước (bằng cách thông qua quy tắc người láng giềng gần nhất chẳng hạn). Nếu như tín hiệu đó so khớp nhất (và mức độ so khớp thỏa mãn một ngưỡng nào đó) ứng với một lớp tín hiệu nào thì hệ thống nhận dạng xác định tín hiệu đó thuộc vào nhóm tín hiệu đó với một tỉ lệ nhất định gọi là độ chính xác của hệ thống nhận dạng (tỉ lệ này dĩ nhiên là càng cao càng tốt).2 Nhận dạng tiếng nói 1.1 Xử lý âm thanh Khi âm thanh được máy vi tính hỗ trợ thì nhu cầu xử lý âm thanh đã xuất hiện. Các nhu cầu này đã tạo ra nhiều lĩnh vực ứng dụng trong thực tế. Chẳng hạn như: tổng hợp âm thanh (synthesis), nén âm thanh (compression), nhận dạng người nói (speaker recognition), nhận dạng tiếng nói (speech recognition)… Các lĩnh vực ứng dụng khác nhau của xử lý tiếng nói được thể hiện qua hình 1.

Xử lý âm thanh đóng một vai trò quan trọng trong quá trình nhận dạng tiếng nói, nó cần trong việc lọc nhiễu tín hiệu, biến đổi tín hiệu, rút trích vector đặc trưng,… Hình 1.2: Các lĩnh vực trong xử lý tiếng nói TIEU LUAN MOI download : skknchat@gmail.2 Phân loại nhận dạng tiếng nói 1.1 Nhận dạng từ liên tục và nhận dạng từ cách biệt Một hệ nhận dạng tiếng nói có thể là một trong hai dạng: nhận dạng liên tục và nhận dạng từng từ. Nhận dạng liên tục tức là nhận dạng tiếng nói được phát liên tục trong một chuỗi tín hiệu, chẳng hạn như một câu nói, một mệnh lệnh hoặc một đoạn văn được đọc bởi người dùng. Các hệ thống loại này rất phức tạp, nó phức tạp ở chỗ các từ được phát liên tục khó xử lý kịp (nếu cần thời gian thực), hoặc khó tách ra nếu như người nói liên tục không có khoảng nghỉ (thông thường rất hay xảy ra trong thực tế). Kết quả tách từ ảnh hưởng rất lớn đến các bước sau, cần xử lý thật tốt trong quá trình này.

Trái lại, đối với mô hình nhận dạng từng từ, mỗi từ cần nhận dạng được phát âm một cách rời rạc, có các khoảng nghỉ trước và sau khi phát âm một từ. Mô hình loại này dĩ nhiên đơn giản hơn mô hình nhận dạng liên tục, đồng thời cũng có những ứng dụng thực tiễn như trong các hệ thống điều khiển bằng lời nói, quay số bằng giọng nói…, với độ chính xác khá cao, tuy nhiên khó áp dụng rộng rãi đối với mô hình trên.3: Ranh giới giữa “cô” và “ấy” không rõ ràng TIEU LUAN MOI download : skknchat@gmail.2 Nhận dạng phụ thuộc người nói và độc lập người nói Đối với nhận dạng phụ thuộc người nói thì mỗi một hệ nhận dạng chỉ phục vụ được cho một người, và nó sẽ không hiểu người khác nói gì nếu như chưa được huấn luyện lại từ đầu. Do đó, hệ thống nhận dạng người nói khó được chấp nhận rộng rãi vì không phải ai cũng đủ khả năng kiến thức và nhất là kiên nhẫn để huấn luyện hệ thống. Đặc biệt là hệ thống loại này không thể ứng dụng ở nơi công cộng.

Ngược lại, hệ thống nhận dạng độc lập người nói thì lý tưởng hơn, ứng dụng rộng rãi hơn, đáp ứng được hầu hết các yêu cầu đề ra. Nhưng không may là hệ thống lý tưởng như vậy gặp một số vấn đề, nhất là độ chính xác của hệ thống. Trong thực tế, mỗi người có một giọng nói khác nhau, thậm chí ngay cùng một người cũng có giọng nói khác nhau ở những thời điểm khác nhau. Điều này ảnh hưởng rất lớn đến việc nhận dạng, nó làm giảm độ chính xác của hệ thống nhận dạng xuống nhiều lần.

Do đó để khắc phục khuyết điểm này, hệ thống nhận dạng độc lập người nói cần được thiết kế phức tạp hơn, đòi hỏi lượng dữ liệu huấn luyện lớn hơn nhiều lần (dữ liệu được thu từ nhiều giọng khác nhau của nhiều người). Nhưng điều này cũng không cải thiện được bao nhiêu chất lượng nhận dạng. Do đó, trong thực tế có một cách giải quyết là bán độc lập người nói. Phương pháp này thực hiện bằng cách thu mẫu một số lượng lớn các giọng nói khác biệt nhau.

Khi sử dụng, hệ thống sẽ được điều chỉnh cho phù hợp với giọng của người dùng, bằng cách nó học thêm một vài câu có chứa các từ cần thiết (người dùng trước khi sử dụng hệ thống cần phải qua một quá trình ngắn huấn luyện hệ thống). Nhận dạng độc lập người nói khó hơn rất nhiều so với nhận dạng phụ thuộc người nói. Cùng một từ, một người, dù có cố gắng phát âm cho thật giống đi nữa thì cũng có sự khác biệt. Đối với bộ não con người, một hệ thống hoàn hảo, thì sự khác biệt đó có thể được bỏ qua do ngữ cảnh, và do có phần xử lý làm mờ đi của não.

Nhưng đối với máy tính thì rất khó xây dựng được một mô hình giải quyết cho tất cả các trường hợp khác biệt đó. TIEU LUAN MOI download : skknchat@gmail.4: Người nói khác nhau sẽ phát âm khác nhau H Hình 1.5: Mô hình nhận dạng bán độc lập người nói 1.3 Hệ thống nhận dạng tiếng nói tự động Nhận dạng tiếng nói tự động ASR có nghĩa là chuyển đổi tự động tiếng nói thành chữ viết hoặc thành một trong các chức năng của thiết bị. Một hệ thống nhận dạng tiếng nói tự động gồm có các thành phần sau: - Khối tiền xử lý: Quá trình này giải quyết các vấn đề dò tìm điểm cuối (phân biệt trong chuỗi âm thu được đâu là tiếng nói đâu là độ ồn nền), lọc, khử nhiễu và TIEU LUAN MOI download : [e-mail] 22 nâng cao chất lượng tiếng nói. - Khối rút trích đặc trưng tiếng nói: biến đổi tín hiệu âm thanh thành chuỗi các vector đặc trưng.

- Khối phân lớp và nhận dạng: Thực chất đây là quá trình nhận dạng dựa trên mô hình âm thanh, từ điển phát âm và mô hình ngôn ngữ của hệ thống. Mô hình ngôn ngữ ở đây thực chất chỉ biểu diển một ngữ pháp nào đó, nó có thể ứng với một ngôn ngữ cụ thể hoặc đơn giản chỉ gói gọn trong phạm vi ứng dụng của hệ thống, điều này góp phần giảm thiểu phạm vi nhận dạng của tiếng đó trong một vài từ chứ không phải toàn bộ từ vựng.6: Các thành phần cơ bản của hệ thống ASR - Khối giải mã: Quá trình giải mã có thể chỉ đơn giản là xuất ra chuỗi văn bản nhận dạng được hoặc phân tích chuỗi nhận được ứng với công việc gì và thực hiện công việc đó. Ứng dụng: - Điều khiển bằng tiếng nói (khoảng 30 từ): Nhận dạng tên người, chữ số của hệ thống quay số bằng giọng nói trên điện thoại di động, điều khiển thiết bị điện tử,… - Trong viễn thông (khoảng 2000 từ): Tự động điền mẫu đơn trong hệ thống xử lý thông tin, tổng đài điện thoại, … - Từ điển (khoảng 64k từ): Chuyển đổi thư thoại (bộ từ vựng lớn), thư ký TIEU LUAN MOI download : [e-mail] 23 điện tử,… 1.4 Lý thuyết nhận dạng tiếng nói Nhận dạng tiếng nói là kỹ thuật nhận ra các thành phần lời nói của con người. Quá trình này có thể được thực hiện từ việc thu vào tín hiệu tiếng nói từ micro, và kết thúc bằng từ đã được nhận dạng được hệ thống xuất ra.

Những bước của quá trình trên sẽ được đề cập ở phần sau. Việc nghiên cứu nhận dạng tiếng nói đã được bắt đầu từ cuối thập niên 40, trong đó sự phát triển nhanh chóng của công nghệ máy tính đã đóng góp rất nhiều vào sự phát triển của nhận dạng tiếng nói. Ngày nay nhận dạng tiếng nói đã có mặt trong công nghiệp và đời sống ở một số lĩnh vực. Trong công nghiệp, khi tay và mắt của con người đã được tận dụng triệt để, thì việc điều khiển bằng tiếng nói có một thuận lợi rất lớn.

Những ứng dụng khác của nhận dạng tiếng nói như hệ thống nhận đặt phòng tự động qua điện thoại, bằng cách này khách hàng cảm thấy thuận lợi hơn so với việc nhấn các nút của điện thoại. Hơn nữa, nhận dạng tiếng nói còn có nhiều ứng dụng khác như hệ thống chính tả, các đồ chơi trẻ em, trò chơi game,… Một cách lý tưởng, một chương trình nhận dạng sẽ có thể nhận dạng được các từ khác nhau của bất kỳ người nào trong bất kỳ môi trường nào. Nhưng trong thực tế, khả năng của hệ thống phụ thuộc vào nhiều yếu tố khác nhau. Bộ từ vựng, đa người dùng, nhận dạng liên tục (phức tạp hơn nhiều so với nhận dạng từng từ) là các yếu tố gây khó khăn, phức tạp cho việc nhận dạng tiếng nói.

Tương tự như vậy đối với độ ồn nền.1 Rút trích vector đặc trưng Ngày nay, việc xử lý tín hiệu tiếng nói hầu hết được thực hiện trên miền số. Tín hiệu số được thu bằng cách lấy mẫu theo một tần số nhất định, đó là việc đo tín hiệu theo một chu kỳ thời gian. Theo lý thuyết, bất cứ một tín hiệu có băng tần giới hạn nào cũng có thể tái tạo lại một cách hoàn chỉnh nếu như tần số lấy mẫu FS ít nhất là gấp đôi tần số tối đa của tín hiệu (định lý Nyquist). Chất lượng của tín hiệu TIEU LUAN MOI download : [e-mail] 24 được lấy mẫu còn phụ thuộc vào biên độ lấy mẫu – phụ thuộc vào số bit được dùng.