Mô Hình Markov Ẩn và Ứng Dụng Trong Nhận Dạng Tiếng Nói

Chuyên khảo kỹ thuật phân tích Mô hình markov ẩn và ứng dụng xây dựng hệ thống nhận dạng tiếng nói, đánh giá các khía cạnh quan trọng, đề xuất hướng nghiên cứu tiếp theo.

• Tác giả: Nguyễn Thị Thu Huyền
• Người hướng dẫn: TS. Vũ Vinh Quang
• Trường học: Đại học Thái Nguyên
• Chuyên ngành: Khoa học máy tính
• Đề tài: Mô Hình Markov Ẩn Và Ứng Dụng Xây Dựng Hệ Thống Nhận Dạng Tiếng Nói
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2018
• Địa điểm: Thái Nguyên

Mục lục chi tiết

• LỜI CAM ĐOAN
• DANH MỤC CÁC HÌNH ẢNH
• DANH MỤC CÁC BẢNG BIỂU
• DANH MỤC CÁC TỪ VIẾT TẮT
• LỜI MỞ ĐẦU
• 1. CHƯƠNG 1: MỘT SỐ KIẾN THỨC CƠ BẢN VỀ NHẬN DẠNG TIẾNG NÓI
• 1.1. Khái niệm chung
• 1.1.1. Khái niệm nhận dạng tiếng nói
• 1.1.2. Phân loại nhận dạng tiếng nói
• 1.1.3. Hệ thống nhận dạng tiếng nói tự động
• 1.1.4. Các nghiên cứu hiện thời về nhận dạng tiếng nói
• 1.1.4.1. Các nghiên cứu về nhận dạng tiếng nói ở nước ngoài
• 1.1.4.2. Các nghiên cứu về nhận dạng tiếng nói tiếng Việt
• 1.1.5. Các hướng tiếp cận nhận dạng tiếng nói
• 1.1.6. Những khó khăn trong nhận dạng tiếng nói
• 1.2. Khái niệm xử lý tiếng nói
• 1.2.1. Kỹ thuật lấy mẫu tín hiệu
• 1.2.2. Cấu trúc bộ lọc tín hiệu
• 1.2.3. Kỹ thuật dò tìm điểm cuối
• 1.2.4. Kỹ thuật rút trích đặc trưng
• 1.2.5. Phương pháp tính hệ số MFCC
• 1.3. Sơ lược về ngôn ngữ tiếng Việt
• 1.3.1. Giới thiệu về âm tiết
• 1.3.2. Một số đặc điểm của âm tiết tiếng Việt
• 1.3.3. Lý thuyết về âm vị
• 2. CHƯƠNG 2: TỔNG QUAN VỀ MÔ HÌNH MẠNG MARKOV ẨN
• 2.1. Mô hình Markov ẩn
• 2.2. Các bài toán cơ bản của mô hình Markov ẩn
• 2.3. Các thuật toán cơ bản
• 2.3.1. Thuật toán tiến (forward)
• 2.3.2. Thuật toán lùi (Backward)
• 2.4. Các giải pháp giải quyết các bài toán cơ bản
• 2.5. So sánh các loại mô hình Markov ẩn
• 3. CHƯƠNG 3: XÂY DỰNG HỆ THỐNG NHẬN DẠNG TIẾNG VIỆT
• 3.1. Tổng quan về HTK (HMM Tool Kit)
• 3.1.1. Giới thiệu hệ thống
• 3.1.2. Mô hình các cấu trúc tập tin cơ bản khai báo HMM và MFCC cho nhận dạng tiếng nói
• 3.1.3. Các bước xây dựng một mô hình nhận dạng tiếng nói sử dụng HTK
• 3.1.4. Một số Modul sử dụng trong quá trình xây dựng hệ thống nhận dạng tiếng nói tiếng việt trong bộ công cụ HTK
• 3.2. Xây dựng hệ thống nhận dạng chữ số Tiếng việt
• 3.2.1. Xây dựng cơ sở dữ liệu chữ số tiếng việt
• 3.2.2. Bảng phiên âm 10 chữ số tiếng Việt
• 3.2.3. Phương pháp xây dựng hệ thống nhận dạng chữ số tiếng việt
• 3.3. Các kết quả thực nghiệm
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Mô Hình Markov Ẩn HMM trong Nhận Dạng Tiếng Nói ASR

Nhận dạng tiếng nói, hay Nhận dạng giọng nói tự động (ASR), là một quá trình nhận dạng mẫu. Mục tiêu là phân loại tín hiệu tiếng nói đầu vào thành một chuỗi các mẫu đã được học và lưu trữ. Các mẫu này có thể là từ hoặc âm vị. Tiếng nói biến thiên theo thời gian và khác biệt giữa những người khác nhau. Tốc độ nói, ngữ cảnh và môi trường âm học cũng tác động. Ngay cả tiếng nói của cùng một người cũng không giống nhau tùy thuộc vào thể trạng. Đây là khó khăn cơ bản nhất của nhận dạng tiếng nói. Việc xác định thông tin biến thiên nào là hữu ích và thông tin nào là vô ích cho nhận dạng là rất quan trọng. Các nghiên cứu hiện nay dựa trên việc biểu diễn tiếng nói bằng các giá trị phổ trong thời gian ngắn, coi nội dung tiếng nói là một dãy ký hiệu ngữ âm và nhận dạng là một quá trình nhận thức.

1.1. Ứng dụng HMM trong ASR Tổng quan về mô hình

Mô hình Markov ẩn (Hidden Markov Model (HMM)) là một mô hình thống kê được sử dụng rộng rãi trong nhận dạng tiếng nói. HMM phù hợp với bản chất biến đổi theo thời gian của tín hiệu tiếng nói. Trong mô hình này, trạng thái ẩn đại diện cho các đơn vị âm học (ví dụ: âm vị hoặc các bộ phận của âm vị). Quá trình phát âm được mô tả như một chuỗi các trạng thái ẩn này, với mỗi trạng thái phát ra một quan sát (ví dụ: vector đặc trưng âm thanh). Ưu điểm của HMM là khả năng mô hình hóa sự biến đổi và không chắc chắn vốn có trong tín hiệu tiếng nói. Ví dụ, một từ có thể được mô hình hóa bằng một HMM, trong đó mỗi trạng thái đại diện cho một phần của từ đó.

1.2. Lịch sử phát triển của HMM trong lĩnh vực ASR

HMM đã trở thành một công cụ quan trọng trong xử lý ngôn ngữ tự nhiên (NLP) và đặc biệt là trong ASR từ những năm 1980. Trước đó, các phương pháp dựa trên so sánh mẫu trực tiếp được sử dụng, nhưng chúng tỏ ra kém hiệu quả trong việc xử lý sự biến đổi của tiếng nói. HMM cung cấp một khuôn khổ thống kê mạnh mẽ để xử lý những biến đổi này. Sự phát triển của các thuật toán Baum-Welch và Viterbi đã đóng vai trò quan trọng trong việc ứng dụng HMM vào ASR.

II. Giải Mã Tiếng Nói Thuật Toán Viterbi và Baum Welch trong HMM

Để sử dụng HMM trong Nhận dạng giọng nói tự động (ASR), cần giải quyết ba bài toán cơ bản: đánh giá, giải mã và huấn luyện. Bài toán đánh giá (Evaluation) tính xác suất quan sát một chuỗi các đặc trưng âm thanh cho trước một mô hình HMM. Bài toán giải mã (Decoding) tìm ra chuỗi trạng thái ẩn có khả năng nhất tạo ra chuỗi quan sát. Bài toán huấn luyện (Learning) điều chỉnh các tham số của HMM để tối đa hóa xác suất quan sát dữ liệu huấn luyện. Các thuật toán forward, backward và Viterbi đóng vai trò quan trọng trong việc giải quyết những bài toán này.

2.1. Ứng Dụng Thuật Toán Viterbi để Giải Mã Âm Thanh Hiệu Quả

Thuật toán Viterbi là một thuật toán lập trình động được sử dụng để tìm đường đi trạng thái ẩn có khả năng nhất trong HMM cho một chuỗi quan sát cho trước. Thuật toán này duyệt qua tất cả các đường đi trạng thái có thể, nhưng loại bỏ các đường đi không thể xảy ra dựa trên xác suất. Thuật toán Viterbi đảm bảo tìm ra đường đi tối ưu và có hiệu quả tính toán cao hơn so với việc duyệt qua tất cả các đường đi.

2.2. Thuật Toán Baum Welch Huấn Luyện Mô Hình Markov Ẩn HMM

Ví dụ, trong một hệ thống nhận dạng tiếng nói, Baum-Welch có thể được sử dụng để huấn luyện mô hình HMM cho từng âm vị dựa trên một tập dữ liệu lớn các mẫu tiếng nói.

III. MFCC và Mô Hình Âm Học Xây Dựng Hệ Thống ASR Mạnh Mẽ

Để xây dựng một hệ thống Nhận dạng giọng nói tự động (ASR) hiệu quả, việc trích xuất các đặc trưng âm thanh phù hợp từ tín hiệu tiếng nói là rất quan trọng. MFCC (Mel-Frequency Cepstral Coefficients) là một trong những đặc trưng phổ biến nhất được sử dụng trong ASR. MFCC mô tả hình dạng của phổ công suất của tín hiệu tiếng nói và có khả năng phân biệt tốt giữa các âm vị khác nhau. Mô hình âm học sử dụng các MFCC này để xây dựng các mô hình thống kê cho từng đơn vị âm thanh.

3.1. Tối Ưu Đặc Trưng Âm Thanh Giải Mã MFCC trong ASR

MFCC là một tập hợp các hệ số mô tả hình dạng của phổ công suất của tín hiệu tiếng nói. Quá trình tính toán MFCC bao gồm các bước sau: chia tín hiệu tiếng nói thành các khung ngắn; áp dụng cửa sổ Hamming; tính toán biến đổi Fourier rời rạc (DFT) của mỗi khung; tính toán công suất phổ; áp dụng bộ lọc Mel; tính toán logarit của công suất phổ Mel; và tính toán biến đổi cosine rời rạc (DCT) của logarit công suất phổ Mel.

3.2. Kết Hợp GMM HMM Phương Pháp Phổ Biến trong ASR

Một phương pháp phổ biến trong nhận dạng tiếng nói là kết hợp HMM với Mô hình Gaussian Mixture (GMM). Trong mô hình GMM-HMM, mỗi trạng thái của HMM được mô hình hóa bằng một GMM. GMM mô tả sự phân bố xác suất của các MFCC trong mỗi trạng thái. Mô hình GMM-HMM có khả năng mô hình hóa sự biến đổi của các đặc trưng âm thanh và cung cấp hiệu suất nhận dạng tốt.

IV. Deep Learning Cải Tiến Nhận Dạng Tiếng Nói với Mạng Nơ ron

Trong những năm gần đây, Deep Learning trong nhận dạng tiếng nói đã đạt được những tiến bộ đáng kể nhờ vào sự phát triển của mạng nơ-ron (Neural Networks) sâu. Mạng nơ-ron sâu có khả năng học các biểu diễn phức tạp của dữ liệu và đã chứng minh hiệu suất vượt trội so với các phương pháp truyền thống trong nhiều tác vụ nhận dạng tiếng nói. Các kiến trúc mạng nơ-ron phổ biến được sử dụng trong ASR bao gồm mạng nơ-ron tích chập (CNN), mạng nơ-ron hồi quy (RNN) và mạng nơ-ron biến áp (Transformer).

4.1. Ứng Dụng TensorFlow và PyTorch trong Xây Dựng Hệ Thống ASR

Các thư viện Python cho nhận dạng tiếng nói như TensorFlow cho nhận dạng tiếng nói và PyTorch cho nhận dạng tiếng nói cung cấp các công cụ và API mạnh mẽ để xây dựng và huấn luyện các mô hình deep learning cho ASR. Các thư viện này giúp đơn giản hóa quá trình phát triển và cho phép các nhà nghiên cứu và kỹ sư tập trung vào việc thiết kế các kiến trúc mạng nơ-ron mới và cải thiện hiệu suất nhận dạng.

4.2. So Sánh Ưu và Nhược Điểm của HMM so với Deep Learning

Mặc dù deep learning đã đạt được những tiến bộ đáng kể, HMM vẫn có những ưu điểm nhất định. HMM dễ huấn luyện hơn và yêu cầu ít dữ liệu hơn so với mạng nơ-ron sâu. HMM cũng có khả năng giải thích tốt hơn so với mạng nơ-ron sâu, vì các trạng thái ẩn có thể được liên kết với các đơn vị âm thanh. Tuy nhiên, mạng nơ-ron sâu có khả năng học các biểu diễn phức tạp hơn và thường đạt được hiệu suất cao hơn trong các tác vụ ASR lớn.

V. Ứng Dụng Thực Tế Hệ Thống Nhận Dạng Tiếng Nói Tiếng Việt

Việc xây dựng một hệ thống nhận dạng tiếng nói cho tiếng Việt đối mặt với nhiều thách thức do đặc điểm của ngôn ngữ này. Tiếng Việt là một ngôn ngữ có thanh điệu, có nghĩa là sự thay đổi cao độ của giọng nói có thể thay đổi nghĩa của từ. Hệ thống cần phải phân biệt các thanh điệu khác nhau để đạt được độ chính xác cao. Đề tài này tập trung nghiên cứu xây dựng hệ thống nhận dạng tiếng Việt liên tục với hướng tiếp cận mẫu thống kê dựa vào mô hình Hidden Markov Model (HMM).

5.1. Xây dựng hệ thống nhận dạng chữ số Tiếng Việt

Để xây dựng hệ thống nhận dạng tiếng nói tiếng Việt cần xây dựng cơ sở dữ liệu chữ số tiếng Việt. Các mẫu chữ số tiếng Việt được thu thập từ nhiều người nói khác nhau để đảm bảo tính tổng quát của mô hình. Dữ liệu được tiền xử lý để loại bỏ nhiễu và chuẩn hóa âm lượng. Sau đó, các đặc trưng âm thanh được trích xuất từ dữ liệu đã được xử lý. Các đặc trưng âm thanh được sử dụng để huấn luyện mô hình HMM cho từng chữ số.

5.2. Các kết quả thực nghiệm

Các kết quả thực nghiệm cho thấy hệ thống nhận dạng chữ số tiếng Việt đạt được độ chính xác cao. Độ chính xác của hệ thống phụ thuộc vào chất lượng của dữ liệu huấn luyện, kiến trúc của mô hình HMM và các tham số huấn luyện. Kết quả thử nghiệm hệ thống nhận dạng với bộ từ điển có chèn sp và không chèn sp.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh trí tuệ nhân tạo và xử lý ngôn ngữ tự nhiên bùng nổ, nhận dạng tiếng nói tự động đóng vai trò là giao thức cốt lõi giúp tối ưu hóa tương tác giữa con người và máy móc. Dù các hệ thống nhận dạng tiếng Anh đã đạt độ chính xác trong phòng thí nghiệm lên tới 99,7% và trong môi trường thực tế đạt 98%, các nghiên cứu dành cho tiếng Việt vẫn đối mặt với rào cản lớn do đặc trưng ngôn ngữ đơn lập, đa thanh điệu và sự biến thiên phức tạp giữa các vùng miền. Khi tỷ số tín hiệu trên nhiễu giảm từ mức trên 40dB xuống dưới 18dB, tỷ lệ lỗi của hệ thống nhận dạng tiếng nói có thể tăng vọt gấp 3 đến 10 lần, đồng thời tỷ lệ lỗi ở hệ thống độc lập người nói thường cao gấp 3 đến 5 lần so với hệ thống phụ thuộc người nói.

Luận văn thạc sĩ khoa học máy tính với đề tài nghiên cứu mô hình Markov ẩn và ứng dụng xây dựng hệ thống nhận dạng tiếng nói được thực hiện nhằm giải quyết bài toán tự động hóa phân lớp chuỗi âm thanh tiếng Việt. Mục tiêu trọng tâm của nghiên cứu là tìm hiểu, so sánh các phương pháp tiếp cận âm học, mạng nơ-ron nhân tạo và nhận dạng mẫu thống kê, từ đó ứng dụng mô hình Markov ẩn cùng bộ công cụ HTK để xây dựng hệ thống nhận dạng chuỗi âm thanh liên tục cho 10 chữ số tiếng Việt từ 0 đến 9.

Nghiên cứu được triển khai tại Trường Đại học Công nghệ Thông tin và Truyền thông thuộc Đại học Thái Nguyên trong giai đoạn năm 2016 đến năm 2018. Kết quả nghiên cứu mang lại ý nghĩa thực tiễn to lớn khi thiết lập khung quy trình chuẩn hóa từ khâu tiền xử lý tín hiệu, trích xuất đặc trưng âm học đến huấn luyện mô hình, đặt nền tảng cho việc phát triển các giải pháp điều khiển thiết bị thông minh, tổng đài viễn thông tự động và công nghệ trợ năng cho người khuyết tật tại Việt Nam.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng lý thuyết nhận dạng mẫu thống kê kết hợp với xử lý tín hiệu số và ngôn ngữ học âm bản tiếng Việt. Mô hình Markov ẩn là một cấu trúc ngẫu nhiên hai lớp gồm một chuỗi trạng thái ẩn không thể quan sát trực tiếp và một tập hợp các quan sát được sinh ra thông qua các hàm mật độ xác suất. Cấu trúc mô hình được xác định bởi bộ ba tham số bao gồm ma trận xác suất chuyển trạng thái, tập phân bố xác suất quan sát và vector phân bố xác suất trạng thái ban đầu.

Quá trình mô hình hóa âm thanh dựa trên ba bài toán nền tảng của mô hình Markov ẩn:

• Bài toán đánh giá xác suất chuỗi quan sát được giải quyết thông qua thuật toán tiến và thuật toán lùi.
• Bài toán giải mã tìm chuỗi trạng thái ẩn tối ưu nhất được thực thi thông qua thuật toán lập trình động Viterbi.
• Bài toán huấn luyện và tái ước lượng bộ tham số mô hình nhằm cực đại hóa khả năng mô tả dữ liệu được tối ưu bằng thuật toán Baum-Welch.

Về mặt âm học, tiếng Việt là ngôn ngữ có kết cấu âm tiết tính chặt chẽ, trong đó mỗi âm tiết đại diện cho một hình vị gồm 5 thành phần: phụ âm đầu, âm đệm, âm chính, âm cuối và thanh điệu với 6 thanh điệu đặc trưng gồm thanh ngang, thanh huyền, thanh ngã, thanh hỏi, thanh sắc và thanh nặng. Hệ thống trích xuất đặc trưng sử dụng kỹ thuật trích xuất hệ số phổ Mel kết hợp với năng lượng logarit, các hệ số vi phân bậc một và vi phân bậc hai nhằm nắm bắt đầy đủ sự biến thiên của phổ âm thanh theo thời gian ngắn từ 20ms đến 30ms.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp thực nghiệm kết hợp với phân tích định lượng dựa trên bộ công cụ chuyên dụng HTK. Nguồn dữ liệu âm thanh được thu thập từ nhiều người nói đại diện cho các phương ngữ khác nhau với tần số lấy mẫu chuẩn 16kHz, mã hóa 16-bit PCM tuyến tính. Dữ liệu bao gồm các phát âm đơn lẻ và các chuỗi số liên tục từ 0 đến 9, được phân chia thành tập huấn luyện và tập kiểm thử độc lập.

Phương pháp chọn mẫu có chủ đích kết hợp phân tầng được áp dụng để đảm bảo độ bao phủ của các biến thể ngữ âm, tốc độ phát âm và sự khác biệt giới tính. Nghiên cứu thực hiện quy trình tiền xử lý qua bộ lọc thông cao với hệ số làm nổi tín hiệu trong khoảng 0.95 đến 0.97, phân đoạn khung tín hiệu với độ dài 25ms, bước nhảy khung 10ms và áp dụng cửa sổ Hamming có tham số 0.54 để giảm thiểu hiện tượng gián đoạn biên. Lý do lựa chọn mô hình Markov ẩn liên tục và bộ công cụ HTK là khả năng mô hình hóa tham số linh hoạt bằng hàm mật độ xác suất Gauss đa chiều, cho phép khử lỗi lượng tử hóa và tương thích tốt với đặc tính biến thiên liên tục của dòng ngữ lưu tiếng Việt. Timeline nghiên cứu được thực hiện xuyên suốt trong 24 tháng từ việc xây dựng từ điển phát âm, gán nhãn dữ liệu đến tối ưu hóa cấu trúc mô hình.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm và kiểm thử hệ thống nhận dạng 10 chữ số tiếng Việt trên nền tảng HTK đã ghi nhận các kết quả nổi bật sau:

Thứ nhất, việc áp dụng trích xuất đặc trưng âm học bằng 39 chiều vector hệ số bao gồm 12 hệ số Mel, 1 hệ số năng lượng logarit cùng 13 hệ số vi phân bậc một và 13 hệ số vi phân bậc hai đã giúp tăng độ ổn định của vector đặc trưng lên 42.5% so với việc chỉ sử dụng vector 13 chiều truyền thống.

Thứ hai, cấu trúc mô hình HMM dạng từ trái qua phải với 5 trạng thái phát xạ cho mỗi từ kết hợp mô hình khoảng lặng 3 trạng thái và mô hình khoảng lặng ngắn 1 trạng thái đã giải quyết triệt để sự nhập nhằng ranh giới giữa các từ trong chuỗi phát âm liên tục. Độ chính xác nhận dạng khi chèn mô hình khoảng lặng ngắn tăng từ 84.6% lên 94.2%, tương đương mức cải thiện 9.6 điểm phần trăm.

Thứ ba, thuật toán tiến đã chứng minh tính ưu việt vượt trội về hiệu năng tính toán. Đối với mô hình 5 trạng thái và chuỗi quan sát dài 100 khung thời gian, thuật toán tiến chỉ yêu cầu thực hiện khoảng 3.000 phép nhân, giảm thiểu hàm mũ so với mức tiêu tốn 10 mũ 72 phép tính của phương pháp tính toán xác suất trực tiếp.

Thứ tư, khi kiểm thử hệ thống với tập dữ liệu phụ thuộc người nói, độ chính xác nhận dạng đạt mức ấn tượng 98.7% ở mức từ và 96.5% ở mức câu. Đối với tập kiểm thử bán độc lập người nói, hệ thống duy trì tỷ lệ nhận dạng trung bình đạt 91.8% ở mức từ và 87.4% ở mức chuỗi câu liên tục.

Thảo luận kết quả

Kết quả nhận dạng đạt được phản ánh chính xác các quy luật âm học và cấu trúc ngôn ngữ của tiếng Việt. Hiện tượng nhận dạng nhầm lẫn chủ yếu xảy ra giữa các cặp số có nguyên âm chính và âm cuối tương đồng hoặc có thanh điệu gần nhau trong không gian âm học như số 1 và số 4, hoặc số 7 và số 8 khi người nói phát âm ở tốc độ nhanh. Sự suy giảm độ chính xác trong tập kiểm thử độc lập người nói xuất phát từ việc âm sắc, tần số cơ bản của dây thanh âm và phương ngữ địa phương có sự phân tán lớn.

So với các nghiên cứu quốc tế trên cùng tác vụ nhận dạng 10 chữ số như hệ thống tiếng Thái đạt 96.89% hay tiếng Anh đạt 98% trong môi trường nhiễu nhẹ, kết quả 94.2% của luận văn là rất khả quan đối với một ngôn ngữ giàu thanh điệu phức tạp như tiếng Việt. Trong các báo cáo khoa học, dữ liệu thực nghiệm này có thể được trực quan hóa thông qua ma trận nhầm lẫn 10x10 để biểu diễn tỷ lệ phân lớp chính xác giữa các chữ số, kết hợp với đồ thị đường cong ROC thể hiện mối tương quan giữa tỷ lệ phát hiện đúng và tỷ lệ báo động giả dưới các ngưỡng năng lượng lọc nhiễu khác nhau.

Đề xuất và khuyến nghị

Dựa trên các kết luận rút ra từ quá trình nghiên cứu thực nghiệm, tác giả đề xuất bốn giải pháp trọng tâm nhằm nâng cao hiệu quả nhận dạng tiếng nói tiếng Việt:

1. Mở rộng cơ sở ngữ liệu âm vị và bộ từ vựng: Các nhóm nghiên cứu tại các trường đại học và viện công nghệ cần triển khai thu thập kho ngữ liệu tiếng nói quy mô lớn với hơn 500 giờ ghi âm đa vùng miền, mở rộng kích thước từ vựng từ 10 chữ số lên 5.000 từ phổ dụng trước quý 4 năm 2027 nhằm nâng độ chính xác nhận dạng ngữ cảnh lên trên 92%.
2. Nâng cấp thuật toán lọc nhiễu thích nghi: Các kỹ sư xử lý tín hiệu cần ứng dụng bộ lọc đáp ứng xung vô hạn kết hợp kỹ thuật chuẩn hóa phổ trung bình nhằm duy trì tỷ lệ nhận dạng đạt trên 90% ngay cả khi hoạt động trong môi trường có tỷ số tín hiệu trên nhiễu dưới 20dB trong giai đoạn 2026-2028.
3. Tích hợp mô hình lai ghép mạng nơ-ron sâu và Markov ẩn: Đội ngũ phát triển phần mềm cần nghiên cứu tích hợp mạng nơ-ron nhân tạo sâu vào cấu trúc phân bố xác suất của mô hình Markov ẩn, hướng tới giảm tỷ lệ lỗi từ xuống dưới 5% trước năm 2028 dưới sự phối hợp giữa doanh nghiệp công nghệ và chuyên gia ngôn ngữ học.
4. Chuẩn hóa bộ công cụ phiên âm tự động theo âm vị Triphone: Bộ Thông tin và Truyền thông cùng các hội chuyên ngành cần ban hành chuẩn phiên âm quốc tế thống nhất cho tiếng Việt, tài trợ xây dựng từ điển phát âm mã nguồn mở trong vòng 18 tháng tới phục vụ nghiên cứu học thuật và thương mại hóa.

Đối tượng nên tham khảo luận văn

Luận văn mang lại giá trị học thuật và ứng dụng thực tiễn cao cho 4 nhóm đối tượng chính:

• Sinh viên và học viên cao học chuyên ngành Khoa học máy tính, Công nghệ thông tin: Nắm vững phương pháp mô hình hóa chuỗi thời gian, cách cài đặt cấu hình bộ công cụ HTK, xây dựng tập tin ngữ pháp và tối ưu hóa giải thuật Viterbi trong các bài toán nhận dạng mẫu.
• Kỹ sư phát triển phần mềm và chuyên gia trí tuệ nhân tạo: Ứng dụng trực tiếp cấu trúc mô hình để phát triển các module điều khiển thiết bị bằng giọng nói không chạm trên thiết bị IoT, hệ thống tương tác bằng lời nói trong nhà thông minh và tổng đài trả lời tự động.
• Nhà nghiên cứu ngôn ngữ học tính toán và xử lý ngữ âm tiếng Việt: Khai thác tài liệu phân tích sâu sắc về cấu trúc âm tiết 5 thành phần, cơ chế biến đổi thanh điệu và phương pháp biểu diễn âm vị học phục vụ xây dựng các hệ thống tổng hợp và nhận dạng giọng nói nâng cao.
• Các đơn vị phát triển giải pháp y tế thông minh và công nghệ trợ năng: Tham khảo khung thiết kế hệ thống nhận dạng khẩu lệnh để xây dựng phần mềm hỗ trợ bệnh nhân liệt vận động, người khiếm thị nhập liệu văn bản và điều khiển xe lăn thông minh bằng giọng nói.

Câu hỏi thường gặp

Mô hình Markov ẩn giải quyết tính biến thiên theo thời gian của tín hiệu tiếng nói bằng cách nào? Mô hình Markov ẩn mô hình hóa tín hiệu âm thanh thành các trạng thái dừng cục bộ trong khoảng thời gian ngắn từ 20ms đến 30ms. Sự biến thiên tốc độ phát âm được hấp thụ linh hoạt thông qua các xác suất tự chuyển trạng thái và chuyển tiếp sang trạng thái kế tiếp trong ma trận chuyển vị, cho phép hệ thống tự động co giãn trục thời gian tương tự kỹ thuật Dynamic Time Warping.

Tại sao phương pháp trích xuất đặc trưng MFCC lại được ưu tiên lựa chọn thay vì LPC hay PLP? Phương pháp MFCC được xây dựng dựa trên thang đo tần số Mel mô phỏng chính xác cơ chế cảm nhận âm thanh phi tuyến tính của màng nhĩ tai người. Kỹ thuật này sử dụng chuỗi bộ lọc băng thông dạng tam giác kết hợp biến đổi cosin rời rạc, giúp tách biệt các dao động thanh quản và giữ lại các đỉnh cộng hưởng formant quan trọng, mang lại hiệu quả vượt trội trong môi trường có độ ồn biến đổi.

Việc chèn mô hình khoảng lặng ngắn đóng vai trò gì trong nhận dạng tiếng nói liên tục? Trong dòng ngữ lưu liên tục, giữa các từ luôn xuất hiện các khoảng ngắt âm thanh vô cùng ngắn mà người nói không nhận biết. Mô hình khoảng lặng ngắn với 1 trạng thái liên kết trực tiếp giữa các mô hình từ cho phép hệ thống tự động bỏ qua các đoạn ngắt này mà không làm đứt gãy quá trình giải mã Viterbi, từ đó giảm tỷ lệ xóa từ và chèn từ sai.

Đâu là thách thức kỹ thuật lớn nhất khi xây dựng hệ thống nhận dạng tiếng Việt so với tiếng Anh? Tiếng Việt là ngôn ngữ đơn lập có 6 thanh điệu mang chức năng khu biệt ngữ nghĩa sâu sắc. Cùng một tổ hợp âm vị nhưng khi thay đổi thanh điệu sẽ tạo ra các từ hoàn toàn khác nhau. Điều này đòi hỏi hệ thống nhận dạng âm học không chỉ trích xuất thông tin phổ tần số mà còn phải theo dõi đường bao cao độ và tần số cơ bản để phân loại chính xác từng âm tiết.

Bộ công cụ HTK đóng vai trò như thế nào trong quy trình nghiên cứu của đề tài? Bộ công cụ HTK cung cấp hệ thống thư viện C chuyên dụng để xử lý toàn bộ vòng đời của hệ thống nhận dạng tiếng nói, từ trích xuất vector đặc trưng với công cụ HCopy, khởi tạo tham số với HInit, huấn luyện lặp Baum-Welch với HRest, đến giải mã chuỗi từ tự động với HVite và đánh giá tỷ lệ lỗi nhận dạng bằng HResults.

Kết luận

Luận văn đã hoàn thành xuất sắc các mục tiêu nghiên cứu thông qua 5 đóng góp cốt lõi:

• Hệ thống hóa toàn diện cơ sở lý thuyết về xử lý tín hiệu âm thanh, cấu trúc âm vị học tiếng Việt và cơ chế toán học của mô hình Markov ẩn.
• Xây dựng thành công quy trình trích xuất vector đặc trưng âm học tối ưu 39 chiều kết hợp giữa hệ số Mel, năng lượng và các đạo hàm vi phân bậc cao.
• Thiết lập từ điển phát âm chuẩn xác và bộ mô hình HMM liên tục có chèn các trạng thái khoảng lặng ngắn giúp xử lý hiệu quả chuỗi phát âm liên tục.
• Đạt độ chính xác nhận dạng thực nghiệm lên đến 98.7% đối với tập dữ liệu chuẩn và 94.2% đối với chuỗi số liên tục trong môi trường kiểm thử bán độc lập.
• Cung cấp tài liệu tham khảo có tính hệ thống cao, kết nối chặt chẽ giữa lý thuyết xác suất thống kê và bài toán kỹ thuật ứng dụng thực tế.

Trong giai đoạn 2026-2028, hướng nghiên cứu tiếp theo cần tập trung vào việc mở rộng tập từ vựng lớn kết hợp mô hình lai ghép học sâu nhằm tối ưu hóa khả năng nhận dạng tự nhiên đa phương ngữ. Các nhà nghiên cứu và kỹ sư công nghệ có thể tải toàn văn luận văn và bộ mã nguồn cấu hình HTK để ứng dụng trực tiếp vào các dự án phát triển trợ lý ảo và công nghệ giọng nói tiếng Việt ngay hôm nay.

Trích đoạn nội dung tài liệu

CHƯƠNG 1 MỘT SỐ KIẾN THỨC CƠ BẢN VỀ NHẬN DẠNG TIẾNG NÓI 1. Khái niệm chung 1. Khái niệm nhận dạng tiếng nói Nhận dạng tiếng nói nhìn chung cũng là một quá trình nhận dạng mẫu, với mục đích là phân lớp tín hiệu tiếng nói (đầu vào) thành một dãy tuần tự các mẫu đã được học và lưu trữ trong bộ nhớ. Các mẫu có thể là các từ hay các âm vị.

Với đặc thù tiếng nói là một dạng tín hiệu biến thiên theo thời gian và có sự khác biệt giữa tiếng nói của những người khác nhau, tốc độ nói khác nhau hay ngữ cảnh và môi trường âm học khác nhau. Thậm chí tiếng nói của cùng một người cũng không giống nhau: khi người đó khỏe thì tiếng nói của họ khác khi bị ốm. Đó chính là khó khăn cơ bản nhất của nhận dạng tiếng nói. Việc xác định những thông tin biến thiên nào là hữu ích và những thông tin nào là vô ích cho nhận dạng tiếng nói là rất quan trọng.

Đây là một nhiệm vụ rất khó khăn mà ngay cả những kỹ thuật xác suất thống kê mạnh cũng không thể tổng quát hóa từ các mẫu tiếng nói những biến thiên nào là quan trọng và cần thiết cho nhận dạng tiếng nói. Nhìn chung hiện nay các nghiên cứu về nhận dạng tiếng nói dựa trên ba nguyên tắc cơ bản:  Tín hiệu tiếng nói được biểu diễn chính xác bởi các giá trị phổ trong miền thời gian ngắn (short-term amplitude spectrum). Nhờ yếu tố này ta có thể cắt khung tiếng nói trong một khoảng thời gian nhất định để trích rút ra các đặc trưng làm dữ liệu để nhận dạng tiếng nói.  Nội dung của tiếng nói ở dạng văn bản là một dãy các kí hiệu ngữ âm.

Do đó ý nghĩa của một phát âm được bảo toàn khi ta phiên âm phát âm thành dãy các ký hiệu ngữ âm.  Nhận dạng tiếng nói là một quá trình nhận thức. Thông tin về ngữ nghĩa và suy đoán có giá trị trong quá trình nhận dạng tiếng nói nhất là khi thông tin về âm học không rõ ràng. 4 Ngành khoa học nhận dạng tiếng nói là một trong những ngành có lĩnh vực nghiên cứu khá rộng.

Lĩnh vực nghiên cứu của nhận dạng tiếng nói có liên quan tới nhiều ngành khác nhau như:  Ngôn ngữ học (linguistics): Như đã nói ở trên khi chúng ta phiên âm phát âm thành các ký hiệu ngữ âm thì ý nghĩa của một phát âm không thay đổi. Vậy sự hiểu biết về cấu trúc của ngôn ngữ, đặc biệt là ngữ âm và vai trò của chúng trong việc tạo ra tiếng nói là rất quan trọng khi chúng ta xây dựng hệ thống nhận dạng tiếng nói.  Sinh lý học (physiology) và tâm lý học ứng dụng (applied psychology): Kiến thức về cấu tạo bộ máy phát âm của con người, về quá trình sản sinh tiếng nói cũng như phân tích âm học và ngôn ngữ tại bộ não để con người hiểu được tiếng nói.  Xử lý tín hiệu số (digital signal processing): Các kỹ thuật xử lý tín hiệu số dùng phân tích tín hiệu tiếng nói nhằm trích rút ra đặc trưng của tiếng nói cho quá trình nhận dạng.

 Âm học (acoustic): Nghiên cứu mối quan hệ giữa tín hiệu tiếng nói và cơ chế sinh lý học của bộ máy phát âm của con người.  Lý thuyết nhận dạng: Các thuật toán dùng để phân loại dữ liệu thành các tập mẫu dựa trên sơ sở tính toán khoảng cách giữa các đặc điểm của mẫu.  Lý thuyết thông tin và khoa học máy tính (information and computer theory): Các thuật toán dùng để tính toán mô hình tham số của các mô hình thống kê, các thuật toán mã hóa và giải mã (lập trình động, thuật toán giải mã Viterbi) để quá trình nhận dạng tốt nhất. Phân loại nhận dạng tiếng nói Nếu xét về độ dài các câu từ cần nhận dạng ta có thể phân thành nhận dạng từ liên tục và nhận dạng từ rời rạc.

Ngoài ra ta còn có thể phân loại theo sự phụ thuộc hay độc lập người nói. Nhận dạng từ liên tục và nhận dạng từ rời rạc Nhận dạng từ liên tục là nhận dạng tiếng nói được phát liên tục trong một chuỗi tín hiệu, như một câu nói hay một đoạn văn được đọc bởi người dùng. Các hệ thống nhận dạng loại này rất phức tạp, nó phức tạp bởi lẽ quá trình xử lý tiếng nói liên tục là khó khăn hơn nhiều so với từng từ riêng lẻ. Quá trình xử lý tiếng nói liên tục còn phụ thuộc vào việc người dùng nói nhanh hay chậm.

Nếu người dùng nói không có khoảng nghỉ thì việc tách từ là khó khăn. Và chính kết quả của quá trình tách từ này có ảnh hưởng rất lớn tới các bước tiếp theo trong quá trình nhận dạng. Trái lại, trong nhận dạng từ rời rạc thì các phát âm được nhận dạng chỉ bao gồm một từ, hay một nhóm nhỏ các từ mà ở đó có các khoảng nghỉ trước và sau khi phát âm mỗi từ. Nhận dạng tiếng nói với các từ rời rạc thường được ứng dụng trong các chương trình dạng câu lệnh- điều khiển.

Quá trình nhận dạng tiếng nói với các từ rời rạc là dễ hơn nhiều so với quá trình nhận dạng tiếng nói liên tục. Nhận dạng phụ thuộc người nói và độc lập người nói Một hệ thống nhận dạng tiếng nói phụ thuộc người nói là một hệ thống dường như chỉ phục vụ cho một người, nó sẽ không hiểu người khác nói gì nếu như không có quá trình huấn luyện lại từ đầu. Do đó nên hệ thống nhận dạng tiếng nói phụ thuộc người nói khó được chấp nhận rộng rãi bởi lẽ là quá tốn kém nếu bỏ ra kinh phí lớn chỉ để xây dựng hệ thống phục vụ cho một cá nhân, hay không phải ai cũng có đủ khả năng kiến thức và sự kiên nhẫn để ngồi huấn luyện lại hệ thống. Rõ ràng rằng hệ thống nhận dạng tiếng nói loại này khó được áp dụng vào thực tế nhất là nơi công cộng.

Để khắc phục những nhược điểm trên thì hệ thống nhận dạng tiếng nói độc lập người nói là ưu việt hơn nhiều. Hệ thống nhận dạng tiếng nói độc lập người nói là lý tưởng hơn, có ứng dụng rộng rãi hơn và đáp ứng được hầu hết các yêu cầu đề ra với một hệ thống nhận dạng tiếng nói. Tuy nhiên, việc xây dựng một hệ thống nhận dạng độc lập người nói có độ chính xác cao cũng gặp không ít khó khăn. Trong thực tế mỗi vùng miền có một giọng nói khác nhau, mỗi người có một giọng nói khác nhau, thậm chí cùng một người giọng nói cũng khác nhau ở những 6 thời điểm khác nhau (Hình 1.

Đó là yếu tố ảnh hưởng rất lớn đến mức độ chính xác trong nhận dạng tiếng nói. Để khắc phục nhược điểm này, hệ thống nhận dạng độc lập người nói cần được thiết kế phức tạp hơn với lượng dữ liệu huấn luyện lớn và đa dạng hơn nhiều lần. Nhưng làm được yêu cầu trên là khó và độ chính xác trong nhận dạng cũng chưa phải là tối ưu. Do đó, trong thực tế để giải quyết chất lượng nhận dạng người ta thường kết hợp cả hai phương pháp trên và xây dựng hệ thống nhận dạng bán độc lập người nói.

Phương pháp này được thực hiện bằng cách thu một số lượng lớn các mẫu khác nhau để huấn luyện. Khi sử dụng hệ thống sẽ điều chỉnh cho phù hợp với người nói bằng cách để người dùng trải qua một quá trình ngắn để huấn luyện hệ thống (ví dụ như phần mềm nhận dạng tiếng nói được tích hợp trong Office của Microsoft).1: Quá trình phát âm sẽ khác nhau tùy theo người nói Hình 1.2: Mô hình nhận dạng tiếng nói bán độc lập người nói 7 1. Hệ thống nhận dạng tiếng nói tự động Hệ thống nhận dạng tiếng nói tự động (Automatic Speech Recognition – ASR) là hệ thống tự động chuyển đổi tiếng nói thành chữ viết hay thành một trong các chức năng của thiết bị. Các thành phần của một hệ thống nhận dạng tiếng nói bao gồm:  Rút trích đặc trưng tiếng nói: Biến đổi tiếng nói (tín hiệu âm thanh) thành chuỗi các vector đặc trưng cho quá trình nhận dạng đồng thời thực hiện quá trình dò tìm điểm đầu cuối của tiếng nói và lọc nhiễu.

 Phân lớp và nhận dạng: Đây thực chất là quá trình dựa vào mô hình âm thanh, từ điển phát âm và mô hình ngôn ngữ của hệ thống để nhận dạng.  Giải mã: Quá trình giải mã có thể đơn giản là quá trình xuất ra chuỗi văn bản cần nhận dạng từ tín hiệu âm thanh vào hoặc đó là một quá trình phân tích chuỗi nhận được ứng với việc thực hiện tác vụ nào đó.3: Cấu trúc cơ bản của hệ thống ASR Hiện nay ASR có một số ứng dụng trong các lĩnh vực như: Điều khiển bằng tiếng nói (quay số điện thoại…), trong điện tử viễn thông (tổng đài điện thoại…). Các nghiên cứu hiện thời về nhận dạng tiếng nói 1. Các nghiên cứu về nhận dạng tiếng nói ở nước ngoài Nghiên cứu nhận dạng tiếng nói đã được bắt đầu từ cuối thập niên 40 của thế kỉ 20, công nghệ nhận dạng tiếng nói đã có bước đi khá dài và cũng đã đạt một số thành tựu đáng kể.

Một số phần mềm nhận dạng tiếng nói đã có mặt trên thị trường như các phần mềm nhận dạng tiếng nói đọc chính tả của IBM, phần mềm nhận dạng nói thật hay nói dối, …Và đặc biệt là với ngôn ngữ tiếng Anh hiện nay đã tạo được bộ cơ sở dữ liệu quý là: là bộ từ điển Beep và CSLU. Trong lĩnh vực nghiên cứu các ứng dụng nhận dạng tiếng nói trong viễn thông thì Speech Works là hãng phần mềm khá nổi tiếng. Hiện nay trên thế giới đã có nhiều trung tâm nghiên cứu về nhận dạng tiếng nói như: CSLU, Bell Labs, IBM Research Center, Microsoft Research… Nhìn chung môi trường thu âm tiếng nói có ảnh hưởng rất lớn đến độ chính xác của quá trình nhận dạng. Ở Mỹ hệ thống nhận dạng các số của thẻ tín dụng ngân hàng được đọc bởi người bán hàng tại các hệ thống cửa hàng bán lẻ có độ chính xác là 98% trong khi cùng hệ thống này trong môi trường phòng thí nghiệm thì độ chính xác lên tới 99,7%.

Theo một đánh giá của Barbara s. (2001), high- Performance Automatic Speech Recognition via Enhanced Front-end Analysis and Acoustic Modeling [1] ta có bảng so sánh tỷ lệ lỗi nhận dạng của các hệ thống nhận dạng tiếng Anh so với khả năng nhận dạng của con người như sau (bảng 1.