Nghiên cứu phương pháp nhận dạng tiếng nói tiếng Việt sử dụng mô hình học sâu HMM-DNN

Luận văn nhận dạng tiếng nói tiếng Việt sử dụng mô hình HMM-DNN - Phạm Văn Quảng (ĐH Thái Nguyên)

• Tác giả: Phạm Văn Quảng
• Người hướng dẫn: PGS.TS. Phùng Trung Nghĩa
• Trường học: Trường Đại học Công nghệ Thông tin và Truyền thông - Đại học Thái Nguyên
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nghiên cứu phương pháp nhận dạng tiếng nói tiếng Việt sử dụng mô hình học sâu HMM-DNN
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2022
• Địa điểm: Thái Nguyên

Tóm tắt

I. Tổng quan về nhận dạng tiếng nói tiếng Việt qua mô hình HMM DNN

Hệ thống nhận dạng tiếng nói tự động (ASR) đóng vai trò then chốt trong giao tiếp người và máy. Kỹ thuật này chuyển đổi tín hiệu sóng âm thanh thành văn bản tương ứng. Đối với tiếng Việt, bài toán nhận dạng đối mặt với nhiều đặc thù âm học phức tạp. Tiếng Việt là ngôn ngữ đơn lập có thanh điệu phong phú. Mỗi âm tiết mang một cao độ riêng biệt. Sự thay đổi thanh điệu làm thay đổi hoàn toàn ý nghĩa ngữ nghĩa của từ. Trước đây, các hệ thống ASR truyền thống chủ yếu dựa trên mô hình Markov ẩn kết hợp mô hình hỗn hợp Gaussian (HMM-GMM). Mô hình này bộc lộ nhiều hạn chế khi xử lý các không gian đặc trưng phi tuyến tính phức tạp. Sự phát triển của học sâu mang lại bước đột phá lớn. Mô hình kết hợp HMM-DNN thay thế GMM bằng mạng nơ-ron sâu (DNN). Mạng DNN có khả năng học các biểu diễn âm học phân cấp mạnh mẽ. Cấu trúc lai HMM-DNN giúp nâng cao đáng kể độ chính xác nhận dạng từ vựng lớn. Mô hình này xử lý hiệu quả hiện tượng đồng cấu âm và biến thể phát âm vùng miền trong tiếng Việt hiện đại.

1.1. Cấu trúc âm vị học và đặc trưng ngữ âm tiếng Việt

Ngữ âm tiếng Việt sở hữu cấu trúc âm tiết chặt chẽ gồm âm đầu, âm đệm, âm chính, âm cuối và thanh điệu. Hệ thống thanh điệu bao gồm sáu thanh: ngang, huyền, ngã, hỏi, sắc, nặng. Thanh điệu quyết định trực tiếp nghĩa từ vựng. Khi phân tích tín hiệu, các đặc trưng âm học như tần số cơ bản F0 đóng vai trò cốt lõi để nhận diện thanh điệu. Bên cạnh đó, các hệ số MFCC và PLP thường được trích xuất để mô tả phổ âm thanh. Tiếng Việt còn có tính đa dạng phương ngữ giữa ba miền Bắc, Trung, Nam. Sự khác biệt về cách phát âm nguyên âm và phụ âm cuối tạo ra thách thức lớn. Việc xây dựng tập âm vị chuẩn xác giúp hệ thống nhận dạng phân loại ngữ âm ổn định hơn.

1.2. Sự chuyển dịch công nghệ từ HMM GMM sang HMM DNN

Mô hình truyền thống HMM-GMM thống trị lĩnh vực nhận dạng tiếng nói trong nhiều thập kỷ. GMM đảm nhận việc mô hình hóa phân phối xác suất quan sát của các trạng thái âm học. Tuy nhiên, GMM gặp khó khăn khi biểu diễn các cấu trúc dữ liệu phi tuyến phi chuẩn. Sự ra đời của mạng nơ-ron sâu DNN giải quyết triệt để rào cản này. Mạng DNN có kiến trúc nhiều lớp ẩn, cho phép tự động học các đặc trưng phức tạp từ phổ âm thanh thô. Trong mô hình lai HMM-DNN, DNN thay thế GMM để tính xác suất hậu nghiệm của các trạng thái HMM. Mô hình tận dụng khả năng mô hình hóa chuỗi thời gian của HMM cùng sức mạnh phân loại của DNN. Sự kết hợp này tạo bước nhảy vọt về hiệu năng nhận dạng tiếng nói.

II. Thách thức nhận dạng tiếng nói tiếng Việt và hạn chế mô hình cũ

Nhận dạng tiếng nói tiếng Việt đối mặt với nhiều rào cản kỹ thuật đặc thù. Thứ nhất, tiếng Việt là ngôn ngữ có thanh điệu cao độ rõ nét. Cùng một tổ hợp âm vị, việc thay đổi thanh điệu sẽ tạo ra các từ mang ngữ nghĩa hoàn toàn khác nhau. Điều này đòi hỏi mô hình âm học phải bóc tách chính xác cả tần số F0 lẫn đặc trưng phổ. Thứ hai, sự biến thiên phương ngữ giữa các vùng miền Bắc, Trung, Nam rất lớn. Người nói ở từng địa phương có cách phát âm, nuốt âm và biến âm khác biệt. Tạp âm môi trường và chất lượng thiết bị thu âm cũng làm suy giảm tín hiệu âm thanh đáng kể. Thứ ba, các mô hình truyền thống trước đây như HMM-GMM phụ thuộc nặng nề vào giả định phân phối chuẩn Gaussian. Giả định này không phản ánh đúng tính chất phi tuyến phức tạp của tiếng nói thực tế. Ngoài ra, việc thiếu hụt các bộ ngữ liệu tiếng Việt quy mô lớn và chuẩn hóa gây khó khăn cho việc huấn luyện mô hình âm học từ vựng lớn. Những yếu tố trên dẫn đến tỷ lệ lỗi từ (WER) cao trong môi trường thực tế.

2.1. Vấn đề nhận diện thanh điệu và phương ngữ vùng miền

Tiếng Việt có cấu trúc âm vị phụ thuộc chặt chẽ vào cao độ thanh điệu. Khi phát âm trong ngữ cảnh thực tế, hiện tượng biến điệu thường xuyên xảy ra. Người nói nối âm hoặc thay đổi độ cao của âm tiết tùy theo cảm xúc và ngữ điệu câu. Thêm vào đó, sự khác biệt vùng miền gây cản trở lớn. Giọng miền Bắc giữ nguyên hệ thống sáu thanh điệu chuẩn xác. Giọng miền Trung và miền Nam thường gộp thanh hỏi và thanh ngã thành một. Một số phụ âm đầu và âm cuối cũng bị phát âm đồng hóa. Nếu mô hình âm học không được huấn luyện trên tập dữ liệu đa dạng vùng miền, hệ thống sẽ gặp lỗi nghiêm trọng khi nhận dạng.

2.2. Điểm nghẽn kỹ thuật của mô hình âm học HMM GMM

Mô hình HMM-GMM sử dụng tổ hợp các hàm phân phối Gaussian để tính toán xác suất đầu ra của từng trạng thái ẩn. Phương pháp này yêu cầu số lượng tham số khổng lồ khi mở rộng sang các bài toán từ vựng lớn. GMM không thể tận dụng ngữ cảnh thời gian dài của chuỗi âm thanh một cách hiệu quả. Việc xâu chuỗi nhiều khung đặc trưng liên tiếp khiến số chiều vector tăng vọt, gây hiện tượng quá khớp dữ liệu. Ngoài ra, GMM giả định các thành phần đặc trưng độc lập có điều kiện, điều này trái ngược với bản chất tương quan cao của tín hiệu tiếng nói. Do đó, mô hình HMM-GMM thường đạt trần độ chính xác thấp và dễ suy giảm hiệu suất khi có nhiễu.

III. Giải pháp mô hình học sâu HMM DNN nhận dạng tiếng nói tiếng Việt

Mô hình lai HMM-DNN kết hợp tối ưu giữa xử lý chuỗi thời gian và trích xuất đặc trưng sâu. Kiến trúc hệ thống bao gồm ba khối chính: khối trích chọn đặc trưng, khối mô hình âm học HMM-DNN và khối mô hình ngôn ngữ kết hợp giải mã. Quá trình xử lý âm thanh bắt đầu từ việc trích xuất các vector đặc trưng MFCC hoặc Filterbank. Các đặc trưng này được ghép nối qua nhiều khung liên tiếp để cung cấp ngữ cảnh thời gian rộng cho mạng nơ-ron. Mạng DNN nhiều tầng ẩn tiếp nhận vector đầu vào và thực hiện tính toán xác suất hậu nghiệm cho các trạng thái âm vị (senones). Sau đó, định lý Bayes được áp dụng để chuyển đổi xác suất hậu nghiệm thành xác suất hợp lý phục vụ mô hình HMM. Trong các nghiên cứu hiện đại, kiến trúc TDNN (Time Delay Neural Network) trên nền tảng Kaldi/Nnet3 được triển khai rộng rãi. TDNN khai thác hiệu quả ngữ cảnh thời gian dài nhờ cơ chế trích xuất đa tầng lùi thời gian với độ trễ thấp. Khối mô hình ngôn ngữ n-gram được tối ưu hóa theo từng miền dữ liệu để giải mã chuỗi từ chính xác nhất.

3.1. Kiến trúc mạng TDNN và chuỗi Nnet3 trong Kaldi

Mạng nơ-ron trễ thời gian (TDNN) là biến thể nâng cao của DNN trong bộ công cụ Kaldi. Mô hình Nnet3 xây dựng TDNN với các kết nối phụ thuộc thời gian dạng cấu trúc chuỗi (chain). Thay vì kết nối toàn bộ mọi khung tín hiệu, TDNN áp dụng cơ chế lấy mẫu thưa (subsampling) tại các tầng sâu hơn. Cấu trúc này mở rộng trường tiếp nhận thời gian lên đến hàng chục khung lân cận mà không làm bùng nổ số lượng tham số huấn luyện. Nhờ vậy, TDNN nắm bắt trọn vẹn ngữ cảnh ngữ âm của câu nói tiếng Việt phát âm liên tục. Thuật toán huấn luyện chuỗi không cần phân đoạn trước (lattice-free MMI) giúp tăng tốc độ hội tụ và giảm đáng kể thời gian giải mã tín hiệu.

3.2. Huấn luyện mô hình ngôn ngữ n gram đa miền

Mô hình ngôn ngữ đóng vai trò quyết định trong việc giải mã chuỗi từ có nghĩa từ các âm vị nhận dạng. Quy trình huấn luyện bắt đầu từ việc phân loại dữ liệu văn bản theo từng miền chuyên biệt. Văn bản thô được làm sạch thông qua chuẩn hóa dấu thanh, xử lý số và ngày tháng. Các mô hình n-gram được huấn luyện riêng biệt trên từng miền ngữ liệu. Phương pháp nội suy mô hình kết hợp các n-gram miền dựa trên chỉ số perplexity mục tiêu. Quá trình giải mã áp dụng chiến lược hai giai đoạn. Giai đoạn đầu sử dụng mô hình n-gram cắt tỉa nhằm tối ưu hóa đồ thị tìm kiếm. Giai đoạn hai sử dụng mô hình đầy đủ để xếp hạng lại chuỗi kết quả.

IV. Đánh giá thực nghiệm và tiềm năng ứng dụng mô hình HMM DNN

Thực nghiệm trên các bộ dữ liệu tiếng Việt chuẩn hóa như VLSP chứng minh sự vượt trội của mô hình học sâu HMM-DNN. Mô hình TDNN đạt tỷ lệ lỗi từ (WER) giảm rõ rệt so với các hệ thống baseline HMM-GMM truyền thống. Khả năng khái quát hóa của mạng nơ-ron sâu giúp nhận diện chính xác các câu nói dài, ngữ điệu phức tạp và giọng nói đa vùng miền. Việc áp dụng mô hình ngôn ngữ n-gram kết hợp đa miền cũng nâng cao đáng kể độ chính xác trong ngữ cảnh chuyên ngành. Kết quả nghiên cứu mở ra tiềm năng ứng dụng thực tiễn rất lớn trong kỷ nguyên chuyển đổi số. Công nghệ nhận dạng tiếng nói tiếng Việt là nền tảng cốt lõi cho trợ lý ảo thông minh, hệ thống tổng đài tự động và phần mềm chuyển giọng nói thành văn bản cho tòa án, hội nghị. Ngoài ra, giải pháp hỗ trợ đắc lực cho người khiếm thị trong việc tiếp cận công nghệ thông tin. Các cải tiến liên tục về mô hình lai HMM-DNN và kiến trúc mạng nơ-ron hứa hẹn mang lại các hệ thống ASR có độ trễ thấp và độ tin cậy vượt trội.

4.1. Kết quả thực nghiệm trên bộ ngữ liệu VLSP

Các thử nghiệm trên tập dữ liệu VLSP đánh giá toàn diện hiệu năng của các mô hình âm học khác nhau. Mô hình HMM-GMM cơ sở thường đạt tỷ lệ nhận dạng hạn chế do khó mô hình hóa các biến thể ngữ âm phức tạp. Ngược lại, mô hình HMM-DNN cùng kiến trúc TDNN đạt mức giảm sai số từ đáng kể. Việc tích hợp đặc trưng i-vector giúp hệ thống thích ứng người nói hiệu quả, cải thiện độ chính xác trên các tập giọng miền Trung và Nam. Ngoài ra, việc kết hợp mô hình ngôn ngữ n-gram đa miền giúp hệ thống giảm perplexity và xử lý chính xác các từ vựng đặc thù. Kết quả khẳng định tính khả thi và hiệu quả vượt bậc của mô hình chuỗi Nnet3 trong bài toán nhận dạng tiếng Việt thực tế.

4.2. Khả năng ứng dụng thực tiễn trong công nghệ số

Công nghệ nhận dạng tiếng nói tiếng Việt HMM-DNN mở ra nhiều cơ hội triển khai trong các hệ thống thông minh. Trong lĩnh vực hành chính công, công nghệ cho phép gỡ băng tự động các phiên họp và biên bản tòa án với tốc độ xử lý nhanh. Trong ngành dịch vụ và thương mại, hệ thống VoiceBot và trợ lý ảo thông minh giúp tự động hóa chăm sóc khách hàng 24/7. Các thiết bị gia dụng thông minh và hệ thống điều khiển giọng nói trên ô tô cũng được hưởng lợi từ khả năng nhận diện chính xác trong môi trường có tiếng ồn. Đặc biệt, giải pháp còn mang ý nghĩa nhân văn sâu sắc khi hỗ trợ người khuyết tật giao tiếp và học tập thuận tiện hơn.

Nội dung chính

Tổng quan nghiên cứu

Thị trường công nghệ nhận dạng tiếng nói tự động toàn cầu đang chứng kiến bước tăng trưởng vượt bậc với tốc độ hơn 18% mỗi năm, đóng vai trò bản lề trong cuộc cách mạng tương tác giữa con người và máy tính. Tại Việt Nam, nhu cầu xây dựng các hệ thống nhận dạng tiếng nói tiếng Việt phát âm liên tục với tập từ vựng lớn trên 100.000 từ đang trở nên cấp thiết đối với các hệ thống trợ lý ảo, xe thông minh và tổng đài tự động. Tuy nhiên, tiếng Việt là ngôn ngữ đơn lập có thanh điệu phức tạp gồm 6 thanh riêng biệt và hệ thống ngữ âm đa dạng, khiến các giải pháp nhận dạng truyền thống trước đây thường gặp khó khăn và chỉ dừng lại ở các tập từ vựng nhỏ hoặc nhận dạng từ rời rạc.

Trước bài toán thực tiễn đó, đề tài nghiên cứu phương pháp nhận dạng tiếng nói tiếng Việt sử dụng mô hình học sâu HMM-DNN do học viên Phạm Văn Quảng thực hiện vào năm 2022 tại Trường Đại học Công nghệ Thông tin và Truyền thông thuộc Đại học Thái Nguyên, dưới sự hướng dẫn khoa học của Phó Giáo sư Tiến sĩ Phùng Trung Nghĩa, đã mang lại những đóng góp học thuật quan trọng. Mục tiêu cốt lõi của nghiên cứu là xây dựng, cấu hình và đánh giá hiệu năng mô hình âm học kết hợp giữa mô hình Markov ẩn và mạng nơ-ron trễ thời gian trong cấu trúc chuỗi Chain Nnet3 trên bộ công cụ Kaldi. Nghiên cứu thực hiện trên bộ dữ liệu chuẩn quốc gia VLSP 2020 với quy mô huấn luyện ban đầu 230 giờ âm thanh và tập kiểm thử gồm 1.123 câu. Kết quả đạt được đã chứng minh mô hình chuỗi TDNN Chain Nnet3 giúp tăng tốc độ huấn luyện gấp 5 lần so với kiến trúc DNN truyền thống, đẩy nhanh tốc độ giải mã thời gian thực lên 3 lần và cải thiện độ chính xác khoảng 5%, mở ra giải pháp tối ưu cho công nghệ giọng nói tiếng Việt.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được thiết lập dựa trên sự kết hợp giữa lý thuyết xác suất thống kê cổ điển và các bước tiến mới nhất của học sâu:

Thứ nhất, mô hình Markov ẩn (HMM) với cấu trúc tuần tự Left-Right từ 3 đến 5 trạng thái được sử dụng để mô hình hóa sự biến thiên theo thời gian của tín hiệu âm thanh và đảm nhiệm vai trò căn lề nhãn ngữ âm. Thay vì sử dụng mô hình hỗn hợp Gaussian (GMM) truyền thống để xấp xỉ phân phối xác suất quan sát, nghiên cứu tích hợp mạng nơ-ron học sâu (DNN) để ước lượng trực tiếp xác suất hậu nghiệm của các trạng thái âm học tương ứng với từng khung tín hiệu đầu vào.

Thứ hai, cấu trúc mạng nơ-ron trễ thời gian (TDNN) được ứng dụng trong khung kiến trúc chuỗi Chain Nnet3 của Kaldi. TDNN áp dụng kỹ thuật lấy mẫu phụ theo thời gian, cho phép trượt ngữ cảnh qua các khung lân cận từ trừ 1, 0 đến cộng 2 mà không cần duy trì toàn bộ chuỗi tái phát dài như mạng LSTM, từ đó giảm thiểu 80% khối lượng phép tính ma trận không cần thiết.

Thứ ba, hệ thống xây dựng dựa trên 3 khái niệm nền tảng: vector đặc trưng MFCC 40 chiều kết hợp 3 chiều đặc trưng cao độ thanh điệu (pitch), mô hình đơn vị âm vị phụ thuộc ngữ cảnh (triphone) giải quyết hiện tượng đồng phát âm, và mô hình ngôn ngữ n-gram dựa trên nguyên lý xác suất Bayes nhằm chuẩn hóa trật tự cú pháp và ngữ nghĩa của câu đầu ra.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm được khai thác từ bộ ngữ liệu chuẩn VLSP 2020 dành cho cộng đồng xử lý ngôn ngữ và tiếng nói tiếng Việt. Cỡ mẫu huấn luyện ban đầu bao gồm 230 giờ âm thanh tiếng nói liên tục thu âm đa dạng từ nguồn báo chí VietTreebank, tác phẩm văn học Hoàng tử bé và ngữ liệu đánh giá dịch vụ mạng xã hội. Để nâng cao tính đa dạng, kỹ thuật tăng cường dữ liệu thông qua biến đổi tốc độ âm thanh với 3 hệ số 0.9, 1.0 và 1.1 được áp dụng, mở rộng quy mô dữ liệu huấn luyện lên gần 690 giờ. Tập kiểm thử độc lập bao gồm 1.123 câu được tuyển chọn chặt chẽ, trong đó có 906 câu thuộc ngữ liệu VietTreebank với độ dài trung bình 28 từ mỗi câu và 217 câu ngẫu nhiên trích xuất từ báo điện tử VnExpress.

Phương pháp chọn mẫu áp dụng nguyên tắc phân tầng đa miền, đảm bảo độ bao phủ trên nhiều phong cách biểu đạt từ văn phong trang trọng, ngôn ngữ báo chí đến hội thoại thường nhật. Toàn bộ quy trình thử nghiệm được triển khai trên nền tảng mã nguồn mở Kaldi viết bằng C++, tích hợp các thư viện đại số tuyến tính BLAS/LAPACK và máy biến đổi trạng thái hữu hạn OpenFST. Lý do lựa chọn công cụ Kaldi là khả năng xử lý căn lề ngữ âm chính xác qua nhiều giai đoạn tinh chỉnh từ Monophone đến Triphone sử dụng biến đổi sai biệt tuyến tính LDA, biến đổi khả năng cực đại MLLT và kỹ thuật huấn luyện thích nghi người nói SAT thông qua vector đặc trưng i-vector 100 chiều, đồng thời hỗ trợ huấn luyện phân tán trên bộ xử lý đồ họa GPU đạt hiệu năng cao.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình đánh giá thực nghiệm trên bộ dữ liệu VLSP 2020 đã ghi nhận những kết quả nổi bật:

Một là, kiến trúc mạng nơ-ron trễ thời gian TDNN Chain Nnet3 đạt tốc độ huấn luyện nhanh gấp 5 lần so với các kiến trúc mạng DNN chuẩn nhiều lớp, đồng thời cải thiện tỷ lệ lỗi từ WER tuyệt đối khoảng 1,0%. Việc giảm tỷ lệ khung hình đầu ra xuống 3 lần giúp mô hình tối ưu hóa không gian tham số mà không làm suy giảm chất lượng âm học.

Hai là, giải pháp tăng cường dữ liệu bằng biến đổi tốc độ phát âm (Speed Perturbation) mở rộng từ 230 giờ lên gần 690 giờ đã tạo ra bước nhảy vọt về khả năng tổng quát hóa của mô hình. Tỷ lệ lỗi từ WER trên tập kiểm thử VietTreebank giảm tương đối từ 8% đến 12% so với mô hình chỉ huấn luyện trên dữ liệu gốc, chứng minh khả năng kháng nhiễu và thích ứng vượt trội với các nhịp điệu nói khác nhau.

Ba là, việc trích chọn đồng thời 40 hệ số MFCC trên cửa sổ 25ms độ dịch 10ms kết hợp với 3 hệ số cao độ thanh điệu (pitch extraction) tạo thành vector 43 chiều đã giải quyết hiệu quả bài toán phân biệt 6 thanh điệu tiếng Việt. So sánh với các mô hình chỉ sử dụng MFCC đơn thuần, hệ thống tích hợp thanh điệu giúp hạn chế triệt để lỗi nhầm lẫn giữa các âm tiết có thanh hỏi và thanh ngã, nâng độ chính xác phân loại âm vị lên trên 93%.

Bốn là, mô hình chuỗi Chain Nnet3 đạt tốc độ giải mã nhanh hơn khoảng 3 lần so với mô hình lai HMM-DNN thông thường, mang lại mức cải thiện độ chính xác xấp xỉ 5% trên cả hai tập kiểm thử 906 câu VietTreebank và 217 câu VnExpress, hoàn toàn đáp ứng tiêu chuẩn xử lý thời gian thực cho các ứng dụng tương tác giọng nói trực tiếp.

Thảo luận kết quả

Hiệu năng vượt trội của mô hình bắt nguồn từ cơ chế lan truyền ngữ cảnh thời gian của phần tử TDNN. Tiếng Việt vốn có đặc tính ranh giới âm tiết rõ ràng nhưng trong phát âm liên tục tốc độ cao, hiện tượng đồng phát âm làm các biên âm tiết bị mờ và giao thoa. Bằng cách tính toán trọng số kết hợp cả khung hiện tại và các khung trễ thời gian lân cận, TDNN mô hình hóa chính xác sự chuyển tiếp ngữ âm mà không chịu gánh nặng tính toán tuần tự từng bước như LSTM.

Về mặt trực quan hóa khoa học, các kết quả thực nghiệm này có thể được trình bày rõ nét thông qua biểu đồ cột thể hiện sự suy giảm liên tục của tỷ lệ lỗi từ WER qua từng cấp độ huấn luyện mô hình âm học: bắt đầu từ mức sai số cao của mô hình Monophone, giảm dần qua Tri1 (sử dụng đạo hàm bậc một và bậc hai delta), Tri2b (ứng dụng LDA và MLLT), Tri3b và Tri4b (tích hợp kỹ thuật SAT), đạt mốc tối ưu với Tri5b và cuối cùng là mô hình chuỗi TDNN Chain. Bên cạnh đó, một biểu đồ đường biểu diễn sự hội tụ của hàm mục tiêu xác suất log qua 3 kỷ nguyên huấn luyện với kích thước lô 128 mẫu sẽ phản ánh rõ ràng độ ổn định và tính tối ưu của thuật toán giảm độ dốc ngẫu nhiên với gradient tự nhiên.

So sánh với các công bố trước đây trong nước, điển hình như các thử nghiệm trên đài phát thanh của nhóm tác giả Vũ Tất Thắng đạt độ chính xác 82% (tương đương tỷ lệ lỗi 18%), hay các mô hình kết hợp dữ liệu âm thanh và cao độ đạt sai số từ 11%, hệ thống đề xuất trong luận văn này đã tiệm cận và vượt qua các mốc chuẩn nhờ tận dụng sức mạnh biểu diễn sâu của kiến trúc TDNN Chain và kho ngữ liệu đa dạng VLSP 2020.

Đề xuất và khuyến nghị

Để đưa các kết quả nghiên cứu vào ứng dụng thực tiễn và phát triển hệ thống ASR tiếng Việt lên mức độ hoàn thiện cao hơn, tác giả luận văn đề xuất 4 nhóm giải pháp chiến lược sau:

Thứ nhất, mở rộng kho dữ liệu tiếng nói chuẩn hóa đạt quy mô từ 1.000 đến 2.000 giờ thu âm thực tế. Chủ thể thực hiện là cộng đồng xử lý ngôn ngữ VLSP phối hợp cùng các viện nghiên cứu và doanh nghiệp công nghệ trong thời gian 12 đến 18 tháng, hướng tới mục tiêu hạ thấp tỷ lệ lỗi từ WER trung bình trên mọi miền giọng nói xuống dưới 8%.

Thứ hai, nâng cấp mô hình ngôn ngữ bằng cách tích hợp mạng nơ-ron hồi quy RNNLM hoặc mô hình Transformer vào giai đoạn tái chấm điểm mạng từ giải mã (Lattice Rescoring). Nhóm kỹ sư nghiên cứu thuật toán ASR cần chủ trì triển khai trong vòng 6 đến 9 tháng, đặt chỉ tiêu định lượng giảm độ phức tạp ngôn ngữ (perplexity) xuống dưới 50 và cắt giảm thêm 1,5% đến 2,0% tỷ lệ WER trên các câu thoại tự do.

Thứ ba, hoàn thiện các thuật toán khử nhiễu môi trường và bù trừ biến dạng kênh truyền âm thanh. Đội ngũ chuyên gia xử lý tín hiệu số cần tiến hành thực hiện trong lộ trình 6 tháng, đảm bảo hệ thống duy trì độ suy giảm độ chính xác không vượt quá 5% trong điều kiện môi trường có tỷ số tín hiệu trên nhiễu (SNR) dưới 10dB như trên xe hơi hoặc nơi công cộng.

Thứ tư, áp dụng kỹ thuật lượng tử hóa tham số (Quantization) và chưng cất tri thức (Knowledge Distillation) để nén mô hình TDNN Chain phục vụ triển khai trên thiết bị biên. Bộ phận kỹ sư hệ thống nhúng và AI Edge cần hoàn thành trong vòng 6 tháng, đưa dung lượng bộ nhớ mô hình xuống dưới 60MB và khống chế độ trễ phản hồi thời gian thực dưới 150ms trên các vi xử lý IoT.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả thực nghiệm của luận văn là tài liệu tham khảo giá trị cho 4 nhóm đối tượng sau:

Nhóm thứ nhất, các kỹ sư trí tuệ nhân tạo và chuyên gia phát triển giải pháp giọng nói. Tài liệu cung cấp bản hướng dẫn chi tiết về cấu hình bộ công cụ Kaldi, quy trình trích chọn đặc trưng MFCC kết hợp F0 pitch và kỹ thuật huấn luyện chuỗi Chain Nnet3, phục vụ trực tiếp cho việc xây dựng tổng đài thông minh (Voicebot) và trợ lý ảo tiếng Việt chất lượng cao.

Nhóm thứ hai, các học viên cao học, nghiên cứu sinh và giảng viên chuyên ngành Khoa học máy tính, Công nghệ thông tin. Luận văn đóng vai trò là một case study mẫu mực về phương pháp nghiên cứu thực nghiệm, cung cấp cái nhìn sâu sắc về cách kết hợp lý thuyết Markov ẩn với mạng nơ-ron sâu trong bài toán xử lý tín hiệu tuần tự.

Nhóm thứ ba, các doanh nghiệp sản xuất thiết bị công nghệ, ô tô thông minh và nhà thông minh. Nghiên cứu mang lại cơ sở kỹ thuật vững chắc để tích hợp tính năng điều khiển bằng giọng nói tiếng Việt độc lập với người nói, tận dụng kỹ thuật thích nghi người nói SAT để cá nhân hóa trải nghiệm người dùng trên các thiết bị nhúng.

Nhóm thứ tư, các tổ chức y tế, tòa án và cơ quan hành chính công. Báo cáo nghiên cứu mở ra giải pháp tự động hóa công tác nhập liệu biên bản cuộc họp, chuyển đổi băng ghi âm lời thoại của bác sĩ thành bệnh án điện tử với độ chính xác cao, giúp tiết kiệm hơn 60% thời gian xử lý văn bản thủ công.

Câu hỏi thường gặp

Mô hình lai HMM-DNN có ưu điểm gì vượt trội so với HMM-GMM truyền thống trong bài toán tiếng Việt? Mô hình HMM-GMM bị giới hạn bởi giả thiết phân phối Gauss chuẩn và gặp khó khăn khi xử lý dữ liệu phi tuyến tính phức tạp. Ngược lại, mạng nơ-ron học sâu DNN có khả năng tự động học các biểu diễn đặc trưng trừu tượng từ âm thanh, giúp hệ thống nhận dạng chính xác hơn trong môi trường có tiếng ồn và thích ứng tốt với sự đa dạng ngữ điệu của 6 thanh điệu tiếng Việt.

Tại sao kiến trúc TDNN trong bộ công cụ Kaldi lại được ưu tiên lựa chọn hơn mạng LSTM? Mạng TDNN sử dụng cơ chế lấy mẫu phụ ngữ cảnh theo thời gian, cho phép trích xuất thông tin phụ thuộc ngắn hạn và dài hạn mà không cần duy trì các cổng nhớ phức tạp như LSTM. Thực nghiệm cho thấy TDNN huấn luyện nhanh gấp 5 lần so với mạng nơ-ron thông thường, tiết kiệm đáng kể bộ nhớ GPU và cải thiện tỷ lệ lỗi từ WER tuyệt đối khoảng 1,0%.

Ý nghĩa của việc kết hợp 3 đặc trưng thanh điệu (pitch) cùng 40 hệ số MFCC là gì? Tiếng Việt là ngôn ngữ có thanh điệu, nơi cao độ quyết định trực tiếp đến ngữ nghĩa của từ. Trong khi 40 hệ số MFCC chỉ mô tả hình dạng bao phổ âm học thì 3 hệ số pitch trích xuất tần số cơ bản F0 giúp mô hình hóa đường biến thiên cao độ, từ đó phân định chính xác các cặp từ đồng âm khác thanh như ma, má, mà, mả, mã, mạ.

Kỹ thuật tăng cường dữ liệu bằng biến đổi tốc độ âm thanh mang lại hiệu quả ra sao? Bằng cách thay đổi tốc độ tín hiệu âm thanh theo 3 tỷ lệ 0.9, 1.0 và 1.1, kho dữ liệu 230 giờ ban đầu được mở rộng lên gần 690 giờ. Phương pháp này mô phỏng các trạng thái nói nhanh hoặc nói chậm trong thực tế, giúp mô hình âm học thích nghi linh hoạt với nhiều nhịp điệu phát âm và giảm tỷ lệ lỗi từ tương đối khoảng 8% đến 12%.

Phương pháp huấn luyện thích nghi người nói SAT bằng i-vector vận hành như thế nào? Kỹ thuật SAT sử dụng một mạng nơ-ron phụ để trích xuất vector đặc trưng không gian người nói i-vector 100 chiều từ phát âm đầu vào. Vector này sau đó được kết hợp với các đặc trưng âm học chuẩn nhằm bù trừ sự khác biệt về sinh lý cơ quan phát âm và giọng điệu riêng của từng cá nhân, giúp chuẩn hóa dữ liệu đầu vào cho mạng chính TDNN.

Kết luận

Nghiên cứu về nhận dạng tiếng nói tiếng Việt sử dụng mô hình học sâu HMM-DNN đã đúc kết được những giá trị cốt lõi sau:

• Hệ thống hóa hoàn chỉnh cơ sở lý thuyết về ngữ âm học tiếng Việt với 6 thanh điệu đặc trưng, chỉ rõ các thách thức ngữ âm trong bài toán nhận dạng tiếng nói phát âm liên tục từ vựng lớn.
• Xây dựng thành công quy trình huấn luyện âm học hiện đại trên bộ công cụ Kaldi, kết hợp hài hòa giữa mô hình Markov ẩn HMM và mạng nơ-ron trễ thời gian TDNN Chain Nnet3.
• Khai thác hiệu quả bộ dữ liệu chuẩn quốc gia VLSP 2020, chứng minh vai trò then chốt của kỹ thuật tăng cường dữ liệu mở rộng quy mô từ 230 giờ lên gần 690 giờ giúp giảm tỷ lệ lỗi từ từ 8% đến 12%.
• Tích hợp thành công 40 hệ số MFCC với 3 hệ số cao độ thanh điệu và vector thích nghi người nói i-vector 100 chiều, nâng cao độ phân biệt giữa các âm vị có thanh điệu tương đồng.
• Đạt được bước đột phá về hiệu năng tính toán với tốc độ huấn luyện nhanh gấp 5 lần và tốc độ giải mã thời gian thực nhanh gấp 3 lần so với các kiến trúc lai HMM-DNN truyền thống.

Về lộ trình phát triển tiếp theo trong 12 tháng tới, hướng nghiên cứu sẽ tập trung mở rộng kho ngữ liệu lên quy mô 1.000 giờ âm thanh đa vùng miền, đồng thời thử nghiệm các kiến trúc học sâu đầu cuối tiên tiến như Conformer-CTC kết hợp mô hình ngôn ngữ nơ-ron quy mô lớn. Các cá nhân, chuyên gia và doanh nghiệp công nghệ quan tâm đến giải pháp nhận dạng giọng nói tiếng Việt hãy ứng dụng ngay mô hình TDNN Chain Nnet3 trên nền tảng Kaldi để nâng tầm các sản phẩm trí tuệ nhân tạo của mình.