CHƯƠNG 1. TỔNG QUAN Tự động nhận dạng tiếng nói (Automatic Speech Recognition – ASR) là quá trình trong đó tín hiệu âm thanh của tiếng nói được chuyển đổi vào thành các chuỗi các từ, các ngôn ngữ khác bằng cách sử dụng các thuật toán trên máy tính. Tổng quan về nghiên cứu trong và ngoài nước Ứng dụng mạng học sâu nói chung và kiến trúc mạng nơ-ron hồi quy nói riêng trong nhận dạng tiếng nói đạt được những bước tiến mới, cùng với sự phát triển của các công nghệ hỗ trợ khả năng tính toán hiệu năng cao, tận dụng được sự tính toán vượt trội trên card đồ hoạ (GPU). Các trung tâm nghiên cứu và phát triển các tập đoàn lớn trên thế giới, liên tục đề xuất các kiến trúc tốt nhất để mang lại một mô hình dự đoán có độ chính xác cao.
Ở phần nghiên cứu này, dưới đây là tổng hợp các kiến trúc được đề xuất gần đây trong bài toán nhận dạng tiếng nói: ü DeepSpeech 1 [1] : Mô hình mở rộng nhận dạng tiếng nói đầu cuối (End-to-End Speech Recognition). Kiến trúc DeepSpeech 1 được đề xuất vào tháng 12 năm 2014, bởi nhóm tác giả đến từ phòng thí nghiệm AI của Baidu Research. Kiến trúc mới này hoạt động hiệu quả ở môi trường ồn ào. Với DeepSpeech 1 không cần bộ từ điển về âm vị (phoneme), mà hoạt động dựa vào mạng hồi quy RNN tối ưu tính toán trên nhiều GPU.
Mô hình đạt được tỉ lệ lỗi 16.0% trên toàn bộ tập dữ liệu thử nghiệm 2000 Hub5. DeepSpeech 1 được huấn luyện trên tập dữ liệu tiếng Anh, mô hình chuyển đổi một chuỗi đầu vào thành các chuỗi ký tự và dự đoán xác suất xuất hiện của các ký tự ở ngõ ra. Kiến trúc gồm 5 lớp nơ-ron ẩn, sử phân loại theo thời gian kết nối (CTC) để dự đoán ở ngõ ra, sử dụng thuật toán tối ưu Nesterov’s Accelerated Gradient method trong quá trình huấn luyện mô hình. ü DeepSpeech 2 [2]: Kiến trúc nhận dạng tiếng nói đầu cuối, đề xuất tháng 12 năm 2015 bởi nhóm tác giả của Baidu Research, được cải tiến từ DeepSpeech 1 ứng dụng cho nhận dạng tiếng Anh và tiếng Quan Thoại.
Mô hình được đề xuất có thể xử lý các ngôn ngữ và trọng âm khác nhau, cũng như hoạt động hiệu quả ở môi trường nhiễu. Mô hình dựa trên mạng hồi quy RNN và mạng tích chập Luan van CNN, kiến trúc mới được đề xuất lên tới 11 lớp tạo thành từ nhiều lớp lặp lại hai chiều (Bi-Directional) và các lớp tích chập. Khả năng tính toán cao hơn 8 lần so với kiến trúc DeepSpeech 1. Kiến trúc sử dụng Layer Normalization để tối ưu, hàm kích hoạt sử dụng ReLu, và CTC ở ngõ ra để dự đoán xác suất các ký tự xuất hiện.
ü First-Pass Large Vocabulary [3]: Mô hình nhận dạng tiếng nói liên tục sử dụng mạng hồi quy lặp hai hướng (Bi-Directional Recurrent DNNs). Kiến trúc được đề xuất bởi nhóm tác giả từ đại học Stanford. Mạng nơ-ron được huấn luyện sử dụng CTC để dự đoán chuỗi ký tự, kết quả đạt được tỉ lệ lỗi ký tự (CER) dưới 10% trên tập CSR-II (WSJ1), đề xuất có tích hợp mô hình ngôn ngữ n-gram. ü Wav2Letter++ [4]: Được nghiên cứu và phát triển bởi Facebook AI Research, đề xuất tháng 12 năm 2018, đây là framework mã nguồn mở sử dụng mạng học sâu cho nhận dạng tiếng nói.
Được phát triển bởi ngôn ngữ C++ và thư viện ArrayFire tensor, tối ưu tính toán trên GPU CUDA, mô hình đạt được tỉ lệ lỗi WER là 4.91% trên tập dữ liệu LibriSpeech. Nhóm tác giả đã công bố thử nghiệm trên tập dữ liệu LibriSpeech với tỉ lệ lỗi từ WER đạt được 6,8% khi không có mô hình ngôn ngữ và 5.8% khi có mô hình ngôn ngữ. Trong mạng LAS, các phổ Mel được đưa vào mạng CNN 2 lớp với bước trượt (stride) là 2. Đầu ra của mạng CNN được chuyển qua một mạng LSTM hai chiều (Bi-Directional LSTM).
Kết quả mô hình huấn luyện dựa trên tập dữ liệu âm thanh khỗng lồ không được dán nhãn. Wav2vec đạt được tỉ lệ lỗi từ WER là 2.43% trên tập dữ liệu nov92. Luan van v Tình hình nghiên cứu trong nước Ở Việt Nam, trong những năm gần đây các trường, học viện đang đẩy mạnh nghiên cứu về ứng dụng mạng nơ-ron trong nhận dạng tiếng nói. Nhóm nghiên cứu của PGS.TS Lương Chi Mai thuộc Viện Công Nghệ Thông tin ứng dụng phương pháp mạng nơ-ron nhân tạo, giải mã bằng thuật toán Viterbi và công cụ CSLU trong nhận dạng tiếng nói.
Các đề tài nghiên cứu liên quan như: “Phát triển các kết quả tổng hợp, nhận dạng câu lệnh, chuỗi số tiếng Việt liên tục trên môi trường điện thoại di động”, “Tăng cường độ chính xác của hệ thống mạng neuron nhận dạng tiếng Việt”. Nhóm nghiên cứu của PGS. TS Vũ Hải Quân, thuộc trường Đại học Khoa học Tự nhiên – Đại học Quốc Gia Thành phố Hồ Chí Minh, nhóm nghiên cứu thuộc AILab tập trung vào bài toán truy vấn thông tin tiếng Việt, nhận dạng tiếng nói, tìm kiếm giọng nói,… Các công ty lớn như Vingroup, VNG, FPT, Viettel tích cực nghiên cứu vào phát triển hệ thống ASR, đang dần thương mại hoá các sản phẩm chuyển đổi từ tiếng nói sang văn bản (Speech to Text) hay văn bản sang tiếng nói (Text to Speech). Ví dụ: FPT thương mại hoá các dịch vụ chuyển đổi giữa tiếng nói và văn bản tại https://fpt.ai/; Viettel cung cấp giải pháp đọc báo tiếng Việt trên trang báo Dân Trí.
VinAI Reasearch nghiên cứu phát triển các mô hình ngôn ngữ, công bố các mô hình huấn luyện sẵn như PhoBert. Giới thiệu luận văn Giao tiếp là vấn đề thiết yếu của con người, tiếng nói là một trong những hình thức giao tiếp tự nhiên nhất bên cạnh ánh mắt, nét mặt, và ngôn ngữ cơ thể. Nhận dạng tiếng nói có phạm vi ứng dụng rộng rãi và được triển khai hiệu quả trong các trung tâm liên lạc, cung cấp các dịch vụ tự động phục vụ, giúp người dùng hoàn thành giao dịch, giảm thiếu chi phí đại lý, nhân viên hỗ trợ; các trợ lý ảo hỗ trợ người dùng thao tác tìm kiếm, quản lý, điều khiển hệ thống nhà thông minh; ứng dụng hỗ trợ điều khiển bằng giọng nói để điều hướng cho người khuyết tật; tạo các công Luan van cụ chuyển lời nói thành văn bản góp phần hạn chế mất thời gian trong việc đánh máy; ứng dụng người máy có thể hiểu được tiếng nói và thực thi nhiệm vụ. Trên thế giới, một số hệ thống nhận dạng tiếng nói cỡ lớn áp dụng kỹ thuật mạng nơ-ron nhân tạo có độ chính xác tương đối cao.
Các hệ thống này chủ yếu phát triển trên nền các công nghệ hiện đại với những máy tính lớn, vi mạch xử lý tiếng nói chuyên dụng và phần lớn là xử lý cho tiếng Anh. Ở Việt Nam, việc nghiên cứu và phát triển các hệ thống nhận dạng tiếng nói còn mới, và việc nhận dạng tiếng nói tiếng Việt gặp nhiều khó khăn như tiếng nói phụ thuộc vào tiếng địa phương, giọng nói đa dạng ở các vùng miền khác nhau, độ lớn các bộ dữ liệu để huấn luyện các mô hình nhận dạng còn hạn chế, dữ liệu thu thập được không rõ ràng, bị nhiễu tạp. Xây dựng được các mô hình nhận dạng tiếng Việt có độ chính xác cao cần được đầu tư lớn về hạ tầng máy tính, thời gian và công sức của đội ngũ nghiên cứu giàu kinh nghiệm. Các hệ thống đặt kết quả tương đối tốt trên thị trường đều được các công ty thương mại hoá với giá thành khá đắt.
Xuất phát từ nhận thức trên, đề tài luận văn của em là “nghiên cứu ứng dụng mạng nơ-ron hồi quy trong nhận dạng tiếng nói”, mục đích nghiên cứu áp dụng kiến trúc mô hình nhận dạng tiếng nói ứng dụng mạng nơ-ron hồi quy, được đề xuất trên thế giới đạt được kết quả chính xác nhất định vào bài toán nhận dạng tiếng nói tiếng Việt. Mục tiêu, phạm vi nghiên cứu v Mục tiêu nghiên cứu: Ø Nghiên cứu kiến trúc và hoạt động mạng nơ-ron hồi quy. Ø Nghiên cứu áp dụng kiến trúc mô hình nhận dạng tiếng nói DeepSpeech 2 vào nhận dạng tiếng nói tiếng Việt. Ø Tạo tập mẫu, huấn luyện, kiểm thử hệ thống nhận dạng tiếng nói tiếng Việt.
Ø Tạo mô-đun hiệu chỉnh giúp cải thiện độ chính xác mô hình nhận dạng. Luan van v Phạm vi nghiên cứu: Ø Nghiên cứu kiến trúc và hoạt động mạng RNN, LSTM. Ø Nghiên cứu cách thức liên kết và hoạt động các lớp mạng nơ-ron bên trong kiến trúc DeepSpeech 2. Ø Xây dựng bộ dữ liệu chất lượng phục vụ cho huấn luyện mô hình nhận dạng tiếng Việt dựa trên 3 bộ dữ liệu mở: VIVOS, FPT, VIN Data.
Ø Xây dựng mô hình hiệu chỉnh để cải thiện độ chính xác trong nhận dạng tiếng nói tiếng Việt giúp đạt được gần 75% độ chính xác. Nhiệm vụ nghiên cứu và giới hạn đề tài Ø Tìm hiểu tổng quan về các nghiên cứu gần đây trên thế giới và Việt Nam về vấn đề nhận dạng tiếng nói. Ø Nghiên cứu về mô hình và thuật toán xử lý rút trích đặc trưng tiếng nói sử dụng MFCC. Ø Nghiên cứu áp dụng kiến trúc mô hình DeepSpeech 2 vào nhận dạng tiếng nói tiếng Việt.
Ø Chuẩn bị bộ dữ liệu chất lượng cho huấn luyện mô hình nhận dạng. Ø Huấn luyện mô hình, xây dựng chương trình nhận dạng tiếng nói tiếng Việt. Ø Xây dựng mô-dun hiệu chỉnh cải thiện độ chính xác mô hình nhận dạng. v Giới hạn đề tài: Ø Trong phạm vi nghiên cứu ở luận văn này, mô hình nhận dạng tiếng nói tiếng Việt được xây dựng trên kiến trúc mô hình nhận dạng tiếng nói DeepSpeech 2.
Ø Dữ liệu huấn luyện, kiểm thử được xây dựng lại từ các bộ dữ liệu âm thanh mở, nên dữ liệu không đủ lớn, tích hợp mô-đun hiệu chỉnh giúp cải thiện và nâng độ chính xác lên 75%. Luan van Ø Mô hình nhận dạng hoạt động tốt ở môi trường ít nhiễu, tiếng nói to, rõ, hiệu quả với giọng nam cao, giọng miền nam, tốc độ nói không quá nhanh. Phương pháp nghiên cứu Nghiên cứu các kỹ thuật, kiến trúc mô hình đang được được ứng dụng rộng trên thế giới về vấn đề nhận dạng tiếng nói. Nghiên cứu áp dụng kiến trúc mô hình phù hợp cho nhận dạng tiếng nói tiếng Việt.
Kế hoạch thực hiện Ø Xây dựng chương trình xử lý tiếng nói, rút trích đặc trưng MFCC. Ø Xây dựng được bộ dữ liệu đã làm sạch cho việc huấn luyện nhận dạng tiếng nói tiếng Việt. Ø Xây dựng mô hình nhận dạng bởi áp dụng kiến trúc DeepSpeech2 trên bộ dữ liệu tiếng Việt. Ø Đề xuất mô-đun hiệu chỉnh nâng cao độ chính xác mô hình dự đoán.