Xây Dựng Ứng Dụng Chuyển Giọng Nói Thành Văn Bản Sử Dụng WAV2VEC

Đồ án kỹ thuật nghiên cứu tốt nghiệp xây dựng ứng dụng chuyển giọng nói thành văn bản xử dụng wav2vec, thiết kế chi tiết, tính toán kỹ thuật theo tiêu chuẩn, đánh giá tính khả thi

• Tác giả: Nguyễn Văn Vũ
• Người hướng dẫn: ThS. Vũ Duy Giang
• Trường học: Trường Đại Học Công Nghiệp Hà Nội
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Xây Dựng Ứng Dụng Chuyển Giọng Nói Thành Văn Bản Sử Dụng WAV2VEC
• Loại tài liệu: Đồ Án Tốt Nghiệp
• Năm xuất bản: 2024
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI MỞ ĐẦU
• 1. CHƯƠNG 1: GIỚI THIỆU TỔNG QUAN VỀ BÀI TOÁN
• 1.1. Giới thiệu về giọng nói
• 1.2. Tổng quan về nhận dạng giọng nói
• 1.2.1. Lịch sử phát triển của nhận dạng giọng nói
• 1.2.2. Các thuật toán và mô hình nhận dạng giọng nói hiện nay
• 1.2.3. Ứng dụng trong thực tế
• 1.2.4. Khó khăn và thách thức
• 1.3. Phân tích bài toán nhận dạng giọng nói
• 1.4. Lý do chọn đề tài
• 2. CÁC KĨ THUẬT XỬ LÝ BÀI TOÁN
• 2.1. Thuật toán giảm nhiễu Noise reduction
• 2.1.1. Cổng Nhiễu – Noise Gate
• 2.1.2. Giảm nhiễu tĩnh
• 2.1.3. Giảm nhiễu động
• 2.2. Kĩ thuật phát hiện giọng nói (Voice activity detection)
• 2.2.1. Hàm mất mát phân loại theo khoảng thời gian CTC
• 2.2.2. Word error rate (WER)
• 2.2.3. Character error rate (CER)
• 3. MÔ HÌNH CHUYỂN GIỌNG NÓI THÀNH VĂN BẢN WAV2VEC
• 3.1. Giới thiệu mô hình
• 3.2. Kiến trúc mô hình. Học tập đối lập
• 3.3. Mặt nạ che dấu dữ liệu
• 3.4. Hàm mục tiêu
• 3.5. Tinh chỉnh mô hình
• 3.6. Mô hình ngôn ngữ N-gram
• 3.7. Tìm kiếm đầu ra của mô hình – Beam search
• 3.7.1. Tìm kiếm tham lam – Ý tưởng ngây thơ
• 3.7.2. Beam search – sử dụng xác suất có điều kiện
• 4. XÂY DỰNG ỨNG DỤNG PHẦN MỀM CHUYỂN GIỌNG NÓI THÀNH VĂN BẢN XỬ DỤNG WAV2VEC
• 4.1. Bộ dữ liệu sử dụng cho thực nghiệm
• 4.2. Mô hình sử dụng cho thực nghiệm và ứng dụng
• 4.3. Quy trình thực hiện thực nghiệm
• 4.3.1. Tiền xử lý dữ liệu
• 4.4. Môi trường và công nghệ sử dụng
• 4.4.1. Môi trường
• 4.5. Xây dựng phần mềm
• 4.5.1. Tổng quan về hệ thống
• 4.5.2. Phân tích thiết kế phần mềm
• 4.5.3. Xây dựng giao diện người dùng
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về ứng dụng chuyển giọng nói thành văn bản sử dụng WAV2VEC

Ứng dụng chuyển giọng nói thành văn bản đang trở thành một xu hướng quan trọng trong lĩnh vực công nghệ thông tin. Công nghệ này không chỉ giúp cải thiện khả năng giao tiếp giữa con người và máy tính mà còn mở ra nhiều cơ hội mới trong việc xử lý ngôn ngữ tự nhiên. WAV2VEC là một trong những mô hình tiên tiến nhất hiện nay, cho phép chuyển đổi giọng nói thành văn bản với độ chính xác cao. Việc áp dụng mô hình này vào ngôn ngữ Tiếng Việt đang là một thách thức lớn, nhưng cũng là cơ hội để phát triển các ứng dụng AI trong đời sống hàng ngày.

1.1. Giới thiệu về công nghệ chuyển giọng nói thành văn bản

Công nghệ chuyển giọng nói thành văn bản (ASR) cho phép máy tính nhận diện và chuyển đổi âm thanh thành văn bản. Công nghệ này đã phát triển mạnh mẽ nhờ vào sự tiến bộ của học sâu và các mô hình như WAV2VEC. Việc áp dụng công nghệ này vào Tiếng Việt gặp nhiều khó khăn do sự đa dạng về âm điệu và phương ngữ.

1.2. Lợi ích của ứng dụng chuyển giọng nói thành văn bản

Ứng dụng chuyển giọng nói thành văn bản mang lại nhiều lợi ích, bao gồm tăng cường khả năng giao tiếp, tiết kiệm thời gian và nâng cao hiệu quả công việc. Nó cũng giúp người dùng dễ dàng tương tác với các thiết bị thông minh mà không cần sử dụng bàn phím.

II. Thách thức trong việc phát triển ứng dụng chuyển giọng nói thành văn bản

Mặc dù công nghệ chuyển giọng nói thành văn bản đã có những bước tiến đáng kể, nhưng vẫn còn nhiều thách thức cần phải vượt qua. Đặc biệt, việc nhận diện giọng nói trong môi trường ồn ào hoặc với các giọng nói khác nhau là một vấn đề lớn. Ngoài ra, sự đa dạng về ngữ điệu và phương ngữ trong Tiếng Việt cũng gây khó khăn cho các hệ thống nhận diện giọng nói.

2.1. Khó khăn trong việc nhận diện giọng nói Tiếng Việt

Tiếng Việt có nhiều âm điệu và phương ngữ khác nhau, điều này làm cho việc nhận diện giọng nói trở nên phức tạp. Các hệ thống hiện tại thường gặp khó khăn trong việc phân biệt giữa các âm thanh tương tự, dẫn đến tỷ lệ lỗi cao trong quá trình chuyển đổi.

2.2. Ảnh hưởng của môi trường đến chất lượng nhận diện

Môi trường xung quanh có thể ảnh hưởng lớn đến chất lượng của việc nhận diện giọng nói. Tiếng ồn từ các nguồn khác nhau có thể làm giảm độ chính xác của hệ thống, khiến cho việc phát triển ứng dụng trở nên khó khăn hơn.

III. Phương pháp sử dụng WAV2VEC trong chuyển giọng nói thành văn bản

WAV2VEC là một mô hình học sâu được phát triển để cải thiện khả năng nhận diện giọng nói. Mô hình này sử dụng các kỹ thuật học không giám sát để trích xuất đặc trưng âm thanh từ tín hiệu sóng âm, từ đó giúp cải thiện độ chính xác trong việc chuyển đổi giọng nói thành văn bản. Việc áp dụng WAV2VEC vào các ứng dụng thực tế đang được nghiên cứu và phát triển.

3.1. Cấu trúc và hoạt động của mô hình WAV2VEC

Mô hình WAV2VEC sử dụng mạng nơ-ron tích chập (CNN) để trích xuất các đặc trưng âm thanh, sau đó áp dụng mạng Transformer để mã hóa các đặc trưng này thành biểu diễn ngữ nghĩa. Cấu trúc này giúp mô hình học được các đặc trưng âm thanh phức tạp và cải thiện khả năng nhận diện.

3.2. Tinh chỉnh mô hình để nâng cao hiệu suất

Việc tinh chỉnh mô hình WAV2VEC là rất quan trọng để đạt được hiệu suất cao trong việc nhận diện giọng nói. Các kỹ thuật như điều chỉnh siêu tham số và sử dụng dữ liệu huấn luyện phong phú có thể giúp cải thiện độ chính xác của mô hình.

IV. Ứng dụng thực tiễn của công nghệ chuyển giọng nói thành văn bản

Công nghệ chuyển giọng nói thành văn bản đang được áp dụng rộng rãi trong nhiều lĩnh vực, từ trợ lý ảo đến các hệ thống dịch thuật tự động. Việc sử dụng WAV2VEC trong các ứng dụng này không chỉ giúp nâng cao hiệu quả mà còn mở ra nhiều cơ hội mới trong việc phát triển các sản phẩm công nghệ thông minh.

4.1. Ứng dụng trong trợ lý ảo

Trợ lý ảo như Siri và Google Assistant sử dụng công nghệ chuyển giọng nói thành văn bản để tương tác với người dùng. Việc áp dụng WAV2VEC giúp cải thiện khả năng hiểu ngôn ngữ tự nhiên và nâng cao trải nghiệm người dùng.

4.2. Ứng dụng trong dịch thuật tự động

Công nghệ chuyển giọng nói thành văn bản cũng được sử dụng trong các hệ thống dịch thuật tự động. Việc nhận diện chính xác giọng nói giúp cải thiện chất lượng dịch thuật và giảm thiểu sai sót trong quá trình chuyển đổi ngôn ngữ.

V. Kết luận và tương lai của ứng dụng chuyển giọng nói thành văn bản

Công nghệ chuyển giọng nói thành văn bản đang trên đà phát triển mạnh mẽ, đặc biệt là với sự xuất hiện của các mô hình học sâu như WAV2VEC. Tương lai của công nghệ này hứa hẹn sẽ mang lại nhiều cải tiến trong việc nhận diện giọng nói, giúp nâng cao khả năng giao tiếp giữa con người và máy tính. Việc tiếp tục nghiên cứu và phát triển sẽ giúp giải quyết các thách thức hiện tại và mở ra nhiều cơ hội mới.

5.1. Triển vọng phát triển công nghệ trong tương lai

Với sự phát triển không ngừng của công nghệ AI, ứng dụng chuyển giọng nói thành văn bản sẽ ngày càng trở nên phổ biến. Các nghiên cứu mới sẽ giúp cải thiện độ chính xác và khả năng nhận diện trong các ngữ cảnh khác nhau.

5.2. Tác động của công nghệ đến đời sống hàng ngày

Công nghệ chuyển giọng nói thành văn bản sẽ có tác động lớn đến cách con người tương tác với công nghệ. Nó không chỉ giúp tiết kiệm thời gian mà còn nâng cao hiệu quả công việc, tạo ra một môi trường làm việc thông minh hơn.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Nhận dạng giọng nói tự động (Automatic Speech Recognition - ASR) là phân ngành giao thoa giữa trí tuệ nhân tạo, xử lý ngôn ngữ tự nhiên và xử lý tín hiệu số, đóng vai trò nền tảng trong tương tác người - máy. Mặc dù các mô hình học sâu hiện đại đã tạo ra bước tiến lớn cho ASR ở các ngôn ngữ phổ biến trên thế giới, việc áp dụng công nghệ này vào tiếng Việt vẫn gặp nhiều rào cản kỹ thuật xuất phát từ đặc trưng ngữ âm học. Tiếng Việt là ngôn ngữ đơn lập và có thanh điệu, sở hữu hệ thống ngữ điệu phong phú, nhiều từ đồng âm khác nghĩa cùng sự phân hóa phương ngữ, giọng địa phương sâu sắc giữa ba miền Bắc - Trung - Nam. Bên cạnh đó, việc tiếp cận các giải pháp ASR thương mại chất lượng cao thường đi kèm chi phí bản quyền lớn, trong khi các bộ dữ liệu tiếng Việt có gán nhãn chuẩn hóa còn hạn chế.

Từ thực tiễn đó, tác giả Nguyễn Văn Vũ đã thực hiện đồ án tốt nghiệp ngành Khoa học máy tính tại Trường Đại học Công nghiệp Hà Nội (năm 2024), dưới sự hướng dẫn của ThS. Vũ Duy Giang, với đề tài: "Xây dựng ứng dụng chuyển giọng nói thành văn bản xử dụng wav2vec". Đồ án tập trung nghiên cứu cơ chế học tự giám sát của kiến trúc Wav2Vec 2.0, kết hợp các giải pháp tiền xử lý tín hiệu âm thanh nhằm xây dựng một phần mềm chuyển đổi giọng nói tiếng Việt thành văn bản phục vụ nhu cầu nhập liệu tự động.

Nhiệm vụ nghiên cứu của đồ án được xác định gồm các nội dung:

1. Khảo sát cơ sở sinh âm học lời nói con người, lịch sử phát triển của các hệ thống ASR từ mô hình thống kê truyền thống đến kiến trúc học sâu E2E (End-to-End).
2. Nghiên cứu cơ sở lý thuyết của các thuật toán tiền xử lý âm thanh bao gồm khử nhiễu (Noise Reduction), cổng nhiễu (Noise Gate), nhận diện hoạt tính giọng nói (Voice Activity Detection - VAD) và các hàm mất mát, tiêu chuẩn đánh giá mô hình (CTC, WER, CER).
3. Phân tích chi tiết kiến trúc mô hình học tự giám sát Wav2Vec, kỹ thuật lượng tử hóa vector bằng Gumbel-Softmax, cơ chế mặt nạ dữ liệu, hàm mục tiêu đối lập (Contrastive Loss) kết hợp hàm mất mát đa dạng (Diversity Loss) và các giải thuật giải mã (Greedy Search, Beam Search kết hợp mô hình ngôn ngữ N-gram).
4. Tiến hành thực nghiệm đánh giá hiệu quả của module giảm nhiễu trên các tập dữ liệu tiếng Việt chuẩn hóa khi có tác động của tạp âm môi trường.
5. Thiết kế và triển khai hoàn chỉnh phần mềm ứng dụng đa nền tảng bằng ngôn ngữ Python sử dụng thư viện giao diện Flet (Flutter for Python).

Đối tượng nghiên cứu của đồ án là tín hiệu tiếng nói tiếng Việt, mô hình biểu diễn âm học tự giám sát Wav2Vec 2.0 và các kỹ thuật xử lý tín hiệu âm thanh miền thời gian - tần số. Phạm vi nghiên cứu giới hạn trên các tập dữ liệu giọng nói tiếng Việt công khai (VLSP, VIVOS, Common Voice), mô hình tiền huấn luyện mã nguồn mở cho tiếng Việt và phạm vi ứng dụng tập trung vào chức năng thu âm trực tiếp qua microphone hoặc tải tệp âm thanh để nhận dạng văn bản trên máy tính cá nhân.

Cơ sở lý thuyết và phương pháp

Đồ án xây dựng khung lý thuyết toàn diện từ cơ chế phát âm sinh học đến các mô hình tính toán hiện đại:

• Cơ chế âm học: Tác giả phân tích quá trình tạo âm bắt đầu từ hệ hô hấp đẩy luồng khí qua khí quản vào thanh quản. Sự rung động theo chu kỳ của hai nếp thanh quản tạo ra "âm hữu thanh", trong khi luồng khí đi qua nếp thanh quản không rung tạo ra "âm vô thanh". Các khoang cộng hưởng (họng, miệng, mũi) cùng vị trí các khớp nối (hàm, lưỡi, môi, răng, vòm miệng) điều chỉnh âm học để hình thành âm vị.
• Tiến trình mô hình hóa ASR: Khảo sát các kỹ thuật thống kê cổ điển gồm Dynamic Time Warping (DTW), mô hình Markov ẩn (Hidden Markov Models - HMM), mô hình hỗn hợp Gaussian kết hợp HMM (GMM-HMM), mô hình n-gram; chuyển tiếp qua các kiến trúc mạng nơ-ron hồi quy (RNN), bộ nhớ dài-ngắn hạn (LSTM) xử lý triệt tiêu đạo hàm qua cổng quên (forget gate), cổng vào (input gate), cổng ra (output gate); mạng nơ-ron tích chập (CNN) trích xuất đặc trưng không gian trên biểu đồ phổ (spectrogram); và kiến trúc Transformer xử lý song song.
• Kỹ thuật xử lý tín hiệu:
  • Cổng nhiễu (Noise Gate): Cơ chế ngắt tín hiệu khi biên độ âm thanh rơi xuống dưới ngưỡng thiết lập nhằm loại bỏ âm thanh nền không mong muốn.
  • Khử nhiễu phổ (Spectral Gating): Áp dụng biến đổi Fourier ngắn hạn (STFT) để phân tích năng lượng tín hiệu trên từng dải tần. Giảm nhiễu tĩnh (Stationary Noise Reduction) xác định ngưỡng cố định dựa trên giá trị trung bình cộng 3 lần độ lệch chuẩn ($\mu + 3\sigma$) của từng kênh tần số. Giảm nhiễu động (Non-stationary Noise Reduction) liên tục cập nhật ngưỡng biến đổi thích nghi theo thời gian thực thông qua bộ lọc làm mịn thời gian IIR (Infinite Impulse Response) tiến và lùi.
  • Voice Activity Detection (VAD): Phân đoạn và cô lập chính xác các khoảng thời gian xuất hiện tiếng nói con người thông qua khử nhiễu, trích xuất đặc trưng và phân loại tín hiệu.
• Hàm mất mát và độ đo đánh giá:
  • Connectionist Temporal Classification (CTC Loss): Cho phép huấn luyện mô hình ASR khi chuỗi tín hiệu đầu vào $X = [x_1, \dots, x_n]$ và chuỗi nhãn đầu ra $Y = [y_1, \dots, y_m]$ có độ dài lệch nhau và không rõ liên kết từng bước thời gian, tối ưu hóa xác suất có điều kiện khả vi $P(Y|X)$.
  • Word Error Rate (WER) và Character Error Rate (CER): Xác định tỷ lệ lỗi dựa trên tổng số thao tác chèn (Insertion - $I$), xóa (Deletion - $D$), thay thế (Substitution - $S$) trên tổng số từ/ký tự tham chiếu chuẩn ($N$): $\text{WER/CER} = \frac{S + D + I}{N}$.

Mức độ chính xác theo CER	Khoảng tỷ lệ lỗi (CER)	Độ chính xác nhận dạng tương ứng
Tốt	1% – 2%	98% – 99%
Trung bình	2% – 10%	90% – 98%
Kém	> 10%	< 90%

• Mô hình Wav2Vec 2.0: Mô hình hoạt động theo cơ chế học tự giám sát gồm 3 thành phần chính:
  1. Bộ mã hóa đặc trưng (Feature Encoder): Mạng tích chập nhiều tầng (CNN) chuẩn hóa sóng âm thô $X$ (về trung bình 0, phương sai đơn vị) thành các vector biểu diễn tiềm ẩn $Z = [z_1, \dots, z_T]$ với hàm kích hoạt GELU.
  2. Mạng ngữ cảnh (Context Network): Mạng Transformer biến đổi $Z$ thành các vector ngữ cảnh $C = [c_1, \dots, c_T]$, sử dụng lớp tích chập để mã hóa thông tin vị trí tương đối. Quá trình che giấu dữ liệu thực hiện ngẫu nhiên với xác suất bắt đầu $p = 0{,}065$ và che liên tiếp $M = 5$ bước thời gian.
  3. Lượng tử hóa vector (Vector Quantization): Chuyển đổi vector liên tục $z_t$ thành biểu diễn rời rạc $q_t$. Cấu trúc gồm $G$ nhóm mã lượng tử (codebooks), mỗi nhóm chứa $V$ vector mã. Việc lựa chọn mã lượng tử khả vi được thực hiện qua hàm Gumbel-Softmax:

$$p_{g,v} = \frac{\exp((l_{g,v} + n_v)/\tau)}{\sum_{k=1}^V \exp((l_{g,k} + n_k)/\tau)}$$

Trong đó $l_{g,v}$ là logits từ bộ mã hóa, $n_v = -\log(-\log(u_v))$ là nhiễu lấy từ phân phối đều $u_v \sim U(0,1)$, và $\tau$ là tham số nhiệt độ kiểm soát độ sắc nét.

• Hàm mục tiêu hỗn hợp: Tối ưu hóa đồng thời hàm mất mát đối lập $L_m$ (sử dụng độ đo tương đồng cosine có phạt nhiệt độ để phân biệt biểu diễn lượng tử hóa thực $q_t$ với $K$ biểu diễn nhiễu lấy mẫu từ các bước che khác) và hàm mất mát đa dạng $L_d$ (tối đa hóa entropy của phân phối softmax trung bình trên các codebooks nhằm ngăn chặn hiện tượng sụp đổ mã lượng tử và chống quá khớp).

$$\mathcal{L} = \mathcal{L}_m + \alpha \mathcal{L}_d$$

• Giải thuật giải mã (Decoding): Đồ án so sánh giữa giải thuật tìm kiếm tham lam (Greedy Search - chỉ chọn token có xác suất cao nhất tại từng bước, dễ rơi vào cực trị địa phương) và Beam Search (duy trì $k$ chuỗi ứng viên có xác suất tích lũy cao nhất). Beam Search kết hợp mô hình ngôn ngữ N-gram (ước lượng hợp lý cực đại MLE trên không gian log xác suất, tuân theo giả định Markov) và áp dụng cơ chế phạt độ dài chuỗi $L^\alpha$ ($\alpha = 0{,}75$) để cân bằng độ dài câu đầu ra với độ phức tạp tính toán $\mathcal{O}(k \cdot |\mathcal{Y}| \cdot T')$.

Thiết kế và triển khai hệ thống

Hệ thống được thiết kế theo luồng kiến trúc xử lý từ tín hiệu đầu vào đến kết quả văn bản hiển thị:

1. Khối tiếp nhận âm thanh: Thu nhận tín hiệu sóng âm thô trực tiếp từ microphone phần cứng của thiết bị người dùng hoặc nhận tệp âm thanh ghi âm sẵn được tải lên từ bộ lưu trữ cục bộ.
2. Khối tiền xử lý và lọc nhiễu: Tín hiệu âm thanh thô được đưa qua module giảm nhiễu (Noise Reduction) áp dụng thuật toán cổng quang phổ và cổng nhiễu để triệt tiêu các thành phần tạp âm tĩnh/động trước khi đưa vào mô hình học sâu.
3. Khối nhận dạng âm học (Acoustic Model): Sử dụng mô hình Wav2Vec 2.0 Base đã được tiền huấn luyện và tinh chỉnh cho tiếng Việt, trích xuất đặc trưng âm thanh và tính toán ma trận phân phối xác suất âm vị qua hàm mất mát CTC.
4. Khối giải mã ngôn ngữ (Decoding & Language Model): Áp dụng thuật toán Beam Search kết hợp mô hình ngôn ngữ 4-gram để hiệu chỉnh ngữ cảnh từ vựng, lựa chọn chuỗi câu có điểm đánh giá log xác suất tối ưu nhất.
5. Khối giao diện người dùng: Phần mềm được xây dựng bằng Python kết hợp thư viện Flet, quản lý môi trường thông qua Anaconda. Flet cho phép xây dựng ứng dụng đa nền tảng bằng mã nguồn Python thuần túy mà không cần can thiệp trực tiếp vào HTML/CSS/JavaScript.

Tên Use Case	Mô tả chi tiết chức năng	Tác nhân chính
Cài đặt hệ thống	Cấu hình các tham số nhận dạng, thiết bị thu âm đầu vào và các ngưỡng lọc nhiễu	Người dùng
Bắt đầu thu âm	Kích hoạt luồng thu nhận tín hiệu âm thanh trực tiếp từ Microphone	Người dùng
Dừng thu âm	Kết thúc quá trình thu âm, chuyển dữ liệu sóng âm sang pipeline tiền xử lý và nhận dạng	Người dùng
Tải tệp âm thanh	Đọc tệp âm thanh từ bộ nhớ máy tính vào hệ thống để xử lý ngoại tuyến	Người dùng
Xem danh sách âm thanh	Hiển thị danh mục các bản ghi, lịch sử các tệp âm thanh đã xử lý	Người dùng
Hiển thị kết quả	Xuất chuỗi văn bản đã giải mã lên giao diện màn hình chính	Hệ thống

Nội dung chính theo từng chương

Chương 1. Giới thiệu tổng quan về bài toán

Chương 1 trình bày nền tảng lý thuyết âm học về sự tạo âm của con người, phân tích chức năng của thanh quản, nếp thanh quản, đường dẫn khí và các khớp nối tạo âm hữu thanh/vô thanh. Tác giả khái quát hóa lịch sử phát triển của nhận dạng giọng nói từ thập niên 1970 (mô hình HMM, DTW, dự án DARPA HARPY với khả năng nhận diện 1.000 từ), thập niên 1990 (mô hình GMM-HMM, mô hình ngôn ngữ n-gram), thập niên 2000 (các dự án EARS, GALE, mạng LSTM huấn luyện bằng CTC) đến giai đoạn từ năm 2010 đến nay (sự chiếm ưu thế của học sâu CNN, RNN, mô hình Transformer, BERT và Wav2Vec giúp giảm hơn 50% tỷ lệ lỗi so với hệ thống truyền thống). Chương này phân tích chi tiết cơ chế hoạt động của chuỗi Markov, mạng RNN, các cổng của khối LSTM và mạng CNN xử lý spectrogram. Đồng thời, tác giả nêu rõ các ứng dụng thực tế (nhập liệu văn bản, điều khiển nhà thông minh), chỉ ra 4 thách thức kỹ thuật lớn của ASR (tiếng ồn môi trường, sự đa dạng giọng nói địa phương, chi phí/thời gian triển khai, thiếu dữ liệu huấn luyện chất lượng cao) và thiết lập lý do chọn đề tài.

Chương 2. Các kĩ thuật xử lý bài toán

Chương 2 tập trung vào các giải pháp toán học và xử lý tín hiệu giải quyết các bài toán con trong ASR:

• Phân tích nguyên lý thuật toán Noise Reduction trên miền thời gian, chia thành hai nhóm: giảm nhiễu tĩnh (Stationary Noise Reduction) xử lý tạp âm có phổ năng lượng ổn định bằng cách thiết lập ngưỡng biên độ trên biểu đồ phổ STFT ($\mu + 3\sigma$) và giảm nhiễu động (Non-stationary Noise Reduction) sử dụng bộ lọc IIR tiến/lùi làm mịn thời gian để thích ứng với tạp âm thay đổi.
• Cơ chế cổng nhiễu (Noise Gate) đóng/mở luồng âm thanh tự động theo ngưỡng biên độ.
• Kỹ thuật Voice Activity Detection (VAD) với quy trình 3 giai đoạn: giảm nhiễu, trích xuất đặc trưng toán học và phân loại tín hiệu giọng nói.
• Định nghĩa các hàm mất mát cơ bản (MSE, MAE, Binary Cross Entropy) và đi sâu vào hàm mất mát Connectionist Temporal Classification (CTC) - giải pháp ánh xạ chuỗi đầu vào $X$ và chuỗi nhãn $Y$ khác độ dài thông qua xác suất khả vi $P(Y|X)$.
• Thiết lập công thức và tiêu chuẩn định lượng tỷ lệ lỗi từ (WER) và tỷ lệ lỗi ký tự (CER).

Chương 3. Mô hình chuyển giọng nói thành văn bản Wav2Vec

Chương 3 đi sâu vào cơ chế tự giám sát của mô hình Wav2Vec 2.0 phát triển bởi Facebook AI Research (FAIR):

• Phân tích quy trình huấn luyện hai giai đoạn: giai đoạn 1 học tự giám sát trên dữ liệu không gán nhãn để trích xuất biểu diễn âm thanh tiềm ẩn; giai đoạn 2 tinh chỉnh (fine-tuning) trên lượng nhỏ dữ liệu có gán nhãn kết hợp hàm CTC. Bằng chứng thực nghiệm quốc tế cho thấy mô hình huấn luyện trên tập LV-60K và chỉ tinh chỉnh 10 phút dữ liệu gán nhãn (tương ứng 48 bản ghi dài 12,5 giây) đạt WER 5,2% trên tập clean và 8,6% trên tập test.
• Kiến trúc 3 tầng: Bộ mã hóa tích chập trích xuất vector đặc trưng $Z$, Transformer mã hóa ngữ cảnh $C_t$ với cơ chế nhúng vị trí tương đối bằng lớp tích chập, và module lượng tử hóa vector (Vector Quantization).
• Cơ chế lượng tử hóa sử dụng $G$ nhóm codebooks, mỗi nhóm có $V$ vector mã, kết hợp hàm Gumbel-Softmax và bổ sung nhiễu Gumbel $n_v$ để đảm bảo tính khả vi khi chọn mã rời rạc.
• Quy trình tạo mặt nạ (masking) ngẫu nhiên các đoạn liên tiếp ($p = 0{,}065$, $M = 5$).
• Hàm mục tiêu kết hợp: hàm đối lập $\mathcal{L}_m$ (cosine similarity có nhiệt độ $\tau$) và hàm đa dạng $\mathcal{L}_d$ (tối đa hóa entropy trên phân phối softmax trung bình để tận dụng toàn bộ không gian biểu diễn, ví dụ $G=2, V=320$ tạo ra 102.400 trạng thái).
• Khảo sát mô hình ngôn ngữ N-gram (ước lượng hợp lý cực đại MLE, lưu trữ dưới dạng log xác suất) và giải thuật giải mã Beam Search có hàm phạt độ dài câu đầu ra $L^\alpha$ ($\alpha = 0{,}75$).

Chương 4. Xây dựng ứng dụng phần mềm chuyển giọng nói thành văn bản xử dụng Wav2Vec

Chương 4 hiện thực hóa toàn bộ quy trình nghiên cứu thành chương trình thực nghiệm và phần mềm hoàn chỉnh:

• Giới thiệu các bộ dữ liệu huấn luyện và kiểm thử tiếng Việt: VLSP (250 giờ), VIVOS (hơn 15 giờ ghi âm chuẩn phòng thu từ 46 người nói), Common Voice Mozilla (khoảng 20.000 giờ đa ngôn ngữ).
• Mô hình âm học sử dụng kiến trúc Base của tác giả Nguyễn Vũ Lê Bình huấn luyện trên 13.000 giờ dữ liệu và tinh chỉnh trên dữ liệu tiếng Việt (gồm 95 triệu tham số ở bản Base và 317 triệu tham số ở bản Large), kết hợp mô hình ngôn ngữ 4-gram huấn luyện trên 2GB dữ liệu văn bản.
• Tiến hành thực nghiệm tiền xử lý giảm nhiễu: kiểm thử trực tiếp trên mẫu câu âm thanh "Thời tiết hôm nay thế nào". Tác giả chứng minh khi chưa giảm nhiễu mô hình giải mã thiếu thành "Thời tiết hôm này", nhưng khi áp dụng module giảm nhiễu hệ thống nhận dạng chính xác "Thời tiết hôm này thế nào".
• Đánh giá định lượng trên các tập dữ liệu tiếng Việt được thêm tạp âm nhân tạo, khẳng định mô hình có tích hợp tiền xử lý giảm nhiễu đạt tỷ lệ lỗi WER vượt trội so với các mô hình Wav2Vec giữ nguyên tín hiệu nhiễu thô.
• Cài đặt phần mềm bằng Python trong môi trường Anaconda, giao diện đa nền tảng viết bằng thư viện Flet, bao gồm các màn hình chính, màn hình cài đặt tham số và màn hình hiển thị kết quả nhận dạng.

Kết quả và đóng góp

Đồ án đã đạt được các kết quả kỹ thuật và đóng góp thực tiễn cụ thể:

Thành phần nghiên cứu	Cấu hình / Dữ liệu thực nghiệm	Kết quả ghi nhận trong văn bản
Bộ dữ liệu tiếng Việt	VLSP (250 giờ), VIVOS (15 giờ, 46 người nói: 22 nam, 24 nữ), Mozilla Common Voice	Chuẩn hóa quy trình đánh giá thực nghiệm trên các nguồn dữ liệu tiếng Việt đa dạng
Mô hình âm học	Kiến trúc Wav2Vec 2.0 Base (95M tham số) của Nguyễn Vũ Lê Bình	Mô hình được huấn luyện trên 13.000 giờ dữ liệu và tinh chỉnh trên tiếng Việt
Mô hình ngôn ngữ	N-gram (4-gram) huấn luyện trên 2GB dữ liệu văn bản	Giảm tỷ lệ lỗi từ (WER) đáng kể so với việc chỉ sử dụng mô hình âm học đơn lẻ
Module tiền xử lý	Khử nhiễu phổ (Spectral Gating) + Cổng nhiễu (Noise Gate)	Khắc phục hiện tượng mất từ do nhiễu môi trường (mẫu thử "Thời tiết hôm nay thế nào")
Đánh giá có nhiễu	Thử nghiệm trên các tập dữ liệu tiếng Việt có pha trộn tạp âm	Mô hình có giảm nhiễu đạt hiệu quả nhận dạng vượt trội so với mô hình Wav2Vec tương đương không khử nhiễu
Phần mềm ứng dụng	Ngôn ngữ Python, giao diện Flet, quản lý gói Anaconda	Triển khai thành công ứng dụng chuyển đổi giọng nói đa nền tảng phục vụ nhập liệu tự động

Về mặt đóng góp học thuật và ứng dụng, đồ án đã tổng hợp hệ thống cơ sở toán học chi tiết của kiến trúc Wav2Vec 2.0 và chứng minh tính cần thiết của việc kết hợp tầng tiền xử lý giảm nhiễu tín hiệu âm thanh trước khi đưa vào các mô hình học sâu E2E tại Việt Nam. Về mặt sản phẩm, tác giả đã đóng gói mô hình học sâu vào một ứng dụng máy tính hoàn chỉnh bằng Flet, cung cấp công cụ nhập liệu văn bản hỗ trợ người dùng và người khiếm thị mà không phải chịu chi phí dịch vụ thương mại đắt đỏ.

Hạn chế và hướng nghiên cứu tiếp

Căn cứ trên các nội dung được tác giả trình bày và phạm vi thực nghiệm của đồ án, một số hạn chế và định hướng phát triển được xác định:

• Hạn chế:
  • Mô hình nhận dạng vẫn chịu ảnh hưởng nếu gặp môi trường âm học có tiếng vang quá lớn hoặc tạp âm phi tuyến phức tạp vượt ngoài khả năng ước lượng của cổng phổ tĩnh/động.
  • Sự đa dạng về phương ngữ nặng hoặc từ ngữ địa phương đặc thù giữa các vùng miền vẫn là thách thức lớn đối với độ chính xác của mô hình ngôn ngữ 4-gram.
  • Việc triển khai mô hình học sâu có kích thước tham số lớn (95 triệu tham số ở bản Base) đòi hỏi thiết bị phải có cấu hình phần cứng tương đối mạnh để đảm bảo tốc độ suy luận thời gian thực.
• Hướng nghiên cứu tiếp:
  • Nâng cấp mô hình ngôn ngữ kết hợp các kiến trúc ngữ cảnh lớn hơn để xử lý tốt hơn các từ đồng âm và cấu trúc câu phức tạp trong tiếng Việt.
  • Tối ưu hóa kích thước mô hình âm học (thông qua kỹ thuật lượng tử hóa trọng số hoặc nén mô hình) nhằm giảm thiểu thời gian xử lý và triển khai mượt mà trên các thiết bị nhúng hoặc thiết bị di động cấu hình thấp.
  • Mở rộng thu thập và tinh chỉnh mô hình trên các tập dữ liệu tiếng nói đa dạng hơn về giọng vùng miền, lứa tuổi và môi trường giao tiếp thực tế.

Giá trị tham khảo

Đồ án tốt nghiệp của tác giả Nguyễn Văn Vũ là tài liệu tham khảo học thuật có giá trị cho:

• Đối tượng thụ hưởng: Sinh viên, học viên chuyên ngành Khoa học máy tính, Công nghệ thông tin, Trí tuệ nhân tạo và Kỹ thuật dữ liệu đang nghiên cứu bài toán xử lý tín hiệu tiếng nói tiếng Việt, nhận dạng giọng nói tự động hoặc xây dựng ứng dụng Python đa nền tảng.
• Nội dung tham khảo trọng tâm:
  • Phần phân tích toán học chi tiết tại Chương 3 về cơ chế lượng tử hóa vector, hàm phân phối Gumbel-Softmax, phép biến đổi không gian rời rạc khả vi và việc cân bằng hàm mất mát đối lập - đa dạng trong kiến trúc Wav2Vec 2.0.
  • Phương pháp luận kết hợp thuật toán xử lý tín hiệu cổ điển (Spectral Gating, Noise Gate, VAD) với mô hình E2E hiện đại tại Chương 2 và Chương 4 để cải thiện độ bền vững của mô hình học máy trước tạp âm môi trường.
  • Kiến trúc tích hợp mô hình ngôn ngữ N-gram vào giải thuật Beam Search và cách tổ chức một ứng dụng desktop hoàn chỉnh sử dụng Flet (Flutter for Python).

Câu hỏi thường gặp

1. Mô hình Wav2Vec 2.0 giải quyết thách thức thiếu dữ liệu gán nhãn trong nhận dạng giọng nói bằng cách nào?
Wav2Vec 2.0 sử dụng mô hình học tự giám sát (Self-supervised Learning) theo 2 giai đoạn. Ở giai đoạn đầu, mô hình học các biểu diễn âm thanh tiềm ẩn trên hàng nghìn giờ dữ liệu tiếng nói thô không cần gán nhãn thông qua nhiệm vụ học đối lập (dự đoán biểu diễn lượng tử hóa tại các bước thời gian bị che giấu). Ở giai đoạn hai, mô hình chỉ cần một lượng rất nhỏ dữ liệu có gán nhãn (trong văn bản dẫn chứng: chỉ 10 phút dữ liệu gán nhãn) để tinh chỉnh thông qua hàm mất mát CTC, vẫn đạt được tỷ lệ lỗi từ thấp (WER 5,2% trên tập clean của nghiên cứu quốc tế).

2. Vai trò của phân phối Gumbel-Softmax trong module lượng tử hóa của Wav2Vec là gì?
Trong module lượng tử hóa vector, mô hình cần ánh xạ các vector đặc trưng liên tục $z$ thành các mã rời rạc trong codebooks. Thao tác chọn mã rời rạc thuần túy (như hàm argmax) không có đạo hàm, khiến mạng nơ-ron không thể huấn luyện bằng giải thuật lan truyền ngược (Backpropagation). Gumbel-Softmax giải quyết vấn đề này bằng cách đưa nhiễu Gumbel $n_v$ vào logits và dùng hàm softmax có tham số nhiệt độ $\tau$, tạo ra phân phối xác suất xấp xỉ liên tục có thể tính toán đạo hàm được, đồng thời hỗ trợ lấy mẫu ngẫu nhiên để kích hoạt đa dạng các mã lượng tử.

3. Kỹ thuật giảm nhiễu tĩnh và giảm nhiễu động được tác giả sử dụng hoạt động khác nhau như thế nào?
Giảm nhiễu tĩnh (Stationary Noise Reduction) ước tính ngưỡng nhiễu cố định dựa trên trung bình và độ lệch chuẩn của phổ tần số (STFT) trên toàn bộ bản ghi, áp dụng hiệu quả cho các loại tạp âm có cường độ và phổ ổn định như tiếng ù thiết bị điện tử. Ngược lại, giảm nhiễu động (Non-stationary Noise Reduction) liên tục cập nhật ngưỡng nhiễu thích nghi theo thời gian thực thông qua bộ lọc làm mịn thời gian IIR (tiến và lùi), cho phép phát hiện và loại bỏ các nguồn tạp âm biến thiên bất thường không cố định trong môi trường.

4. Vì sao hệ thống nhận dạng trong đồ án phải kết hợp thêm mô hình ngôn ngữ 4-gram và giải thuật Beam Search thay vì sử dụng tìm kiếm tham lam (Greedy Search)?
Tìm kiếm tham lam chỉ chọn token có xác suất cao nhất tại từng bước thời gian riêng lẻ một cách cục bộ, dễ dẫn đến lỗi ngữ nghĩa nghiêm trọng trên toàn bộ câu dài. Beam Search khắc phục điều này bằng cách duy trì $k$ chuỗi ứng viên có xác suất tích lũy cao nhất qua từng bước. Khi kết hợp với mô hình ngôn ngữ 4-gram (được huấn luyện trên 2GB văn bản), hệ thống đánh giá được xác suất xuất hiện của từ dựa trên ngữ cảnh các từ phía trước, giúp sửa các lỗi nhận diện âm học đồng âm và giảm đáng kể tỷ lệ lỗi từ (WER).

5. Cấu hình mô hình âm học và các bộ dữ liệu tiếng Việt được tác giả sử dụng cho thực nghiệm gồm những nguồn nào?
Tác giả sử dụng mô hình Wav2Vec 2.0 Base tiếng Việt của tác giả Nguyễn Vũ Lê Bình (huấn luyện trên 13.000 giờ dữ liệu và tinh chỉnh trên tiếng Việt với 95 triệu tham số). Các bộ dữ liệu thực nghiệm gồm: VLSP (250 giờ tiếng Việt từ cuộc thi năm 2021), VIVOS (hơn 15 giờ ghi âm chuẩn từ 46 người nói gồm 22 nam và 24 nữ) và bộ dữ liệu đa ngôn ngữ Common Voice của Mozilla.

Kết luận

Đồ án tốt nghiệp của sinh viên Nguyễn Văn Vũ đã hoàn thành việc nghiên cứu kiến trúc học tự giám sát Wav2Vec 2.0 và hiện thực hóa thành công ứng dụng chuyển giọng nói tiếng Việt thành văn bản. Bằng việc tích hợp các thuật toán tiền xử lý khử nhiễu tín hiệu và kết hợp mô hình ngôn ngữ 4-gram với giải thuật giải mã Beam Search, hệ thống đã chứng minh được sự cải thiện rõ rệt về độ chính xác nhận dạng khi hoạt động trong môi trường có tạp âm. Sản phẩm phần mềm xây dựng bằng Python và Flet mang tính ứng dụng thực tiễn cao, đóng góp một giải pháp mã nguồn mở hữu ích cho nhu cầu nhập liệu văn bản tự động bằng tiếng Việt.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. GIỚI THIỆU TỔNG QUAN VỀ BÀI TOÁN 1. Giới thiệu về giọng nói Nhận dạng giọng nói hay còn gọi là hệ thống nhận dạng giọng nói tự động (ASR) đã được ứng dụng rộng rãi trong cuộc sống và từ lâu đã trở thành một chủ đề lớn trong nghiên cứu về trí tuệ nhân tạo, ngôn ngữ tự nhiên và xử lý giọng nói. Khi có sự có mặt của học sâu, hệ thống nhận dạng giọng nói xây dựng dựa trên mạng nơ-ron đã phát triển mạnh.

Một lượng lớn công trình nghiên cứu tập trung vào các khía cạnh khác nhau của hệ thống dựa trên mạng nơ-ron như Tổng hợp giọng nói theo tham số thống kê được phát triển bởi Google, WaveNet, FastSpeech, … Do đó chất lượng của hệ thống nhận dạng giọng nói đã được nâng cao trong vài năm gần đây. Trước khi nói về bài toán, cần phân tích cách con người tạo ra âm thanh như thế nào. Âm thanh và tiếng nói của con người được tạo ra bởi sự tương tác phức tạp của các thành phần có trong cơ thể con người. Hầu hết các âm thanh lời nói bắt đầu từ hệ hô hấp, hệ thống này đẩy không khí ra khỏi phổi theo mô tả trong Hình 1.

Cấu tạo bộ lọc nguồn tạo ra âm thanh và lời nói của con người. Nguồn [1] 2 Theo bài báo [1], không khí đi qua khí quản và đi vào thanh quản, nơi có hai nếp cơ nhỏ, được gọi là “nếp thanh quản”. Khi các nếp thanh quản được tập trung lại với nhau để tạo ra một đường dẫn khi hẹp, luồng khí khiến chúng rung theo chu kì. Các rung động của dây thanh quản điều chỉnh áp suất không khí và tạo ra âm thanh tuần hoàn.

Các âm thanh được tạo ra, khi dây thanh quản rung, được gọi là “âm hữu thanh”. Trong khi các âm mà dây thanh quản không rung là “âm vô thanh”. Các đường dẫn khí phía trên thanh quản được gọi là “dây thanh quản”. Các luồng không khí hỗn loạn được tạo ra tại các phần co thắt của của thanh môn và thanh quản cũng góp phần tạo ra âm thanh nguồn không theo chu kì được phân phối trên một dải tần số rộng.

Hình dạng của đường âm thanh và vị trí của các khớp nối (hàm, lưỡi, màng thanh quản, môi, miệng, răng, vòm miệng cứng). là yếu tố quan trọng để xác định đặc trưng âm học của tiếng nói. Trạng thái của các nếp gấp thanh âm cũng như vị trí, hình dạng và kích thước của các khớp nối thay đổi theo thời gian để tạo ra âm thành khác nhau một cách tuần tự. Tổng quan về nhận dạng giọng nói 1.1 Lịch sử phát triển của nhận dạng giọng nói Nhận dạng giọng nói là công nghệ cho phép máy tính nhận dạng và chuyển đổi ngôn ngữ nói thành văn bản.

Công nghệ này sử dụng một số mô hình học sâu để xác định chính xác văn bản trong lời nói. Công nghệ nhận dạng được phát triển từ rất sớm, Giai đoạn đầu (1970 – 1980): • Mô hình Markov ẩn, trong những năm 1970, các phương pháp dựa trên mô hình này bắt đầu xuất hiện và trở thành nền tảng của hầu hết các hệ thống ASR, mô hình này là một mô hình thông kê mạnh mẽ được sử dụng để phân tích các chuỗi thời gian hoặc dữ liệu có thứ tự, cho phép mô hình hóa sự thay đổi âm thanh theo thời gian. 3 • Dynamic Time Warping (DTW), là một kĩ thuật đo lường sự giống nhau giữa hai chuỗi tín hiệu có thể khác nhau về thời gian, tốc độ. Kĩ thuật này đặc biệt hữu ích khi phân tích các chuỗi tín hiêu không đồng bộ hoặc khi cần so sánh các mẫu có thể bị nén hoặc bị giãn theo thời gian, như trong xử lý dữ liệu âm thanh.

Kĩ thuật này được giới thiệu lần đầu tiên vào năm 1970, DTW thực hiện điều này thông qua một ma trận khoảng cách, trong đó mỗi phần tử biểu thị khoảng cách giữa hai điểm tương ứng từ hai chuỗi tín hiệu, sau đó tìm đường đi tối ưu qua ma trận này để tối thiểu hóa tổng khoảng cách. • Dự án DAPRA, dự án này ở Mỹ đóng vai trò quan trọng trong việc phát triển công nghệ nhận dạng giọng nói tự động. HARPY là một trong những dự án nổi bật, hệ thống này được phát triển vào cuối năm 1970 ở đại học Carnegie Mellon bởi nhóm nghiên cứu do Raj Reddy dẫn dắt. HARPY đã đánh dấu một bước tiến lớn trong lĩnh vực nhận dạng giọng nói khi có khả năng nhận dạng khoảng 1.000 từ, một thành tựu rất đáng kể vào thời điểm đó.

HARPY cho phép hệ thống này không chỉ nhận dạng từ mà còn phân tích cú pháp để hiểu cấu trúc ngữ pháp của câu nói. Nhờ vào khả năng này, HARPY có thể không chỉ nhận diện âm thanh mà còn có thể hiểu và phản hồi các câu nói phức tạp. Chương trình HARPY và các dự án liên quan của DARPA đã đóng vai trò nền tảng cho sự phát triển của các hệ thống nhận dạng giọng nói hiện đại. Những nghiên cứu và tiến bộ từ các dự án này đã giúp định hình hướng đi cho nhiều công nghệ AI hiện nay, từ các trợ lý ảo như Siri và Alexa cho đến các hệ thống dịch thuật tự động.

DARPA đã tạo ra môi trường thúc đẩy đổi mới trong lĩnh vực AI, dẫn đến sự ra đời của các công nghệ có khả năng hiểu và tương tác với con người thông qua ngôn ngữ tự nhiên. 4 Thập niên 1990s • Gaussian Mixture Models, là một phương pháp thống kê dùng để mô hình hóa phân phối xác suất của các đặc trưng âm thanh trong giọng nói. GMM sử dụng nhiều phân phối Gaussian để biểu diễn sự phân bố của dữ liệu trong không gian âm thanh, cho phép hệ thống nhận dạng các âm vị khác nhau. Sự kết hợp giữa GMM và HMM (GMM-HMM) tạo ra một hệ thống mạnh mẽ cho nhận dạng giọng nói.

GMM xử lý việc mô hình hóa các đặc trưng âm thanh tại một thời điểm cụ thể, trong khi HMM xử lý sự thay đổi của các đặc trưng này theo thời gian. Hệ thống GMM- HMM đã trở thành tiêu chuẩn trong nhiều năm và được sử dụng rộng rãi trong các hệ thống ASR. • Mô hình ngôn ngữ n-gram, được sử dụng để mô hình hóa xác suất của một chuỗi từ trong ngữ cảnh của những từ trước đó. Ví dụ, trong một mô hình 3-gram (trigram), xác suất của một từ sẽ phụ thuộc vào hai từ liền trước.

Điều này giúp hệ thống ASR không chỉ nhận diện chính xác các âm thanh mà còn có thể hiểu và dự đoán từ tiếp theo dựa trên ngữ cảnh, cải thiện độ chính xác trong việc nhận dạng từ và câu. Thập niên 2000s • EARS, (Effective – hiệu quả, Affordable – chi phí thấp, Reusable – có thể tái sử dụng, Speech-to-Speech Translation - chuyển giọng nói thành giọng nói khác). Dự án này nhằm phát triển các công nghệ nhận dạng giọng nói và dịch ngôn ngữ hiệu quả, chính xác và có thể tái sử dụng. Cải thiện độ chính xác của các hệ thống nhận diện giọng nói trong các tình huống thực tế, bao gồm việc xử lý giọng nói trong môi trường có nhiều tiếng ồn và các biến thể của ngôn ngữ.

Dự án EARS đã đóng góp vào sự phát triển của các công nghệ nhận diện giọng nói và dịch ngôn ngữ tự động, giúp nâng cao khả năng giao tiếp trong các môi trường đa ngôn ngữ và đa văn hóa. Dự án GALE tập trung vào việc phát triển các công nghệ xử lý ngôn ngữ tự nhiên để khai thác thông tin từ các nguồn ngôn ngữ toàn cầu. Mục tiêu chính là cải thiện khả năng thu thập, phân tích và sử dụng thông tin từ các ngôn ngữ khác nhau. Dự án GALE đã góp phần vào sự phát triển của các công nghệ xử lý ngôn ngữ tự nhiên, giúp cải thiện khả năng khai thác thông tin từ các nguồn ngôn ngữ khác nhau và hỗ trợ các hoạt động quân sự và tình báo.

• Vào đầu những năm 2000, người ta đã sử dụng mô hình Long short-term memory(LSTM), để có thể xử lý được những tác vụ có yêu cầu về bộ nhớ cao. LSTM được huấn luyện bởi Connectionist Temporal Classification (CTC) đã có một số ứng dụng vượt trôi trong thực tế. Thập niên 2010s đến nay • Sự bùng nổ của Deep Learning và mạng nơ-ron tích chập (CNN): Với sự gia tăng sức mạnh tính toán và dữ liệu lớn, các mô hình deep learning, đặc biệt là CNN và RNN (Recurrent Neural Networks), đã trở thành lựa chọn chính trong ASR. Mô hình như HMM-GMM dần bị thay thế bởi các mô hình hoàn toàn dựa trên deep learning.

• Xuất hiện các trợ lý ảo: Các trợ lý ảo như Siri (Apple), Google Assistant, Amazon Alexa sử dụng công nghệ ASR tiên tiến để tương tác với người dùng. • Transformer và các mô hình như BERT: Các mô hình này giúp cải thiện khả năng hiểu ngôn ngữ tự nhiên, đóng góp vào sự phát triển mạnh mẽ của ASR. Như Wav2Vec là một mô hình được phát triển bởi Facebook AI Research (FAIR) cho nhiệm vụ nhận diện giọng nói.0 sử dụng một mạng nơ-ron tích chập (CNN) để trích xuất các đặc trưng âm thanh từ tín hiệu sóng âm, sau đó sử dụng một mạng Transformer để mã hóa các đặc trưng này thành biểu diễn ngữ nghĩa. 6 Bằng cách áp dụng các mô hình học sâu vào trong hệ thống ASR, thì đã giảm được tỉ lệ lỗi hơn 50% so với các mô hình không có học sâu.

Với sự vượt trội như vậy, nhiều hệ thống ASR có sử dụng mô hình học sâu được ra đời. Các mô hình này được gọi là mô hình End-to-End (E2E) tức là một cách tiếp cận trong học máy và trí tuệ nhân tạo, nơi mà một hệ thống học để thực hiện toàn bộ quy trình của một nhiệm vụ cụ thể, từ đầu vào đến đầu ra cuối cùng, mà không cần các bước xử lý trung gian khác.2 Các thuật toán và mô hình nhận dạng giọng nói hiện nay a) Hidden Markov Models Mô hình Markov [2] ẩn dựa trên việc tăng cường các chuỗi Markov. Một chuỗi Markov là mô hình cho chùng ta biết rằng một điều gì đó về xác suất của chuỗi các biến ngẫu nhiên, trạng thái ngẫu nhiên, mỗi chuỗi có thể nhận giá trị từ một tập hợp nào đó. Các tập hợp này có thể là từ ngữ, kí hiệu đại diện cho bất kì thứ gì hoặc có thể là thời tiết, v.v… Chuỗi Markov đưa ra một giả định rất chắc chắn rằng nếu muốn dự đoán tương lai của chuỗi thì điều quan trọng nhất là trạng thái hiện tại.

Các trạng thái trước trạng thái hiện tại không có tác động gì đến tương lai ngoại trừ thông qua trạng thái hiện tại.