CHƯƠNG 1. GIỚI THIỆU TỔNG QUAN VỀ BÀI TOÁN 1. Giới thiệu về giọng nói Nhận dạng giọng nói hay còn gọi là hệ thống nhận dạng giọng nói tự động (ASR) đã được ứng dụng rộng rãi trong cuộc sống và từ lâu đã trở thành một chủ đề lớn trong nghiên cứu về trí tuệ nhân tạo, ngôn ngữ tự nhiên và xử lý giọng nói. Khi có sự có mặt của học sâu, hệ thống nhận dạng giọng nói xây dựng dựa trên mạng nơ-ron đã phát triển mạnh.
Một lượng lớn công trình nghiên cứu tập trung vào các khía cạnh khác nhau của hệ thống dựa trên mạng nơ-ron như Tổng hợp giọng nói theo tham số thống kê được phát triển bởi Google, WaveNet, FastSpeech, … Do đó chất lượng của hệ thống nhận dạng giọng nói đã được nâng cao trong vài năm gần đây. Trước khi nói về bài toán, cần phân tích cách con người tạo ra âm thanh như thế nào. Âm thanh và tiếng nói của con người được tạo ra bởi sự tương tác phức tạp của các thành phần có trong cơ thể con người. Hầu hết các âm thanh lời nói bắt đầu từ hệ hô hấp, hệ thống này đẩy không khí ra khỏi phổi theo mô tả trong Hình 1.
Cấu tạo bộ lọc nguồn tạo ra âm thanh và lời nói của con người. Nguồn [1] 2 Theo bài báo [1], không khí đi qua khí quản và đi vào thanh quản, nơi có hai nếp cơ nhỏ, được gọi là “nếp thanh quản”. Khi các nếp thanh quản được tập trung lại với nhau để tạo ra một đường dẫn khi hẹp, luồng khí khiến chúng rung theo chu kì. Các rung động của dây thanh quản điều chỉnh áp suất không khí và tạo ra âm thanh tuần hoàn.
Các âm thanh được tạo ra, khi dây thanh quản rung, được gọi là “âm hữu thanh”. Trong khi các âm mà dây thanh quản không rung là “âm vô thanh”. Các đường dẫn khí phía trên thanh quản được gọi là “dây thanh quản”. Các luồng không khí hỗn loạn được tạo ra tại các phần co thắt của của thanh môn và thanh quản cũng góp phần tạo ra âm thanh nguồn không theo chu kì được phân phối trên một dải tần số rộng.
Hình dạng của đường âm thanh và vị trí của các khớp nối (hàm, lưỡi, màng thanh quản, môi, miệng, răng, vòm miệng cứng). là yếu tố quan trọng để xác định đặc trưng âm học của tiếng nói. Trạng thái của các nếp gấp thanh âm cũng như vị trí, hình dạng và kích thước của các khớp nối thay đổi theo thời gian để tạo ra âm thành khác nhau một cách tuần tự. Tổng quan về nhận dạng giọng nói 1.1 Lịch sử phát triển của nhận dạng giọng nói Nhận dạng giọng nói là công nghệ cho phép máy tính nhận dạng và chuyển đổi ngôn ngữ nói thành văn bản.
Công nghệ này sử dụng một số mô hình học sâu để xác định chính xác văn bản trong lời nói. Công nghệ nhận dạng được phát triển từ rất sớm, Giai đoạn đầu (1970 – 1980): • Mô hình Markov ẩn, trong những năm 1970, các phương pháp dựa trên mô hình này bắt đầu xuất hiện và trở thành nền tảng của hầu hết các hệ thống ASR, mô hình này là một mô hình thông kê mạnh mẽ được sử dụng để phân tích các chuỗi thời gian hoặc dữ liệu có thứ tự, cho phép mô hình hóa sự thay đổi âm thanh theo thời gian. 3 • Dynamic Time Warping (DTW), là một kĩ thuật đo lường sự giống nhau giữa hai chuỗi tín hiệu có thể khác nhau về thời gian, tốc độ. Kĩ thuật này đặc biệt hữu ích khi phân tích các chuỗi tín hiêu không đồng bộ hoặc khi cần so sánh các mẫu có thể bị nén hoặc bị giãn theo thời gian, như trong xử lý dữ liệu âm thanh.
Kĩ thuật này được giới thiệu lần đầu tiên vào năm 1970, DTW thực hiện điều này thông qua một ma trận khoảng cách, trong đó mỗi phần tử biểu thị khoảng cách giữa hai điểm tương ứng từ hai chuỗi tín hiệu, sau đó tìm đường đi tối ưu qua ma trận này để tối thiểu hóa tổng khoảng cách. • Dự án DAPRA, dự án này ở Mỹ đóng vai trò quan trọng trong việc phát triển công nghệ nhận dạng giọng nói tự động. HARPY là một trong những dự án nổi bật, hệ thống này được phát triển vào cuối năm 1970 ở đại học Carnegie Mellon bởi nhóm nghiên cứu do Raj Reddy dẫn dắt. HARPY đã đánh dấu một bước tiến lớn trong lĩnh vực nhận dạng giọng nói khi có khả năng nhận dạng khoảng 1.000 từ, một thành tựu rất đáng kể vào thời điểm đó.
HARPY cho phép hệ thống này không chỉ nhận dạng từ mà còn phân tích cú pháp để hiểu cấu trúc ngữ pháp của câu nói. Nhờ vào khả năng này, HARPY có thể không chỉ nhận diện âm thanh mà còn có thể hiểu và phản hồi các câu nói phức tạp. Chương trình HARPY và các dự án liên quan của DARPA đã đóng vai trò nền tảng cho sự phát triển của các hệ thống nhận dạng giọng nói hiện đại. Những nghiên cứu và tiến bộ từ các dự án này đã giúp định hình hướng đi cho nhiều công nghệ AI hiện nay, từ các trợ lý ảo như Siri và Alexa cho đến các hệ thống dịch thuật tự động.
DARPA đã tạo ra môi trường thúc đẩy đổi mới trong lĩnh vực AI, dẫn đến sự ra đời của các công nghệ có khả năng hiểu và tương tác với con người thông qua ngôn ngữ tự nhiên. 4 Thập niên 1990s • Gaussian Mixture Models, là một phương pháp thống kê dùng để mô hình hóa phân phối xác suất của các đặc trưng âm thanh trong giọng nói. GMM sử dụng nhiều phân phối Gaussian để biểu diễn sự phân bố của dữ liệu trong không gian âm thanh, cho phép hệ thống nhận dạng các âm vị khác nhau. Sự kết hợp giữa GMM và HMM (GMM-HMM) tạo ra một hệ thống mạnh mẽ cho nhận dạng giọng nói.
GMM xử lý việc mô hình hóa các đặc trưng âm thanh tại một thời điểm cụ thể, trong khi HMM xử lý sự thay đổi của các đặc trưng này theo thời gian. Hệ thống GMM- HMM đã trở thành tiêu chuẩn trong nhiều năm và được sử dụng rộng rãi trong các hệ thống ASR. • Mô hình ngôn ngữ n-gram, được sử dụng để mô hình hóa xác suất của một chuỗi từ trong ngữ cảnh của những từ trước đó. Ví dụ, trong một mô hình 3-gram (trigram), xác suất của một từ sẽ phụ thuộc vào hai từ liền trước.
Điều này giúp hệ thống ASR không chỉ nhận diện chính xác các âm thanh mà còn có thể hiểu và dự đoán từ tiếp theo dựa trên ngữ cảnh, cải thiện độ chính xác trong việc nhận dạng từ và câu. Thập niên 2000s • EARS, (Effective – hiệu quả, Affordable – chi phí thấp, Reusable – có thể tái sử dụng, Speech-to-Speech Translation - chuyển giọng nói thành giọng nói khác). Dự án này nhằm phát triển các công nghệ nhận dạng giọng nói và dịch ngôn ngữ hiệu quả, chính xác và có thể tái sử dụng. Cải thiện độ chính xác của các hệ thống nhận diện giọng nói trong các tình huống thực tế, bao gồm việc xử lý giọng nói trong môi trường có nhiều tiếng ồn và các biến thể của ngôn ngữ.
Dự án EARS đã đóng góp vào sự phát triển của các công nghệ nhận diện giọng nói và dịch ngôn ngữ tự động, giúp nâng cao khả năng giao tiếp trong các môi trường đa ngôn ngữ và đa văn hóa. Dự án GALE tập trung vào việc phát triển các công nghệ xử lý ngôn ngữ tự nhiên để khai thác thông tin từ các nguồn ngôn ngữ toàn cầu. Mục tiêu chính là cải thiện khả năng thu thập, phân tích và sử dụng thông tin từ các ngôn ngữ khác nhau. Dự án GALE đã góp phần vào sự phát triển của các công nghệ xử lý ngôn ngữ tự nhiên, giúp cải thiện khả năng khai thác thông tin từ các nguồn ngôn ngữ khác nhau và hỗ trợ các hoạt động quân sự và tình báo.
• Vào đầu những năm 2000, người ta đã sử dụng mô hình Long short-term memory(LSTM), để có thể xử lý được những tác vụ có yêu cầu về bộ nhớ cao. LSTM được huấn luyện bởi Connectionist Temporal Classification (CTC) đã có một số ứng dụng vượt trôi trong thực tế. Thập niên 2010s đến nay • Sự bùng nổ của Deep Learning và mạng nơ-ron tích chập (CNN): Với sự gia tăng sức mạnh tính toán và dữ liệu lớn, các mô hình deep learning, đặc biệt là CNN và RNN (Recurrent Neural Networks), đã trở thành lựa chọn chính trong ASR. Mô hình như HMM-GMM dần bị thay thế bởi các mô hình hoàn toàn dựa trên deep learning.
• Xuất hiện các trợ lý ảo: Các trợ lý ảo như Siri (Apple), Google Assistant, Amazon Alexa sử dụng công nghệ ASR tiên tiến để tương tác với người dùng. • Transformer và các mô hình như BERT: Các mô hình này giúp cải thiện khả năng hiểu ngôn ngữ tự nhiên, đóng góp vào sự phát triển mạnh mẽ của ASR. Như Wav2Vec là một mô hình được phát triển bởi Facebook AI Research (FAIR) cho nhiệm vụ nhận diện giọng nói.0 sử dụng một mạng nơ-ron tích chập (CNN) để trích xuất các đặc trưng âm thanh từ tín hiệu sóng âm, sau đó sử dụng một mạng Transformer để mã hóa các đặc trưng này thành biểu diễn ngữ nghĩa. 6 Bằng cách áp dụng các mô hình học sâu vào trong hệ thống ASR, thì đã giảm được tỉ lệ lỗi hơn 50% so với các mô hình không có học sâu.
Với sự vượt trội như vậy, nhiều hệ thống ASR có sử dụng mô hình học sâu được ra đời. Các mô hình này được gọi là mô hình End-to-End (E2E) tức là một cách tiếp cận trong học máy và trí tuệ nhân tạo, nơi mà một hệ thống học để thực hiện toàn bộ quy trình của một nhiệm vụ cụ thể, từ đầu vào đến đầu ra cuối cùng, mà không cần các bước xử lý trung gian khác.2 Các thuật toán và mô hình nhận dạng giọng nói hiện nay a) Hidden Markov Models Mô hình Markov [2] ẩn dựa trên việc tăng cường các chuỗi Markov. Một chuỗi Markov là mô hình cho chùng ta biết rằng một điều gì đó về xác suất của chuỗi các biến ngẫu nhiên, trạng thái ngẫu nhiên, mỗi chuỗi có thể nhận giá trị từ một tập hợp nào đó. Các tập hợp này có thể là từ ngữ, kí hiệu đại diện cho bất kì thứ gì hoặc có thể là thời tiết, v.v… Chuỗi Markov đưa ra một giả định rất chắc chắn rằng nếu muốn dự đoán tương lai của chuỗi thì điều quan trọng nhất là trạng thái hiện tại.
Các trạng thái trước trạng thái hiện tại không có tác động gì đến tương lai ngoại trừ thông qua trạng thái hiện tại.