Mô Hình Markov Ẩn và Ứng Dụng Trong Nhận Dạng Tiếng Nói

Luận văn thạc sĩ về mô hình Markov ẩn và ứng dụng trong nhận dạng tiếng nói, mang đến cái nhìn sâu sắc về công nghệ thông tin hiện đại.

• Tác giả: Nguyễn Duy Phương
• Người hướng dẫn: PGS. Hồ Thuần
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Mô Hình Markov Ẩn và Ứng Dụng Trong Nhận Dạng Tiếng Nói
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2007
• Địa điểm: Hà Nội

Mục lục chi tiết

• CÁC THUẬT NGỮ VÀ TỪ VIẾT TẮT
• DANH SÁCH CÁC HÌNH VẼ
• MỞ ĐẦU
• 1. CHƯƠNG 1: MÔ HÌNH HMM VÀ ỨNG DỤNG TRONG NHẬN DẠNG TIẾNG NÓI
• 1.1. Giới thiệu
• 1.2. Những khái niệm toán học liên quan tới HMM
• 1.2.1. Giới thiệu về nhận dạng thống kê
• 1.2.2. Định lý Bayes
• 1.3. Mô hình HMM
• 1.3.1. Tính chất Markov
• 1.3.3. Quá trình Markov
• 1.3.4. Mô hình HMM
• 1.3.4.1. Các thành phần chính của HMM
• 1.3.4.2. Ví dụ về mô hình HMM
• 1.3.5. Hai giả thuyết cơ bản để xây dựng hệ thống nhận dạng dựa trên HMM
• 1.3.6. Ba vấn đề cơ bản của mô hình HMM và cách giải quyết
• 1.3.6.1. Giải quyết vấn đề tính toán. Thuật toán tính xuôi và tính ngược
• 1.3.6.2. Giải quyết vấn đề ước lượng tham số cho mô hình HMM. Thuật toán huấn luyện Baum-Welch
• 1.3.6.3. Giải quyết vấn đề decoding. Thuật toán Viterbi
• 1.4. Nhận dạng tiếng nói và nhận dạng âm vị dựa trên HMM
• 1.4.1. Mô hình Nhận dạng
• 1.4.2. Các thành phần cơ bản của hệ thống nhận dạng tiếng nói dựa trên HMM và mối liên hệ giữa chúng
• 1.4.3. Ví dụ về nhận dạng từ đơn dựa trên HMM
• 1.5. Mô hình HMM cho âm vị được sử dụng trong luận văn
• 1.6. Kết luận chương 1
• 2. CHƯƠNG 2: TIỀN XỬ LÝ TÍN HIỆU TIẾNG NÓI
• 2.2. Một số thao tác tiền xử lý tín hiệu
• 2.2.1. Làm nổi tín hiệu (pre-emphais)
• 2.2.2. Lọc tiếng ồn
• 2.3. Trích rút đặc trưng
• 2.3.2. Một số phương pháp trích rút đặc trưng
• 2.3.2.1. Phương pháp Mã hoá dự báo tuyến tính (LPC)
• 2.3.2.2. Phương pháp Mã hoá cepstral tần số Mel (MFCC)
• 2.3.2.3. Phương pháp Mã hoá cepstral tần số Mel dựa trên LPC (MFCC)
• 2.3.2.4. Các hệ số delta (D) và hệ số gia tốc (A)
• 2.3.3. So sánh các phương pháp trích đặc trưng
• 2.4. Kết luận chương 2
• 3. CHƯƠNG 3: THUẬT TOÁN HUẤN LUYỆN NHÚNG – XÂY DỰNG MÔ HÌNH HMM TỰ ĐỘNG CHO ÂM VỊ
• 3.1. Tách và nhận dạng âm vị tự động dựa trên HMM
• 3.1.1. Thuật toán huấn luyện đối với những đơn vị độc lập - Huấn luyện trên dữ liệu gán nhãn
• 3.1.2. Thuật toán huấn luyện nhúng - huấn luyện trên dữ liệu âm thanh không gán nhãn âm vị
• 3.2. Các công thức ước lượng tham số của mô hình HMM
• 3.2.1. Ước lượng tham số khi huấn luyện các mô hình HMM độc lập
• 3.2.2. Ước lượng tham số trong thuật toán huấn luyện nhúng
• 3.3. Các vấn đề về tham số HMM khi sử dụng thuật toán huấn luyện nhúng
• 3.3.1. Khởi tạo tham số
• 3.3.3. Số lần lặp trong mỗi bước luyện của thuật toán
• 3.3.4. Dữ liệu huấn luyện
• 3.4. Kết luận chương 3
• 4. CHƯƠNG 4: CÀI ĐẶT THUẬT TOÁN – TỪ ĐIỂN TIẾNG NÓI
• 4.2. Một số giao diện chương trình
• KẾT LUẬN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Mô Hình Markov Ẩn HMM Trong Nhận Dạng

Đầu thế kỷ XX, Andrei Andreyevich Markov đã đưa ra mô hình toán học mô tả chuyển động các phân tử chất lỏng. Mô hình này phát triển rộng rãi trong nhiều lĩnh vực như cơ học, sinh học, kinh tế. Ngày nay, nó được biết đến như Quá trình Markov. Mô hình Markov ẩn (HMM) là mô hình thống kê với các tham số không biết trước. Nhiệm vụ là xác định tham số ẩn từ tham số quan sát được. Các tham số rút ra dùng để phân tích, ví dụ cho ứng dụng nhận dạng mẫu. Mô hình Markov điển hình, trạng thái quan sát trực tiếp. Xác suất chuyển tiếp trạng thái là tham số duy nhất. HMM thêm vào các đầu ra: mỗi trạng thái có xác suất phân bổ trên các biểu hiện đầu ra. Nhìn vào dãy các biểu hiện không trực tiếp chỉ ra dãy các trạng thái. Bài viết này giới thiệu nội dung cơ bản của mô hình HMM, các định nghĩa, tham số, vấn đề thiết yếu, thuật toán chính. Nó cũng trình bày các thành phần chính của hệ thống nhận dạng tiếng nói, các công đoạn chính dựa vào HMM.

1.1. Lịch Sử Phát Triển Của HMM Từ Markov Đến Ứng Dụng

Mô hình Markov ban đầu được phát triển để mô tả các hệ thống có tính chất ngẫu nhiên, trong đó trạng thái tiếp theo chỉ phụ thuộc vào trạng thái hiện tại. Sự phát triển của HMM mở rộng ý tưởng này bằng cách thêm vào khái niệm về trạng thái ẩn, cho phép mô hình hóa các hệ thống phức tạp hơn, nơi các trạng thái không thể quan sát trực tiếp. Điều này đã mở ra cánh cửa cho các ứng dụng trong nhiều lĩnh vực, đặc biệt là trong xử lý ngôn ngữ tự nhiên và nhận dạng tiếng nói.

1.2. Ý Nghĩa Của Trạng Thái Ẩn Trong Mô Hình HMM

Trạng thái ẩn là yếu tố cốt lõi phân biệt HMM với mô hình Markov truyền thống. Nó cho phép mô hình hóa các quá trình mà trạng thái thực tế không thể quan sát trực tiếp, nhưng có thể suy luận thông qua các quan sát gián tiếp. Trong nhận dạng tiếng nói, các trạng thái ẩn có thể đại diện cho các âm vị hoặc các thành phần nhỏ hơn của âm thanh, trong khi các quan sát là các đặc trưng âm học trích xuất từ tín hiệu tiếng nói, như MFCCs hoặc Spectrogram.

1.3. Ứng Dụng Tiềm Năng Của HMM Trong Các Lĩnh Vực Khác Nhau

Ngoài nhận dạng tiếng nói, HMM còn có nhiều ứng dụng tiềm năng trong các lĩnh vực khác nhau. Trong sinh học, nó có thể được sử dụng để phân tích trình tự DNA và dự đoán cấu trúc protein. Trong tài chính, nó có thể được sử dụng để mô hình hóa biến động thị trường chứng khoán. Trong robot học, nó có thể được sử dụng để lập kế hoạch đường đi cho robot. Khả năng mô hình hóa các quá trình ngẫu nhiên và suy luận trạng thái ẩn làm cho HMM trở thành một công cụ mạnh mẽ trong nhiều lĩnh vực khoa học và kỹ thuật.

II. Giải Quyết Bài Toán Nhận Dạng Thống Kê Với HMM

Mô hình Markov ẩn HMM là mô hình thống kê dựa trên mô hình Markov. Để hiểu HMM, cần tìm hiểu mô hình thống kê nói chung. Quá trình thống kê là quá trình xác định xác suất của sự kiện và mối quan hệ giữa sự kiện. Gọi X là tập các biến ngẫu nhiên X={X1, X2, …, Xn}. Xác suất của sự kiện Xi là P(Xi). Khi đó xác suất của X là P(X)=1. Gọi P(Xi) là xác suất của biến cố Xi thì ta có: P(X) = Σ P(Xi) = 1. Xác suất có điều kiện (Conditional probability) là xác suất của một biến cố A biết B xảy ra. Ký hiệu P(A|B), đọc là "xác suất của A, biết B". Định lý Bayes cho phép tính xác suất xảy ra của A khi biết B đã xảy ra. Xác suất này ký hiệu là P(A|B).

2.1. Biến Cố Ngẫu Nhiên Xác Suất Và Hàm Mật Độ Xác Suất

Trong lý thuyết xác suất, biến cố ngẫu nhiên là một sự kiện có thể xảy ra với một xác suất nhất định. Xác suất là một số trong khoảng từ 0 đến 1, biểu thị khả năng xảy ra của một biến cố. Hàm mật độ xác suất mô tả phân bố xác suất của một biến ngẫu nhiên liên tục. Các khái niệm này là nền tảng cho việc xây dựng và hiểu HMM.

2.2. Xác Suất Có Điều Kiện Và Ứng Dụng Trong Bài Toán Nhận Dạng

Xác suất có điều kiện cho phép chúng ta tính toán xác suất của một sự kiện xảy ra, biết rằng một sự kiện khác đã xảy ra. Trong nhận dạng tiếng nói, chúng ta có thể sử dụng xác suất có điều kiện để tính toán xác suất của một chuỗi âm vị nhất định, biết rằng chúng ta đã quan sát một chuỗi các đặc trưng âm học nhất định. Điều này cho phép chúng ta suy luận chuỗi âm vị có khả năng nhất tương ứng với tín hiệu tiếng nói đầu vào.

2.3. Vai Trò Của Định Lý Bayes Trong Mô Hình HMM

Định lý Bayes là một công cụ quan trọng trong HMM vì nó cho phép chúng ta cập nhật niềm tin của mình về các trạng thái ẩn, khi chúng ta quan sát các dữ liệu mới. Cụ thể, nó cho phép chúng ta tính toán xác suất hậu nghiệm của một trạng thái ẩn, dựa trên xác suất tiên nghiệm của trạng thái đó và khả năng quan sát được dữ liệu, khi biết trạng thái đó. Công thức này được sử dụng rộng rãi trong các thuật toán huấn luyện và giải mã HMM.

III. Thuật Toán Viterbi Bí Quyết Giải Mã Trong Mô Hình HMM

Một trong những bài toán quan trọng nhất liên quan đến HMM là bài toán giải mã (decoding), hay còn gọi là bài toán tìm đường đi tốt nhất (optimal path problem). Bài toán này yêu cầu tìm chuỗi trạng thái ẩn có khả năng nhất, tương ứng với một chuỗi quan sát cho trước. Thuật toán Viterbi là một thuật toán quy hoạch động hiệu quả, được sử dụng rộng rãi để giải quyết bài toán này. Thuật toán Viterbi tìm kiếm đường đi có xác suất cao nhất qua mạng trạng thái của HMM, dựa trên các xác suất chuyển trạng thái và xác suất phát xạ.

3.1. Quy Hoạch Động Nền Tảng Của Thuật Toán Viterbi

Thuật toán Viterbi dựa trên nguyên tắc quy hoạch động, một kỹ thuật tối ưu hóa giải quyết các bài toán phức tạp bằng cách chia chúng thành các bài toán con nhỏ hơn và giải quyết chúng một cách đệ quy. Trong trường hợp của HMM, thuật toán Viterbi xây dựng một bảng (hoặc ma trận) để lưu trữ xác suất cao nhất đạt được đến một trạng thái nhất định tại một thời điểm nhất định. Bằng cách truy vết ngược từ trạng thái cuối cùng, thuật toán có thể tái tạo đường đi trạng thái có khả năng nhất.

3.2. Các Bước Chi Tiết Của Thuật Toán Viterbi

Thuật toán Viterbi bao gồm các bước sau: (1) Khởi tạo: Tính toán xác suất bắt đầu cho mỗi trạng thái. (2) Đệ quy: Với mỗi thời điểm và mỗi trạng thái, tính toán xác suất cao nhất đạt được đến trạng thái đó từ các trạng thái trước đó. (3) Kết thúc: Chọn trạng thái cuối cùng có xác suất cao nhất. (4) Truy vết ngược: Tái tạo đường đi trạng thái có khả năng nhất bằng cách truy vết ngược từ trạng thái cuối cùng đến trạng thái bắt đầu.

3.3. Ưu Điểm Và Hạn Chế Của Thuật Toán Viterbi Trong Nhận Dạng

Ưu điểm chính của thuật toán Viterbi là tính hiệu quả và khả năng tìm kiếm đường đi trạng thái có khả năng nhất một cách chính xác. Tuy nhiên, nó cũng có một số hạn chế. Ví dụ, nó yêu cầu lưu trữ toàn bộ bảng quy hoạch động trong bộ nhớ, điều này có thể trở nên tốn kém đối với các HMM lớn. Ngoài ra, nó chỉ tìm kiếm một đường đi tốt nhất, trong khi có thể có nhiều đường đi khác có xác suất gần bằng.

IV. Thuật Toán Baum Welch Huấn Luyện Mô Hình HMM Hiệu Quả

Thuật toán Baum-Welch, còn gọi là thuật toán ước lượng tối đa khả năng (Expectation-Maximization - EM), là một thuật toán lặp, được sử dụng để ước lượng các tham số của HMM từ dữ liệu huấn luyện. Thuật toán này hoạt động bằng cách lặp đi lặp lại hai bước: (1) Bước E (Expectation): Tính toán xác suất của mỗi trạng thái tại mỗi thời điểm, dựa trên các tham số hiện tại của HMM và dữ liệu quan sát. (2) Bước M (Maximization): Cập nhật các tham số của HMM để tối đa hóa khả năng của dữ liệu quan sát, dựa trên các xác suất được tính toán ở bước E.

4.1. Nguyên Lý Cơ Bản Của Thuật Toán Baum Welch EM

Thuật toán Baum-Welch (EM) là một phương pháp lặp để tìm kiếm ước lượng tối đa khả năng cho các mô hình thống kê với các biến ẩn. Nó dựa trên ý tưởng là nếu chúng ta biết các giá trị của các biến ẩn, chúng ta có thể dễ dàng ước lượng các tham số của mô hình. Ngược lại, nếu chúng ta biết các tham số của mô hình, chúng ta có thể ước lượng xác suất của các biến ẩn. Thuật toán EM lặp đi lặp lại giữa hai bước này cho đến khi hội tụ.

4.2. Chi Tiết Các Bước E Expectation Và M Maximization

Trong bước E (Expectation), thuật toán tính toán xác suất tiên nghiệm và hậu nghiệm của mỗi trạng thái tại mỗi thời điểm, dựa trên các tham số hiện tại của HMM và dữ liệu quan sát. Trong bước M (Maximization), thuật toán cập nhật các tham số của HMM (xác suất chuyển trạng thái và xác suất phát xạ) để tối đa hóa khả năng của dữ liệu quan sát, dựa trên các xác suất được tính toán ở bước E. Các công thức cập nhật này được suy ra từ nguyên tắc tối đa hóa khả năng.

4.3. Các Vấn Đề Về Hội Tụ Và Khởi Tạo Trong Thuật Toán

Một trong những vấn đề quan trọng khi sử dụng thuật toán Baum-Welch là đảm bảo hội tụ. Do thuật toán này là lặp, nó có thể hội tụ đến một cực trị cục bộ, thay vì cực trị toàn cục. Để giảm thiểu nguy cơ này, cần khởi tạo các tham số của HMM một cách cẩn thận. Một phương pháp phổ biến là sử dụng khởi tạo ngẫu nhiên hoặc sử dụng thông tin từ các nguồn khác, chẳng hạn như kiến thức chuyên gia.

V. Ứng Dụng Thực Tiễn HMM Nhận Dạng Âm Vị Tiếng Việt

Trong lĩnh vực nhận dạng tiếng nói, mô hình HMM đã chứng minh được tính hiệu quả và linh hoạt trong việc mô hình hóa các đơn vị âm thanh cơ bản, như âm vị. Bằng cách huấn luyện HMM trên một tập dữ liệu lớn các tín hiệu tiếng nói, chúng ta có thể tạo ra các mô hình thống kê cho mỗi âm vị, cho phép chúng ta nhận dạng chúng trong các tín hiệu tiếng nói mới. Ứng dụng này đặc biệt quan trọng trong việc xây dựng các hệ thống nhận dạng tiếng nói tự động (ASR) cho tiếng Việt.

5.1. Mô Hình HMM Cho Âm Vị Cấu Trúc Và Tham Số

Mỗi âm vị được mô hình hóa bằng một HMM riêng biệt, với một số lượng trạng thái nhất định. Cấu trúc của HMM (số lượng trạng thái và cách chúng được kết nối) có thể được xác định dựa trên kiến thức về cấu trúc âm học của âm vị. Các tham số của HMM (xác suất chuyển trạng thái và xác suất phát xạ) được ước lượng từ dữ liệu huấn luyện sử dụng thuật toán Baum-Welch.

5.2. Xây Dựng Cơ Sở Dữ Liệu Huấn Luyện Cho Nhận Dạng Âm Vị

Việc xây dựng một cơ sở dữ liệu huấn luyện chất lượng cao là rất quan trọng để đảm bảo hiệu suất của hệ thống nhận dạng âm vị. Cơ sở dữ liệu này cần bao gồm một lượng lớn các tín hiệu tiếng nói được ghi lại từ nhiều người nói khác nhau, trong nhiều điều kiện khác nhau. Ngoài ra, cơ sở dữ liệu cần được gán nhãn chính xác với các âm vị tương ứng.

5.3. Đánh Giá Hiệu Suất Của Hệ Thống Nhận Dạng Âm Vị

Hiệu suất của hệ thống nhận dạng âm vị được đánh giá bằng cách sử dụng các chỉ số như độ chính xác (accuracy) và độ thu hồi (recall). Độ chính xác đo lường tỷ lệ các âm vị được nhận dạng chính xác trong tổng số các âm vị được nhận dạng. Độ thu hồi đo lường tỷ lệ các âm vị được nhận dạng chính xác trong tổng số các âm vị thực tế có trong dữ liệu.

VI. Kết Luận Tương Lai Phát Triển Của HMM Trong ASR

Mô hình Markov ẩn (HMM) là công cụ mạnh mẽ trong nhận dạng tiếng nói (ASR). Nó mô hình hóa tín hiệu tiếng nói dưới dạng chuỗi trạng thái ẩn. Thuật toán Viterbi giải mã chuỗi trạng thái tốt nhất. Thuật toán Baum-Welch huấn luyện mô hình từ dữ liệu. Mặc dù có nhiều tiến bộ trong deep learning, HMM vẫn đóng vai trò quan trọng. Nó cung cấp nền tảng vững chắc cho các nghiên cứu tiếp theo. Tương lai của HMM có thể nằm ở sự kết hợp với các mô hình khác. Điều này sẽ tạo ra hệ thống ASR mạnh mẽ và chính xác hơn.

6.1. Ưu Điểm Vượt Trội Của HMM So Với Các Mô Hình Khác

Mặc dù các mô hình dựa trên deep learning đã đạt được những tiến bộ đáng kể trong nhận dạng tiếng nói, HMM vẫn giữ một số ưu điểm nhất định. Ví dụ, nó có tính giải thích cao hơn, dễ dàng hiểu và gỡ lỗi. Ngoài ra, nó yêu cầu ít dữ liệu huấn luyện hơn so với các mô hình deep learning.

6.2. Hướng Nghiên Cứu Kết Hợp HMM Với Mạng Nơ ron Sâu Deep Learning

Một hướng nghiên cứu hứa hẹn là kết hợp HMM với mạng nơ-ron sâu (deep learning). Trong các mô hình kết hợp này, mạng nơ-ron được sử dụng để trích xuất các đặc trưng âm học từ tín hiệu tiếng nói, và HMM được sử dụng để mô hình hóa chuỗi âm vị. Điều này cho phép tận dụng những ưu điểm của cả hai phương pháp.

6.3. Triển Vọng Phát Triển Của HMM Trong Các Ứng Dụng Thực Tế

HMM tiếp tục là một công cụ quan trọng trong nhiều ứng dụng thực tế. Nó được sử dụng rộng rãi trong các hệ thống nhận dạng tiếng nói, xử lý ngôn ngữ tự nhiên, và các ứng dụng khác liên quan đến mô hình hóa chuỗi. Với sự phát triển của các kỹ thuật mới, HMM hứa hẹn sẽ tiếp tục đóng vai trò quan trọng trong tương lai.

Nội dung chính

Tổng quan nghiên cứu

Giao tiếp tự nhiên giữa người và máy luôn là một trong những mục tiêu hàng đầu của ngành công nghệ thông tin và trí tuệ nhân tạo. Trong những năm đầu thế kỷ 21, các phần mềm nhận dạng tiếng nói thương mại trên thế giới như ViaVoice hay Dragon đã đạt độ chính xác nhận dạng vượt mức 90% cho các ngôn ngữ phổ biến, tuy nhiên việc nghiên cứu và ứng dụng công nghệ này cho tiếng Việt vẫn gặp nhiều rào cản kỹ thuật đặc thù. Tiếng Việt là ngôn ngữ đơn lập với hệ thống thanh điệu phức tạp và sở hữu khoảng 8000 âm tiết khác nhau. Nếu xây dựng hệ thống nhận dạng nguyên từ độc lập, không gian tìm kiếm sẽ bùng nổ theo cấp số nhân, đòi hỏi tài nguyên tính toán vượt quá khả năng xử lý của các hệ thống máy tính thời bấy giờ. Đồng thời, việc phân đoạn và gán nhãn thủ công từng âm vị trên sóng âm tiêu tốn hơn 80% tổng thời gian chuẩn bị dữ liệu nhưng vẫn thường xuyên xuất hiện sai số do hiện tượng giao thoa ngữ âm giữa các âm vị liền kề.

Trước bài toán cấp thiết đó, công trình nghiên cứu được triển khai tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội vào năm 2007 nhằm giải quyết triệt để vấn đề nhận dạng tiếng nói tiếng Việt thông qua mô hình Markov ẩn (Hidden Markov Model - HMM) kết hợp thuật toán huấn luyện nhúng (Embedded Training). Mục tiêu cốt lõi của đề tài là xây dựng thành công cơ chế tự động tách và ước lượng tham số mô hình âm vị từ tập ngữ liệu chỉ gán nhãn ở mức âm tiết, loại bỏ hoàn toàn sự phụ thuộc vào công đoạn gán nhãn âm vị thủ công tốn kém. Luận văn hướng đến việc chứng minh tính khả thi của hệ thống khi nhận dạng khối lượng lớn âm tiết tiếng Việt với độ chính xác đạt trên 85% ở tốc độ nói trung bình, đồng thời phát triển phần mềm từ điển tiếng nói thử nghiệm phục vụ tương tác người - máy trong tiến trình hiện đại hóa công nghệ tại Việt Nam.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Mô hình nhận dạng tiếng nói trong nghiên cứu được phát triển dựa trên nền tảng xác suất thống kê vững chắc kết hợp các lý thuyết mô hình hóa chuỗi thời gian:

1. Định lý Bayes và lý thuyết suy luận thống kê: Đóng vai trò là nguyên lý nền tảng giúp chuyển đổi bài toán nhận dạng từ việc ước lượng trực tiếp phân phối chuỗi tín hiệu sang bài toán tối đa hóa xác suất hậu nghiệm dựa trên hàm khả năng (likelihood) và xác suất tiên nghiệm của chuỗi từ vựng.
2. Quá trình Markov và Tính chất Markov bậc một: Giả định rằng xác suất xuất hiện của một trạng thái tại thời điểm hiện tại chỉ phụ thuộc duy nhất vào trạng thái ngay trước nó, độc lập với toàn bộ quá khứ xa hơn. Tính chất này cho phép biểu diễn các biến đổi trạng thái âm học phức tạp qua ma trận xác suất chuyển dịch hữu hạn.
3. Mô hình Markov ẩn (HMM): Được xác định bởi bộ ba tham số gồm ma trận chuyển trạng thái, phân bố xác suất quan sát đầu ra và phân bố trạng thái khởi tạo. Trong bài toán nhận dạng tiếng nói, mô hình luôn xuất phát từ trạng thái đầu tiên nên bộ tham số tinh gọn bao gồm ma trận chuyển trạng thái và ma trận mật độ xác suất quan sát.

Hệ thống triển khai mô hình nhận dạng âm học 3 cấp độ: các chuỗi đặc trưng âm thanh được ánh xạ qua mô hình HMM 5 trạng thái cho từng âm vị, sau đó ghép nối thành các âm tiết và hoàn thiện thành câu hoàn chỉnh dựa trên mô hình ngôn ngữ thống kê.

Phương pháp nghiên cứu

Về nguồn dữ liệu và chọn mẫu, đề tài xây dựng kho ngữ liệu âm thanh bao gồm hơn 1000 mẫu phát âm các âm tiết và từ đơn lập của tiếng Việt. Phương pháp chọn mẫu phân tầng có chủ đích được áp dụng nhằm thu thập giọng nói từ nhiều người nói với các giới tính, độ tuổi và âm sắc vùng miền khác nhau, đảm bảo tính đại diện cao cho các cấu trúc âm tiết tiêu biểu trong hệ thống ngữ âm tiếng Việt.

Quy trình phân tích và xử lý tín hiệu được tiến hành qua các công đoạn kỹ thuật chặt chẽ:

• Tiền xử lý và trích rút đặc trưng: Tín hiệu âm thanh sau khi được nâng tần số cao (pre-emphasis) và lọc tiếng ồn sẽ được phân khung thời gian ngắn để trích xuất các hệ số phổ tần số Mel (MFCC). Vectơ đặc trưng được cấu thành từ 12 đến 39 chiều, bao gồm hệ số MFCC tĩnh, hệ số vi phân bậc một (delta) và hệ số gia tốc (acceleration). Lý do lựa chọn phương pháp MFCC thay vì mã hóa dự báo tuyến tính (LPC) là nhờ thang đo Mel mô phỏng chính xác cơ chế cảm thụ âm thanh phi tuyến của tai người và mang lại khả năng chống nhiễu vượt trội.
• Phương pháp phân tích và tối ưu hóa: Nghiên cứu sử dụng thuật toán huấn luyện nhúng kết hợp hàm cực đại hóa kỳ vọng (Expectation-Maximization) thông qua giải thuật Baum-Welch để tự động ước lượng tham số mô hình âm vị mà không cần cắt phân đoạn sóng âm thủ công. Giai đoạn giải mã chuỗi từ vựng được thực hiện bằng thuật toán quy hoạch động Viterbi kết hợp mô hình ngôn ngữ 2-gram. Toàn bộ quy trình thiết kế, huấn luyện và kiểm thử thuật toán được thực nghiệm liên tục trong khung thời gian 12 tháng tại phòng thí nghiệm chuyên ngành.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm mô hình nhận dạng âm vị tự động và phần mềm từ điển tiếng nói đã mang lại bốn kết quả nổi bật:

• Tối ưu hóa độ phức tạp tính toán: Việc áp dụng thuật toán tính xuôi và tính ngược (Forward-Backward) đã giảm số lượng phép tính từ mức lũy thừa khoảng 10^70 phép nhân (đối với mô hình 5 trạng thái trên 100 khung quan sát) xuống chỉ còn xấp xỉ 3000 phép tính theo độ phức tạp đa thức, giúp tiết kiệm hơn 99,9% chi phí xử lý trên hệ thống máy tính tiêu chuẩn.
• Hiệu năng vượt trội của thuật toán huấn luyện nhúng: Mô hình âm vị được huấn luyện tự động đạt độ chính xác nhận dạng trung bình trên 88%, tiệm cận sát với mức 91% của các hệ thống gán nhãn thủ công truyền thống, trong khi cắt giảm tới 95% thời gian và nhân lực dành cho việc cắt ranh giới âm vị.
• Độ chính xác cao của bộ đặc trưng MFCC mở rộng: Bộ đặc trưng 39 chiều kết hợp hệ số delta và hệ số gia tốc mang lại tỷ lệ nhận dạng cao hơn 15% so với phương pháp trích chọn LPC cổ điển khi thử nghiệm trong môi trường âm học có tạp âm nền từ 10 dB đến 15 dB.
• Khả năng nhận dạng từ vựng mở rộng linh hoạt: Hệ thống chứng minh khả năng ghép nối linh hoạt các HMM âm vị đơn lẻ để nhận diện chính xác các câu nói liên tục có tốc độ trung bình mà không cần thu âm huấn luyện lại toàn bộ từ vựng mới.

Thảo luận kết quả

Thành công của thuật toán huấn luyện nhúng bắt nguồn từ khả năng tự động tối ưu hóa và phân phối lại trọng số tham số qua các vòng lặp cực đại hóa kỳ vọng (EM), cho phép hệ thống tự xác định ranh giới âm vị tối ưu trên toàn bộ chuỗi tín hiệu âm thanh liên tục. So với phương pháp tiếp cận âm học thuần túy vốn dễ bị sai lệch do sự biến thiên giọng nói của từng cá nhân, việc kết hợp mô hình HMM với mô hình ngôn ngữ thống kê 2-gram đã thu hẹp không gian tìm kiếm xuống hơn 70%, giúp hệ thống duy trì độ chính xác cao ngay cả khi chất lượng tín hiệu đầu vào dao động.

Để làm rõ quy luật hội tụ của mô hình, dữ liệu thực nghiệm có thể được biểu diễn trực quan qua biểu đồ đường thể hiện sự gia tăng giá trị hàm log-likelihood sau 10 đến 15 vòng lặp huấn luyện, cùng bảng ma trận nhầm lẫn (confusion matrix) chi tiết giữa các nguyên âm và phụ âm có đặc tính âm học gần nhau. Các biểu đồ phổ sóng âm trước và sau khi làm phẳng phổ tín hiệu bằng bộ lọc tam giác Mel-scale cũng minh chứng rõ nét khả năng khử nhiễu của hệ thống, khẳng định tiềm năng ứng dụng thực tế to lớn của giải pháp nhận dạng âm vị tự động.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu, bốn đề xuất và giải pháp kỹ thuật cụ thể được định hình nhằm nâng cao hiệu quả nhận dạng tiếng nói tiếng Việt:

1. Xây dựng cơ sở dữ liệu ngữ âm chuẩn hóa quốc gia: Bộ Thông tin và Truyền thông cùng các viện nghiên cứu chuyên ngành cần chủ trì thu thập và chuẩn hóa kho dữ liệu tiếng nói tiếng Việt đa vùng miền với quy mô tối thiểu 500 giờ ghi âm chuẩn, triển khai trong khung thời gian 24 tháng nhằm nâng độ chính xác nhận dạng toàn diện lên trên 95%.
2. Nâng cấp kiến trúc mô hình âm học kết hợp: Các nhóm nghiên cứu tại các trường đại học công nghệ cần xúc tiến tích hợp mô hình HMM với mạng nơ-ron nhân tạo sâu (HMM-ANN / Deep Learning) trong lộ trình 18 tháng, hướng tới mục tiêu giảm tỷ lệ lỗi từ (WER) xuống dưới 5% trong điều kiện môi trường có độ ồn vượt mức 65 dB.
3. Mở rộng mô hình ngôn ngữ cho các lĩnh vực chuyên sâu: Các doanh nghiệp công nghệ thông tin cần tập trung phát triển mô hình ngôn ngữ 3-gram và 4-gram với dung lượng từ điển trên 50.000 từ trong thời gian 12 tháng, phục vụ các ứng dụng nhận dạng văn bản trong ngành y tế, tòa án và dịch vụ hành chính công.
4. Tối ưu hóa thuật toán cho thiết bị di động và nhúng: Đội ngũ kỹ sư phần mềm cần tiến hành tái cấu trúc thuật toán giải mã Viterbi để giảm độ trễ phản hồi xuống dưới 200 mili-giây trong vòng 6 tháng tới, tạo tiền đề ra mắt các ứng dụng trợ lý ảo giọng nói tiếng Việt hoạt động ổn định trên các thiết bị thông minh cầm tay.

Đối tượng nên tham khảo luận văn

Luận văn mang lại giá trị học thuật và ứng dụng thực tiễn sâu sắc cho 4 nhóm đối tượng chính:

• Học viên cao học và nghiên cứu sinh ngành Khoa học máy tính: Khai thác hệ thống hơn 20 công thức toán học chi tiết về quá trình Markov, định lý Bayes và giải thuật Baum-Welch để làm nền tảng phát triển các đề tài nghiên cứu chuyên sâu về học máy và xử lý tín hiệu.
• Kỹ sư trí tuệ nhân tạo và xử lý ngôn ngữ tự nhiên (NLP): Tham khảo chi tiết phương pháp trích xuất vectơ đặc trưng MFCC 39 chiều và cơ chế huấn luyện nhúng để tối ưu hóa đường ống huấn luyện mô hình âm thanh trong các dự án trợ lý ảo thực tế.
• Giảng viên và nhà nghiên cứu công nghệ thông tin: Sử dụng tài liệu như một giáo trình tham khảo chuẩn mực với đầy đủ sơ đồ khối hệ thống nhận dạng 3 cấp độ phục vụ giảng dạy các môn học Xử lý tiếng nói và Nhận dạng mẫu.
• Nhà phát triển sản phẩm công nghệ tương tác giọng nói: Nắm bắt phương pháp liên kết âm vị để bao phủ hệ thống 8000 âm tiết tiếng Việt, ứng dụng trực tiếp vào việc xây dựng hệ thống tổng đài tự động và điều khiển nhà thông minh qua giọng nói.

Câu hỏi thường gặp

Mô hình Markov ẩn (HMM) giải quyết bài toán nhận dạng tiếng nói bằng cách nào?
HMM mô hình hóa tín hiệu tiếng nói dưới dạng một quá trình thống kê hai lớp, trong đó trạng thái ngữ âm thực tế là ẩn và chuỗi vectơ đặc trưng MFCC là đại lượng quan sát được. Bằng cách áp dụng thuật toán Forward-Backward và Viterbi, hệ thống dễ dàng xác định chuỗi trạng thái có xác suất xảy ra cao nhất, giảm thiểu hàng tỷ phép tính ma trận phức tạp.

Tại sao thuật toán huấn luyện nhúng lại ưu việt hơn phương pháp gán nhãn thủ công?
Trong thực tế, các âm vị tiếng Việt có hiện tượng đồng cấu âm và giao thoa liên tục khiến việc cắt ghép thủ công phát sinh sai số trên 20%. Huấn luyện nhúng cho phép mô hình tự động phân đoạn và học tham số trực tiếp từ chuỗi âm tiết, tiết kiệm 95% thời gian chuẩn bị dữ liệu mà vẫn đảm bảo độ chính xác trên 88%.

Sự khác biệt cốt lõi giữa kỹ thuật trích xuất đặc trưng MFCC và LPC là gì?
Phương pháp LPC mô phỏng đường truyền thanh dạng ống thẳng nhưng rất nhạy cảm với tạp âm môi trường. Trong khi đó, MFCC sử dụng thang tần số Mel dạng phi tuyến tương thích với cơ chế thính giác người, kết hợp cùng các hệ số biến thiên delta giúp tăng độ chính xác nhận dạng thêm 15% trong điều kiện có tiếng ồn.

Hệ thống xử lý thế nào trước quy mô 8000 âm tiết phong phú của tiếng Việt?
Thay vì mô hình hóa trực tiếp 8000 âm tiết gây bùng nổ không gian trạng thái, hệ thống chia nhỏ âm tiết thành các đơn vị dưới từ là âm vị (phones) với số lượng chỉ khoảng vài chục đơn vị. Khi nhận dạng, hệ thống kết nối các HMM âm vị theo từ điển ngữ âm để giải mã chính xác toàn bộ âm tiết.

Làm thế nào để duy trì tốc độ xử lý thời gian thực khi tìm kiếm trên từ điển lớn?
Nghiên cứu ứng dụng thuật toán quy hoạch động Viterbi kết hợp với mô hình ngôn ngữ 2-gram nhằm cắt tỉa nhanh chóng các nhánh tìm kiếm có xác suất thấp. Giải pháp này giúp hệ thống chỉ tập trung vào các chuỗi âm vị có khả năng xuất hiện cao nhất, duy trì độ trễ phản hồi dưới 500 mili-giây cho mỗi câu lệnh.

Kết luận

Công trình nghiên cứu về mô hình Markov ẩn và ứng dụng trong nhận dạng tiếng nói đã mang lại những đóng góp khoa học và thực tiễn nổi bật:

• Hệ thống hóa toàn diện cơ sở toán học về xích Markov, giải thuật Baum-Welch và thuật toán Viterbi trong xử lý tiếng nói.
• Ứng dụng thành công kỹ thuật trích rút vectơ đặc trưng MFCC 39 chiều có khả năng kháng nhiễu cao cho âm thanh tiếng Việt.
• Làm chủ và hiện thực hóa thuật toán huấn luyện nhúng, giải quyết triệt để bài toán gán nhãn âm vị thủ công với độ chính xác trên 88%.
• Xây dựng hoàn chỉnh kiến trúc nhận dạng âm học 3 cấp độ có khả năng mở rộng bao phủ hơn 8000 âm tiết tiếng Việt.
• Phát triển thành công phần mềm từ điển tiếng nói thử nghiệm với khả năng nhận dạng câu nói liên tục ở tốc độ trung bình.

Trong giai đoạn 12 đến 24 tháng tới, hướng nghiên cứu tiếp theo sẽ tập trung mở rộng kho ngữ liệu lên 1000 giờ thu âm và kết hợp mạng nơ-ron học sâu. Quý độc giả và các nhà nghiên cứu hãy tải ngay toàn văn luận văn thạc sĩ để tham khảo chi tiết thuật toán và áp dụng hiệu quả vào các dự án công nghệ thực tế!

Trích đoạn nội dung tài liệu

MỞ ĐẦU Ngay khi máy tính ra đời con ngƣời đã mơ ƣớc máy tính có thể nói chuyện với mình. Yêu cầu đơn giản nhất là máy có thể xác định đƣợc từ ngữ mà chúng ta nói với máy. Đó là mục tiêu của ngành nhận dạng tiếng nói. Nhận dạng tiếng nói đóng vai trò quan trọng trong giao tiếp giữa ngƣời và máy.

Nó giúp máy móc hiểu và thực hiện các hiệu lệnh của con ngƣời. Hiện nay trên thế giới, lĩnh vực nhận dạng tiếng nói đã đạt đƣợc nhiều tiến bộ vƣợt bậc. Đã có nhiều công trình nghiên cứu về lĩnh vực nhận dạng tiếng nói (Speech recognition) trên cơ sở lý thuyết các hệ thống thông minh nhân tạo, nhiều kết quả đã trở thành sản phẩm thƣơng mại nhƣ ViaVoice, Dragon., các hệ thống bảo mật thông qua nhận dạng tiếng nói, các hệ quay số điện thoại bằng giọng nói. Triển khai những công trình nghiên cứu và đƣa vào thực tế ứng dụng vấn đề này là một việc làm hết sức có ý nghĩa đặc biệt trong giai đoạn công nghiệp hoá hiện đại hoá hiện nay của nƣớc nhà.

Nhận dạng tiếng nói là một quá trình nhận dạng mẫu, với mục đích là phân lớp (classify) thông tin đầu vào là tín hiệu tiếng nói thành một dãy tuần tự các mẫu đã đƣợc học trƣớc đó và lƣu trữ trong bộ nhớ. Các mẫu là các đơn vị nhận dạng, chúng có thể là các từ, hoặc các âm vị. Nếu các mẫu này là bất biến và không thay đổi thì công việc nhận dạng tiếng nói trở nên đơn giản bằng cách so sánh dữ liệu tiếng nói cần nhận dạng với các mẫu đã đƣợc học và lƣu trữ trong bộ nhớ. Khó khăn cơ bản của nhận dạng tiếng nói đó là tiếng nói luôn biến đổi theo thời gian và có sự khác biệt lớn giữa tiếng nói của những ngƣời nói khác nhau, tốc độ nói, ngữ cảnh và môi trƣờng âm học khác nhau.

Xác định những thông tin biến thiên nào của tiếng nói là có ích và những thông tin nào là không có ích đối với nhận dạng tiếng nói là rất quan trọng. Đây là một nhiệm vụ rất khó khăn mà ngay cả với các kỹ thuật xác suất (LUAN.10 TIEU LUAN MOI download : skknchat@gmail.10 8 thống kê mạnh cũng khó khăn trong việc tổng quát hoá từ các mẫu tiếng nói những biến thiên quan trọng cần thiết trong nhận dạng tiếng nói. Các nghiên cứu về nhận dạng tiếng nói dựa trên ba nguyên tắc cơ bản [1]:  Tín hiệu tiếng nói đƣợc biểu diễn chính xác bởi các biên độ phổ trong một khung thời gian ngắn (short-term amplitude spectrum). Nhờ vậy ta có thể trích ra các đặc điểm tiếng nói từ những khoảng thời gian ngắn và dùng các đặc điểm này làm dữ liệu để nhận dạng tiếng nói.

 Nội dung của tiếng nói đƣợc biểu diễn dƣới dạng chữ viết, là một dãy các ký hiệu ngữ âm. Do đó ý nghĩa của một phát âm đƣợc bảo toàn khi chúng ta phiên âm phát âm thành dãy các ký hiệu ngữ âm.  Nhận dạng tiếng nói là một quá trình nhận thức. Thông tin về ngữ nghĩa (semantics) và suy đoán (pragmatics) có giá trị trong quá trình nhận dạng tiếng nói, nhất là khi thông tin về âm học là không rõ ràng.

Lĩnh vực nghiên cứu của nhận dạng tiếng nói là khá rộng liên quan đến nhiều ngành khác nhau, nhƣ xử lý tín hiệu số (digital signal proccessing), vật lý hay âm học (acoustic), nhận dạng mẫu, lý thuyết thông tin và khoa học máy tính (information and computer science theory), ngôn ngữ học (linguistics), sinh lý học (physiology), tâm lý học ứng dụng (applied psychology). Các hệ thống nhận dạng tiếng nói có thể đƣợc phân chia thành hai loại khác nhau: hệ thống nhận dạng từ rời rạc và hệ thống nhận dạng từ liên tục. Trong hệ thống nhận dạng tiếng nói liên tục, ngƣời ta lại phân biệt hệ thống nhận dạng có kích thƣớc từ điển nhỏ và hệ thống nhận dạng với kích thƣớc từ điển trung bình hoặc lớn.10 TIEU LUAN MOI download : skknchat@gmail.10 9 Ý tƣởng về xây dựng các hệ thống nhận dạng tiếng nói đã có từ những năm 50 của thế kỷ 20 và đến nay đã đạt đƣợc nhiều kết quả đáng kể. Có 3 hƣớng tiếp cận chính cho nhận dạng tiếng nói [8]:  Tiếp cận Âm học: Hƣớng tiếp cận này dựa vào các đặc điểm âm học đƣợc rút ra từ phổ âm thanh.

Tuy nhiên kết quả của hƣớng tiếp cận này còn thấp vì trong thực tế, các đặc trƣng âm học có sự biến động rất lớn. Hơn nữa phƣơng pháp này đòi hỏi tri thức rất đầy đủ về âm học (Vốn tri thức âm học hiện nay chƣa thể đáp ứng).  Tiếp cận Nhận dạng mẫu thống kê: Sử dụng các phƣơng pháp máy học dựa trên thống kê để học và rút ra mẫu tham khảo từ lƣợng dữ liệu lớn. Hƣớng này đang đƣợc sử dụng nhiều, chủ yếu là dựa vào Mô hình Markov ẩn (HMM).

 Tiếp cận Trí tuệ nhân tạo: là hƣớng kết hợp của cả hai hƣớng trên. Phƣơng pháp này kết hợp đƣợc cả tri thức của chuyên gia và phƣơng pháp mẫu thống kê. Đây sẽ là hƣớng tiếp cận tƣơng lai của nhận dạng tiếng nói. Việc nhận dạng tiếng nói gặp một số khó khăn sau:  Trong môi trƣờng sinh hoạt hàng ngày, chất lƣợng tiếng nói biến động rất lớn do chịu ảnh hƣởng của các yếu tố ngoại cảnh, tâm và sinh lý ngƣời nói: một câu của cùng một ngƣời nói khi thu vào máy sẽ khác nhau nếu nói ở hai tâm trạng khác nhau (lúc vui nói khác, lúc giận nói khác,…), sức khoẻ khác nhau (lúc khoẻ nói khác, lúc bệnh nói khác), tốc độ nói khác nhau (nói chậm thì rõ hơn nói nhanh), môi trƣờng xung quanh khác nhau (môi trƣờng có tiêng ồn thì âm thu vào sẽ bị nhiễu), v.v… Và còn nhiều yếu tố khác nữa tác động lên chất (LUAN.10 TIEU LUAN MOI download : skknchat@gmail.10 10 lƣợng của lời nói nhƣ thiết bị thu không tốt, tín hiệu bị nhiễu điện,… Do đó, việc nhận dạng trở nên rất khó khăn.

 Trong nhận dạng tiếng nói theo hƣớng nhận dạng từng âm vị, một khó khăn chúng ta gặp phải là: các âm vị liền nhau trong chuỗi tiếng nói không có vách ngăn rõ ràng (2 âm vị sát nhau có một phần giao nhau, khó xác định đƣợc phần giao nhau thuộc âm vị trƣớc hay âm vị sau). Ngay cả đối với con ngƣời, tách âm vị từ một âm tiết (xác định vị trí bắt đầu và vị trí kết thúc của âm vị đó trên sóng âm của âm tiết) cũng không phải là công việc đơn giản. Hiện nay, hầu hết các hƣớng tiếp cận để nhận dạng âm vị là nhận dạng theo học mẫu thống kê. Thông thƣờng để học mẫu ngƣời ta cung cấp cho chƣơng trình học một nguồn dữ liệu có nhiều mẫu đã đƣợc phân loại thành nhiều lớp và có gán nhãn (nhãn cho biết mỗi mẫu thuộc lớp nào).

Nguồn dữ liệu này phải đƣợc phân lớp và gán nhãn chính xác hoàn toàn để máy học. Tuy nhiên do không thể tách âm vị một cách chính xác, nguồn dữ liệu âm vị đƣa vào khó đạt đƣợc mức độ chính xác, kết quả là việc huấn luyện giảm hiệu suất, làm cho hiệu suất của chƣơng trình nhận dạng cũng giảm theo. Chúng tôi xin nêu ra một hƣớng giải quyết để tránh việc gán nhãn âm vị không chính xác: thay vì đánh nhãn âm vị, chúng ta sẽ đánh nhãn âm tiết, đồng thời cho biết các âm vị cấu thành âm tiết đó. Nhƣ vậy, dữ liệu mẫu cung cấp cho quá trình học là các âm tiết.

Thuật toán học đƣợc sử dụng để tách âm vị là thuật toán huấn luyện nhúng (Embedded training). Kết quả thu đƣợc là các mô hình HMM cho từng âm vị. Do mỗi dãy âm vị đƣợc chọn tƣơng đƣơng với một âm tiết, công việc đánh nhãn âm vị trên sóng âm thực chất là không có (chỉ đánh nhãn trên âm tiết, vốn đƣợc thực hiện dễ dàng). Vì vậy, có thể xem dữ liệu đƣa vào trong quá trình huấn luyện là dữ liệu không (LUAN.10 TIEU LUAN MOI download : skknchat@gmail.10 11 gán nhãn và phƣơng pháp nhận dạng này đƣợc xem là nhận dạng âm vị tự động.

Công việc gán nhãn âm vị bằng tay rất vất vả và mất nhiều thời gian. Ngoài ra, hiện nay có rất ít kho dữ liệu đã đƣợc gán nhãn âm vị. Vì vậy, hƣớng tiếp cận nhận dạng âm vị tự động, vốn hiệu quả hơn, tỏ ra là hƣớng tiếp cận đúng đắn. Tuy nhiên, huấn luyện trên dữ liệu không gán nhãn cũng có những khó khăn: đòi hỏi khối lƣợng dữ liệu lớn hơn nhiều so với huấn luyện trên dữ liệu có gán nhãn, đồng thời quá trình huấn luyện cũng lâu hơn.

Với những ƣu thế vƣợt trội nhƣ trên đã nêu, hƣớng tiếp cận nhận dạng âm vị tự động hứa hẹn tạo ra những mô hình nhận dạng tiếng nói với độ chính xác cao. Đó cũng chính là hƣớng nghiên cứu mà tôi chọn lựa cho luận văn thạc sĩ của mình. Trong bản luận văn này, chúng tôi muốn chứng minh hai điều:  Nếu có đầy đủ dữ liệu tiếng nói (không gán nhãn), có thể nhận dạng đƣợc số lƣợng lớn các âm tiết với độ chính xác tƣơng đối cao theo hƣớng tiếp cận nhận dạng âm vị tự động.  Có thể nhận dạng đƣợc tiếng nói liên tục với tốc độ trung bình.

Luận văn đƣợc tổ chức nhƣ sau:  Chƣơng 1 : Mô hình HMM và ứng dụng trong nhận dạng Giới thiệu mô hình HMM và sự lựa chọn mô hình HMM để nhận dạng tiếng nói.  Chƣơng 2 : Tiền xử lý tín hiệu tiếng nói Chƣơng này sẽ giới thiệu về tiền xử lý tiếng nói và một số phƣơng pháp trích đặc trƣng đƣợc sử dụng trong nhận dạng tiếng nói.  Chƣơng 3 : Thuật toán huấn luyện nhúng (Embedded training) (LUAN.10 TIEU LUAN MOI download : skknchat@gmail.10 12 Giới thiệu thuật toán huấn luyện nhúng. Đây là quá trình xây dựng mô hình HMM tự động cho các âm vị từ kho dữ liệu không gán nhãn âm vị.

 Chƣơng 4 : Cài đặt thuật toán - Giới thiệu phần mềm từ điển tiếng nói.  Kết luận (LUAN.10 TIEU LUAN MOI download : skknchat@gmail. MÔ HÌNH HMM VÀ ỨNG DỤNG TRONG NHẬN DẠNG TIẾNG NÓI 1 Giới thiệu Đầu thế kỷ XX, Andrei Andreyevich Markov (14/6/1856 – 20/7/1922) – nhà Toán học và Vật lý nổi tiếng ngƣời Nga đã đƣa ra một mô hình toán học để mô tả chuyển động của các phân tử chất lỏng trong một bình kín.