Nghiên cứu áp dụng mô hình mạng nơ ron End-to-End cho nhận dạng tiếng nói tiếng Việt

Khám phá luận văn thạc sĩ về mô hình mạng nơ ron end to end trong nhận dạng tiếng nói tiếng Việt, ứng dụng và tiềm năng phát triển.

• Tác giả: Trần Văn Nghĩa
• Người hướng dẫn: Ts. Nguyễn Văn Huy
• Trường học: Trường Đại học Kỹ thuật Công nghiệp
• Chuyên ngành: Kỹ thuật viễn thông
• Đề tài: Nghiên cứu áp dụng mô hình mạng nơ-ron End-to-End cho nhận dạng tiếng nói tiếng Việt
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2019
• Địa điểm: Thái Nguyên

Mục lục chi tiết

• LỜI NÓI ĐẦU
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: MỞ ĐẦU
• 1.1. Tổng quan về nhận dạng tiếng nói
• 1.2. Nhận dạng tiếng nói
• 1.3. Các vấn đề trong nhận dạng tiếng nói
• 1.4. Tình hình nghiên cứu hiện nay về nhận dạng tiếng nói
• 1.5. Về trích chọn đặc trưng
• 1.6. Về mô hình ngữ âm (acoustic model)
• 1.7. Về mô hình ngôn ngữ
• 1.8. Về bộ giải mã
• 1.9. Nhận dạng tiếng Việt và các nghiên cứu hiện nay
• 1.10. Một số nghiên cứu gần đây trên các ngôn ngữ có thanh điệu
• 1.11. Kết luận, các nội dung và phạm vi nghiên cứu chính của luận văn
• 2. CHƯƠNG 2: MÔ HÌNH MẠNG NƠ-RON HỌC SÂU END-TO-END CHO NHẬN DẠNG TIẾNG NÓI
• 2.1. Các thành phần chính của một hệ thống nhận dạng tiếng nói
• 2.2. Trích chọn đặc trưng
• 2.3. Đặc trưng MFCC
• 2.4. Đặc trưng PLP
• 2.5. Mô hình ngữ âm
• 2.6. Tổng quan về mô hình HMM
• 2.7. Áp dụng mô hình HMM trong nhận dạng tiếng nói
• 2.8. Mô hình ngôn ngữ
• 2.9. Tổng quan về mô hình n-gram
• 2.10. Các vấn đề tồn tại của n-gram
• 2.11. Một số phương pháp làm trơn mô hình n-gram
• 2.12. Mô hình mạng nơ-ron
• 2.13. Mô hình mạng nơ-ron truyền thống
• 2.14. Mô hình End-to-End
• 2.15. Một số cách áp dụng trên các ngôn ngữ khác
• 2.16. Hàm mục tiêu CTC
• 2.17. Mô hình DNN
• 2.18. Nhận dạng tiếng nói sử dụng E2E
• 3. CHƯƠNG 3: ÁP DỤNG MÔ HÌNH MẠNG NƠ-RON END-TO-END CHO NHẬN DẠNG TIẾNG VIỆT
• 3.1. Tổng quan về tiếng Việt
• 3.2. Bộ âm vị tiếng Việt
• 3.3. Thanh điệu và đặc trưng thanh điệu
• 3.4. Thực nghiệm và Kết quả
• 3.5. Bộ dữ liệu huấn luyện và kiểm tra
• 3.6. Huấn luyện mô hình E2E
• 3.7. Mô hình ngôn ngữ (LM)
• 3.8. So sánh với mô hình DNN
• 3.9. Các kết quả và thảo luận
• DANH MỤC CÁC TỪ VIẾT TẮT
• DANH MỤC BẢNG BIỂU
• DANH MỤC HÌNH ẢNH
• DANH MỤC CÁC TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về mô hình mạng nơ ron End to End cho nhận dạng tiếng nói

Mô hình mạng nơ ron End-to-End (E2E) đã trở thành một trong những phương pháp tiên tiến nhất trong lĩnh vực nhận dạng tiếng nói. Mô hình này cho phép xử lý tín hiệu âm thanh từ đầu vào đến đầu ra mà không cần phải chia nhỏ thành các phần riêng biệt như mô hình truyền thống. Điều này giúp giảm thiểu độ phức tạp và tăng cường hiệu suất của hệ thống. Đặc biệt, trong bối cảnh tiếng nói tiếng Việt, mô hình E2E hứa hẹn sẽ cải thiện đáng kể độ chính xác và khả năng nhận diện thanh điệu, một yếu tố quan trọng trong ngôn ngữ này.

1.1. Định nghĩa và nguyên lý hoạt động của mô hình E2E

Mô hình E2E là một phương pháp học sâu, trong đó toàn bộ quá trình nhận dạng được thực hiện trong một mạng nơ ron duy nhất. Điều này có nghĩa là từ việc thu âm đến việc chuyển đổi thành văn bản đều diễn ra trong một bước duy nhất. Mô hình này sử dụng các thuật toán học sâu để tối ưu hóa quá trình nhận dạng, giúp cải thiện độ chính xác và giảm thiểu thời gian xử lý.

1.2. Lợi ích của mô hình E2E trong nhận dạng tiếng nói

Mô hình E2E mang lại nhiều lợi ích, bao gồm khả năng xử lý dữ liệu lớn mà không cần phải phân chia thành các phần nhỏ. Điều này giúp giảm thiểu sai sót trong quá trình nhận dạng. Hơn nữa, mô hình này có thể học từ dữ liệu chưa được gán nhãn, giúp tiết kiệm thời gian và công sức trong việc chuẩn bị dữ liệu.

II. Các thách thức trong nhận dạng tiếng nói tiếng Việt

Nhận dạng tiếng nói tiếng Việt đối mặt với nhiều thách thức đặc thù. Một trong những vấn đề lớn nhất là sự đa dạng về thanh điệu. Tiếng Việt có sáu thanh điệu khác nhau, điều này làm cho việc nhận diện chính xác trở nên khó khăn hơn so với các ngôn ngữ không có thanh điệu. Ngoài ra, các yếu tố như tốc độ nói, ngữ điệu và môi trường xung quanh cũng ảnh hưởng đến chất lượng nhận dạng.

2.1. Vấn đề thanh điệu trong tiếng Việt

Thanh điệu là một yếu tố quan trọng trong tiếng Việt, ảnh hưởng đến nghĩa của từ. Việc nhận diện thanh điệu chính xác là một thách thức lớn, vì các đặc trưng âm thanh của thanh điệu thường không rõ ràng và dễ bị nhầm lẫn.

2.2. Ảnh hưởng của môi trường đến nhận dạng tiếng nói

Môi trường xung quanh có thể tạo ra nhiều tạp âm, làm giảm độ chính xác của hệ thống nhận dạng. Các yếu tố như tiếng ồn từ phương tiện giao thông hay tiếng nói của người khác có thể gây khó khăn cho việc nhận diện chính xác tín hiệu âm thanh.

III. Phương pháp áp dụng mô hình mạng nơ ron cho nhận dạng tiếng nói

Để áp dụng mô hình mạng nơ ron End-to-End cho nhận dạng tiếng nói tiếng Việt, cần phải thực hiện một số bước quan trọng. Đầu tiên, việc thu thập và xử lý dữ liệu âm thanh là rất cần thiết. Sau đó, các đặc trưng âm thanh cần được trích xuất và đưa vào mô hình để huấn luyện. Cuối cùng, việc đánh giá và tối ưu hóa mô hình là bước không thể thiếu để đảm bảo hiệu suất cao nhất.

3.1. Quy trình thu thập và xử lý dữ liệu âm thanh

Quy trình này bao gồm việc ghi âm các mẫu tiếng nói từ nhiều người nói khác nhau, đảm bảo tính đa dạng và phong phú của dữ liệu. Sau đó, dữ liệu cần được xử lý để loại bỏ tạp âm và chuẩn hóa tín hiệu trước khi đưa vào mô hình.

3.2. Trích xuất đặc trưng âm thanh cho mô hình

Các đặc trưng âm thanh như MFCC và PLP thường được sử dụng để mô tả tín hiệu tiếng nói. Việc trích xuất chính xác các đặc trưng này là rất quan trọng để mô hình có thể học và nhận diện chính xác các âm thanh trong tiếng Việt.

IV. Kết quả nghiên cứu và ứng dụng thực tiễn của mô hình E2E

Nghiên cứu về mô hình mạng nơ ron End-to-End cho nhận dạng tiếng nói tiếng Việt đã cho thấy nhiều kết quả khả quan. Các thử nghiệm cho thấy mô hình này có thể đạt được độ chính xác cao hơn so với các phương pháp truyền thống. Hơn nữa, mô hình E2E cũng cho thấy khả năng hoạt động tốt trong các điều kiện thực tế, từ đó mở ra nhiều cơ hội ứng dụng trong các lĩnh vực khác nhau.

4.1. Kết quả thử nghiệm mô hình E2E

Các thử nghiệm cho thấy mô hình E2E có thể đạt được tỷ lệ chính xác lên đến 90% trong việc nhận diện tiếng nói tiếng Việt. Điều này cho thấy tiềm năng lớn của mô hình trong việc cải thiện chất lượng nhận dạng.

4.2. Ứng dụng thực tiễn của mô hình trong đời sống

Mô hình E2E có thể được ứng dụng trong nhiều lĩnh vực như giáo dục, y tế, và công nghệ thông tin. Ví dụ, trong giáo dục, mô hình này có thể giúp học sinh cải thiện kỹ năng phát âm tiếng Việt thông qua các ứng dụng học tập.

V. Kết luận và triển vọng tương lai của nghiên cứu

Nghiên cứu mô hình mạng nơ ron End-to-End cho nhận dạng tiếng nói tiếng Việt đã mở ra nhiều hướng đi mới trong lĩnh vực này. Mặc dù còn nhiều thách thức cần phải vượt qua, nhưng tiềm năng ứng dụng của mô hình là rất lớn. Trong tương lai, việc cải tiến và phát triển các thuật toán mới sẽ giúp nâng cao hơn nữa độ chính xác và hiệu suất của hệ thống nhận dạng tiếng nói.

5.1. Tóm tắt những đóng góp của nghiên cứu

Nghiên cứu đã chỉ ra rằng mô hình E2E có thể cải thiện đáng kể độ chính xác trong nhận dạng tiếng nói tiếng Việt. Điều này không chỉ có ý nghĩa về mặt lý thuyết mà còn có giá trị thực tiễn cao.

5.2. Hướng nghiên cứu trong tương lai

Trong tương lai, cần tiếp tục nghiên cứu để cải thiện khả năng nhận diện thanh điệu và phát triển các ứng dụng thực tiễn hơn cho mô hình E2E. Việc tích hợp thêm các công nghệ mới như học máy và trí tuệ nhân tạo cũng sẽ là một hướng đi tiềm năng.

Nội dung chính

Tổng quan nghiên cứu

Nhận dạng tiếng nói tự động (ASR) là một trong những bài toán cốt lõi của xử lý ngôn ngữ tự nhiên và trí tuệ nhân tạo hiện đại. Tại Việt Nam, các nghiên cứu nhận dạng giọng nói gặp rào cản rất lớn do đặc thù tiếng Việt là ngôn ngữ đơn lập có 6 thanh điệu gồm thanh ngang, huyền, ngã, hỏi, sắc và nặng. Việc ghép 6 thanh điệu vào một âm tiết tạo ra 6 ý nghĩa hoàn toàn khác biệt, trong khi đường đặc tính cao độ chỉ tồn tại ở các phân đoạn âm hữu thanh và bị đứt gãy tại các vùng vô thanh. Hầu hết các hệ thống nhận dạng truyền thống dựa trên mô hình Markov ẩn (HMM) kết hợp mạng nơ-ron sâu (DNN) đều phải tách biệt thành ba khối độc lập: mô hình phát âm, mô hình ngữ âm và mô hình ngôn ngữ. Cấu trúc rời rạc này đòi hỏi dữ liệu phải được gán nhãn mốc thời gian thủ công vô cùng tốn kém, đồng thời dễ tích lũy sai số liên kết giữa các mô hình thành phần.

Trước thách thức đó, luận văn thạc sĩ kỹ thuật viễn thông thực hiện tại Trường Đại học Kỹ thuật Công nghiệp - Đại học Thái Nguyên đã tập trung giải quyết bài toán xây dựng mô hình mạng nơ-ron End-to-End (E2E) tích hợp cho tiếng Việt. Mục tiêu nghiên cứu cụ thể là thiết kế cấu trúc mạng học sâu nguyên khối có khả năng tiếp nhận trực tiếp tín hiệu âm thanh và giải mã ra chuỗi văn bản hoàn chỉnh mà không cần trải qua khâu căn chỉnh nhãn cưỡng bức. Phạm vi nghiên cứu hướng đến nhận dạng tiếng nói tiếng Việt phát âm liên tục với tập từ vựng không giới hạn, xử lý phổ tín hiệu trong dải tần số 0-10 kHz. Đóng góp của đề tài mang ý nghĩa học thuật và thực tiễn sâu sắc khi cắt giảm hơn 40% khối lượng công việc tiền xử lý dữ liệu, đồng thời tạo tiền đề kỹ thuật vững chắc để nâng cao độ chính xác nhận dạng cho các hệ thống điều khiển giọng nói và trợ lý ảo thông minh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nền tảng lý thuyết của luận văn được thiết lập dựa trên nguyên lý xác suất Bayes kết hợp cùng các kiến trúc học sâu tiên tiến nhất trong xử lý âm thanh. Khung nghiên cứu tập trung vào ba khối lý thuyết chính:

Thứ nhất, lý thuyết trích chọn đặc trưng âm học dựa trên các hệ số phổ tần số Mel (MFCC) và mã dự báo tuyến tính cảm thụ (PLP). Tín hiệu tiếng nói đầu vào được tăng cường dải tần số cao bằng bộ lọc tiền nhấn với hệ số a = 0.95, sau đó phân tách thành các khung cửa sổ Hamming có độ dài chuẩn 25ms với bước nhảy dịch chuyển 10ms nhằm đảm bảo tính dừng cục bộ của sóng âm. Đặc trưng tần số cơ bản F0 được tích hợp bổ sung để mô hình hóa sự biến thiên cao độ của 6 thanh điệu tiếng Việt.

Thứ hai, mô hình mạng nơ-ron học sâu tích hợp hàm mục tiêu phân loại kết nối tạm thời CTC (Connectionist Temporal Classification). Hàm mất mát CTC cho phép mạng tối ưu hóa trực tiếp xác suất dự đoán chuỗi ký tự từ chuỗi vector đặc trưng đầu vào có độ dài lớn hơn thông qua việc chèn nhãn rỗng và cộng gộp tất cả các đường căn chỉnh khả dĩ, loại bỏ hoàn toàn sự phụ thuộc vào dữ liệu gán nhãn mốc thời gian chi tiết.

Thứ ba, mô hình ngôn ngữ thống kê n-gram (với bậc n từ 3 đến 5) kết hợp cùng các kỹ thuật làm trơn Kneser-Ney và Back-off để ước lượng xác suất phân bố chuỗi từ, hỗ trợ bộ giải mã tìm kiếm chùm chọn lọc câu văn chuẩn xác về mặt ngữ pháp.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu tiếng nói tiếng Việt phát âm liên tục chuẩn hóa với tần số lấy mẫu 16 kHz. Phương pháp chọn mẫu là chọn mẫu phân tầng có chủ đích dựa trên cấu trúc ngữ âm học tiếng Việt, bảo đảm bao phủ toàn bộ 54 âm vị cơ bản và các tổ hợp thanh điệu tương ứng từ nhiều người nói đại diện cho các đặc trưng phát âm khác nhau. Cỡ mẫu nghiên cứu bao gồm hàng nghìn câu phát âm với thời lượng hàng chục giờ ghi âm thực tế.

Lý do lựa chọn phương pháp phân tích mạng nơ-ron E2E CTC là nhằm khắc phục triệt để hạn chế của mô hình lai ghép HMM-GMM vốn đòi hỏi quy trình huấn luyện hai giai đoạn phức tạp và tốn nhiều tài nguyên lưu trữ. Timeline nghiên cứu được triển khai chặt chẽ trong giai đoạn 2018-2019 qua các bước: trích xuất vector đặc trưng MFCC 39 chiều kết hợp F0, xây dựng mô hình ngôn ngữ trên kho ngữ liệu văn bản tiếng Việt quy mô lớn, huấn luyện mạng học sâu trên hệ thống tính toán GPU song song và đánh giá hiệu năng bằng thước đo tỷ lệ lỗi từ (WER).

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Nghiên cứu thực nghiệm đã mang lại những phát hiện quan trọng có ý nghĩa đóng góp lớn cho lĩnh vực nhận dạng tiếng nói tiếng Việt:

Thứ nhất, việc áp dụng mô hình End-to-End kết hợp CTC cho thấy tính khả thi vượt trội khi có thể huấn luyện trực tiếp từ cặp dữ liệu âm thanh và phiên âm văn bản thô, giúp giảm hơn 50% thời gian thiết lập hệ thống so với quy trình huấn luyện mô hình HMM truyền thống.

Thứ hai, thông tin thanh điệu đóng vai trò quyết định đến độ chính xác nhận dạng. Khi tích hợp đặc trưng thanh điệu F0 vào bộ âm vị đầu vào, độ chính xác của hệ thống nhận dạng tăng thêm khoảng 2.0% tuyệt đối so với mô hình chỉ sử dụng đặc trưng âm học thông thường.

Thứ ba, sự kết hợp giữa kiến trúc học sâu E2E và mô hình ngôn ngữ n-gram giúp tối ưu hóa quá trình giải mã, đưa tỷ lệ lỗi từ (WER) của hệ thống xuống mức cạnh tranh khoảng 8.0% đến 10.5% trên tập dữ liệu kiểm thử tiếng Việt phát âm liên tục.

Thảo luận kết quả

Nguyên nhân chính giúp mô hình E2E đạt hiệu năng cao là nhờ cơ chế tối ưu hóa toàn cục trực tiếp giữa tín hiệu âm thanh và văn bản đích. Trong mô hình truyền thống, sai số phát sinh từ mô hình phát âm hoặc mô hình ngữ âm sẽ bị tích lũy và khuếch đại qua từng tầng xử lý. Ngược lại, hàm CTC cho phép mạng nơ-ron tự động học mối tương quan thời gian giữa các khung âm thanh và ký tự đầu ra mà không cần các giả định độc lập nghiêm ngặt như trong chuỗi Markov.

So sánh với các nghiên cứu quốc tế, mô hình Deep Speech của Baidu đạt tỷ lệ lỗi từ 5.0% trên tiếng Quan thoại và 9.0% trên tiếng Anh, hay mô hình LAS của Google đạt 5.6% WER trên tập dữ liệu 12.500 giờ tiếng Anh. Mặc dù tiếng Việt phức tạp hơn do đường nét thanh điệu bị gián đoạn tại các phụ âm vô thanh, kết quả của luận văn đã thu hẹp đáng kể khoảng cách công nghệ với thế giới và vượt trội hơn các mô hình HMM tiếng Việt trước đó vốn có sai số từ 11.0% đến 18.0%. Dữ liệu thực nghiệm có thể được trực quan hóa sinh động qua các đồ thị biến thiên đường đặc tính F0 của 6 thanh điệu và bảng so sánh ma trận nhầm lẫn âm vị, thể hiện rõ khả năng phân tách chính xác giữa các thanh hỏi, ngã, sắc, nặng trong môi trường phát âm liên tục.

Đề xuất và khuyến nghị

1. Mở rộng quy mô cơ sở dữ liệu tiếng nói chuẩn hóa: Các viện nghiên cứu và doanh nghiệp công nghệ cần phối hợp thu thập và chuẩn hóa tập dữ liệu tiếng nói tiếng Việt với dung lượng từ 500 đến 1.000 giờ ghi âm trong vòng 12 tháng tới. Cơ sở dữ liệu cần bảo đảm sự đa dạng về phương ngữ 3 miền Bắc, Trung, Nam để giảm tỷ lệ lỗi từ độc lập người nói xuống dưới 6.0%.

2. Nâng cấp kiến trúc mạng nơ-ron sang mô hình Transformer: Nhóm nghiên cứu kỹ thuật viễn thông nên triển khai tích hợp các khối mạng chú ý tự thân (Self-Attention) và kiến trúc Conformer vào bộ mã hóa âm học trong lộ trình 6 tháng. Mục tiêu kỹ thuật là tăng tốc độ xử lý thời gian thực lên gấp 2 lần và nâng cao khả năng kháng nhiễu trong môi trường thực tế.

3. Tối ưu hóa thuật toán trích xuất đặc trưng thanh điệu thích ứng: Các kỹ sư xử lý tín hiệu cần hoàn thiện module ước lượng tần số cơ bản F0 kết hợp thuật toán làm trơn phi tuyến trong khoảng thời gian từ 3 đến 6 tháng, nhằm xử lý dứt điểm hiện tượng đứt gãy cao độ tại các vùng vô thanh.

4. Đẩy mạnh thương mại hóa và tích hợp hệ thống nhúng: Doanh nghiệp viễn thông và sản xuất thiết bị thông minh cần chủ động đóng gói mô hình nhận dạng E2E thành các gói API dịch vụ đám mây và vi mạch nhúng, hướng tới mục tiêu phục vụ trên 10.000 phiên truy cập đồng thời với độ trễ phản hồi dưới 200 mili-giây cho các tổng đài tự động và buồng lái xe thông minh.

Đối tượng nên tham khảo luận văn

1. Kỹ sư phát triển Trí tuệ nhân tạo và Xử lý tiếng nói (Voice AI Engineers): Luận văn cung cấp toàn bộ kiến trúc toán học của mạng E2E CTC và giải pháp kết hợp mô hình ngôn ngữ n-gram, hỗ trợ tối ưu hóa các ứng dụng trợ lý ảo, Voicebot và công cụ chuyển đổi giọng nói thành văn bản trong môi trường sản xuất.

2. Các nhà nghiên cứu và Giảng viên ngành Xử lý ngôn ngữ tự nhiên: Tài liệu mang lại cái nhìn học thuật sâu sắc về phương pháp mô hình hóa 6 thanh điệu tiếng Việt, cung cấp nguồn tham khảo giá trị cho các bài giảng và đề tài nghiên cứu chuyên sâu về âm vị học tính toán.

3. Kỹ sư Viễn thông và Hệ thống nhúng: Cung cấp giải pháp tinh gọn kiến trúc nhận dạng, giúp các kỹ sư thiết kế phần cứng dễ dàng tích hợp module xử lý giọng nói vào các thiết bị IoT, hệ thống điều khiển công nghiệp và thiết bị viễn thông giới hạn bộ nhớ.

4. Học viên cao học và Sinh viên ngành Điện tử - Viễn thông, Công nghệ thông tin: Đây là tài liệu mẫu mực về phương pháp nghiên cứu thực nghiệm, hướng dẫn chi tiết từ khâu xử lý tín hiệu số, cấu hình tham số âm học đến phân tích thống kê kết quả trên tập dữ liệu quy mô lớn.

Câu hỏi thường gặp

1. Mô hình End-to-End khác biệt như thế nào so với mô hình nhận dạng tiếng nói truyền thống HMM-GMM? Mô hình truyền thống bắt buộc phải huấn luyện độc lập ba khối gồm mô hình âm học, mô hình phát âm và mô hình ngôn ngữ dựa trên tập dữ liệu đã căn chỉnh nhãn mốc thời gian chi tiết. Trong khi đó, mô hình End-to-End tích hợp toàn bộ quy trình vào một mạng nơ-ron duy nhất, học trực tiếp từ tệp âm thanh sang chuỗi văn bản, giúp cắt giảm hơn 40% thời gian chuẩn bị dữ liệu.

2. Vì sao thanh điệu lại là thách thức phức tạp nhất trong nhận dạng tiếng nói tiếng Việt? Tiếng Việt có 6 thanh điệu đặc thù và mỗi thanh điệu làm thay đổi hoàn toàn ngữ nghĩa của từ. Khó khăn lớn nhất là thông tin thanh điệu chỉ xuất hiện trên các đoạn âm hữu thanh và bị đứt đoạn ở các vùng vô thanh, đòi hỏi phải có kỹ thuật trích xuất tần số cơ bản F0 kết hợp xử lý gián đoạn để tránh làm sai lệch quá trình nhận diện.

3. Hàm mục tiêu CTC đóng vai trò kỹ thuật gì trong kiến trúc mạng học sâu? Hàm CTC cho phép huấn luyện mạng nơ-ron dự đoán trực tiếp chuỗi ký tự mà không cần biết chính xác vị trí thời gian của từng âm vị. Bằng cách đưa vào nhãn rỗng và tính tổng xác suất qua mọi đường căn chỉnh hợp lệ, CTC giải quyết triệt để sự chênh lệch độ dài giữa vector đặc trưng âm thanh và chuỗi ký tự đầu ra.

4. Mô hình ngôn ngữ n-gram đóng góp vai trò gì vào độ chính xác cuối cùng của hệ thống? Mô hình ngôn ngữ n-gram kết hợp thuật toán tìm kiếm chùm giúp đánh giá xác suất xuất hiện của các từ trong ngữ cảnh câu văn thực tế. Kỹ thuật này giúp chỉnh sửa các lỗi chính tả cục bộ, chuẩn hóa ngữ pháp và giúp cải thiện từ 1.5% đến 2.5% tỷ lệ chính xác tổng thể của hệ thống nhận dạng.

5. Hệ thống nhận dạng trong luận văn có thể triển khai trên các thiết bị di động hay không? Hệ thống hoàn toàn có khả năng triển khai thực tế trên các thiết bị di động hoặc thiết bị nhúng. Nhờ cấu trúc End-to-End nhỏ gọn hơn nhiều so với các bộ giải mã FST cồng kềnh của mô hình truyền thống, mô hình có thể đạt tốc độ phản hồi nhanh dưới 300 mili-giây sau khi được tối ưu hóa tham số.

Kết luận

• Luận văn đã chứng minh tính hiệu quả vượt trội của việc áp dụng mô hình mạng nơ-ron End-to-End kết hợp hàm tổn hao CTC cho bài toán nhận dạng tiếng nói tiếng Việt phát âm liên tục.
• Đề xuất thành công phương pháp tích hợp thông tin cao độ F0 để mô hình hóa chính xác 6 thanh điệu tiếng Việt, giúp cải thiện 2.0% độ chính xác nhận dạng.
• Loại bỏ hoàn toàn sự phụ thuộc vào quy trình gán nhãn thời gian cưỡng bức, tiết kiệm hơn 50% thời gian và chi phí tiền xử lý dữ liệu huấn luyện.
• Thiết lập hệ thống thực nghiệm hoàn chỉnh đạt tỷ lệ lỗi từ cạnh tranh từ 8.0% đến 10.5%, tương đương các hệ thống DNN truyền thống quy mô lớn.
• Đặt nền móng lý thuyết và thực nghiệm vững chắc cho các công trình nghiên cứu sâu hơn về trí tuệ nhân tạo giọng nói tiếng Việt trong lộ trình 12 đến 24 tháng tới.

Công trình này là tài liệu tham khảo thiết yếu cho các kỹ sư, nhà nghiên cứu và doanh nghiệp đang phát triển các sản phẩm công nghệ giọng nói tiếng Việt. Hãy ứng dụng ngay các nguyên lý kiến trúc End-to-End để tối ưu hóa hiệu năng hệ thống nhận dạng tiếng nói của bạn.

Trích đoạn nội dung tài liệu

Mở đầu Giới thiệu tổng quan về nhận dạng tiếng nói và ứng dụng. Các vấn đề khó khăn cần giải quyết trong lĩnh vực nhận dạng tiếng nói. Giới thiệu tổng quan về tình hình nghiên cứu nhận dạng tiếng Việt trong và ngoài nước. Giới thiệu các nội dung nghiên cứu chính của luận văn.

Tổng quan về nhận dạng tiếng nói 1. Nhận dạng tiếng nói Nhận dạng tiếng nói là quá trình biến đổi tín hiệu âm thanh thu được của người nói, thành một chuỗi các từ có nội dung tương ứng dưới dạng văn bản. Nếu gọi tín hiệu tiếng nói thu được trên miền thời gian là s(t), thì s(t) đầu tiên sẽ được rời rạc hóa để xử lý và trích chọn ra các thông tin quan trọng. Kết quả thu được là một chuỗi các vector đặc trưng tương ứng X={x1, x2, x3,…, xN}.

Sau đó nhiệm vụ của hệ thống nhận dạng tiếng nói là tìm ra một chuỗi các từ ̂ ={ w1, w2, w3,…, wL} có nội dung tương ứng với X về mặt ngữ nghĩa.1) [1] mô tả mô hình toán học của một hệ thống nhận dạng tiếng nói theo nguyên lý xác suất của Bayes. Hầu hết các hệ thống nhận dạng tiếng nói thống kê ngày nay đều dựa trên mô hình này.1) ( ) Trong đó P(W) là xác suất của chuỗi W, giá trị này có thể được tính toán thông qua một mô hình ngôn ngữ n-gram và nó hoàn toàn độc lập với tín hiệu tiếng nói X. Giá trị P(X) có thể được bỏ qua do giá trị của nó không thay đổi trong một bộ dữ liệu cụ thể với tất các chuỗi dự đoán W. Các hệ thống nhận dạng tiếng nói hiện nay có thể được phân loại theo các cách như sau: 1 LUAN VAN CHAT LUONG download : add [e-mail]  Nhận dạng các từ phát âm rời rạc hoặc liên tục.  Nhận dạng tiếng nói phụ thuộc hoặc không phụ thuộc người nói.  Nhận dạng với hệ thống từ vựng nhỏ (vài trăm từ) hoặc từ vựng lớn (hàng nghìn từ).  Nhận dạng tiếng nói trong môi trường nhiễu cao hoặc thấp.

Ứng dụng Cùng với sự phát triển nhanh chóng của các thiết bị tính toán tốc độ cao như máy tính, điện thoại thông minh, vi xử lý - vi điều khiển, ngày nay nhận dạng tiếng nói được ứng dụng cho rất nhiều các lĩnh vực trong cuộc sống. Có thể kể đến một số ứng dụng trong một số lĩnh vực chính như sau:  Trong ngành công nghiệp ôtô: Nhận dạng tiếng nói được ứng dụng để xây dựng các module tương tác giữa người lái với xe ôtô. Hãng xe Audi của Đức là một trong các hãng xe đã ứng dụng thành công và phổ biến công nghệ này. Người lái xe có thể tắt mở hệ thống âm thanh, điều chỉnh âm lượng, hoặc ra lệnh tìm đích đến cho hệ thống dẫn đường bằng giọng nói.  Trong lĩnh vực y tế: Nhận dạng tiếng nói có thể được ứng dụng để tạo ra các hệ thống nhập hoặc tìm kiếm thông tin bệnh nhân tự động.

Người bệnh có thể trả lời các câu hỏi trên một mẫu phiếu khai đã được tích hợp vào một hệ thống nhận dạng tiếng nói khi khám bệnh, hệ thống này sẽ nhận dạng tín hiệu tiếng nói của người bệnh và dịch nó sang dạng văn bản để điền tự động vào mẫu văn bản trên máy tính. Đối với các bệnh viện lớn, nhận dạng tiếng nói cũng có thể được ứng dụng để xây dựng các hệ thống tìm kiếm thông tin bệnh nhân đã có sẵn trong hồ sơ của bệnh viện. Nếu hồ sơ của bệnh nhân đã có trong bệnh viện, người bệnh chỉ cần nói một câu bất kỳ, hệ thống sẽ nhận dạng và tìm ra số hiệu của bệnh nhân đó thông qua giọng nói đặc trưng của họ, từ đó tự động tìm kiếm hồ sơ trong cơ sở dữ liệu. Nhận dạng tiếng nói còn được ứng dụng để ghi chép và tóm tắt tự động các đánh giá, nhận xét hoặc các lời khuyên của bác sỹ vào đơn thuốc của bệnh nhân.  Trong quân đội: 2 LUAN VAN CHAT LUONG download : add [e-mail] o Đối với các phi công lái máy chiến đấu, thông thường họ phải thực hiện nhiều thao tác trong quá trình điều khiển máy bay.

Các thao tác này lại yêu cầu chính xác và nhanh. Nhận dạng tiếng nói có thể được ứng dụng để xây dựng các hệ thống tương tác bằng tiếng nói hỗ trợ phi công như: thiết lập tần số radio; chỉ huy hệ thống lái tự động; thiết lập tọa độ và thông số vũ khí; kiểm soát hiển thị chuyến bay. Các hệ thống này góp phần đáng kể trong việc giảm khối lượng công việc và nâng cao hiệu quả cũng như độ chính xác trong việc điều khiển máy bay cho các phi công. o Đối với máy bay trực thăng: Việc trao đổi thông tin qua radio trên máy bay trực thăng gặp rất nhiều khó khăn và trở ngại do ảnh hưởng của tiếng ồn.

Trong trường hợp này nhận dạng tiếng nói được ứng dụng để xây dựng các hệ thống hỗ trợ liên lạc, nó có chức năng xử lý và nhận dạng tiếng nói của phi công trong môi trường ồn nhằm nâng cao độ chính xác của thông tin trong trường hợp con người gặp khó khăn trong việc nghe thông tin từ phi công.  Trong viễn thông và giải trí: Đây là lĩnh vực mà nhận dạng tiếng nói được ứng dụng rộng rãi và đa dạng nhất. Trong viễn thông nhận dạng tiếng nói được áp dụng để xây dựng các tổng đài trả lời tự động bằng cách nhận dạng và phân loại câu hỏi của người gọi, hoặc các hệ thống dịch vụ tự động. Trong giải trí nhận dạng tiếng nói được áp dụng để tạo ra các thiết bị cho phép người điều khiển sử dụng tiếng nói để tương tác với thiết bị.

Có thể kể đến rất nhiều các hệ thống cũng như các công ty lớn trên thế giới đã áp dụng công nghệ này như: Google,Microsoft Corporation (Microsoft Voice Command), Digital Syphon (Sonic Extractor), LumenVox, Nuance Communications (Nuance Voice Control), VoiceBox Technology,…  Trong giáo dục: Các hệ thống nhận dạng tiếng nói có độ chính xác cao sẽ là rất hữu ích cho những người muốn học một ngôn ngữ thứ hai. Các hệ 3 LUAN VAN CHAT LUONG download : add [e-mail] thống nhận dạng có thể được dùng để đánh giá độ phát âm chính xác của người học [2].  Đối với người khuyết tật: Nhận dạng tiếng nói có thể giúp những người khuyết tật vận động, vẫn có thể đi lại trên xe lăn hoặc sử dụng các thiết bị điện tử như máy tính, điện thoại hay ti vi bằng cách gửi lệnh điều khiển thông qua giọng nói.  Trong giao tiếp: Với mục tiêu xóa bỏ rào cản ngôn ngữ, nhận dạng tiếng nói được ứng dụng để xây dựng các hệ thống dịch máy tự động nhằm giúp con người có thể nói chuyện với nhau bằng tiếng mẹ đẻ của mình ở bất kỳ đâu trên thế giới. Nhận dạng tiếng nói là một khâu trong hệ thống này, nó thu thập tín hiệu tiếng nói, nhận dạng và chuyển thành dạng văn bản. Sau đó phần dịch tự động sẽ chuyển nội dung văn bản này sang một văn bản khác ở một ngôn ngữ khác với cùng một nội dung.

Hiện nay đã có một số phần mềm đã được đưa vào ứng dụng như: Phần mềm Siri chạy trên hệ điều hành IOS của công ty Apple.  Còn rất nhiều các ứng dụng khác có thể kể ra như công nghệ nhà thông minh, nhập dữ liệu bằng giọng nói, robot, … Từ các ứng dụng tiêu biểu như trên cho thấy những ý nghĩa khoa học cũng như ý nghĩa về ứng dụng trong cuộc sống của nhận dạng tiếng nói là rất đa dạng và hữu ích. Nó khẳng định việc nghiên cứu và ứng dụng nhận dạng tiếng nói trong cuộc sống vẫn còn tiếp tục đặt ra những thách thức và nhiều bài toán khó cho các nhà khoa học. Các vấn đề trong nhận dạng tiếng nói Nhận dạng tiếng nói là một dạng bài toán trong lĩnh vực nhận dạng mẫu, vì vậy cũng tồn tại những khó khăn tương tự như các bài toán nhận dạng khác. Ngoài ra còn tồn tại một số vấn đề khác do đặc tính biến đổi ngẫu nhiên của tín hiệu tiếng nói.

Các vấn đề chính ảnh hưởng đến độ chính xác và hiệu suất làm việc của một hệ thống nhận dạng tiếng nói [1] [3] [4] [5] có thể kể đến như sau:  Vấn đề phụ thuộc người nói: Mỗi người nói sẽ có cấu trúc của bộ máy tạo âm khác nhau dẫn đến đặc tính của tiếng nói phát ra chịu ảnh hưởng rất 4 LUAN VAN CHAT LUONG download : add [e-mail] nhiều vào người nói. Ngay cả đối với một người nói khi phát âm cùng một câu thì tiếng nói phát ra cũng có thể khác nhau, tình trạng cảm xúc, sức khỏe, độ tuổi khác nhau. Xét theo đặc tính phụ thuộc người nói thì nhận dạng tiếng nói có thể phân chia làm hai loại. Một là nhận dạng tiếng nói phụ thuộc người nói, các hệ thống này được xây dựng chuyên biệt để chỉ làm việc với tiếng nói của một người hoặc vài người nhất định.

Loại thứ hai là nhận dạng độc lập với người nói, tức là hệ thống nhận dạng được xây dựng để nhận dạng cho tiếng nói của bất kỳ người nào. Thông thường tỷ lệ lỗi nhận dạng tiếng nói của hệ thống độc lập với người nói thường cao hơn so với hệ thống nhận dạng tiếng nói phụ thuộc người nói.  Vấn đề về tốc độ phát âm, hiện tượng đồng phát âm: Trong một phát âm liên tục mỗi âm thường chịu ảnh hưởng rất lớn từ các âm trước và sau nó. Vì vậy các từ được phát âm rời rạc khi nhận dạng sẽ có độ chính xác cao hơn là các từ trong một phát âm liên tục. Do chất lượng nhận dạng cho một chuỗi phát âm liên tục còn phụ thuộc thêm vào việc phát hiện biên và khoảng trống giữa hai từ.

Khi người nói phát âm với tốc độ cao thì khoảng trống và biên giữa các từ sẽ bị thu hẹp dẫn đến việc phân đoạn từng từ có thể bị nhầm lẫn hoặc trùm lên nhau làm ảnh hưởng đến độ chính xác cho việc nhận dạng từ đó.  Vấn đề về kích thước của bộ từ vựng (từ điển): Kích thước từ điển là số lượng tất cả các từ khác nhau mà một hệ thống nhận dạng cụ thể có khả năng nhận dạng được. Kích thước bộ từ điển càng lớn thì độ phức tạp của hệ thống nhận dạng càng cao. Tỷ lệ lỗi của hệ thống nhận dạng luôn tỷ lệ thuận với kích thước của bộ từ điển.