Luận Văn Thạc Sĩ: Áp Dụng Mô Hình Mạng Nơ-Ron End-To-End Để Nhận Dạng Tiếng Nói Tiếng Việt

Luận văn thạc sĩ nghiên cứu áp dụng mô hình mạng nơ ron end-to-end trong nhận dạng tiếng nói tiếng Việt, hướng đến cải thiện độ chính xác và hiệu quả.

• Tác giả: Trần Văn Nghĩa
• Người hướng dẫn: TS. Nguyễn Văn Huy
• Trường học: Đại học Thái Nguyên
• Chuyên ngành: Kỹ thuật viễn thông
• Đề tài: Nghiên cứu áp dụng mô hình mạng nơ-ron end-to-end cho nhận dạng tiếng nói tiếng Việt
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2019
• Địa điểm: Thái Nguyên

Mục lục chi tiết

• Lời nói đầu
• Lời cam đoan
• Danh mục các từ viết tắt
• Danh mục bảng biểu
• Danh mục hình ảnh
• 1. Chương 1: Mở đầu
• 1.1. Tổng quan về nhận dạng tiếng nói
• 1.1.1. Nhận dạng tiếng nói
• 1.1.2. Các vấn đề trong nhận dạng tiếng nói
• 1.1.3. Tình hình nghiên cứu hiện nay về nhận dạng tiếng nói
• 1.1.3.1. Về trích chọn đặc trưng
• 1.1.3.2. Về mô hình ngữ âm (acoustic model)
• 1.1.3.3. Về mô hình ngôn ngữ
• 1.1.3.4. Về bộ giải mã
• 1.2. Nhận dạng tiếng Việt và các nghiên cứu hiện nay
• 1.3. Một số nghiên cứu gần đây trên các ngôn ngữ có thanh điệu
• 1.4. Kết luận, các nội dung và phạm vi nghiên cứu chính của luận văn
• 2. Chương 2: Mô hình mạng nơ-ron học sâu End-to-End cho nhận dạng tiếng nói
• 2.1. Các thành phần chính của một hệ thống nhận dạng tiếng nói
• 2.1.1. Trích chọn đặc trưng
• 2.1.1.1. Đặc trưng MFCC
• 2.1.1.2. Đặc trưng PLP
• 2.1.2. Mô hình ngữ âm
• 2.1.2.1. Tổng quan về mô hình HMM
• 2.1.2.2. Áp dụng mô hình HMM trong nhận dạng tiếng nói
• 2.1.3. Mô hình ngôn ngữ
• 2.1.3.1. Tổng quan về mô hình n-gram
• 2.1.3.2. Các vấn đề tồn tại của n-gram
• 2.1.3.3. Một số phương pháp làm trơn mô hình n-gram
• 2.2. Mô hình mạng nơ-ron
• 2.2.1. Mô hình mạng nơ-ron truyền thống
• 2.2.2. Mô hình End-to-End
• 2.3. Một số cách áp dụng trên các ngôn ngữ khác
• 2.3.1. Hàm mục tiêu CTC
• 2.3.2. Mô hình DNN
• 2.3.3. Nhận dạng tiếng nói sử dụng E2E
• 3. Chương 3: Áp dụng mô hình End-to-End cho nhận dạng tiếng nói tiếng Việt
• 3.1. Tổng quan về tiếng Việt
• 3.1.1. Bộ âm vị tiếng Việt
• 3.1.2. Thanh điệu và đặc trưng thanh điệu
• 3.2. Thực nghiệm và Kết quả
• 3.2.1. Bộ dữ liệu huấn luyện và kiểm tra
• 3.2.2. Huấn luyện mô hình E2E
• 3.2.3. Mô hình ngôn ngữ (LM)
• 3.2.4. So sánh với mô hình DNN
• 3.2.5. Các kết quả và thảo luận
• Danh mục các tài liệu tham khảo

Tóm tắt

I. Tổng quan về nhận dạng tiếng nói

Nhận dạng tiếng nói là quá trình chuyển đổi tín hiệu âm thanh thành văn bản. Mô hình mạng nơ-ron và xử lý ngôn ngữ tự nhiên đóng vai trò quan trọng trong lĩnh vực này. Tiếng Việt là ngôn ngữ có thanh điệu, gây khó khăn trong nhận dạng. Các phương pháp truyền thống như mô hình Markov ẩn (HMM) và mạng nơ-ron nhân tạo đã được áp dụng. Tuy nhiên, mô hình end-to-end đang được nghiên cứu để cải thiện hiệu quả.

1.1. Ứng dụng của nhận dạng tiếng nói

Nhận dạng tiếng nói được ứng dụng rộng rãi trong nhiều lĩnh vực như y tế, quân đội, giáo dục, và giao tiếp. Công nghệ AI giúp xây dựng hệ thống tương tác bằng giọng nói, hỗ trợ người khuyết tật, và dịch máy tự động. Hệ thống nhận dạng cũng được sử dụng trong nhà thông minh và robot, mang lại tiện ích lớn trong cuộc sống.

1.2. Khó khăn trong nhận dạng tiếng nói

Các yếu tố như nhiễu, tốc độ nói, và kích thước từ điển ảnh hưởng đến chất lượng nhận dạng. Tiếng Việt có sáu thanh điệu, làm tăng độ phức tạp. Các đặc trưng như MFCC và PLP không mô tả được thanh điệu, đòi hỏi kỹ thuật tính toán đặc trưng riêng.

II. Mô hình mạng nơ ron học sâu end to end

Mô hình mạng nơ-ron sâu (DNN) và mô hình end-to-end (E2E) là hướng nghiên cứu mới. E2E tích hợp ba thành phần: mô hình phát âm (PM), mô hình ngữ âm (AM), và mô hình ngôn ngữ (LM). Phương pháp này giúp giảm thời gian huấn luyện và cải thiện chất lượng nhận dạng.

2.1. Thành phần của hệ thống nhận dạng

Hệ thống nhận dạng gồm trích chọn đặc trưng, mô hình ngữ âm, và mô hình ngôn ngữ. MFCC và PLP là hai đặc trưng phổ biến. Mô hình HMM được sử dụng rộng rãi trong nhận dạng tiếng nói, nhưng mô hình DNN đang dần thay thế.

2.2. Ưu điểm của mô hình end to end

Mô hình end-to-end giúp huấn luyện trực tiếp trên dữ liệu chưa gán nhãn, giảm chi phí và thời gian. Phương pháp này đã được áp dụng thành công trên các ngôn ngữ khác, mang lại kết quả khả quan trong nhận dạng tiếng nói.

III. Áp dụng mô hình end to end cho tiếng Việt

Tiếng Việt có cấu trúc ngữ âm phức tạp với sáu thanh điệu. Mô hình end-to-end được đề xuất để nhận dạng tiếng Việt, kết hợp mô hình ngôn ngữ và học sâu. Thử nghiệm thực tế cho thấy hiệu quả vượt trội so với mô hình DNN truyền thống.

3.1. Cấu trúc ngữ âm tiếng Việt

Tiếng Việt có bộ âm vị và thanh điệu đặc trưng. Các đặc trưng thanh điệu cần được tính toán riêng để cải thiện nhận dạng. Mô hình end-to-end giúp xử lý hiệu quả các đặc trưng này.

3.2. Kết quả thử nghiệm

Thử nghiệm trên bộ dữ liệu tiếng Việt cho thấy mô hình end-to-end đạt độ chính xác cao hơn so với mô hình DNN. Kết quả này khẳng định tiềm năng ứng dụng của mô hình end-to-end trong nhận dạng tiếng Việt.

Nội dung chính

Tổng quan nghiên cứu

Thị trường công nghệ nhận dạng tiếng nói tự động toàn cầu đang ghi nhận mức tăng trưởng vượt bậc hơn 25% mỗi năm, mở ra tiềm năng ứng dụng to lớn trong điều khiển thông minh, viễn thông và y tế. Tuy nhiên, đối với tiếng Việt, việc xây dựng các hệ thống nhận dạng tiếng nói phát âm liên tục từ vựng lớn vẫn đối mặt với rào cản kỹ thuật nghiêm trọng do đặc thù ngôn ngữ có 6 thanh điệu phức tạp. Các mô hình thống kê truyền thống như mô hình Markov ẩn kết hợp mô hình hỗn hợp Gaussian hoặc mạng nơ-ron sâu lai ghép đòi hỏi phải chia tách quy trình thành ba khối độc lập gồm mô hình ngữ âm, mô hình phát âm và mô hình ngôn ngữ. Hạn chế lớn nhất của hướng tiếp cận cũ là bắt buộc phải gán nhãn thủ công từng khung tín hiệu thời gian từ 10ms đến 25ms, tiêu tốn hàng nghìn giờ lao động và gây tích lũy sai số giữa các module riêng biệt.

Nhằm giải quyết triệt để các tồn tại trên, luận văn thạc sĩ kỹ thuật viễn thông với đề tài nghiên cứu áp dụng mô hình mạng nơ-ron End-to-End cho nhận dạng tiếng nói tiếng Việt đã được thực hiện tại Trường Đại học Kỹ thuật Công nghiệp thuộc Đại học Thái Nguyên trong giai đoạn năm 2018 đến năm 2019. Mục tiêu trọng tâm của đề tài là xây dựng hệ thống nhận dạng tiếng Việt phát âm liên tục không giới hạn từ vựng dựa trên kiến trúc End-to-End kết hợp thuật toán phân loại kết nối tạm thời và mô hình ngôn ngữ n-gram. Đóng góp nổi bật của nghiên cứu là loại bỏ hoàn toàn giai đoạn gán nhãn trung gian, cắt giảm hơn 50% thời gian xử lý dữ liệu và hướng tới tối ưu hóa tỷ lệ lỗi từ tiệm cận mức dưới 10% trên các tập ngữ liệu thực tế.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được thiết lập dựa trên nền tảng lý thuyết xác suất Bayes trong nhận dạng tiếng nói thống kê, nhằm tìm kiếm chuỗi từ có xác suất hậu nghiệm lớn nhất tương ứng với chuỗi vector đặc trưng âm học đầu vào. Mô hình lý thuyết cốt lõi được áp dụng là kiến trúc mạng nơ-ron học sâu End-to-End kết hợp với hàm mục tiêu phân loại kết nối tạm thời. Kiến trúc này giải quyết bài toán ánh xạ trực tiếp từ tín hiệu âm thanh sang chuỗi ký tự mà không cần bước căn chỉnh thời gian bắt buộc, thông qua việc đưa vào nhãn khoảng trống và tính tổng xác suất trên toàn bộ các chuỗi nhãn khả dĩ.

Bên cạnh đó, nghiên cứu tích hợp lý thuyết mô hình ngôn ngữ n-gram nhằm ước lượng phân bố xác suất của chuỗi từ trong văn bản tiếng Việt. Nhằm khắc phục hiện tượng phân bố không đồng đều và xác suất bằng 0 của các cụm từ hiếm, các phương pháp làm trơn mô hình như kỹ thuật làm mịn cộng một, phương pháp truy hồi và phương pháp nội suy đã được vận dụng chặt chẽ. Hệ thống khái niệm chính trong luận văn bao gồm hệ số trích chọn đặc trưng tần số Mel, mã dự báo tuyến tính giác quan, tần số cơ bản F0 mô tả thanh điệu và tỷ lệ lỗi từ dùng làm thước đo đánh giá độ chính xác.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm được thu thập từ các chương trình phát thanh chuẩn tiếng Việt với quy mô hơn 30 giờ phát âm liên tục, bao phủ tập từ vựng lớn hơn 100.000 từ và đại diện đầy đủ cho 54 âm vị ngữ âm cùng 6 thanh điệu. Tác giả sử dụng phương pháp chọn mẫu phân tầng có chủ đích, bảo đảm sự cân bằng về giới tính người nói, tốc độ phát âm tự nhiên và tính đa dạng của các ngữ cảnh ngữ âm.

Phương pháp xử lý tín hiệu thực hiện phân khung cửa sổ Hamming kích thước 25ms với độ dịch 10ms, trích xuất 39 chiều đặc trưng âm học kết hợp với việc tính toán tần số cơ bản F0 nhằm bảo toàn thông tin thanh điệu ở các vùng âm hữu thanh. Lý do lựa chọn phương pháp phân tích mạng nơ-ron sâu kết hợp hàm mục tiêu phân loại kết nối tạm thời thay cho mô hình Markov ẩn truyền thống là vì kiến trúc này cho phép tối ưu hóa trực tiếp hàm mất mát toàn cục từ đầu vào âm thanh đến đầu ra văn bản, loại bỏ các giả định độc lập nghiêm ngặt và hạn chế sự phụ thuộc vào chất lượng gán nhãn ban đầu. Toàn bộ quá trình huấn luyện và kiểm thử mô hình được triển khai đồng bộ trên hệ thống tính toán GPU hiệu năng cao trong giai đoạn từ cuối năm 2018 đến giữa năm 2019.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Thứ nhất, việc áp dụng mô hình End-to-End kết hợp hàm mục tiêu phân loại kết nối tạm thời đã chứng minh khả năng đào tạo trực tiếp trên tập dữ liệu chỉ bao gồm tệp âm thanh và văn bản phiên âm tương ứng, giúp giảm hơn 50% thời gian và chi phí tiền xử lý gán nhãn so với các hệ thống Markov ẩn truyền thống.

Thứ hai, việc tích hợp bổ sung mô hình ngôn ngữ n-gram vào bộ giải mã tìm kiếm theo chùm giúp cải thiện vượt bậc chất lượng nhận dạng, làm giảm tỷ lệ lỗi từ từ 15% đến 20% so với trường hợp giải mã chỉ dựa thuần túy trên đầu ra của mạng nơ-ron.

Thứ ba, việc bổ sung thông tin thanh điệu thông qua vector đặc trưng tần số cơ bản F0 kết hợp bộ âm vị gắn nhãn 6 thanh điệu tiếng Việt giúp giảm tỷ lệ nhận dạng nhầm thanh điệu từ mức 18% xuống dưới 8%, qua đó nâng cao độ chính xác nhận dạng toàn diện thêm khoảng 2.0% đến 3.5% tuyệt đối.

Thứ tư, khi so sánh đối đầu với các hệ thống mạng nơ-ron sâu truyền thống có độ chính xác nhận dạng đạt 86.06% trên tập ngữ liệu thử nghiệm, mô hình End-to-End đạt hiệu năng tiệm cận với khoảng cách sai số tỷ lệ lỗi từ chỉ chênh lệch từ 1.5% đến 2.0%, đồng thời vượt trội về tốc độ giải mã thực thi.

Thảo luận kết quả

Nguyên nhân chính dẫn đến sự cải thiện hiệu năng là do kiến trúc học sâu End-to-End có khả năng nắm bắt các mối tương quan ngữ cảnh dài trong chuỗi tín hiệu tiếng nói liên tục, tự động học các đặc trưng âm học phức tạp mà không bị gò bó bởi các giả định trạng thái cục bộ. Đối với tiếng Việt, thanh điệu chỉ tồn tại ở các vùng âm hữu thanh và bị gián đoạn ở các phụ âm vô thanh. Việc mạng nơ-ron tự động học cách phân bổ trọng số qua các lớp ẩn đã bù đắp hiệu quả hiện tượng đứt gãy tín hiệu này.

Kết quả nghiên cứu hoàn toàn tương đồng với các công bố quốc tế tiêu biểu như mô hình Deep Speech của Baidu đạt tỷ lệ lỗi từ 5% trên tiếng Quan thoại và mô hình Listen-Attend-Spell của Google đạt mức lỗi 5.6% trên 12.500 giờ tiếng Anh. Trong các báo cáo thực nghiệm, sự phân bổ hiệu năng nhận dạng giữa các cấu hình mạng và ma trận nhầm lẫn của 6 thanh điệu có thể được trực quan hóa thông qua biểu đồ cột so sánh sai số tỷ lệ lỗi từ và bảng số liệu phân tích độ chính xác theo từng loại âm vị. Các dữ liệu này khẳng định tính khả thi và tiềm năng to lớn của mô hình End-to-End trong việc thay thế hoàn toàn các kiến trúc nhận dạng cổ điển.

Đề xuất và khuyến nghị

Thứ nhất, mở rộng quy mô bộ ngữ liệu huấn luyện tiếng Việt chuẩn hóa từ quy mô 30 giờ hiện tại lên hơn 1.000 giờ thu âm đa dạng vùng miền Bắc, Trung, Nam. Mục tiêu là kéo giảm tỷ lệ lỗi từ xuống dưới mức 6.5% trong môi trường nhiều tạp âm. Thời gian thực hiện dự kiến trong vòng 12 tháng tới do các viện nghiên cứu công nghệ thông tin và phòng thí nghiệm viễn thông trọng điểm chủ trì.

Thứ hai, nâng cấp kiến trúc mạng nơ-ron học sâu sang các mô hình hiện đại tích hợp cơ chế tự chú ý đa đầu như Transformer hoặc Conformer. Mục tiêu là nâng cao độ chính xác nhận dạng thêm 2.5% tuyệt đối và tăng tốc độ hội tụ của mô hình trong quá trình huấn luyện. Thời gian thực hiện từ 6 đến 9 tháng bởi các kỹ sư phát triển thuật toán trí tuệ nhân tạo.

Thứ ba, áp dụng các kỹ thuật tăng cường dữ liệu âm thanh tiên tiến như biến đổi tốc độ phát âm từ 0.9 đến 1.1 lần, chèn tạp âm nền môi trường thực tế và cắt tỉa phổ tần số ngẫu nhiên. Mục tiêu nhằm nâng cao tính bền vững của mô hình với tỷ lệ cải thiện độ chính xác 15% trong điều kiện tỷ số tín hiệu trên nhiễu dưới 15dB. Thời gian triển khai định kỳ hàng quý do nhóm xử lý tín hiệu thực hiện.

Thứ tư, triển khai kỹ thuật lượng tử hóa trọng số mô hình xuống định dạng 8-bit và chưng cất tri thức nhằm tối ưu hóa bộ nhớ suy luận cho các thiết bị di động và phần cứng nhúng. Mục tiêu là giảm dung lượng lưu trữ trên 60% và duy trì độ trễ phản hồi dưới 150ms. Lộ trình thực hiện trong 18 tháng bởi các doanh nghiệp phát triển giải trí, viễn thông và thiết bị thông minh.

Đối tượng nên tham khảo luận văn

Nhóm giảng viên, nghiên cứu sinh và học viên cao học chuyên ngành Kỹ thuật Viễn thông, Công nghệ Thông tin và Trí tuệ Nhân tạo. Luận văn cung cấp hệ thống cơ sở toán học vững chắc, quy trình tính toán đặc trưng âm học và các thuật toán học sâu hiện đại, đóng vai trò là tài liệu tham khảo chất lượng cao cho các nghiên cứu chuyên sâu về xử lý tiếng nói tiếng Việt.

Nhóm kỹ sư phát triển phần mềm và chuyên gia trí tuệ nhân tạo trong lĩnh vực nhận dạng giọng nói. Luận văn cung cấp chi tiết kỹ thuật về đường ống xây dựng mô hình End-to-End kết hợp bộ giải mã n-gram, hỗ trợ trực tiếp cho việc thiết kế các hệ thống trợ lý ảo, tổng đài tự động và phần mềm chuyển đổi giọng nói thành văn bản cho doanh nghiệp.

Nhóm kỹ sư phát triển ứng dụng di động và thiết bị nhúng Internet vạn vật. Luận văn mang lại các giải pháp thiết thực về nhận dạng tiếng nói liên tục từ vựng lớn, tạo tiền đề để tích hợp module điều khiển bằng giọng nói tiếng Việt cho nhà thông minh, hệ thống tương tác trên ô tô và các thiết bị điện tử gia dụng.

Nhóm các tổ chức y tế, giáo dục và hỗ trợ xã hội cho người khuyết tật. Công trình mở ra hướng ứng dụng cụ thể trong việc xây dựng hệ thống tự động điền hồ sơ bệnh án bằng giọng nói tại bệnh viện, ứng dụng luyện phát âm chuẩn cho học viên ngôn ngữ và phát triển xe lăn điện thông minh điều khiển bằng khẩu lệnh cho người khuyết tật vận động.

Câu hỏi thường gặp

Mô hình End-to-End có điểm gì vượt trội hơn so với mô hình nhận dạng truyền thống HMM-GMM? Mô hình End-to-End tích hợp toàn bộ ba thành phần gồm mô hình phát âm, mô hình ngữ âm và mô hình ngôn ngữ vào một kiến trúc mạng nơ-ron duy nhất. Nhờ vậy, hệ thống có thể huấn luyện trực tiếp từ tệp âm thanh và văn bản phiên âm mà không cần gán nhãn thủ công từng khung 10ms đến 25ms, giúp tiết kiệm hơn 50% thời gian xử lý và giảm thiểu sai số liên kết.

Tại sao bài toán nhận dạng tiếng Việt lại có độ phức tạp cao hơn các ngôn ngữ không dấu? Tiếng Việt là ngôn ngữ có 6 thanh điệu đặc trưng, mỗi âm tiết khi ghép với thanh điệu khác nhau sẽ tạo ra ý nghĩa hoàn toàn khác biệt. Do thanh điệu chỉ tồn tại ở vùng âm hữu thanh và bị đứt gãy ở vùng vô thanh nên các đặc trưng truyền thống như MFCC không mô tả hết được, bắt buộc phải trích xuất thêm tần số cơ bản F0 để tăng độ chính xác thêm khoảng 2%.

Hàm mục tiêu phân loại kết nối tạm thời đóng vai trò gì trong hệ thống nhận dạng? Hàm mục tiêu phân loại kết nối tạm thời cho phép mạng nơ-ron sâu tự động căn chỉnh chuỗi đặc trưng âm học đầu vào với chuỗi ký tự đầu ra mà không cần dữ liệu gán nhãn thời gian từ trước. Bằng cách chèn thêm các nhãn khoảng trống và tính tổng xác suất trên mọi cấu hình sắp xếp hợp lệ, thuật toán giúp mô hình dự đoán chính xác chuỗi từ ngữ tương ứng.

Mô hình ngôn ngữ n-gram hỗ trợ cải thiện độ chính xác của hệ thống nhận dạng như thế nào? Mô hình ngôn ngữ n-gram, đặc biệt là dạng 4-gram và 5-gram kết hợp kỹ thuật làm trơn, cung cấp xác suất ngữ pháp của các chuỗi từ trong câu. Khi kết hợp với bộ giải mã tìm kiếm theo chùm, mô hình ngôn ngữ giúp định hướng lựa chọn từ ngữ chính xác theo ngữ cảnh, giúp giảm tỷ lệ lỗi từ từ 15% đến 20% so với khi chỉ dùng mạng nơ-ron âm học.

Hệ thống nhận dạng trong nghiên cứu có bị giới hạn về kích thước bộ từ điển hay không? Hệ thống được thiết kế hướng tới tập từ vựng lớn không giới hạn cho tiếng nói phát âm liên tục. Bằng cách phân tách từ vựng thành tập hợp 54 âm vị ngữ âm kết hợp 6 thanh điệu, mô hình có khả năng nhận dạng và tổng hợp mọi từ ngữ mới phát sinh trong tiếng Việt dựa trên tập âm vị nền tảng mà không cần phải huấn luyện lại cấu trúc mạng.

Kết luận

• Luận văn đã hệ thống hóa toàn diện cơ sở lý thuyết và các thách thức đặc thù trong bài toán nhận dạng tiếng nói tiếng Việt phát âm liên tục từ vựng lớn có 6 thanh điệu.
• Nghiên cứu đã triển khai thành công mô hình mạng nơ-ron học sâu End-to-End kết hợp hàm mục tiêu phân loại kết nối tạm thời, loại bỏ hoàn toàn giai đoạn gán nhãn dữ liệu trung gian.
• Đề tài đã khẳng định vai trò then chốt của việc tích hợp đặc trưng thanh điệu F0 và mô hình ngôn ngữ n-gram, giúp tăng độ chính xác nhận dạng thêm 2.0% đến 3.5% tuyệt đối.
• Kết quả thực nghiệm chứng minh mô hình End-to-End đạt hiệu năng tiệm cận các mô hình học sâu truyền thống nhưng giúp cắt giảm hơn 50% chi phí chuẩn bị ngữ liệu huấn luyện.
• Định hướng phát triển tiếp theo trong 12 đến 24 tháng tới là mở rộng tập dữ liệu lên hơn 1.000 giờ và ứng dụng các kiến trúc tự chú ý tối tân phục vụ triển khai thực tế.

Hãy tham khảo toàn văn công trình nghiên cứu thạc sĩ để tiếp cận trọn vẹn giải pháp nhận dạng giọng nói tiếng Việt tiên tiến và ứng dụng hiệu quả vào các dự án công nghệ của bạn ngay hôm nay!

Trích đoạn nội dung tài liệu

Mở đầu Giới thiệu tổng quan về nhận dạng tiếng nói và ứng dụng. Các vấn đề khó khăn cần giải quyết trong lĩnh vực nhận dạng tiếng nói. Giới thiệu tổng quan về tình hình nghiên cứu nhận dạng tiếng Việt trong và ngoài nước. Giới thiệu các nội dung nghiên cứu chính của luận văn.

Tổng quan về nhận dạng tiếng nói 1. Nhận dạng tiếng nói Nhận dạng tiếng nói là quá trình biến đổi tín hiệu âm thanh thu được của người nói, thành một chuỗi các từ có nội dung tương ứng dưới dạng văn bản. Nếu gọi tín hiệu tiếng nói thu được trên miền thời gian là s(t), thì s(t) đầu tiên sẽ được rời rạc hóa để xử lý và trích chọn ra các thông tin quan trọng. Kết quả thu được là một chuỗi các vector đặc trưng tương ứng X={x1, x2, x3,…, xN}.

Sau đó nhiệm vụ của hệ thống nhận dạng tiếng nói là tìm ra một chuỗi các từ ̂ ={ w1, w2, w3,…, wL} có nội dung tương ứng với X về mặt ngữ nghĩa.1) [1] mô tả mô hình toán học của một hệ thống nhận dạng tiếng nói theo nguyên lý xác suất của Bayes. Hầu hết các hệ thống nhận dạng tiếng nói thống kê ngày nay đều dựa trên mô hình này.1) ( ) Trong đó P(W) là xác suất của chuỗi W, giá trị này có thể được tính toán thông qua một mô hình ngôn ngữ n-gram và nó hoàn toàn độc lập với tín hiệu tiếng nói X. Giá trị P(X) có thể được bỏ qua do giá trị của nó không thay đổi trong một bộ dữ liệu cụ thể với tất các chuỗi dự đoán W. Các hệ thống nhận dạng tiếng nói hiện nay có thể được phân loại theo các cách như sau: 1  Nhận dạng các từ phát âm rời rạc hoặc liên tục.  Nhận dạng tiếng nói phụ thuộc hoặc không phụ thuộc người nói.  Nhận dạng với hệ thống từ vựng nhỏ (vài trăm từ) hoặc từ vựng lớn (hàng nghìn từ).  Nhận dạng tiếng nói trong môi trường nhiễu cao hoặc thấp.

Ứng dụng Cùng với sự phát triển nhanh chóng của các thiết bị tính toán tốc độ cao như máy tính, điện thoại thông minh, vi xử lý - vi điều khiển, ngày nay nhận dạng tiếng nói được ứng dụng cho rất nhiều các lĩnh vực trong cuộc sống. Có thể kể đến một số ứng dụng trong một số lĩnh vực chính như sau:  Trong ngành công nghiệp ôtô: Nhận dạng tiếng nói được ứng dụng để xây dựng các module tương tác giữa người lái với xe ôtô. Hãng xe Audi của Đức là một trong các hãng xe đã ứng dụng thành công và phổ biến công nghệ này. Người lái xe có thể tắt mở hệ thống âm thanh, điều chỉnh âm lượng, hoặc ra lệnh tìm đích đến cho hệ thống dẫn đường bằng giọng nói.  Trong lĩnh vực y tế: Nhận dạng tiếng nói có thể được ứng dụng để tạo ra các hệ thống nhập hoặc tìm kiếm thông tin bệnh nhân tự động.

Người bệnh có thể trả lời các câu hỏi trên một mẫu phiếu khai đã được tích hợp vào một hệ thống nhận dạng tiếng nói khi khám bệnh, hệ thống này sẽ nhận dạng tín hiệu tiếng nói của người bệnh và dịch nó sang dạng văn bản để điền tự động vào mẫu văn bản trên máy tính. Đối với các bệnh viện lớn, nhận dạng tiếng nói cũng có thể được ứng dụng để xây dựng các hệ thống tìm kiếm thông tin bệnh nhân đã có sẵn trong hồ sơ của bệnh viện. Nếu hồ sơ của bệnh nhân đã có trong bệnh viện, người bệnh chỉ cần nói một câu bất kỳ, hệ thống sẽ nhận dạng và tìm ra số hiệu của bệnh nhân đó thông qua giọng nói đặc trưng của họ, từ đó tự động tìm kiếm hồ sơ trong cơ sở dữ liệu. Nhận dạng tiếng nói còn được ứng dụng để ghi chép và tóm tắt tự động các đánh giá, nhận xét hoặc các lời khuyên của bác sỹ vào đơn thuốc của bệnh nhân.  Trong quân đội: 2 o Đối với các phi công lái máy chiến đấu, thông thường họ phải thực hiện nhiều thao tác trong quá trình điều khiển máy bay.

Các thao tác này lại yêu cầu chính xác và nhanh. Nhận dạng tiếng nói có thể được ứng dụng để xây dựng các hệ thống tương tác bằng tiếng nói hỗ trợ phi công như: thiết lập tần số radio; chỉ huy hệ thống lái tự động; thiết lập tọa độ và thông số vũ khí; kiểm soát hiển thị chuyến bay. Các hệ thống này góp phần đáng kể trong việc giảm khối lượng công việc và nâng cao hiệu quả cũng như độ chính xác trong việc điều khiển máy bay cho các phi công. o Đối với máy bay trực thăng: Việc trao đổi thông tin qua radio trên máy bay trực thăng gặp rất nhiều khó khăn và trở ngại do ảnh hưởng của tiếng ồn.

Trong trường hợp này nhận dạng tiếng nói được ứng dụng để xây dựng các hệ thống hỗ trợ liên lạc, nó có chức năng xử lý và nhận dạng tiếng nói của phi công trong môi trường ồn nhằm nâng cao độ chính xác của thông tin trong trường hợp con người gặp khó khăn trong việc nghe thông tin từ phi công.  Trong viễn thông và giải trí: Đây là lĩnh vực mà nhận dạng tiếng nói được ứng dụng rộng rãi và đa dạng nhất. Trong viễn thông nhận dạng tiếng nói được áp dụng để xây dựng các tổng đài trả lời tự động bằng cách nhận dạng và phân loại câu hỏi của người gọi, hoặc các hệ thống dịch vụ tự động. Trong giải trí nhận dạng tiếng nói được áp dụng để tạo ra các thiết bị cho phép người điều khiển sử dụng tiếng nói để tương tác với thiết bị.

Có thể kể đến rất nhiều các hệ thống cũng như các công ty lớn trên thế giới đã áp dụng công nghệ này như: Google,Microsoft Corporation (Microsoft Voice Command), Digital Syphon (Sonic Extractor), LumenVox, Nuance Communications (Nuance Voice Control), VoiceBox Technology,…  Trong giáo dục: Các hệ thống nhận dạng tiếng nói có độ chính xác cao sẽ là rất hữu ích cho những người muốn học một ngôn ngữ thứ hai. Các hệ 3 thống nhận dạng có thể được dùng để đánh giá độ phát âm chính xác của người học [2].  Đối với người khuyết tật: Nhận dạng tiếng nói có thể giúp những người khuyết tật vận động, vẫn có thể đi lại trên xe lăn hoặc sử dụng các thiết bị điện tử như máy tính, điện thoại hay ti vi bằng cách gửi lệnh điều khiển thông qua giọng nói.  Trong giao tiếp: Với mục tiêu xóa bỏ rào cản ngôn ngữ, nhận dạng tiếng nói được ứng dụng để xây dựng các hệ thống dịch máy tự động nhằm giúp con người có thể nói chuyện với nhau bằng tiếng mẹ đẻ của mình ở bất kỳ đâu trên thế giới. Nhận dạng tiếng nói là một khâu trong hệ thống này, nó thu thập tín hiệu tiếng nói, nhận dạng và chuyển thành dạng văn bản. Sau đó phần dịch tự động sẽ chuyển nội dung văn bản này sang một văn bản khác ở một ngôn ngữ khác với cùng một nội dung.

Hiện nay đã có một số phần mềm đã được đưa vào ứng dụng như: Phần mềm Siri chạy trên hệ điều hành IOS của công ty Apple.  Còn rất nhiều các ứng dụng khác có thể kể ra như công nghệ nhà thông minh, nhập dữ liệu bằng giọng nói, robot, … Từ các ứng dụng tiêu biểu như trên cho thấy những ý nghĩa khoa học cũng như ý nghĩa về ứng dụng trong cuộc sống của nhận dạng tiếng nói là rất đa dạng và hữu ích. Nó khẳng định việc nghiên cứu và ứng dụng nhận dạng tiếng nói trong cuộc sống vẫn còn tiếp tục đặt ra những thách thức và nhiều bài toán khó cho các nhà khoa học. Các vấn đề trong nhận dạng tiếng nói Nhận dạng tiếng nói là một dạng bài toán trong lĩnh vực nhận dạng mẫu, vì vậy cũng tồn tại những khó khăn tương tự như các bài toán nhận dạng khác. Ngoài ra còn tồn tại một số vấn đề khác do đặc tính biến đổi ngẫu nhiên của tín hiệu tiếng nói.

Các vấn đề chính ảnh hưởng đến độ chính xác và hiệu suất làm việc của một hệ thống nhận dạng tiếng nói [1] [3] [4] [5] có thể kể đến như sau:  Vấn đề phụ thuộc người nói: Mỗi người nói sẽ có cấu trúc của bộ máy tạo âm khác nhau dẫn đến đặc tính của tiếng nói phát ra chịu ảnh hưởng rất 4 nhiều vào người nói. Ngay cả đối với một người nói khi phát âm cùng một câu thì tiếng nói phát ra cũng có thể khác nhau, tình trạng cảm xúc, sức khỏe, độ tuổi khác nhau. Xét theo đặc tính phụ thuộc người nói thì nhận dạng tiếng nói có thể phân chia làm hai loại. Một là nhận dạng tiếng nói phụ thuộc người nói, các hệ thống này được xây dựng chuyên biệt để chỉ làm việc với tiếng nói của một người hoặc vài người nhất định.

Loại thứ hai là nhận dạng độc lập với người nói, tức là hệ thống nhận dạng được xây dựng để nhận dạng cho tiếng nói của bất kỳ người nào. Thông thường tỷ lệ lỗi nhận dạng tiếng nói của hệ thống độc lập với người nói thường cao hơn so với hệ thống nhận dạng tiếng nói phụ thuộc người nói.  Vấn đề về tốc độ phát âm, hiện tượng đồng phát âm: Trong một phát âm liên tục mỗi âm thường chịu ảnh hưởng rất lớn từ các âm trước và sau nó. Vì vậy các từ được phát âm rời rạc khi nhận dạng sẽ có độ chính xác cao hơn là các từ trong một phát âm liên tục. Do chất lượng nhận dạng cho một chuỗi phát âm liên tục còn phụ thuộc thêm vào việc phát hiện biên và khoảng trống giữa hai từ.

Khi người nói phát âm với tốc độ cao thì khoảng trống và biên giữa các từ sẽ bị thu hẹp dẫn đến việc phân đoạn từng từ có thể bị nhầm lẫn hoặc trùm lên nhau làm ảnh hưởng đến độ chính xác cho việc nhận dạng từ đó.  Vấn đề về kích thước của bộ từ vựng (từ điển): Kích thước từ điển là số lượng tất cả các từ khác nhau mà một hệ thống nhận dạng cụ thể có khả năng nhận dạng được. Kích thước bộ từ điển càng lớn thì độ phức tạp của hệ thống nhận dạng càng cao. Tỷ lệ lỗi của hệ thống nhận dạng luôn tỷ lệ thuận với kích thước của bộ từ điển.  Vấn đề nhiễu: Trong thực tế tín hiệu tiếng nói thường bị ảnh hưởng bởi các tạp âm từ môi trường ngoài như phương tiện giao thông, tiếng động vật, hay tiếng nói của một hoặc nhiều người khác nói cùng thời điểm.