Luận Văn Thạc Sĩ: Áp Dụng Mô Hình Mạng Nơ-Ron End-To-End Để Nhận Dạng Tiếng Nói Tiếng Việt

Luận văn thạc sĩ nghiên cứu áp dụng mô hình mạng nơ ron end-to-end trong nhận dạng tiếng nói tiếng Việt, hướng đến cải thiện độ chính xác và hiệu quả.

Trường đại học

Đại học Thái Nguyên

Người đăng

Ẩn danh

Thể loại

Luận văn thạc sĩ

2019

69
1
0

Phí lưu trữ

30 Point

Tóm tắt

I. Tổng quan về nhận dạng tiếng nói

Nhận dạng tiếng nói là quá trình chuyển đổi tín hiệu âm thanh thành văn bản. Mô hình mạng nơ-ronxử lý ngôn ngữ tự nhiên đóng vai trò quan trọng trong lĩnh vực này. Tiếng Việt là ngôn ngữ có thanh điệu, gây khó khăn trong nhận dạng. Các phương pháp truyền thống như mô hình Markov ẩn (HMM)mạng nơ-ron nhân tạo đã được áp dụng. Tuy nhiên, mô hình end-to-end đang được nghiên cứu để cải thiện hiệu quả.

1.1. Ứng dụng của nhận dạng tiếng nói

Nhận dạng tiếng nói được ứng dụng rộng rãi trong nhiều lĩnh vực như y tế, quân đội, giáo dục, và giao tiếp. Công nghệ AI giúp xây dựng hệ thống tương tác bằng giọng nói, hỗ trợ người khuyết tật, và dịch máy tự động. Hệ thống nhận dạng cũng được sử dụng trong nhà thông minh và robot, mang lại tiện ích lớn trong cuộc sống.

1.2. Khó khăn trong nhận dạng tiếng nói

Các yếu tố như nhiễu, tốc độ nói, và kích thước từ điển ảnh hưởng đến chất lượng nhận dạng. Tiếng Việt có sáu thanh điệu, làm tăng độ phức tạp. Các đặc trưng như MFCCPLP không mô tả được thanh điệu, đòi hỏi kỹ thuật tính toán đặc trưng riêng.

II. Mô hình mạng nơ ron học sâu end to end

Mô hình mạng nơ-ron sâu (DNN)mô hình end-to-end (E2E) là hướng nghiên cứu mới. E2E tích hợp ba thành phần: mô hình phát âm (PM), mô hình ngữ âm (AM), và mô hình ngôn ngữ (LM). Phương pháp này giúp giảm thời gian huấn luyện và cải thiện chất lượng nhận dạng.

2.1. Thành phần của hệ thống nhận dạng

Hệ thống nhận dạng gồm trích chọn đặc trưng, mô hình ngữ âm, và mô hình ngôn ngữ. MFCCPLP là hai đặc trưng phổ biến. Mô hình HMM được sử dụng rộng rãi trong nhận dạng tiếng nói, nhưng mô hình DNN đang dần thay thế.

2.2. Ưu điểm của mô hình end to end

Mô hình end-to-end giúp huấn luyện trực tiếp trên dữ liệu chưa gán nhãn, giảm chi phí và thời gian. Phương pháp này đã được áp dụng thành công trên các ngôn ngữ khác, mang lại kết quả khả quan trong nhận dạng tiếng nói.

III. Áp dụng mô hình end to end cho tiếng Việt

Tiếng Việt có cấu trúc ngữ âm phức tạp với sáu thanh điệu. Mô hình end-to-end được đề xuất để nhận dạng tiếng Việt, kết hợp mô hình ngôn ngữhọc sâu. Thử nghiệm thực tế cho thấy hiệu quả vượt trội so với mô hình DNN truyền thống.

3.1. Cấu trúc ngữ âm tiếng Việt

Tiếng Việt có bộ âm vị và thanh điệu đặc trưng. Các đặc trưng thanh điệu cần được tính toán riêng để cải thiện nhận dạng. Mô hình end-to-end giúp xử lý hiệu quả các đặc trưng này.

3.2. Kết quả thử nghiệm

Thử nghiệm trên bộ dữ liệu tiếng Việt cho thấy mô hình end-to-end đạt độ chính xác cao hơn so với mô hình DNN. Kết quả này khẳng định tiềm năng ứng dụng của mô hình end-to-end trong nhận dạng tiếng Việt.

01/03/2025
Luận văn thạc sĩ nghiên cứu áp dụng mô hình mạng nơ ron end to end cho nhận dạng tiếng nói tiếng việt

Trích đoạn nội dung tài liệu

Mở đầu Giới thiệu tổng quan về nhận dạng tiếng nói và ứng dụng. Các vấn đề khó khăn cần giải quyết trong lĩnh vực nhận dạng tiếng nói. Giới thiệu tổng quan về tình hình nghiên cứu nhận dạng tiếng Việt trong và ngoài nước. Giới thiệu các nội dung nghiên cứu chính của luận văn.

Tổng quan về nhận dạng tiếng nói 1. Nhận dạng tiếng nói Nhận dạng tiếng nói là quá trình biến đổi tín hiệu âm thanh thu được của người nói, thành một chuỗi các từ có nội dung tương ứng dưới dạng văn bản. Nếu gọi tín hiệu tiếng nói thu được trên miền thời gian là s(t), thì s(t) đầu tiên sẽ được rời rạc hóa để xử lý và trích chọn ra các thông tin quan trọng. Kết quả thu được là một chuỗi các vector đặc trưng tương ứng X={x1, x2, x3,…, xN}.

Sau đó nhiệm vụ của hệ thống nhận dạng tiếng nói là tìm ra một chuỗi các từ ̂ ={ w1, w2, w3,…, wL} có nội dung tương ứng với X về mặt ngữ nghĩa.1) [1] mô tả mô hình toán học của một hệ thống nhận dạng tiếng nói theo nguyên lý xác suất của Bayes. Hầu hết các hệ thống nhận dạng tiếng nói thống kê ngày nay đều dựa trên mô hình này.1) ( ) Trong đó P(W) là xác suất của chuỗi W, giá trị này có thể được tính toán thông qua một mô hình ngôn ngữ n-gram và nó hoàn toàn độc lập với tín hiệu tiếng nói X. Giá trị P(X) có thể được bỏ qua do giá trị của nó không thay đổi trong một bộ dữ liệu cụ thể với tất các chuỗi dự đoán W. Các hệ thống nhận dạng tiếng nói hiện nay có thể được phân loại theo các cách như sau: 1  Nhận dạng các từ phát âm rời rạc hoặc liên tục.  Nhận dạng tiếng nói phụ thuộc hoặc không phụ thuộc người nói.  Nhận dạng với hệ thống từ vựng nhỏ (vài trăm từ) hoặc từ vựng lớn (hàng nghìn từ).  Nhận dạng tiếng nói trong môi trường nhiễu cao hoặc thấp.

Ứng dụng Cùng với sự phát triển nhanh chóng của các thiết bị tính toán tốc độ cao như máy tính, điện thoại thông minh, vi xử lý - vi điều khiển, ngày nay nhận dạng tiếng nói được ứng dụng cho rất nhiều các lĩnh vực trong cuộc sống. Có thể kể đến một số ứng dụng trong một số lĩnh vực chính như sau:  Trong ngành công nghiệp ôtô: Nhận dạng tiếng nói được ứng dụng để xây dựng các module tương tác giữa người lái với xe ôtô. Hãng xe Audi của Đức là một trong các hãng xe đã ứng dụng thành công và phổ biến công nghệ này. Người lái xe có thể tắt mở hệ thống âm thanh, điều chỉnh âm lượng, hoặc ra lệnh tìm đích đến cho hệ thống dẫn đường bằng giọng nói.  Trong lĩnh vực y tế: Nhận dạng tiếng nói có thể được ứng dụng để tạo ra các hệ thống nhập hoặc tìm kiếm thông tin bệnh nhân tự động.

Người bệnh có thể trả lời các câu hỏi trên một mẫu phiếu khai đã được tích hợp vào một hệ thống nhận dạng tiếng nói khi khám bệnh, hệ thống này sẽ nhận dạng tín hiệu tiếng nói của người bệnh và dịch nó sang dạng văn bản để điền tự động vào mẫu văn bản trên máy tính. Đối với các bệnh viện lớn, nhận dạng tiếng nói cũng có thể được ứng dụng để xây dựng các hệ thống tìm kiếm thông tin bệnh nhân đã có sẵn trong hồ sơ của bệnh viện. Nếu hồ sơ của bệnh nhân đã có trong bệnh viện, người bệnh chỉ cần nói một câu bất kỳ, hệ thống sẽ nhận dạng và tìm ra số hiệu của bệnh nhân đó thông qua giọng nói đặc trưng của họ, từ đó tự động tìm kiếm hồ sơ trong cơ sở dữ liệu. Nhận dạng tiếng nói còn được ứng dụng để ghi chép và tóm tắt tự động các đánh giá, nhận xét hoặc các lời khuyên của bác sỹ vào đơn thuốc của bệnh nhân.  Trong quân đội: 2 o Đối với các phi công lái máy chiến đấu, thông thường họ phải thực hiện nhiều thao tác trong quá trình điều khiển máy bay.

Các thao tác này lại yêu cầu chính xác và nhanh. Nhận dạng tiếng nói có thể được ứng dụng để xây dựng các hệ thống tương tác bằng tiếng nói hỗ trợ phi công như: thiết lập tần số radio; chỉ huy hệ thống lái tự động; thiết lập tọa độ và thông số vũ khí; kiểm soát hiển thị chuyến bay. Các hệ thống này góp phần đáng kể trong việc giảm khối lượng công việc và nâng cao hiệu quả cũng như độ chính xác trong việc điều khiển máy bay cho các phi công. o Đối với máy bay trực thăng: Việc trao đổi thông tin qua radio trên máy bay trực thăng gặp rất nhiều khó khăn và trở ngại do ảnh hưởng của tiếng ồn.

Trong trường hợp này nhận dạng tiếng nói được ứng dụng để xây dựng các hệ thống hỗ trợ liên lạc, nó có chức năng xử lý và nhận dạng tiếng nói của phi công trong môi trường ồn nhằm nâng cao độ chính xác của thông tin trong trường hợp con người gặp khó khăn trong việc nghe thông tin từ phi công.  Trong viễn thông và giải trí: Đây là lĩnh vực mà nhận dạng tiếng nói được ứng dụng rộng rãi và đa dạng nhất. Trong viễn thông nhận dạng tiếng nói được áp dụng để xây dựng các tổng đài trả lời tự động bằng cách nhận dạng và phân loại câu hỏi của người gọi, hoặc các hệ thống dịch vụ tự động. Trong giải trí nhận dạng tiếng nói được áp dụng để tạo ra các thiết bị cho phép người điều khiển sử dụng tiếng nói để tương tác với thiết bị.

Có thể kể đến rất nhiều các hệ thống cũng như các công ty lớn trên thế giới đã áp dụng công nghệ này như: Google,Microsoft Corporation (Microsoft Voice Command), Digital Syphon (Sonic Extractor), LumenVox, Nuance Communications (Nuance Voice Control), VoiceBox Technology,…  Trong giáo dục: Các hệ thống nhận dạng tiếng nói có độ chính xác cao sẽ là rất hữu ích cho những người muốn học một ngôn ngữ thứ hai. Các hệ 3 thống nhận dạng có thể được dùng để đánh giá độ phát âm chính xác của người học [2].  Đối với người khuyết tật: Nhận dạng tiếng nói có thể giúp những người khuyết tật vận động, vẫn có thể đi lại trên xe lăn hoặc sử dụng các thiết bị điện tử như máy tính, điện thoại hay ti vi bằng cách gửi lệnh điều khiển thông qua giọng nói.  Trong giao tiếp: Với mục tiêu xóa bỏ rào cản ngôn ngữ, nhận dạng tiếng nói được ứng dụng để xây dựng các hệ thống dịch máy tự động nhằm giúp con người có thể nói chuyện với nhau bằng tiếng mẹ đẻ của mình ở bất kỳ đâu trên thế giới. Nhận dạng tiếng nói là một khâu trong hệ thống này, nó thu thập tín hiệu tiếng nói, nhận dạng và chuyển thành dạng văn bản. Sau đó phần dịch tự động sẽ chuyển nội dung văn bản này sang một văn bản khác ở một ngôn ngữ khác với cùng một nội dung.

Hiện nay đã có một số phần mềm đã được đưa vào ứng dụng như: Phần mềm Siri chạy trên hệ điều hành IOS của công ty Apple.  Còn rất nhiều các ứng dụng khác có thể kể ra như công nghệ nhà thông minh, nhập dữ liệu bằng giọng nói, robot, … Từ các ứng dụng tiêu biểu như trên cho thấy những ý nghĩa khoa học cũng như ý nghĩa về ứng dụng trong cuộc sống của nhận dạng tiếng nói là rất đa dạng và hữu ích. Nó khẳng định việc nghiên cứu và ứng dụng nhận dạng tiếng nói trong cuộc sống vẫn còn tiếp tục đặt ra những thách thức và nhiều bài toán khó cho các nhà khoa học. Các vấn đề trong nhận dạng tiếng nói Nhận dạng tiếng nói là một dạng bài toán trong lĩnh vực nhận dạng mẫu, vì vậy cũng tồn tại những khó khăn tương tự như các bài toán nhận dạng khác. Ngoài ra còn tồn tại một số vấn đề khác do đặc tính biến đổi ngẫu nhiên của tín hiệu tiếng nói.

Các vấn đề chính ảnh hưởng đến độ chính xác và hiệu suất làm việc của một hệ thống nhận dạng tiếng nói [1] [3] [4] [5] có thể kể đến như sau:  Vấn đề phụ thuộc người nói: Mỗi người nói sẽ có cấu trúc của bộ máy tạo âm khác nhau dẫn đến đặc tính của tiếng nói phát ra chịu ảnh hưởng rất 4 nhiều vào người nói. Ngay cả đối với một người nói khi phát âm cùng một câu thì tiếng nói phát ra cũng có thể khác nhau, tình trạng cảm xúc, sức khỏe, độ tuổi khác nhau. Xét theo đặc tính phụ thuộc người nói thì nhận dạng tiếng nói có thể phân chia làm hai loại. Một là nhận dạng tiếng nói phụ thuộc người nói, các hệ thống này được xây dựng chuyên biệt để chỉ làm việc với tiếng nói của một người hoặc vài người nhất định.

Loại thứ hai là nhận dạng độc lập với người nói, tức là hệ thống nhận dạng được xây dựng để nhận dạng cho tiếng nói của bất kỳ người nào. Thông thường tỷ lệ lỗi nhận dạng tiếng nói của hệ thống độc lập với người nói thường cao hơn so với hệ thống nhận dạng tiếng nói phụ thuộc người nói.  Vấn đề về tốc độ phát âm, hiện tượng đồng phát âm: Trong một phát âm liên tục mỗi âm thường chịu ảnh hưởng rất lớn từ các âm trước và sau nó. Vì vậy các từ được phát âm rời rạc khi nhận dạng sẽ có độ chính xác cao hơn là các từ trong một phát âm liên tục. Do chất lượng nhận dạng cho một chuỗi phát âm liên tục còn phụ thuộc thêm vào việc phát hiện biên và khoảng trống giữa hai từ.

Khi người nói phát âm với tốc độ cao thì khoảng trống và biên giữa các từ sẽ bị thu hẹp dẫn đến việc phân đoạn từng từ có thể bị nhầm lẫn hoặc trùm lên nhau làm ảnh hưởng đến độ chính xác cho việc nhận dạng từ đó.  Vấn đề về kích thước của bộ từ vựng (từ điển): Kích thước từ điển là số lượng tất cả các từ khác nhau mà một hệ thống nhận dạng cụ thể có khả năng nhận dạng được. Kích thước bộ từ điển càng lớn thì độ phức tạp của hệ thống nhận dạng càng cao. Tỷ lệ lỗi của hệ thống nhận dạng luôn tỷ lệ thuận với kích thước của bộ từ điển.  Vấn đề nhiễu: Trong thực tế tín hiệu tiếng nói thường bị ảnh hưởng bởi các tạp âm từ môi trường ngoài như phương tiện giao thông, tiếng động vật, hay tiếng nói của một hoặc nhiều người khác nói cùng thời điểm.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ

Tài liệu "Nghiên cứu áp dụng mô hình mạng nơ-ron end-to-end cho nhận dạng tiếng nói tiếng Việt" tập trung vào việc ứng dụng mô hình mạng nơ-ron end-to-end để cải thiện độ chính xác và hiệu quả trong nhận dạng tiếng nói tiếng Việt. Nghiên cứu này mang lại lợi ích lớn cho các nhà phát triển và chuyên gia AI, giúp họ hiểu rõ hơn về cách tối ưu hóa các mô hình học sâu cho ngôn ngữ tiếng Việt, một ngôn ngữ có đặc thù riêng về ngữ âm và ngữ điệu.

Để mở rộng kiến thức về chủ đề này, bạn có thể tham khảo Luận văn thạc sĩ hcmute ứng dụng neural network vào nhận dạng tiếng nói trên kit arm cortex m3, nghiên cứu này đi sâu vào việc triển khai mạng nơ-ron trên phần cứng cụ thể. Ngoài ra, Luận văn thạc sĩ hcmute nhận dạng tiếng nói tiếng việt dùng mạng nơron triển khai trên kit arm cung cấp góc nhìn chi tiết về việc áp dụng mạng nơ-ron cho tiếng Việt trên nền tảng ARM. Cuối cùng, Luận văn thạc sĩ hcmute nhận dạng tiếng nói dùng giải thuật trích đặc trưng mfcc và lượng tử vector trên kit dsktms320c6713 của ti sẽ giúp bạn hiểu thêm về các phương pháp trích xuất đặc trưng âm thanh, một yếu tố quan trọng trong nhận dạng tiếng nói.

Mỗi liên kết trên là cơ hội để bạn khám phá sâu hơn về các khía cạnh khác nhau của nhận dạng tiếng nói, từ lý thuyết đến ứng dụng thực tế.