Luận văn thạc sĩ HCMUTE về nhận dạng tiếng nói sử dụng mạng neural

• Tác giả: Đinh Thị Thanh Hoa
• Người hướng dẫn: PGS.TS Dương Hoài Nghĩa
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
• Chuyên ngành: Kỹ Thuật Điện Tử
• Đề tài: Nhận Dạng Tiếng Nói Dùng Mạng Neural
• Loại tài liệu: luận văn
• Năm xuất bản: 2013
• Địa điểm: Thành phố Hồ Chí Minh

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• TÓM TẮT
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Tổng quan về lĩnh vực nghiên cứu
• 1.2. Mục đích của đề tài
• 1.3. Nhiệm vụ và giới hạn của đề tài
• 1.3.1. Nhiệm vụ của đề tài
• 1.3.2. Giới hạn của đề tài
• 1.4. Phương pháp nghiên cứu
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Lý thuyết âm thanh và tiếng nói
• 2.1.1. Nguồn gốc âm thanh
• 2.1.2. Các đại lượng đặc trưng cho âm thanh
• 2.1.3. Các tần số của âm thanh
• 2.1.4. Cơ chế tạo lập tiếng nói của con người
• 2.1.5. Mô hình lọc nguồn cho quá trình tạo tiếng nói
• 2.1.6. Hệ thống nghe của tai người
• 2.1.7. Quá trình tạo ra tiếng nói và thu nhận tiếng nói của con người
• 2.1.8. Các âm thanh tiếng nói và các đặc trưng
• 2.2. Lý thuyết nhận dạng tiếng nói
• 2.2.1. Tổng quan về nhận dạng tiếng nói
• 2.2.2. Các nguyên tắc cơ bản trong nhận dạng tiếng nói
• 2.2.3. Các phương pháp nhận dạng tiếng nói phổ biến
• 2.2.4. Các quá trình cơ bản của một hệ thống nhận dạng tiếng nói
• 3. CHƯƠNG 3: TỔNG QUAN VỀ MẠNG NEURAL
• 3.1. Giới thiệu tổng quan về mạng Neural
• 3.1.1. Mạng Neural sinh học
• 3.1.2. Mạng Neural nhân tạo
• 3.1.2.1. Lịch sử phát triển của mạng Neural nhân tạo
• 3.1.2.2. Các tính chất của mạng Neural nhân tạo
• 3.1.2.3. Mô hình Neural và kiến trúc mạng
• 3.1.2.3.1. Mô hình Neural
• 3.1.2.3.1.1. Mô hình Neural đơn giản
• 3.1.2.3.1.2. Mô hình Neural nhiều ngõ vào
• 3.1.2.3.2. Kiến trúc mạng Neural
• 3.1.2.3.2.1. Mạng Neural đơn lớp
• 3.1.2.3.2.2. Mạng Neural đa lớp
• 3.1.2.3.2.3. Mạng Neural hồi qui
• 3.2. Phương thức làm việc của mạng Neural
• 3.3. Vấn đề thiết kế cấu trúc mạng
• 3.3.1. Số lớp ẩn
• 3.3.2. Số đơn vị trong lớp ẩn
• 3.4. Thuật toán lan truyền ngược
• 3.4.1. Chỉ số hiệu năng
• 3.4.2. Lan truyền ngược độ nhạy cảm
• 3.5. Ứng dụng mạng Neural trong nhận dạng
• 4. CHƯƠNG 4: XÂY DỰNG HỆ NHẬN DẠNG
• 4.1. Xây dựng hệ thống nhận dạng
• 4.1.1. Mô tả chung về hệ thống
• 4.1.2. Sơ đồ khối của hệ thống
• 4.1.3. Phương pháp giải quyết
• 4.1.3.1. Thu nhận tín hiệu
• 4.1.3.2. Trích đặc trưng tiếng nói
• 4.1.3.3. Tính đầu vào cho mạng
• 4.2. Chương trình nhận dạng mười chữ số tiếng Việt
• 4.2.1. Giao diện phần mềm demo
• 4.2.2. Kết quả thử nghiệm
• 4.2.2.1. Những kết quả đạt được
• 4.2.2.2. Hướng phát triển của đề tài
• 4.2.2.2.1. Xây dựng bộ dữ liệu lớn hơn
• 4.3. Xây dựng phần mềm nhận dạng dựa trên kết quả nghiên cứu
• 4.4. Nghiên cứu các phương pháp xác định đặc trưng khác
• 4.5. Nghiên cứu các phương pháp nhận dạng khác
• 5. CHƯƠNG 5: KẾT LUẬN
• TÀI LIỆU THAM KHẢO

I. Tổng quan về nhận dạng tiếng nói

Nhận dạng tiếng nói là một lĩnh vực nghiên cứu quan trọng trong công nghệ thông tin, với mục tiêu chuyển đổi âm thanh thành văn bản. Nhận dạng tiếng nói có thể ứng dụng trong nhiều lĩnh vực như điều khiển thiết bị, an ninh và giải trí. Tuy nhiên, việc phát triển hệ thống nhận dạng tiếng nói cho tiếng Việt gặp nhiều thách thức do đặc điểm ngữ âm và thanh điệu riêng biệt. Các nghiên cứu hiện tại chủ yếu tập trung vào việc cải thiện độ chính xác và khả năng nhận diện từ vựng. Theo nghiên cứu, các hệ thống nhận dạng tiếng nói hiện tại vẫn chưa đạt được độ chính xác mong muốn, đặc biệt là trong việc nhận diện tiếng Việt. Do đó, việc nghiên cứu và phát triển các phương pháp mới như mạng neural là cần thiết để nâng cao hiệu quả của hệ thống nhận dạng tiếng nói.

1.1. Các nghiên cứu trong và ngoài nước

Nghiên cứu về nhận dạng tiếng nói đã diễn ra trên toàn cầu trong hơn bốn thập kỷ. Các hệ thống như IBM ViaVoice và Dragon Naturally Speaking đã đạt được những thành công nhất định trong việc nhận diện tiếng Anh. Tuy nhiên, tiếng Việt vẫn là một thách thức lớn do sự đa dạng trong cách phát âm và thanh điệu. Các nghiên cứu trong nước còn hạn chế, với một số phần mềm nhận dạng tiếng Việt như VnCommand và VnDictator chỉ mới ở giai đoạn thử nghiệm. Những nghiên cứu này cho thấy sự cần thiết phải phát triển các phương pháp mới, đặc biệt là ứng dụng mạng neural để cải thiện khả năng nhận diện tiếng nói trong tiếng Việt.

II. Cơ sở lý thuyết về mạng neural

Mạng neural là một trong những công nghệ tiên tiến nhất trong lĩnh vực nhận dạng tiếng nói. Mạng neural nhân tạo mô phỏng cách thức hoạt động của não bộ con người, cho phép máy tính học hỏi và cải thiện khả năng nhận diện qua thời gian. Các mô hình mạng neural như mạng nơ-ron đa lớp (MLP) và mạng hồi quy (RNN) đã được áp dụng rộng rãi trong việc xử lý âm thanh và nhận diện tiếng nói. Việc sử dụng học sâu (deep learning) trong mạng neural đã giúp cải thiện đáng kể độ chính xác của các hệ thống nhận dạng tiếng nói. Các thuật toán như lan truyền ngược (backpropagation) giúp tối ưu hóa quá trình học của mạng, từ đó nâng cao khả năng nhận diện âm thanh và ngữ nghĩa của tiếng nói.

2.1. Lịch sử phát triển của mạng neural

Mạng neural đã trải qua nhiều giai đoạn phát triển từ những năm 1950. Ban đầu, các mô hình mạng neural đơn giản chỉ có khả năng giải quyết các bài toán cơ bản. Tuy nhiên, với sự phát triển của công nghệ máy tính và các thuật toán học máy, mạng neural đã trở nên phức tạp hơn và có khả năng xử lý các dữ liệu lớn. Các nghiên cứu gần đây đã chỉ ra rằng việc áp dụng mạng neural trong nhận dạng tiếng nói có thể mang lại những kết quả ấn tượng, với độ chính xác cao hơn so với các phương pháp truyền thống. Điều này mở ra nhiều cơ hội cho việc phát triển các ứng dụng thực tiễn trong cuộc sống hàng ngày.

III. Xây dựng hệ thống nhận dạng tiếng nói

Quá trình xây dựng hệ thống nhận dạng tiếng nói bao gồm nhiều bước quan trọng, từ thu thập dữ liệu âm thanh đến xử lý và nhận diện. Đầu tiên, việc thu thập dữ liệu âm thanh cần được thực hiện trong môi trường yên tĩnh để đảm bảo chất lượng tín hiệu. Sau đó, các đặc trưng âm thanh sẽ được trích xuất bằng phương pháp MFCC (Mel-Frequency Cepstral Coefficients), một kỹ thuật phổ biến trong nhận dạng tiếng nói. Cuối cùng, dữ liệu sẽ được đưa vào mạng neural để huấn luyện và nhận diện. Hệ thống này không chỉ giúp nhận diện các chữ số tiếng Việt mà còn có thể mở rộng để nhận diện các từ và câu phức tạp hơn trong tương lai.

3.1. Kết quả thử nghiệm

Kết quả thử nghiệm cho thấy hệ thống nhận dạng tiếng nói sử dụng mạng neural có khả năng nhận diện chính xác các chữ số tiếng Việt. Các thử nghiệm được thực hiện trên môi trường Matlab, cho thấy độ chính xác đạt được là khá cao, mặc dù vẫn còn một số hạn chế cần khắc phục. Việc cải thiện độ chính xác và khả năng nhận diện trong các điều kiện khác nhau là một thách thức lớn. Tuy nhiên, những kết quả ban đầu này cho thấy tiềm năng lớn của việc ứng dụng mạng neural trong lĩnh vực nhận dạng tiếng nói tại Việt Nam.

Tổng quan nghiên cứu

Nhận dạng tiếng nói là một lĩnh vực nghiên cứu quan trọng trong ngành kỹ thuật điện tử và công nghệ thông tin, với ứng dụng rộng rãi trong điều khiển thiết bị, an ninh quốc phòng, và giao tiếp người-máy. Theo báo cáo của ngành, các hệ thống nhận dạng tiếng Anh hiện nay đạt độ chính xác khoảng 90-95%, tuy nhiên đối với tiếng Việt, lĩnh vực này còn khá mới mẻ và chưa có phần mềm nhận dạng tiếng Việt hoàn chỉnh trên thị trường. Tiếng Việt có nhiều đặc điểm riêng biệt như thanh điệu và biến đổi âm thanh theo ngữ cảnh, gây khó khăn cho việc nhận dạng chính xác.

Mục tiêu của luận văn là nghiên cứu và xây dựng hệ thống nhận dạng tiếng nói tiếng Việt sử dụng mạng Neural nhân tạo, thử nghiệm trên môi trường Matlab. Phạm vi nghiên cứu tập trung vào nhận dạng 11 chữ số tiếng Việt, với dữ liệu thu thập và xử lý trong khoảng thời gian thực hiện luận văn tại Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh năm 2013. Ý nghĩa của nghiên cứu thể hiện qua việc nâng cao độ chính xác nhận dạng tiếng Việt, góp phần phát triển các ứng dụng điều khiển bằng giọng nói và giao tiếp người-máy phù hợp với đặc thù ngôn ngữ Việt Nam.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai khung lý thuyết chính: lý thuyết âm thanh và tiếng nói, cùng với mô hình mạng Neural nhân tạo.

1. Lý thuyết âm thanh và tiếng nói: Âm thanh được xem là sóng cơ học truyền qua môi trường đàn hồi, với các đại lượng đặc trưng như tần số, chu kỳ, cường độ và âm sắc. Tiếng nói của con người được tạo ra bởi các cơ quan phát âm như phổi, thanh quản, miệng và mũi, với các loại âm thanh hữu thanh, vô thanh và bán nguyên âm. Mô hình lọc nguồn (source-filter model) được sử dụng để mô phỏng quá trình tạo tiếng nói, trong đó tín hiệu nguồn được lọc qua bộ lọc biến thiên theo thời gian đại diện cho bộ phận phát âm.

2. Mạng Neural nhân tạo: Mạng Neural là mô hình toán học mô phỏng hoạt động của tế bào thần kinh sinh học, gồm các neuron nhân tạo kết nối với nhau qua các trọng số. Mạng Neural có khả năng học và thích nghi, xử lý phi tuyến và song song, phù hợp cho các bài toán nhận dạng mẫu phức tạp như nhận dạng tiếng nói. Luận văn tập trung vào mạng Neural đa lớp (Multilayer Perceptron) với thuật toán học lan truyền ngược (Backpropagation) để huấn luyện mạng.

Các khái niệm chính bao gồm: đặc trưng MFCC (Mel-Frequency Cepstral Coefficients) dùng để trích xuất đặc trưng âm thanh, mô hình mạng Neural đa lớp, hàm kích hoạt sigmoid, và thuật toán lan truyền ngược để tối ưu trọng số mạng.

Phương pháp nghiên cứu

Nguồn dữ liệu nghiên cứu là tập tín hiệu tiếng nói gồm 11 chữ số tiếng Việt được thu thập và xử lý trên môi trường Matlab. Cỡ mẫu cụ thể không được nêu rõ, tuy nhiên dữ liệu được chuẩn hóa và cắt bỏ khoảng lặng để đảm bảo chất lượng.

Phương pháp phân tích bao gồm:

• Trích xuất đặc trưng tiếng nói bằng phương pháp MFCC, mô phỏng quá trình cảm nhận âm thanh của tai người.
• Xây dựng và huấn luyện mạng Neural đa lớp sử dụng thuật toán lan truyền ngược để nhận dạng các chữ số.
• Đánh giá hiệu năng mạng dựa trên độ chính xác nhận dạng từng chữ số.

Timeline nghiên cứu kéo dài trong quá trình học cao học tại Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh, với các bước chính: nghiên cứu lý thuyết, xây dựng mô hình, huấn luyện và thử nghiệm trên Matlab.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả trích xuất đặc trưng MFCC: Phương pháp MFCC cho phép trích xuất các đặc trưng âm thanh quan trọng, phù hợp với đặc điểm tiếng Việt, giúp phân biệt các chữ số với độ chính xác cao. Tín hiệu sau xử lý có độ ổn định và giảm nhiễu nền đáng kể.

2. Mạng Neural đa lớp đạt độ chính xác cao trong nhận dạng: Kết quả huấn luyện mạng Neural trên Matlab cho thấy độ chính xác nhận dạng các chữ số dao động trong khoảng 85-95%, với một số chữ số đạt trên 90%. Bảng tổng hợp kết quả nhận dạng cho thấy mạng có khả năng phân biệt tốt các mẫu đầu vào.

3. Khả năng nhận dạng độc lập người nói: Hệ thống được thiết kế để nhận dạng không phụ thuộc người nói, giúp mở rộng ứng dụng trong thực tế. Độ chính xác duy trì ổn định khi thử nghiệm với các mẫu từ nhiều người khác nhau.

4. Giới hạn về bộ dữ liệu và phạm vi từ vựng: Do giới hạn về thời gian và nguồn lực, hệ thống chỉ nhận dạng được 11 chữ số tiếng Việt, chưa mở rộng được bộ từ vựng lớn hơn. Điều này ảnh hưởng đến khả năng ứng dụng trong các lĩnh vực phức tạp hơn.

Thảo luận kết quả

Nguyên nhân chính giúp mạng Neural đạt hiệu quả cao là do việc sử dụng đặc trưng MFCC phù hợp với đặc điểm âm học của tiếng Việt, kết hợp với thuật toán lan truyền ngược giúp tối ưu trọng số mạng hiệu quả. So với các nghiên cứu trước đây trong nước, kết quả này có sự cải thiện rõ rệt về độ chính xác và khả năng nhận dạng độc lập người nói.

So sánh với các hệ thống nhận dạng tiếng Anh thương mại, độ chính xác của hệ thống còn thấp hơn một chút, chủ yếu do đặc thù ngôn ngữ tiếng Việt phức tạp hơn và bộ dữ liệu còn hạn chế. Tuy nhiên, kết quả này là bước tiến quan trọng trong nghiên cứu nhận dạng tiếng Việt, mở ra hướng phát triển các ứng dụng điều khiển bằng giọng nói và giao tiếp người-máy phù hợp với ngôn ngữ bản địa.

Dữ liệu có thể được trình bày qua biểu đồ cột thể hiện độ chính xác nhận dạng từng chữ số, hoặc bảng tổng hợp kết quả huấn luyện và nhận dạng để minh họa hiệu năng mạng Neural.

Đề xuất và khuyến nghị

1. Mở rộng bộ dữ liệu tiếng nói: Thu thập và xây dựng bộ dữ liệu lớn hơn, đa dạng về người nói, môi trường thu âm và từ vựng để nâng cao độ chính xác và khả năng tổng quát của hệ thống. Thời gian thực hiện dự kiến 1-2 năm, do các trung tâm nghiên cứu và trường đại học phối hợp thực hiện.

2. Phát triển phần mềm nhận dạng tiếng Việt hoàn chỉnh: Dựa trên kết quả nghiên cứu, xây dựng phần mềm nhận dạng tiếng nói ứng dụng trong điều khiển thiết bị và giao tiếp người-máy. Mục tiêu đạt độ chính xác trên 90% với bộ từ vựng mở rộng trong vòng 2 năm, do các công ty công nghệ và nhóm nghiên cứu phát triển.

3. Nghiên cứu các phương pháp trích đặc trưng mới: Thử nghiệm các kỹ thuật trích đặc trưng khác như PLP (Perceptual Linear Prediction) hoặc kết hợp đa đặc trưng để cải thiện khả năng nhận dạng trong môi trường nhiễu. Thời gian nghiên cứu khoảng 1 năm, do các nhóm nghiên cứu chuyên sâu về xử lý tín hiệu thực hiện.

4. Ứng dụng các mô hình nhận dạng khác: Nghiên cứu và áp dụng các mô hình mạng Neural tiên tiến như mạng hồi quy (Recurrent Neural Networks - RNN), mạng LSTM để mô hình hóa tốt hơn sự biến thiên theo thời gian của tiếng nói. Mục tiêu nâng cao độ chính xác và khả năng nhận dạng liên tục, thời gian thực hiện 1-2 năm, do các nhóm nghiên cứu AI và xử lý ngôn ngữ tự nhiên đảm nhiệm.

Đối tượng nên tham khảo luận văn

1. Sinh viên và nghiên cứu sinh ngành kỹ thuật điện tử, công nghệ thông tin: Nghiên cứu về xử lý tín hiệu, mạng Neural và nhận dạng tiếng nói có thể học hỏi phương pháp và kết quả thực nghiệm để phát triển đề tài liên quan.

2. Các nhà phát triển phần mềm và kỹ sư AI: Tham khảo để ứng dụng mạng Neural trong xây dựng hệ thống nhận dạng tiếng Việt, phát triển các sản phẩm điều khiển giọng nói và giao tiếp người-máy.

3. Các tổ chức nghiên cứu và doanh nghiệp công nghệ: Sử dụng kết quả nghiên cứu để phát triển các giải pháp nhận dạng tiếng nói phù hợp với đặc thù ngôn ngữ Việt Nam, nâng cao hiệu quả ứng dụng trong thực tế.

4. Giảng viên và nhà quản lý giáo dục: Áp dụng nội dung luận văn trong giảng dạy, đào tạo chuyên sâu về xử lý tín hiệu và trí tuệ nhân tạo, đồng thời định hướng nghiên cứu cho sinh viên.

Câu hỏi thường gặp

1. Mạng Neural nhân tạo là gì và tại sao được chọn cho nhận dạng tiếng nói?
   Mạng Neural nhân tạo là mô hình toán học mô phỏng hoạt động của tế bào thần kinh sinh học, có khả năng học và phân lớp dữ liệu phi tuyến phức tạp. Nó được chọn vì khả năng xử lý tốt các đặc trưng âm thanh đa chiều và thích nghi với biến đổi của tiếng nói.

2. Phương pháp MFCC có ưu điểm gì trong trích xuất đặc trưng tiếng nói?
   MFCC mô phỏng cách tai người cảm nhận tần số âm thanh, giúp trích xuất các đặc trưng quan trọng và ổn định, giảm ảnh hưởng của nhiễu và biến đổi môi trường, từ đó nâng cao độ chính xác nhận dạng.

3. Hệ thống nhận dạng tiếng nói có thể áp dụng cho những lĩnh vực nào?
   Ứng dụng trong điều khiển robot, thiết bị điện tử, trợ giúp người khuyết tật, an ninh quốc phòng, nhập liệu bằng giọng nói, và giao tiếp người-máy trong các thiết bị thông minh.

4. Độ chính xác nhận dạng của hệ thống hiện tại đạt mức nào?
   Hệ thống thử nghiệm đạt độ chính xác nhận dạng các chữ số tiếng Việt trong khoảng 85-95%, tùy thuộc vào chữ số và điều kiện thử nghiệm.

5. Làm thế nào để nâng cao độ chính xác nhận dạng tiếng Việt trong tương lai?
   Cần mở rộng bộ dữ liệu, áp dụng các mô hình mạng Neural tiên tiến như RNN, kết hợp đa đặc trưng âm thanh, và phát triển phần mềm nhận dạng hoàn chỉnh phù hợp với đặc thù tiếng Việt.

Kết luận

• Luận văn đã nghiên cứu và xây dựng thành công hệ thống nhận dạng 11 chữ số tiếng Việt sử dụng mạng Neural đa lớp trên môi trường Matlab với độ chính xác cao.
• Phương pháp trích xuất đặc trưng MFCC kết hợp mạng Neural cho kết quả nhận dạng ổn định và hiệu quả.
• Hệ thống có khả năng nhận dạng độc lập người nói, phù hợp với ứng dụng thực tế.
• Giới hạn hiện tại là bộ dữ liệu nhỏ và phạm vi từ vựng hạn chế, cần mở rộng trong nghiên cứu tiếp theo.
• Đề xuất phát triển phần mềm nhận dạng tiếng Việt hoàn chỉnh và nghiên cứu các mô hình mạng Neural tiên tiến để nâng cao hiệu quả nhận dạng trong tương lai.

Để tiếp tục phát triển lĩnh vực này, các nhà nghiên cứu và doanh nghiệp công nghệ được khuyến khích hợp tác mở rộng bộ dữ liệu và ứng dụng các kỹ thuật mới nhằm nâng cao chất lượng nhận dạng tiếng Việt.