Luận văn thạc sĩ HCMUTE về nhận dạng tiếng nói tiếng Việt sử dụng mạng nơron trên kit ARM

• Tác giả: Phan Văn Đầy
• Người hướng dẫn: PGS.TS Lê Tiến Thường
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
• Chuyên ngành: Kỹ Thuật Điện Tử
• Đề tài: Nhận Dạng Tiếng Nói Tiếng Việt Bằng Mạng Nơron Triển Khai Trên Kit ARM
• Loại tài liệu: luận văn
• Năm xuất bản: 2011
• Địa điểm: Tp. Hồ Chí Minh

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. MỞ ĐẦU
• 2. ĐẶC TRƯNG TIẾNG NÓI TIẾNG VIỆT
• 3. MẠNG NƠRON NHÂN TẠO
• 4. BỘ KIT LM3S2965
• 5. THIẾT KẾ HỆ THỐNG NHẬN DẠNG TIẾNG NÓI TIẾNG VIỆT
• TÀI LIỆU THAM KHẢO

I. Giới thiệu về nhận dạng tiếng nói tiếng Việt

Nhận dạng tiếng nói tiếng Việt là một lĩnh vực nghiên cứu quan trọng trong công nghệ thông tin và điện tử. Đề tài này tập trung vào việc phát triển một hệ thống nhận dạng tiếng nói sử dụng mạng nơron trên kit ARM. Mục tiêu chính là xây dựng chương trình nhận dạng tiếng nói tiếng Việt, khai thác tính năng của kit ARM để điều khiển cánh tay robot. Tiếng nói là một loại tín hiệu phức tạp, có sự biến thiên lớn giữa các người nói khác nhau. Do đó, việc nhận dạng tiếng nói đòi hỏi phải có các phương pháp xử lý tín hiệu hiệu quả. Hệ thống nhận dạng tiếng nói được xây dựng dựa trên các đặc trưng của tiếng nói và sử dụng mạng nơron để học và nhận diện các mẫu tiếng nói.

1.1. Tính năng của kit ARM

Kit ARM, đặc biệt là LM3S2965, có nhiều tính năng nổi bật như kiến trúc RISC, khả năng xử lý song song và tiết kiệm năng lượng. Kit này được thiết kế cho các ứng dụng nhúng, cho phép tích hợp dễ dàng vào các sản phẩm khác. Việc sử dụng kit ARM trong nghiên cứu này giúp tối ưu hóa quá trình nhận dạng tiếng nói, từ việc thu âm đến xử lý tín hiệu. Các lệnh lập trình hỗ trợ cho việc phát triển ứng dụng trên kit ARM cũng rất đa dạng, bao gồm ngôn ngữ ASM, C và C++. Điều này tạo điều kiện thuận lợi cho việc phát triển phần mềm nhận dạng tiếng nói tiếng Việt.

II. Phương pháp nhận dạng tiếng nói

Quá trình nhận dạng tiếng nói sử dụng mạng nơron để phân loại các mẫu tín hiệu tiếng nói. Đầu tiên, tín hiệu tiếng nói được thu âm và xử lý để trích xuất các đặc trưng cần thiết. Phương pháp MFCC (Mel-scale Frequency Cepstral Coefficient) được áp dụng để lấy mẫu tín hiệu, giúp cải thiện độ chính xác trong việc nhận diện. Sau khi trích xuất đặc trưng, mạng nơron sẽ được huấn luyện bằng các mẫu đã được lưu trữ. Kết quả của quá trình này là một mô hình có khả năng nhận diện các từ lệnh điều khiển cánh tay robot như “Kẹp”, “Nhả”, “Tiến”, “Lùi”, “Trái”, “Phải”, “Nâng”, “Hạ”, “Dừng”. Độ chính xác của chương trình nhận dạng tiếng nói trên máy tính cá nhân đạt khoảng 90%, tuy nhiên, trên kit ARM, độ chính xác còn hạn chế do một số yếu tố kỹ thuật.

2.1. Các bước xử lý tín hiệu

Quá trình xử lý tín hiệu bao gồm nhiều bước quan trọng. Đầu tiên, tín hiệu tiếng nói được lọc để loại bỏ nhiễu và chỉ giữ lại các thành phần âm thanh cần thiết. Sau đó, tín hiệu được chia thành các khung thời gian ngắn để phân tích. Việc xác định điểm đầu và điểm cuối của tín hiệu cũng rất quan trọng, giúp tách biệt các âm thanh cần nhận diện. Các phương pháp như lọc thông thấp và tách tín hiệu ra khỏi nền được áp dụng để cải thiện chất lượng tín hiệu. Cuối cùng, các đặc trưng tín hiệu được trích xuất và đưa vào mạng nơron để huấn luyện và nhận diện.

III. Kết quả và hướng phát triển

Kết quả của nghiên cứu cho thấy chương trình nhận dạng tiếng nói tiếng Việt có thể hoạt động hiệu quả trên máy tính cá nhân với độ chính xác cao. Tuy nhiên, khi triển khai trên kit ARM, độ chính xác giảm do một số hạn chế trong việc xử lý tín hiệu và khai thác tính năng của kit. Đề tài mở ra hướng nghiên cứu mới để cải thiện độ chính xác của hệ thống nhận dạng tiếng nói. Việc tối ưu hóa thuật toán và cải thiện quy trình thu âm có thể giúp nâng cao hiệu suất của hệ thống. Hơn nữa, việc mở rộng từ vựng và cải thiện khả năng nhận diện trong môi trường ồn ào cũng là những thách thức cần được giải quyết trong tương lai.

3.1. Định hướng nghiên cứu tiếp theo

Định hướng nghiên cứu tiếp theo sẽ tập trung vào việc cải thiện độ chính xác của hệ thống nhận dạng tiếng nói trên kit ARM. Các nghiên cứu có thể bao gồm việc áp dụng các thuật toán học sâu hơn, cải thiện quy trình thu âm và xử lý tín hiệu. Ngoài ra, việc mở rộng từ vựng và khả năng nhận diện trong các điều kiện âm thanh khác nhau cũng sẽ được xem xét. Các ứng dụng thực tiễn của hệ thống nhận dạng tiếng nói trong điều khiển robot và các thiết bị thông minh sẽ là mục tiêu chính trong các nghiên cứu tiếp theo.

Tổng quan nghiên cứu

Nhận dạng tiếng nói là một lĩnh vực nghiên cứu quan trọng trong kỹ thuật điện tử và công nghệ thông tin, đặc biệt trong bối cảnh phát triển các hệ thống điều khiển tự động và giao tiếp người-máy. Theo ước tính, tín hiệu tiếng nói chứa năng lượng chủ yếu trong dải tần từ 300 Hz đến 3,5 kHz, với đặc điểm biến đổi chậm theo thời gian, tạo điều kiện thuận lợi cho việc trích xuất đặc trưng và nhận dạng. Luận văn tập trung nghiên cứu nhận dạng tiếng nói Tiếng Việt sử dụng mạng nơron nhân tạo, triển khai trên Kit xử lý 32 bit ARM LM3S2965, nhằm xây dựng hệ thống nhận dạng các từ lệnh điều khiển cánh tay robot 5 bậc tự do như “Kẹp”, “Nhả”, “Tiến”, “Lùi”, “Trái”, “Phải”, “Nâng”, “Hạ”, “Dừng”.

Mục tiêu cụ thể của nghiên cứu là phát triển chương trình nhận dạng tiếng nói Tiếng Việt với độ chính xác cao trên máy tính cá nhân và triển khai nhúng chương trình này trên Kit ARM LM3S2965 để điều khiển robot. Phạm vi nghiên cứu được giới hạn trong bộ từ vựng nhỏ, phát âm trong điều kiện tiếng ồn thấp, với dữ liệu thu thập từ tác giả. Thời gian thực hiện nghiên cứu từ tháng 9/2010 đến tháng 2/2011 tại Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh.

Ý nghĩa của nghiên cứu thể hiện qua việc ứng dụng thành công công nghệ nhận dạng tiếng nói Tiếng Việt trên nền tảng nhúng nhỏ gọn, mở ra hướng phát triển các hệ thống điều khiển tự động bằng giọng nói trong các lĩnh vực công nghiệp và robot. Kết quả nhận dạng trên máy tính cá nhân đạt độ chính xác khoảng 90%, trong khi trên Kit ARM còn hạn chế do các yếu tố kỹ thuật, nhưng đã tạo nền tảng cho các nghiên cứu tiếp theo.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình sau:

• Đặc trưng tiếng nói Tiếng Việt: Tiếng Việt có cấu trúc âm tiết độc lập, không nối âm, với sáu thanh điệu đặc trưng ảnh hưởng đến cao độ và biến đổi tần số. Âm tiết gồm âm đầu, âm chính, âm đệm và thanh điệu, tạo nên đặc trưng riêng biệt cho từng từ. Tín hiệu tiếng nói được xem là tín hiệu ngẫu nhiên nhưng có đặc điểm ổn định trong khoảng thời gian ngắn (5-10 ms).

• Mạng nơron nhân tạo (Artificial Neural Network - ANN): Mạng nơron truyền thẳng nhiều lớp được sử dụng với giải thuật huấn luyện lan truyền ngược (Backpropagation). Mạng có khả năng học và nhận dạng các mẫu tín hiệu tiếng nói phức tạp, đặc biệt phù hợp với dữ liệu không có quy luật rõ ràng. Hàm kích hoạt Sigmoid được áp dụng để tính toán ngõ ra của các nút mạng.

• Phương pháp trích đặc trưng MFCC (Mel-scale Frequency Cepstral Coefficient): MFCC là phương pháp trích xuất đặc trưng phổ tần số theo thang Mel, mô phỏng độ nhạy của tai người với âm thanh. Quá trình bao gồm lọc cửa sổ Hamming, biến đổi Fourier rời rạc (DFT), lọc tần số theo thang Mel, lấy logarit và biến đổi Cosine rời rạc (DCT) để tạo ra các hệ số đặc trưng dùng cho nhận dạng.

Phương pháp nghiên cứu

• Nguồn dữ liệu: Tín hiệu tiếng nói Tiếng Việt được thu thập từ tác giả trong điều kiện tiếng ồn thấp, tập trung vào bộ từ vựng gồm 9 từ lệnh điều khiển robot. Tín hiệu được lấy mẫu với tần số khoảng 11.200 Hz qua bộ ADC tích hợp trên Kit LM3S2965.

• Phương pháp phân tích: Tín hiệu được xử lý qua các bước tách tín hiệu khỏi nền bằng phương pháp năng lượng thời gian ngắn và tỉ lệ qua điểm zero, chia khung tín hiệu (frame) với độ dài 256 mẫu và chồng phủ 50%. Đặc trưng MFCC được trích xuất và sử dụng làm dữ liệu đầu vào cho mạng nơron nhân tạo. Mạng được huấn luyện bằng giải thuật lan truyền ngược để cập nhật trọng số, tối ưu hóa sai số nhận dạng.

• Timeline nghiên cứu: Nghiên cứu được thực hiện trong 6 tháng, từ tháng 9/2010 đến tháng 2/2011, bao gồm các giai đoạn thu thập dữ liệu, thiết kế mạch thu âm và giao tiếp, phát triển chương trình nhận dạng trên máy tính cá nhân, triển khai nhúng trên Kit ARM và thử nghiệm điều khiển robot.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Độ chính xác nhận dạng trên máy tính cá nhân: Chương trình nhận dạng tiếng nói Tiếng Việt trên PC đạt độ chính xác khoảng 90% trong điều kiện tiếng ồn thấp, với bộ từ vựng 9 từ lệnh. Kết quả này cho thấy mạng nơron nhân tạo kết hợp với đặc trưng MFCC có hiệu quả cao trong nhận dạng tiếng nói Tiếng Việt.

2. Triển khai trên Kit ARM LM3S2965: Chương trình nhận dạng nhúng trên Kit ARM đạt độ chính xác thấp hơn đáng kể so với trên PC. Nguyên nhân chính là do hạn chế trong việc lấy mẫu tín hiệu nhanh và xử lý thời gian thực trên Kit, cũng như các giới hạn về phần cứng và bộ nhớ.

3. Thiết kế mạch thu âm và giao tiếp: Mạch thu âm được thiết kế với bộ tiền khuếch đại micro tự điều chỉnh độ lợi, lọc thông dải và giao tiếp ADC hoàn chỉnh, đảm bảo tín hiệu đầu vào chất lượng cho quá trình nhận dạng.

4. Ứng dụng điều khiển robot: Hệ thống nhận dạng tiếng nói được sử dụng để điều khiển cánh tay robot 5 bậc tự do thông qua các lệnh nhận dạng, chứng minh tính khả thi của việc ứng dụng công nghệ nhận dạng tiếng nói trong điều khiển tự động.

Thảo luận kết quả

Nguyên nhân độ chính xác thấp trên Kit ARM chủ yếu do khả năng xử lý và lấy mẫu tín hiệu hạn chế, gây ra độ trễ và sai số trong trích đặc trưng MFCC. So với các nghiên cứu khác trong lĩnh vực nhận dạng tiếng nói nhúng, kết quả này phù hợp với thực trạng kỹ thuật của các Kit xử lý nhỏ gọn thời điểm nghiên cứu. Việc sử dụng mạng nơron nhân tạo với giải thuật lan truyền ngược đã chứng minh hiệu quả trong việc học và nhận dạng các đặc trưng tiếng nói phức tạp của Tiếng Việt, đặc biệt là khi kết hợp với phương pháp trích đặc trưng MFCC.

Dữ liệu có thể được trình bày qua biểu đồ so sánh độ chính xác nhận dạng trên PC và Kit ARM, cũng như bảng thống kê các từ lệnh và tỷ lệ nhận dạng thành công. Kết quả mở ra hướng nghiên cứu tiếp theo nhằm tối ưu hóa thuật toán và phần cứng để nâng cao độ chính xác và tốc độ xử lý trên nền tảng nhúng.

Đề xuất và khuyến nghị

1. Tối ưu hóa thuật toán trích đặc trưng và nhận dạng: Cần nghiên cứu và áp dụng các thuật toán trích đặc trưng nhẹ hơn hoặc cải tiến thuật toán mạng nơron để phù hợp với khả năng xử lý của Kit ARM, nhằm nâng cao độ chính xác và tốc độ nhận dạng trong vòng 6-12 tháng, do nhóm phát triển phần mềm thực hiện.

2. Nâng cấp phần cứng Kit ARM: Đề xuất sử dụng các Kit ARM có tốc độ xử lý cao hơn hoặc tích hợp bộ nhớ lớn hơn để giảm thiểu độ trễ trong lấy mẫu và xử lý tín hiệu, thời gian thực hiện trong 1 năm, do phòng thí nghiệm kỹ thuật điện tử đảm nhiệm.

3. Mở rộng bộ từ vựng và điều kiện môi trường: Phát triển hệ thống nhận dạng với bộ từ vựng đa dạng hơn và khả năng hoạt động trong môi trường có tiếng ồn, nhằm tăng tính ứng dụng thực tế, dự kiến trong 18 tháng, phối hợp giữa nhóm nghiên cứu và đối tác công nghiệp.

4. Ứng dụng trong các hệ thống điều khiển tự động: Triển khai hệ thống nhận dạng tiếng nói vào các thiết bị điều khiển robot và thiết bị thông minh khác, nâng cao trải nghiệm người dùng và hiệu quả vận hành, trong vòng 2 năm, do các đơn vị phát triển sản phẩm và nghiên cứu ứng dụng thực hiện.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành kỹ thuật điện tử, công nghệ thông tin: Luận văn cung cấp kiến thức chuyên sâu về nhận dạng tiếng nói Tiếng Việt, mạng nơron nhân tạo và ứng dụng trên nền tảng nhúng, hỗ trợ nghiên cứu và phát triển các đề tài liên quan.

2. Kỹ sư phát triển phần mềm nhúng và hệ thống điều khiển: Tài liệu chi tiết về thiết kế mạch thu âm, giao tiếp ADC và lập trình nhúng trên Kit ARM giúp kỹ sư nâng cao kỹ năng và áp dụng trong các dự án thực tế.

3. Doanh nghiệp và tổ chức phát triển robot và thiết bị tự động: Tham khảo để ứng dụng công nghệ nhận dạng tiếng nói trong điều khiển robot, nâng cao tính tự động hóa và tương tác người-máy.

4. Chuyên gia nghiên cứu ngôn ngữ và xử lý tín hiệu tiếng nói: Cung cấp cơ sở lý thuyết và phương pháp trích đặc trưng MFCC, mạng nơron nhân tạo trong nhận dạng tiếng nói Tiếng Việt, hỗ trợ phát triển các hệ thống nhận dạng ngôn ngữ tự nhiên.

Câu hỏi thường gặp

1. Tại sao chọn mạng nơron nhân tạo cho nhận dạng tiếng nói Tiếng Việt?
   Mạng nơron nhân tạo có khả năng học và nhận dạng các mẫu phức tạp, đặc biệt phù hợp với tín hiệu tiếng nói có biến đổi không tuyến tính và không rõ quy luật. Giải thuật lan truyền ngược giúp cập nhật trọng số hiệu quả, nâng cao độ chính xác nhận dạng.

2. MFCC có vai trò gì trong hệ thống nhận dạng tiếng nói?
   MFCC trích xuất đặc trưng phổ tần số theo thang Mel, mô phỏng độ nhạy của tai người, giúp cô đọng thông tin tiếng nói thành các hệ số đặc trưng, giảm dung lượng dữ liệu và tăng hiệu quả nhận dạng.

3. Tại sao độ chính xác trên Kit ARM thấp hơn trên máy tính cá nhân?
   Do hạn chế về tốc độ xử lý, bộ nhớ và khả năng lấy mẫu tín hiệu nhanh trên Kit ARM, dẫn đến sai số trong trích đặc trưng và xử lý mạng nơron, ảnh hưởng đến kết quả nhận dạng.

4. Bộ từ vựng trong nghiên cứu có giới hạn như thế nào?
   Bộ từ vựng gồm 9 từ lệnh điều khiển robot, được phát âm trong điều kiện tiếng ồn thấp và thu thập từ tác giả, nhằm đảm bảo tính khả thi và độ chính xác trong giai đoạn đầu nghiên cứu.

5. Hệ thống có thể áp dụng trong môi trường nhiều tiếng ồn không?
   Hiện tại hệ thống hoạt động tốt trong môi trường tiếng ồn thấp. Để áp dụng trong môi trường nhiều tiếng ồn cần cải tiến thuật toán lọc nhiễu và tăng cường khả năng thích nghi của mạng nơron, là hướng nghiên cứu tiếp theo.

Kết luận

• Luận văn đã xây dựng thành công chương trình nhận dạng tiếng nói Tiếng Việt sử dụng mạng nơron nhân tạo và trích đặc trưng MFCC, đạt độ chính xác khoảng 90% trên máy tính cá nhân.
• Triển khai nhúng trên Kit ARM LM3S2965 gặp hạn chế về phần cứng và tốc độ xử lý, dẫn đến độ chính xác thấp hơn.
• Thiết kế mạch thu âm và giao tiếp ADC hoàn chỉnh, đảm bảo chất lượng tín hiệu đầu vào cho hệ thống nhận dạng.
• Hệ thống được ứng dụng để điều khiển cánh tay robot 5 bậc tự do qua các lệnh tiếng nói, chứng minh tính khả thi của nghiên cứu.
• Đề xuất các hướng phát triển tiếp theo bao gồm tối ưu thuật toán, nâng cấp phần cứng, mở rộng bộ từ vựng và ứng dụng trong môi trường thực tế.

Để tiếp tục phát triển, các nhà nghiên cứu và kỹ sư được khuyến khích áp dụng các giải pháp tối ưu hóa thuật toán và phần cứng, đồng thời mở rộng phạm vi ứng dụng nhận dạng tiếng nói Tiếng Việt trong các hệ thống điều khiển tự động và giao tiếp người-máy.