Chương 1.Tổng quan 4 HVTH: NGUYỄN THÀNH CHUNG Kỹ thuật nhận dạng tiếng nói thành lệnh ứng dụng trong công nghiệp GVHD: PGS. TRẦN THU HÀ thuật phức tạp trong nhận dạng tiếng Việt. Trên phần cứng, có ba vấn đề rất quan trọng cần quan tâm, bao gồm: độ chính xác nhận dạng, tài nguyên phần cứng và tốc độ tính toán. Ba yếu tố này thƣờng đƣợc cân nhắc chọn lựa kỹ bởi khó có thể đạt đƣợc tối ƣu trên cùng lúc cả ba yếu tố trên.
Vấn đề nhận dạng tiếng nói tiếng Việt đã có nhiều công trình nghiên cứu nhƣng chƣa đƣợc triển khai thực hiện tốt trên phần cứng là do ba yếu tố trên. Bên cạnh đó, nhận dạng tiếng nói tiếng Việt trên nền công nghệ FPGA có ƣu điểm là tính toán nhanh nhƣng nền công nghệ này chƣa đƣợc ứng dụng nhiều trên các thiết bị di động ngày nay nhƣ: điện thoại di động, máy tính bảng, robot dịch vụ, Smart TV… Nhiệm vụ chính của luận văn là xây dựng mô hình nhận dạng tiếng nói tiếng Việt sử dụng thuật toán trích chọn đặc trƣng MFCC, lƣợng tử vector VQ và mô hình Markov ẩn HMM, nhận dạng tiếng nói thông qua thiết kế phần mềm giao diện trên máy tính và điều khiển mô hình hệ thống thông qua Board Arduino Mega 2560. Mục tiêu và đối tƣợng nghiên cứu của đề tài 1. Mục tiêu Đề tài có những mục tiêu chính nhƣ sau : Nghiên cứu hệ thống nhận dạng tiếng nói bằng tiếng Việt.
Nghiên cứu thuật toán trích đặc trƣng MFCC ứng dụng vào trích đặc trƣng tiếng nói tiếng Việt. Nghiên cứu phƣơng pháp lƣợng tử vector để ứng dụng vào mô hình nhận dạng tiếng nói tiếng Việt. Nghiên cứu mô hình Markov ẩn HMM ứng dụng vào huấn luyện và nhận dạng tiếng nói tiếng Việt. Thiết kế và thi công robot mặt ngƣời thể hiện cảm xúc.
Thiết kế giao diện phần mềm nhận dạng và phần cứng điều khiển robor mặt ngƣời thể hiện cảm xúc. Đối tƣợng nghiên cứu Lý thuyết nhận dạng tiếng nói. Thuật toán MFCC và ứng dụng. Phƣơng pháp lƣợng tử vector VQ và ứng dụng.
Mô hình Markov ẩn HMM và ứng dụng.Tổng quan 5 HVTH: NGUYỄN THÀNH CHUNG Kỹ thuật nhận dạng tiếng nói thành lệnh ứng dụng trong công nghiệp GVHD: PGS. TRẦN THU HÀ Board Arduino Mega 2560. Nhiệm vụ và giới hạn của đề tài 1. Nhiệm vụ Nghiên cứu đặc trƣng tiếng Việt.
Nghiên cứu công nghệ phân loại tiếng nói – tiếng Việt. Nghiên cứu các phƣơng pháp xử lý, lọc tín hiệu liên tục, rời rạc; các phƣơng pháp rút trích đặt trƣng (MFCC), phân loại, nhận dạng tín hiệu tiếng nói (Hidden Marko Models ). Chọn lựa hàm mô hình Markov ẩn để thiết kế giao diện nhận dạng các tập lệnh của đối tƣợng điều khiển - Robot thể hiện cảm xúc. Tìm hiểu các phần mềm lập trình Keil C for ARM, Matlab… Viết code mô phỏng trên máy tính, code thực thi điều khiển cho Board Arduino Mega 2560.
Thiết kế và thi công mô hình Robot mặt ngƣời thể hiện cảm xúc. Vận hành thử mô hình hệ thống. Giới hạn Do đặc trƣng tiếng Việt có nhiều âm tiết và thanh nhấn nên việc nhận dạng sẽ khó hơn so với các ngôn ngữ khác. Ngoài ra, còn có sự khác biệt về giọng nói giữa các vùng, sự khác biệt về giọng nói trong các ngữ cảnh khác nhau cũng gây khó khăn cho nhận dạng.
Thêm vào đó, một câu dài cũng gây khó khăn trong việc nhận dạng, do đó đề tài chỉ thực hiện ở việc nhận dạng từ đơn. Vì thời gian có hạn nhƣ đã nêu trên nên phần thiết kế và thi công mô hình thực nghiệm chỉ dừng lại ở dạng là một robot đơn giản, do đó việc ra lệnh phức tạp để robot thực hiện nhiệm vụ phức tạp bị hạn chế. Trong điều kiện bình thƣờng, kết quả nhận dạng chƣa đạt đƣợc 100% 1. Phƣơng pháp nghiên cứu Ngƣời thực hiện đề tài đã sử dụng các phƣơng pháp sau đây: Phƣơng pháp nghiên cứu tài liệu: các tài liệu liên quan đến nhận dạng tiếng nói, phƣơng pháp trích đặc trƣng MFCC, lƣợng tử vector VQ, mô hình Markov ẩn HMM, đặc điểm tiếng Việt.
Các tài liệu liên quan về lập trình C/C++ và Matlab .Tổng quan 6 HVTH: NGUYỄN THÀNH CHUNG Kỹ thuật nhận dạng tiếng nói thành lệnh ứng dụng trong công nghiệp GVHD: PGS. TRẦN THU HÀ Phƣơng pháp phân tích: phân tích đặc điểm tiếng Việt, phƣơng pháp trích chọn đặc trƣng MFCC, phƣơng pháp lƣợng tử vector VQ, mô hình Markov ẩn HMM trong nhận dạng tiếng Việt. Phƣơng pháp chuyên gia: tham khảo ý kiến của chuyên gia về trích chọn đặc trƣng MFCC, lƣợng tử vector VQ, mô hình Markov ẩn HMM trong nhận dạng tiếng nói tiếng Việt, và khả năng ứng dụng vào thực tế. Phƣơng pháp thực nghiệm: thực nghiệm việc nhận dạng tiếng nói tiếng Việt trên máy tính và xuất ra board điều khiển Robot mặt ngƣời thể hiện cảm xúc.
Nội dung luận văn Nội dung đề tài gồm các phần sau: Chƣơng 1: Tổng quan Tổng quan chung về lĩnh vực nghiên cứu. Mục tiêu và đối tƣợng nghiên cứu. Nhiệm vụ và giới hạn của đề tài. Phƣơng pháp nghiên cứu.
Chƣơng 2: Đặc trƣng tiếng nói tiếng Việt Phân tích tổng quan về tiếng nói. Các đặc trƣng cơ bản của tiếng Việt. Chƣơng 3:Mô hình nhận dạng tiếng nói tiếng Việt Phân loại các hệ thống nhận dạng tiếng nói. Các yếu tố ảnh hƣởng đến kết quả nhận dạng tiếng nói.
Cấu trúc của hệ nhận dạng tiếng nói. Giải thuật hệ thống nhận dạng tiếng nói tiếng Việt. Phân tích phƣơng pháp trích đặc trƣng MFCC. Phân tích phƣơng pháp lƣợng tử vector VQ.
Chƣơng 4:Mô hình Markov ẩn HMM Cơ sở lý thuyết về mô hình Markov ẩn HMM. Ứng dụng mô hình Marko ẩn HMM vào nhận dạng tiếng nói tiếng Việt. Chƣơng 5: Thiết kế phần cứng và mạch điều khiển Robot Tổng quan về phần cứng của hệ thống và cách lựa chọn thiết bị. Giới thiệu Board Arduino Mega 2560 và các tính năng trong việc điều khiển.Tổng quan 7 HVTH: NGUYỄN THÀNH CHUNG Kỹ thuật nhận dạng tiếng nói thành lệnh ứng dụng trong công nghiệp GVHD: PGS.
TRẦN THU HÀ Chƣơng 6: Thiết kế hệ thống nhận dạng và phần mềm giao diện nhận dạng Xây dựng thuật toán tiền xử lý tiếng nói tiếng Việt. Xây dựng thuật toán trích chọn đặc trƣng tiếng nói tiếng việt MFCC. Xây dựng thuật toán lƣợng tử vector VQ Xây dựng thuật toán mô hình Markov ẩn. Xây dựng thuật toán huấn luyện và nhận dạng tiếng nói tiếng Việt.
Phần mềm giao diện nhận dạng. Chƣơng 7:Kết luận Những mục tiêu đạt đƣợc. Hạn chế của đề tài Hƣớng phát triển đề tài. Ý nghĩa thực tiễn của đề tài Đề tài thuộc nhóm nghiên cứu lý thuyết và ứng dụng triển khai.
Sản phẩm đề tài có tính mở, có thể áp dụng cho nhiều nhóm đối tƣợng khác nhau trong công nghiệp cũng nhƣ dân dụng. Đề tài nghiên cứu có thể đƣợc sử dụng làm tài liệu nghiên cứu và giảng dạy cho sinh viên đại học và cao học trong đào tạo các chuyên ngành Điện – Điện tử, Điện tử viễn thông,… Ứng dụng mô hình nhận dạng tiếng nói tiếng Việt trong các hệ thống nhận dạng, điều khiển thiết bị, robot,…bằng tiếng nói tiếng Việt.Tổng quan 8 HVTH: NGUYỄN THÀNH CHUNG Kỹ thuật nhận dạng tiếng nói thành lệnh ứng dụng trong công nghiệp GVHD: PGS. TRẦN THU HÀ Chƣơng 2: ĐẶC TRƢNG TIẾNG NÓI TIẾNG VIỆT Tín hiệu tiếng nói đƣợc xem là tín hiệu ngẫu nhiên vì chúng ta không thể xác định chính xác biên độ và tần số của tín hiệu tiếng nói đƣợc nói. Tuy nhiên, mỗi từ của tiếng nói lại chứa những thành phần đặc trƣng riêng đặc trƣng cho từ đó, vì vậy việc tách đặc trƣng tiếng nói là quá trình quan trọng trong hệ thống nhận dạng tiếng nói.
Các hệ thống nhận dạng sẽ phân biệt các từ khác nhau trong tiếng nói dựa trên đặc trƣng riêng của mỗi từ. Quá trình trích đặc trƣng tiếng nói là quá trình cô đọng tín hiệu tiếng nói của mỗi từ thành các thông số đặc tính đặc trƣng cho từ đó, nhằm giảm nhẹ công việc nhận dạng và tăng độ chính xác cho hệ thống nhận dạng. TỔNG QUAN VỀ TIẾNG NÓI: Tiếng nói là một loại sóng âm. Khi chúng ta nói, tiếng nói đƣợc truyền đi mang theo thông tin dƣới dạng các dao động truyền đến tai ngƣời nghe.
Mức độ truyền tin của tiếng nói đƣợc xem là nhanh nhất trong các khả năng tự nhiên của con ngƣời. Tín hiệu tiếng nói chứa các thông tin có tần số tập trung trong khoảng từ 4kHz trở xuống. Đây cũng chính là khoảng tần số chứa năng lƣợng chủ yếu của tín hiệu tiếng nói. Trong khoảng thời gian dài, tín hiệu tiếng nói là tín hiệu không dừng, nhƣng trong khoảng thời gian đủ ngắn tín hiệu tiếng nói đƣợc xem nhƣ tín hiệu dừng.
Đối với quá trình nhận dạng tiếng nói, thì ngoài việc nhận ra các đặc trƣng của tiếng nói thì quá trình học thích nghi với các thay đổi của đặc trƣng tiếng nói cũng rất quan trọng. Các đặc trƣng cơ bản của Tiếng Việt: 2. Âm tiết: Tiếng việt có những đặc trƣng khác biệt so với các ngôn ngữ khác trong cách phát âm cũng nhƣ ghép các âm thành từ có nghĩa. Đơn vị nhỏ nhất của tiếng Việt là âm tiết (tiếng), âm tiết có những đặc điểm nhƣ sau: Chương 2.
Đặc trưng tiếng nói Tiếng 9 HVTH: NGUYỄN THÀNH CHUNG Việt Kỹ thuật nhận dạng tiếng nói thành lệnh ứng dụng trong công nghiệp GVHD: PGS. TRẦN THU HÀ Tính độc lập: tức là mỗi âm tiết là một thành phần nhỏ, chúng rõ ràng và tách biệt với nhau, mỗi từ đại diện cho một âm tiết duy nhất. Không có hiện tƣợng nối âm: trong tiếng Việt, dù ngƣời nói, nói nhanh hay nói chậm thì mỗi từ phát ra đều riêng lẻ, không có sự nối âm hay nuốt âm nhƣ trong tiếng Anh. Điều này làm cho ranh giới giữa các âm tiết rõ ràng với nhau, không có sự chồng lấp giữa các từ.
Tiếng việt có hai loại từ là từ đơn và từ ghép. Từ đơn là từ đƣợc tạo từ một âm tiết, từ ghép là từ đƣợc tạo từ nhiều từ đơn. Trong đa số các trƣờng hợp mỗi từ đơn đều mang ý nghĩa đầy đủ, việc ghép các từ đơn có nghĩa thành một từ ghép có nghĩa khác làm cho vấn đề nhận dạng từ ghép trở nên khó khăn hơn.