BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM KHOA ĐIỆN - ĐIỆN TỬ ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN - ĐIỆN TỬ NHẬN DẠNG TIẾNG NÓI THỂ HIỆN TRẠNG THÁI KHUÔN MẶT GVHD: PGS. TRẦN THU HÀ SVTH: TRƯƠNG MINH THIỆN MSSV: 10101127 SKL 0 0 4 1 7 7 Tp. Hồ Chí Minh, tháng 1/2016 do an BỘ GIÁO DỤC VÀ ĐẠO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM KHOA ĐIỆN ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP ĐỒ ÁN TỐT NGHIỆP NGÀNH: ĐIỆN – ĐIỆN TỬ Đềtài: NHẬN DẠNG TIẾNG NÓI THỂ HIỆN TRẠNG THÁI KHUÔN MẶT GVHD: PGS. TRẦN THU HÀ SVTH: TRƯƠNG MINH THIỆN MSSV : 10101127 Thành phố Hồ Chí Minh – 01/2016 do an Nhận dạng tiếng nói thể hiện trạng thái khuôn mặt GVHD: PGS.
TRẦN THU HÀ LỜI CẢM ƠN Tôi xin chân thành cảm ơn gia đình của tôi, đặc biệc là cha mẹ tôi đã tạo mọi điều kiện cho tôi ăn học cho đến ngày hôm nay. Chính họ là nguồn động viên lớn nhất ủng hộ tôi, giúp đỡ tôi trong suốt quá trình học tập cũng nhƣ việc thực hiện luận văn này. Tôi xin chân thành cám ơn cô hƣớng dẫn PGS. TRẦN THU HÀ trƣờng Đại học Kỹ Thuật Tp Hồ Chí Minh đã tận tình chỉ dạy, hƣớng dẫn, đóng góp nhiều ý kiến quý báu trong suốt quá trình thực hiện luận văn.
Tôi cũng xin chân thành cám ơn thầy cô trong khoa Điện - Điện Tử nói riêng và thầy cô trƣờng Đại Học Sƣ Phạm Kỹ Thuật Tp Hồ Chí Minh đã tạo ra cho tôi một môi trƣờng học tập thật tuyệt vời và đã tạo mọi điều kiện cho tôi hoàn thành luận văn này. Xin cám ơn tất cả các bạn học viên và các anh chịđã đóng góp những ý kiến và giúp đỡ tôi hoàn thành luận văn này. Ngƣời thực hiện luận văn TRƢƠNG MINH THIỆN i SVTH: TRƢƠNG MINH THIỆN do an Nhận dạng tiếng nói thể hiện trạng thái khuôn mặt GVHD: PGS. TRẦN THU HÀ TÓM TẮT Ngay khi phát minh ra máy tính, con ngƣời đã mơ ƣớc máy tính có thể nói chuyện với mình.
Yêu cầu đơn giản nhất là máy có thể xác định đƣợc từ ngữ mà chúng ta nói với máy. Đó là mục tiêu của ngành nhận dạng tiếng nói. Đối với con ngƣời, việc nghe, nhất là nghe tiếng mẹ đẻ là một vấn đề khá đơn giản. Còn đối với máy tính, xác định một chuỗi tín hiệu âm thanh là sự phát âm của một từ nào hoàn toàn không đơn giản, khó khăn cũng nhƣ việc học nghe ngoại ngữ của chúng ta.
Lĩnh vực nhận dạng tiếng nói đã đƣợc nghiên cứu hơn 4 thập kỉ và hiện nay mới chỉ có một số thành công. Có thể kể đến hệ thống nhận dạng tiếng Anh (ví dụ: phần mềm Via Voice của IBM, hệ thống nhận dạng tiếng nói tích hợp của OfficeXP…). Các hệ thống này hoạt động khá tốt (cho độ chính xác khoảng 90 - 95%) nhƣng còn xa mới đạt đến mức mơ ƣớc của chúng ta: có một hệ thống có thể nghe chính xác và hiểu hoàn toàn những điều ta nói. Riêng với tiếng Việt, lĩnh vực nhận dạng tiếng nói còn khá mới mẻ.Chƣa hề thấy xuất hiện một phần mềm nhận dạng tiếng Việt hoàn chỉnh trên thị trƣờng.
Số công trình nghiên cứu về nhận dạng tiếng nói tiếng Việt đƣợc công bố rất hiếm hoi, và kết quả còn hạn chế về bộ từ vựng, độ chính xác…. Tiếng Việt có nhiều đặc tính khác với các ngôn ngữ đãđƣợc nghiên cứu nhận dạng nhiều nhƣ tiếng Anh, tiếng Pháp. Do đó việc nghiên cứu nhận dạng tiếng Việt là rất cần thiết. Bên cạnh đó, việc triển khai hệ thống nhận dạng tiếng nói trên phần cứng ở Việt Nam cũng còn nhiều hạn chế, và khả năng nhận dạng còn phụ thuộc vào ngƣời nói.
Nhận dạng tiếng Việt và ứng dụng để làm lệnh điều khiển vẫn còn là một lĩnh vực khá mới mẻ Vì những lí do trên, tôi chọn đề tài “Nhận dạng tiếng nói thể hiện trạng thái khuôn mặt”, nhằm nghiên cứu các phƣơng pháp nhận dạng tiếng nói đối với tiếng Việt và thử nghiệm xây dựng một hệ thống nhận dạng cỡ nhỏ.Việc nhận dạng đƣợc thực thi trên máy tính , với bộ từ vựng gồm 5 từ đơn (vui, buồn, mệt, giận, hiền) với kết quả nhận dạng có độ chính xác khoảng hơn 90% trong điều kiện bình thƣờng. Từ khóa:Hiden Markov Model, Neural Netwoks, Hydrid ANN/HMM, MFCC methods, FFT algorithm, K-mean algorithm, Board Arduino Mega 2560. ii SVTH: TRƢƠNG MINH THIỆN do an Nhận dạng tiếng nói thể hiện trạng thái khuôn mặt GVHD: PGS. TRẦN THU HÀ ABSTRACT The purpose with this final master degree project was to develop a speech recognitiontool, to make the technology accessible.
The development includes anextensive study of Hidden Markov Model, which is currently the state of the artin the field of speech recognition. A speech recognizer is a complex machine developedwith the purpose to understand human speech. In real life this speechrecognition technology might be used to get a gain in traffic security or facilitatefor people with functional disability. The technology can also be applied to manyother areas.
However in a real environment there exist disturbances that mightinfluence the performance of the speech recognizer. The report includes an performanceevaluation in different noise situations, in a robot environment. The resultshows that the recognition rate varies from 92%, in a noise free environment, to 90% in a more noisy environment. iii SVTH: TRƢƠNG MINH THIỆN do an Nhận dạng tiếng nói thể hiện trạng thái khuôn mặt GVHD: PGS.
TRẦN THU HÀ MỤC LỤC LỜI CẢM ƠN. ii MỤC LỤC .iv DANH SÁCH CÁC HÌNH .vi DANH SÁCH CÁC BẢNG. vii DANH SÁCH CÁC CHỮ VIẾT TẮT. viii Chƣơng 1.Tổng quan về nhận dạng tiếng nói, tình hình nghiên cứu trong và ngoài nƣớc .Nhận dạng tiếng nói .Tổng quan tình hình nghiên cứu .Mục tiêu và đối tƣợng nghiên cứu của đề tài .Đối tƣợng nghiên cứu.Nhiệm vụ và giới hạn của đề tài .Phƣơng pháp nghiên cứu .Nội dung luận văn .Ý nghĩa thực tiễn của đề tài.
ĐẶC TRƢNG TIẾNG NÓI TIẾNG VIỆT .TỔNG QUAN VỀ TIẾNG NÓI .Các đặc trƣng cơ bản của Tiếng Việt .Nguyên âm và phụ âm. MÔ HÌNH NHẬN DẠNG TIẾNG NÓI TIẾNG VIỆT. Phân loại các hệ thống nhận dạng tiếng nói. Nhận dạng từ liên tục và nhận dạng từ cách biệt.
Nhận dạng phụ thuộc ngƣời nói và độc lập ngƣời nói. Các yếu tố ảnh hƣởng đến kết quả nhận dạng tiếng nói :. Cấu trúc hệ nhận dạng tiếng nói:. Giải thuật hệ thống nhận dạng tiếng nói tiếng Việt dùng Markov ẩn:.
Voice Acivation Detection (VAD): .18 iv SVTH: TRƢƠNG MINH THIỆN do an Nhận dạng tiếng nói thể hiện trạng thái khuôn mặt GVHD: PGS. TRẦN THU HÀ 3.Phƣơng pháp phân tích hệ số MFCC. Tạo khung và cửa sổ hóa tín hiệu. Trích đặc trƣng.
Lƣợng tử vector:. Tổng quan về lƣợng tử vector (VQ):. Cấu trúc và tập huấn luyện VQ:. Phân nhóm các vector huấn luyện:.34 Chƣơng 4: MÔ HÌNH MARKOV ẨN HMM.
Quá trình Markov:. Mô hình Markov ẩn:. Giải pháp toán học cho ba bài toán cơ bản của mô hình Markov ẩn:. Các loại mô hình Markov ẩn: .49 Chƣơng 5: THIẾT KẾ HỆ THỐNG NHẬN DẠNG VÀ PHẦN MỀM GIAO DIỆN NHẬN DẠNG .Thiết kế hệ thống nhận dạng tiếng nói trên máy tính .Trích đặc trƣng .Lƣợng tử hóa vector .Huấn luyện HMM .Nhận dạng bằng mô hình HMM .Thiết kế phần mềm giao diện nhận dạng.
Kết quả thử nghiệm trên phần mềm nhận dạng. KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN. Hạn chế của đề tài:. Hƣớng phát triển của đề tài .69 TÀI LIỆU THAM KHẢO .70 v SVTH: TRƢƠNG MINH THIỆN do an Nhận dạng tiếng nói thể hiện trạng thái khuôn mặt GVHD: PGS.
TRẦN THU HÀ DANH SÁCH CÁC HÌNH Hình 3. Ngƣời nói khác nhau sẽ phát âm khác nhau. Mô hình nhận dạng tiếng nói bán độc lập ngƣời nói. Cấu trúc tổng quát của một hệ thống nhận dạng tiếng nói.
Lƣu đồ giải thuật hệ thống nhận dạng tiếng Việt dùng Markov ẩn. Đoạn mẫu âm thanh trƣớc khi VAD. Đoạn mẫu âm thanh sau khi VAD. Sơ đồ giải thuật phƣơng pháp phân tích thông tin tiếng nói.
Tiền xử lý tín hiệu. Phân tích khoảng lặng của tiếng nói. Tách tiếng nói khỏi khoảng im lặng theo VAD. Từ tiếng nói có khoảng im lặng tách thành tiếng nói không có khoảng lặng.
Frame blocking và Windowing. Chia khung chuỗi tín hiệu. Cửa sổ Hamming với các hệ số α khác nhau. Tín hiệu tiếng nói sau khi đƣợc cửa sổ hóa so với ban đầu.
Các bƣớc thực hiện MFCC. Phổ Fourier của tín hiệu gốc và tín hiệu đã cửa sổ hóa. Băng lọc tam giác melscale trên miền tần số. Tính các hệ số delta.
Quá trình rút trích đặc trƣng. Các bƣớc hậu xử lý tín hiệu. Sơ đồ khối cấu trúc của VQ huấn luyện và phân lớp. Lƣu đồ giải thuật VQ.
Xích Markov 5 trạng thái S1,S2,.S5 và các xác suất chuyển trạng thái. Ví dụ một mô hình Markov ẩn sáu trạng thái. Mô tả các dãy phép toán đƣợc thực hiện để tính αt(i). Mô tả các dãy phép toán đƣợc thực hiện để tính biến βt(i).
Sơ đồ khối mô hình huấn luyện và nhận dạng từ đơn. Lƣu đồ giải thuật thực hiện tách tiếng nói khỏi khoảng lặng. Lƣu đồ giải thuật thực hiện phân tích hệ số đặc trƣng.Minh họa lƣợng tử hóa vector. Lƣu đồ giải thuật huấn luyện HMM.
Lƣu đồ giải thuật nhận dạng từ đơn sử dụng HMM. Giao diện nhận dạng tiếng nói.Minh họa phân tích dữ liệu tiếng nói thành các hệ số đặc trƣng để sử dụng cho huấn luyện hệ thống và nhận dạng. Kết quả nhận dạng từ “vui”. Kết quả nhận dạng từ “Buon”.
Kết quả nhận dạng từ “Gian”. Kết quả nhận dạng từ “Hien”. Kết quả nhận dạng từ “Met” .67 vi SVTH: TRƢƠNG MINH THIỆN do an Nhận dạng tiếng nói thể hiện trạng thái khuôn mặt GVHD: PGS. TRẦN THU HÀ DANH SÁCH CÁC BẢNG Bảng 2.
1:Cấu trúc tổng quát của một âm tiết tiếng Việt. Kết quả thử nghiệm cho nhóm hệ thống học mẫu. Kết quả thử nghiệm cho nhóm mạo danh .64 vii SVTH: TRƢƠNG MINH THIỆN do an Nhận dạng tiếng nói thể hiện trạng thái khuôn mặt GVHD: PGS. TRẦN THU HÀ DANH SÁCH CÁC CHỮ VIẾT TẮT Thuật ngữ Từ viết tắt Ý nghĩa Artifactial Neural Network ANN Mạng nơron nhân tạo Fast Fourier Transform FFT Biến đổi Fourier nhanh Dicrette Cosine Transform DCT Biến đổi cosin rời rạc.