CHƯƠNG 1. GIỚI THIỆU TỔNG QUAN. TỔNG QUAN VỀ HỆ THỐNG NHẬN DẠNG GIỌNG NÓI. TÌNH HÌNH NGHIÊN CỨU.
Tình hình nghiên cứu trên thế giới. Tình hình nghiên cứu trong nước. CÁC CÔNG TRÌNH LIÊN QUAN VÀ GIẢI PHÁP ĐỀ XUẤT. PHƯƠNG PHÁP TRÍCH RÚT ĐẶC TRƯNG GIỌNG NÓI.
PHƯƠNG PHÁP NHẬN DẠNG GIỌNG NÓI. GIẢI PHÁP ĐỀ XUẤT. MỤC TIÊU CỦA ĐỀ TÀI. GIỚI HẠN VÀ ĐỐI TƯỢNG NGHIÊN CỨU.
PHƯƠNG PHÁP TRÍCH RÚT ĐẶC TRƯNG MFCC. Biến đổi FFT (Fast Fourier Transform). Lọc qua bộ lọc Mel-scale. Logarit giá trị năng lượng (Logarit Of Filter Energies).
Biến đổi cosin rời rạc. MẠNG NƠ-RON HỒI QUY RNN. Giới thiệu mạng RNN. GIẢI THUẬT CONNECTIONIST TEMPORAL CLASSIFICATION (CTC) 16 2.
Giới thiệu bài toán:. Mô tả giải thuật:. GIẢI THUẬT EDIT DISTANCE. XÂY DỰNG HỆ THỐNG ĐIỀU KHIỂN THIẾT BỊ TRONG NHÀ BẰNG ĐIỆN THOẠI ANDROID.
MÔ HÌNH HỆ THỐNG ĐIỀU KHIỂN. Trích rút đặc trưng:. Khối nhận dạng:. Khối điều khiển:.
XÂY DỰNG PHẦN MỀM TRÊN ANDROID. HUẤN LUYỆN HỆ THỐNG VÀ THỬ NGHIỆM. CÁC THAM SỐ CƠ BẢN. DỮ LIỆU HUẤN LUYỆN.
HUẤN LUYỆN MÔ HÌNH. ĐÁNH GIÁ MÔ HÌNH. KẾT QUẢ CHẠY THỰC NGHIỆM. TỔNG KẾT NỘI DUNG CỦA LUẬN VĂN.
NHỮNG ĐÓNG GÓP CỦA ĐỀ TÀI. HƯỚNG PHÁT TRIỂN. 48 TÀI LIỆU THAM KHẢO .50 BẢNG THUẬT NGỮ ANH - VIỆT VÀ TỪ VIẾT TẮT .53 DANH MỤC HÌNH Hình 1.1 Mô hình hoạt động của một hệ thống nhận dạng giọng nói.1 Đồ thì biểu diễn mối quan hệ giữa Mel và Hz (nguồn [1]). Bộ lọc trên thang Mel (nguồn [4]).
Bộ lọc trên tần số thật (nguồn [4]). Minh họa các bước biến đổi MFCC (nguồn [4]). Biểu đồ thang tần số Mel theo tần số thực (nguồn [1]). Băng lọc tần số Mel (nguồn [4]).
Đưa tín hiệu vào băng lọc tần số Mel (nguồn [4]). Kiến trúc một đoạn mạng RNN (nguồn [13]). Phân giải mạng RNN (nguồn [13]). Cấu trúc mạng RNN chuẩn (nguồn [13]).
Cấu trúc mạng LSTM (nguồn [13]). Sơ đồ đường trạng thái (nguồn [13]). Cập nhật trạng thái tế bào (nguồn [13]). Tính toán đầu ra (nguồn [13]).
Một số bài toán nhận dạng (nguồn [9]). Một cách sắp xếp (nguồn [9]). Các bước thực hiện việc sắp xếp (nguồn [9]). Một số trường hợp sắp xếp hợp lệ và không hợp lệ (nguồn [9]).
Các bước của quá trình tính toán với CTC (nguồn [9]). Xác suất của các đường đi hợp lệ (nguồn [10]). Tập hợp các đường đi hợp lệ (nguồn [10]). Cơ chế tính toán quy hoạch động (nguồn [9]).
Mô tả viêc tính toán CTCLoss – 1 (nguồn [10]). Mô tả viêc tính toán CTCLoss – 2 (nguồn [10]). Mô tả viêc tính toán CTCLoss – 3 (nguồn [10]). Mô tả viêc tính toán CTCLoss – 4 (nguồn [10]).
Mô tả viêc tính toán CTCLoss – 5 (nguồn [10]). Mô tả viêc tính toán CTCLoss – 6 (nguồn [10]). Mô tả viêc tính toán CTCLoss – 7 (nguồn [10]). Mô tả viêc tính toán CTCLoss – 8 (nguồn [10]).
Mô tả viêc tính toán CTCLoss – 9 (nguồn [10]). Mô tả viêc tính toán CTCLoss – 10 (nguồn [10]). Mô tả viêc tính toán CTCLoss – 11 (nguồn [10]). Mô tả viêc tính toán CTCLoss – 12 (nguồn [10]).
Mô tả viêc tính toán CTCLoss – 13 (nguồn [10]). Mô tả viêc tính toán CTCLoss – 14 (nguồn [10]). Mô tả viêc tính toán CTCLoss – 15 (nguồn [10]). Mô tả viêc tính toán CTCLoss – 16 (nguồn [10]).
Mô tả viêc tính toán CTCLoss – 17 (nguồn [10]). Mô tả viêc tính toán CTCLoss – 18 (nguồn [10]). Mô tả viêc tính toán CTCLoss – 19 (nguồn [10]). Mô tả viêc tính toán CTCLoss – 20 (nguồn [10]).
Mô tả viêc tính toán CTCLoss – 21 (nguồn [10]). Sơ đồ khối hệ thống. Khối xử lý điều khiển. Giao diện ứng dụng.
40 DANH MỤC BẢNG BIỂU Bảng 4. Thống kê dữ liệu huấn luyện. Kết quả huấn luyện. Kết quả thực nghiệm - 1.
Kết quả thực nghiệm - 2. Kết quả thực nghiệm - 3. Kết quả thực nghiệm - 4. Kết quả thực nghiệm - 5.
GIỚI THIỆU TỔNG QUAN Trong chương này chúng tôi tập trung giới thiệu tổng quan về hệ thống nhận dạng giọng nói, sơ lược về tình hình nghiên cứu nhận dạng giọng nói trên thế giới và trong nước. Chương này cũng nêu ra mục tiêu của đề tài, xác định giới hạn và đối tượng nghiên của đề tài. Phần cuối trình bày các công trình nghiên cứu và giải pháp đề xuất. TỔNG QUAN VỀ HỆ THỐNG NHẬN DẠNG GIỌNG NÓI Hệ thống nhận dạng giọng nói là một hệ thống có khả năng chuyển đổi tín hiệu tiếng nói của con người thành chuỗi kí tự có nghĩa.
Trong đề tài này chúng tôi sẽ nghiên cứu xây dựng một hệ thống điều khiển thiết bị bằng giọng nói Tiếng Việt thông qua thiết bị di động cầm tay.1 Mô hình hoạt động của một hệ thống nhận dạng giọng nói Quá trình nhận dạng giọng nói bằng học máy cơ bản đi qua các bước sau: Trích rút đặc trưng giọng nói. Nhận dạng: Vector đặc trưng được đưa vào nhận dạng thông qua mô hình đã được huấn luyện trước đó. Xử lý kết quả nhận dạng (nếu có): Đối với hệ thống nhận dạng từ liên tục hay đoạn âm thanh có thời lượng lớn thì chuỗi kí tự này thường sẽ được đi qua mô hình ngôn ngữ để cho kết quả tối ưu. Một số lĩnh vực ứng dụng về công nghệ nhận dạng giọng nói nỗi bật như trợ lý ảo (Google Assistant, Siri) hay công nghiệp robot (Sophia, Asimo).
TÌNH HÌNH NGHIÊN CỨU 1. Tình hình nghiên cứu trên thế giới Trên thế giới nhận dạng máy ra đời từ những năm 1920, trong đó những nghiên cứu về nhận dạng giọng nói trải qua nhiều giai đoạn. Giai đoạn 1920-1960 nghiên cứu về nhận dạng giọng nói dựa trên âm học, thành tựu đạt được trong giai đoạn này như là hệ thống nhận dạng những con số rời rạc được xây dựng tại phòng thí nghiệm Bell. Giai đoạn 1960-1970 nhận dạng dựa trên phần cứng, có nhiều phòng thí nghiệm ở Nhật tham gia vào nghiên cứu.
Thành qủa đạt được như là việc phát triển phần cứng để nhận dạng các nguyên âm tại phòng thí nghiệm Radio Research Lab ở Tokyo, phần cứng nhận dạng âm vị được Sakai và Doshita của Đại Học Kyoto phát triển dựa trên việc phân tích sự cắt qua điểm không của tín hiệu tiếng nói, giải thuật quy hoạch động cũng được Vintsyuk đề xuất năm 1968 và sau này được gọi là giải thuật Dynamic Time Warping (DTW). Từ 1970-1980 có những nghiên cứu nhận dạng dựa trên mẫu. Hai nhà nghiên cứu người Nga là Velichko và Zagoruyko cho ra đời ý tưởng nhận dạng giọng nói bằng mẫu, phương pháp mã hóa dự đoán tuyến tính (Linear Predictive Coding - LPC) được áp dụng thành công. Trong những năm từ 1980-1990 nghiên cứu tập trung vào nhận dạng từ liên tục, trong giai đoạn này lý thuyết về Hidden Markov Model (HMM) được mở rộng để đảm bảo độ chính xác và hệ thống nhận dạng với bộ từ vựng lớn là nhiệm vụ mới.
Giai đoạn 1990-2000 có những nghiên cứu về mô hình lai giữa HMM và mô hình Artificial Neural Network (ANN). Việc nghiên cứu mô hình này đã rút ngắn đáng kể thời gian phân lớp các thuộc tính. Những năm 2000-2010 nghiên cứu nhận dạng dựa trên mô hình Variational Bayesian (VB) estimation. Thành quả nổi bật là một hệ thống nhận dạng cho ngôn ngữ Hindi được thiết kế bởi Gupta năm 2006 [15][16][17].
Tình hình nghiên cứu trong nước Về tình hình nghiên cứu ở Việt Nam, thì có thể nói GS. TSKH Bạch Hưng Khang là người đi tiên phong trong việc nghiên cứu nhận dạng tiếng Việt. Công trình đầu tiên của ông liên quan đến nhận dạng được đăng trong tạp chí khoa học “Thông báo khoa học” của Viện hàn lâm khoa học Belorus năm 1966. Thời kì 1981-2000 các vấn đề về nhận dạng chữ (một sản phẩm phần mềm là VnDOC), 3 nhận dạng hình ảnh và dịch tự động có nhiều nghiên cứu trong khi đó nhận dạng tiếng nói thì chưa được quan tâm nhiều [2].
Cho đến nay theo chúng tôi tìm hiểu thì trong nước có số lượng các nhóm nghiên cứu về nhận dạng giọng nói là khá ít, như là: Phòng Nhận dạng và Công nghệ Tri thức, Viện Công nghệ Thông tin. Nhóm nghiên cứu MICA - ĐHBK Hà Nội. Nhóm nghiên cứu phòng thí nghiệm Trí tuệ nhân tạo (AILab), trường ĐH Khoa học Tự nhiên, ĐHQG-HCM do PGS.TS Vũ Hải Quân đứng đầu. Nhóm "Tương tác Người-Máy" trường ĐH Công Nghệ Thông Tin, ĐHQG- HCM do PGS.TS Vũ Đức Lung đứng đầu.
CÁC CÔNG TRÌNH LIÊN QUAN VÀ GIẢI PHÁP ĐỀ XUẤT 1. PHƯƠNG PHÁP TRÍCH RÚT ĐẶC TRƯNG GIỌNG NÓI Dưới đây là một số phương pháp trích chọn đặc trưng phổ biến và hiệu quả quả cho bài toán nhận dạng giọng nói. Phương pháp trích đặc trưng LPC (Linear Predictive Coding) Ý tưởng cơ bản của mô hình LPC là một mẫu tiếng nói cho trước tại thời điểm n s(n) có thể được xấp xỉ bởi một tổ hợp tuyến tính của p mẫu tín hiệu quá khứ. Mô hình LPC được sử dụng khá rông rãi trong các hệ thống nhận dạng tiếng nói là bởi các lý do sau: LPC cung cấp một mô hình tốt của tín hiệu tiếng nói, đặc biệt đối với các trạng thái gần ổn định của âm thanh, tuy nhiên trong các vùng ngắn và không âm, mô hình LPC hoạt động kém hiệu quả.
Phương pháp tính toán của LPC chính xác về mặt toán học và đơn giản, trực tiếp trong việc cài đặt lên cả phần cứng hoặc phần mềm. Phương pháp trích đặc trưng MFCC (Mel-scale Frequency Cepstral Còeficient) Ngoài LPC ra thì MFCC cũng là một phương pháp trích chọn đặc trưng phổ biến. Phương pháp MFCC dựa trên những nghiên cứu về những dải thông quan 4 trọng (critical) của tai người đối với tần số. Và để thu được những đặc trưng ngữ âm quan trọng người ta sử dụng các bộ lọc tuyến tính với dải tần thấp và các bộ lọc có đặc tính loga với dải tần số cao.
Nói chính xác đó là đặc điểm cảm thụ âm của tai người: tuyến tính với các tần số dưới 1KHz và phi tuyến với các tần số trên 1KHz [1]. PHƯƠNG PHÁP NHẬN DẠNG GIỌNG NÓI 1. Phương pháp âm – ngữ học Phương pháp này dựa trên lý thuyết về âm – ngữ học. Trong lời nói tồn tại các đơn vị ngữ âm xác định, có tính phân biệt.
Các bước nhận dạng của phương pháp này bao gồm: Bước 1: Phân đoạn và gán nhãn.