MỞ ĐẦU 1. Lý do chọn đề tài Tiếng nói là phƣơng tiện giao tiếp cơ bản của con ngƣời. Vì vậy tiếng nói cũng là loại hình thông tin cơ bản và phổ biến nhất trong các hệ thống truyền thông. Tín hiệu tiếng nói mang nhiều thông tin, nhƣ thông tin ngôn ngữ, thông tin về ngƣời nói, thông tin về sắc thái tình cảm khi nói,… Hầu hết các hệ thống xử lý và nhận dạng tiếng nói truyền thống tập trung vào xử lý các thông tin ngôn ngữ để đảm bảo nhận dạng đƣợc nội dung ngôn ngữ hay ngữ nghĩa đƣợc nói [5], [11].
Tuy nhiên để các ứng dụng xử lý tiếng nói trong máy tính có thể đƣợc áp dụng rộng rãi trong thực tế, một trong những vấn đề quan trọng cần đảm bảo là khả năng nhận dạng và xác minh ngƣời nói [2], [12]. Trên thế giới đã có nhiều nghiên cứu về nhận dạng ngƣời nói qua giọng nói [12], [14]. Tại Việt Nam cũng có một số nghiên cứu ban đầu, đặc biệt là một số nghiên cứu tại Viện Công nghệ thông tin [3] và Viện nghiên cứu MICA – Đại học Bách Khoa Hà Nội [1], [2]. Tuy nhiên ở Việt Nam vẫn chƣa có nhiều các nghiên cứu đánh giá một cách tổng hợp các phƣơng pháp nhận dạng ngƣời nói phổ biến.
Đặc biệt, hai phƣơng pháp nhận dạng ngƣời nói hiện đại dùng phép lƣợng tử hóa vector – VQ và mô hình pha trộn Gaussian - GMM [10], [12], [13] lại chƣa đƣợc nghiên cứu nhiều tại Việt Nam. Vì vậy, luận văn này nghiên cứu một số phƣơng pháp nhận dạng ngƣời nói bằng giọng nói, tập trung vào hai phƣơng pháp dùng phép lƣợng tử hóa vector và mô hình pha trộn Gaussian, đánh giá thực nghiệm các phƣơng pháp, và đƣa ra những khuyến nghị. Mục tiêu của đề tài Luận văn nghiên cứu một số phƣơng pháp nhận dạng ngƣời nói qua giọng nói bao gồm: - Một số phƣơng pháp truyền thống dùng so sánh mẫu trực tiếp với giải thuật thời gian động – DTW; - Phƣơng pháp phân lớp dùng lƣợng tử hóa vector – VQ; - Phƣơng pháp sử dụng mô hình pha trộn Gaussian – GMM. Sau đó đánh giá thực nghiệm các phƣơng pháp dùng lƣợng tử hóa vector và dùng mô hình pha trộn Gaussian GMM với cơ sở dữ liệu tiếng nói đa ngƣời nói, và đƣa ra những khuyến nghị.
Đối tƣợng và phạm vi nghiên cứu Đối tƣợng nghiên cứu của luận văn là các phƣơng pháp nhận dạng ngƣời nói bằng giọng nói. Đây là đối tƣợng nghiên cứu đƣợc nhiều nhà nghiên cứu trên thế giới quan tâm trong thời gian gần đây. Phạm vi của luận văn bao gồm nghiên cứu tổng quan về tín hiệu tiếng nói và thông tin ngƣời nói trong tiếng nói, một số phƣơng pháp nhận dạng ngƣời nói, bao gồm phƣơng pháp so sánh mẫu trực tiếp dùng giải thuật thời gian động [9], phƣơng pháp phân lớp dùng lƣợng tử hóa vector [14], và đặc biệt tập trung vào phƣơng pháp sử dụng mô hình pha trộn Gaussian [10], [12], [13]. Luận văn cũng nghiên cứu đánh giá thực nghiệm các phƣơng pháp để đƣa ra các khuyến nghị.
Phƣơng pháp nghiên cứu Phƣơng pháp nghiên cứu của luận văn là nghiên cứu các lý thuyết đã có trên thế giới [1-15] để phân tích, đánh giá về các phƣơng pháp biến đổi thông tin ngƣời nói trong tiếng nói. 3 Dựa trên các cơ sở lý thuyết và các phân tích, đánh giá, luận văn cũng sẽ nghiên cứu thực nghiệm một số phƣơng pháp nhận dạng ngƣời nói qua giọng nói. Ý nghĩa khoa học và thực tiễn Nhƣ đã trình bày trong phần 1, nghiên cứu về thông tin ngƣời nói trong tiếng nói và các phƣơng pháp nhận dạng ngƣời nói qua giọng nói có vai trò quan trọng trong các hệ thống xử lý thông tin và truyền thông hiện đại. Đây không phải vấn đề nghiên cứu mới trên thế giới nhƣng còn khá mới mẻ ở Việt Nam.
Đặc biệt, nghiên cứu tổng hợp về các phƣơng pháp nhận dạng ngƣời nói qua giọng nói dùng phép lƣợng tử hóa vector - VQ và mô hình Gaussian - GMM chƣa đƣợc nghiên cứu nhiều ở Việt Nam. Do vậy vấn đề nghiên cứu trong luận văn có ý nghĩa khoa học và thực tiễn. 4 CHƢƠNG I: TỔNG QUAN VỀ TIẾNG NÓI VÀ NHẬN DẠNG NGƢỜI NÓI TRONG TIẾNG NÓI 1. Tổng quan về tiếng nói Âm thanh của lời nói cũng nhƣ âm thanh trong thế giới tự nhiên xung quanh ta, về bản chất đều là những sóng âm đƣợc lan truyền trong một môi trƣờng nhất định (thƣờng là không khí).
Khi nói dây thanh trong hầu bị chấn động, tạo nên những sóng âm, sóng truyền trong không khí đến màng nhĩ – một màng mỏng rất nhạy cảm của tai ta, làm cho màng nhĩ cũng dao động, các dây thần kinh màng nhĩ sẽ nhận đƣợc cảm giác âm khi tần số dao động của sóng đạt đến một độ lớn nhất định. Tai con ngƣời chỉ cảm thụ đƣợc những dao động có tần số từ khoảng 16Hz đến khoảng 20000Hz. Những dao động trong miền tần số này gọi là dao động âm hay âm thanh, và các sóng tƣơng ứng gọi là sóng âm. Những sóng có tần số nhỏ hơn 16Hz gọi là sóng hạ âm, những sóng có tần số lớn hơn 20000Hz gọi là sóng siêu âm nhƣng con ngƣời không cảm nhận đƣợc.
Sóng âm, sóng siêu âm, sóng hạ âm không chỉ lan truyền trong không khí mà còn có thể lan truyền tốt ở những môi trƣờng nhƣ rắn, lỏng, do đó cũng đƣợc sử dụng rất nhiều trong các thiết bị hiện đại. Tiếng nói là dạng thông tin tự nhiên và phổ biến nhất đối với con ngƣời. Từ khi lịch sử con ngƣời hình thành, con ngƣời đã biết sử dụng tiếng nói làm phƣơng tiện giao tiếp chính, trải qua hàng triệu năm trong quá trình tiến hóa và phát triển của loài ngƣời, tiếng nói vẫn luôn giữ vai trò là phƣơng tiện giao tiếp cơ bản nhất. Kể từ khi máy tính và các ứng dụng của máy tính đƣợc nghiên cứu và ứng dụng rộng rãi, ngƣời ta cố gắng để máy tính không chỉ có thể xử lý nhanh, nhiều mà quan trọng hơn nó đủ thông minh để thay thế con ngƣời.
Một trong các tiêu chí quan trọng để đánh giá độ thông minh của máy tính chính là khả năng hiểu đƣợc ngôn ngữ tự nhiên của con ngƣời 5 trong đó có tiếng nói. Do vậy, trong khoảng một thập kỷ lại đây, lĩnh vực xử lý ngôn ngữ tự nhiên và tiếng nói đã đƣợc nghiên cứu rất rộng rãi trên thế giới. Xử lý tiếng nói đƣợc hiểu là các thao tác, kỹ thuật xử lý trên máy tính nhằm mục đích đƣa tiếng nói vào máy tính, xử lý theo yêu cầu và phát lại cho con ngƣời. Yêu cầu xử lý ở đây phụ thuộc vào từng ứng dụng cụ thể nhƣ trong hình 1.
Chẳng hạn để có thể truyền tiếng nói tin cậy và hiệu quả trên các hệ thống viễn thông truyền với khoảng cách rất xa, ngƣời ta cần nghiên cứu và xây dựng các giải thuật mã hóa nén tiếng nói. Để xây dựng các ứng dụng nhận dạng tiếng nói, ngƣời ta cần nghiên cứu và xây dựng các giải thuật trích đặc trƣng tiếng nói và huấn luyện tiếng nói. Nhận dạng tiếng nói là một lĩnh vực nghiên cứu thu hút đƣợc sự quan tâm nghiên cứu của nhiều nhà khoa học. Thuật ngữ “nhận dạng tiếng nói” thông thƣờng hay đƣợc xem là nhận dạng cái gì đƣợc nói trong một ngôn ngữ cụ thể.
Ví dụ nhận dạng tiếng Việt tức là biến đổi một câu nói tiếng Việt thành văn bản tiếng Việt xem cái gì thực sự đã đƣợc nói ra. Tƣơng tự với các ngôn ngữ khác nhƣ tiếng Anh, tiếng Thái, tiếng Mandarin, Cantonese,… Tuy nhiên bản thân tín hiệu tiếng nói còn có thể mang nhiều thông tin hơn là nội dung cái gì đã đƣợc nói. Tiếng nói có thể mang thông tin ai nói, nói bằng ngôn ngữ gì, nói với sắc thái tình cảm nhƣ thế nào,… Và do vậy thuật ngữ “nhận dạng tiếng nói” cần đƣợc hiểu nhƣ là một lĩnh vực nhận dạng tín hiệu tiếng nói nói chung với các ứng dụng cụ thể nhƣ nhận dạng tiếng nói tiếng Anh, tiếng Việt,… nhận dạng ngƣời nói, nhận dạng ngôn ngữ nói,… Bài toán nhận dạng ngƣời nói mới đƣợc nghiên cứu nhiều trong thời gian gần đây. Nhận dạng ngƣời nói có nhiều ứng dụng trong công tác điều tra, giám định tội phạm, xác thực ngƣời dùng, giao dịch ngân hàng,… Về cơ bản, nhận dạng ngƣời nói và nhận dạng tiếng nói nói chung có những điểm chung 6 giống nhau về quá trình xử lý tín hiệu tiếng nói, học mẫu và phân lớp, nhận dạng và so khớp mẫu.1: Các ứng dụng xử lý tiếng nói 1.
Tổng quan về lý thuyết nhận dạng tiếng nói Nhận dạng là một quá trình quan sát đối tƣợng cần nhận dạng, ghi nhận lại những đặc trƣng của đối tƣợng, phân lớp đối tƣợng và có sử dụng khả năng phán đoán suy luận để phân biệt đối tƣợng đó với đối tƣợng khác (trong một tập gần nhƣ vô hạn đối tƣợng). Trong khi đó, nhận dạng tự động – nhận dạng bằng công cụ máy vi tính chỉ đơn giản là quá trình phân biệt tín hiệu này với tín hiệu khác (trong một tập hữu hạn các tín hiệu), quá trình này đƣợc thực hiện theo các bƣớc trong sơ đồ tổng quát sau (nhƣ trong hình 1.2: Sơ đồ nhận dạng tổng quát - Thu nhận tín hiệu và trích đặc trƣng: thu nhận tín hiệu cần nhận dạng, khử nhiễu, lọc tín hiệu (tiền xử lý) và rút ra các đặc trƣng của tín hiệu. - Học mẫu: phân lớp các nhóm vector đặc trƣng của từng nhóm tín hiệu (bằng các thuật giải Heristic, bằng cách sử dụng mạng Neural, bằng các thuật toán K-means, Batchelor - Wilkins,…). Quá trình này tạo ra các lớp tín hiệu, mỗi lớp đặc trƣng cho từng nhóm tín hiệu.
- Nhận dạng, so khớp mẫu: tìm mối liên hệ giữa tín hiệu cần nhận dạng và các lớp tín hiệu đƣợc tạo ra ở bƣớc trƣớc (bằng cách thông qua quy tắc ngƣời láng giềng gần nhất chẳng hạn). Nếu nhƣ tín hiệu đó so khớp nhất (và mức độ so khớp thỏa mãn một ngƣỡng nào đó) ứng với một lớp tín hiệu nào thì hệ thống nhận dạng xác định tín hiệu đó thuộc vào nhóm tín hiệu đó với một tỉ lệ nhất định gọi là độ chính xác của hệ thống nhận dạng (tỉ lệ này dĩ nhiên là càng cao càng tốt). Thông tin ngƣời nói trong tiếng nói Hầu hết các hệ thống xử lý tiếng nói truyền thông tập trung vào xử lý các thông tin ngôn ngữ để đảm bảo tiếng nói sau xử lý có thể hiểu đƣợc [11].