Luận Văn Thạc Sĩ Về Mạng Nơron Với Đầu Vào Rời Rạc Trong Nhận Diện Giọng Nói Tự Động

Luận văn thạc sĩ VNU nghiên cứu mạng nơ-ron với đầu vào rời rạc cho nhận diện tự động giọng nói, ứng dụng trong công nghệ hiện đại.

• Tác giả: To Huy Cuong
• Người hướng dẫn: Hervé Bourlard (Idiap, Epfl)
• Trường học: Institut de la Francophonie pour l’Informatique, Institut Dalle Molle d’Intelligence Artificielle Perceptive
• Chuyên ngành: Informatique
• Đề tài: Les Reseaux De Neurone Avec L’entree Discrete Pour La Reconnaissance Automatique De La Parole
• Loại tài liệu: Rapport du stage de fin d’études
• Năm xuất bản: 2004-2005
• Địa điểm: Martigny

Mục lục chi tiết

• MỞ ĐẦU
• 1. CHƯƠNG 1: INTRODUCTION
• 1.1. La limite des systèmes de RAP courants
• 1.2. Le taux d'erreur
• 1.3. Organisation du mémoire
• 2. CHƯƠNG 2: VUE D'ENSEMBLE D'UN SYSTÈME DE RAP D'IDIAP
• 2.1. Extraction de caractéristiques
• 2.2. Évaluation de vraisemblance/postérieurs de phonème
• 2.3. Le problème avec l'apprentissage d'un PMC
• 2.4. Background: La Quantification Vectorielle par la Maximisation d'Estimation
• 3. CHƯƠNG 3: LE PMC DISCRET POUR RAP
• 3.1. La conception théorique
• 3.1.1. La quantification vectorielle des caractéristiques
• 3.1.2. L'entraînement du PMC discret
• 3.1.3. Le facteur d'accélération en théorie
• 3.2. Expérience sur Numbers'95
• 3.2.1. La préparation de l'expérience
• 3.2.2. Résultats de l'exactitude de la trame
• 3.2.3. L'analyse du comportement de l'ET
• 3.2.4. Résultats du Facteur d'Accélération (FA)
• 3.2.5. L'analyse du comportement du FA
• 4. CHƯƠNG 4: LE PERCEPTRON DEUX COUCHES DISCRET (PDCD) POUR RAP
• 4.1. La conception du PDCD
• 4.2. La conception du PMCC-2
• 4.3. La fusion des experts
• 4.3.1. La combination des classificateurs
• 4.3.2. La RAP multi-canaux
• 4.3.3. La combination des réseaux utilisant l'entropie inverse
• 4.3.3.1. Le multi-canaux de full-combination
• 4.3.3.2. Combination basé sur l'entropie inverse
• 4.3.4. La comparaison et combination des PDCD, PMCC-2 et PMCC
• 4.3.4.1. Entropie Moyenne et Erreur Moyenne selon les Moindres Carrés
• 4.3.4.2. Analyse de la combination
• 5. CHƯƠNG 5: CONCLUSION ET TÂCHES FUTURES
• 5.1. Le temps utilisé des fonctions de l'implémentation des PMCs
• 5.2. Les matrices de confusion à la sortie des réseaux
• 5.3. L'article comme résultat du projet
• 5.4. Pour mieux comprendre ce mémoire de fin d'études
• PHỤ LỤC

Tóm tắt

I. Tổng quan về Mạng Nơron Cho Nhận Diện Giọng Nói Tự Động

Mạng nơron đã trở thành một công cụ quan trọng trong lĩnh vực nhận diện giọng nói tự động. Công nghệ này cho phép máy tính hiểu và xử lý ngôn ngữ nói của con người. Sự phát triển của mạng nơron tích chập đã mở ra nhiều cơ hội mới cho việc cải thiện độ chính xác và hiệu suất của các hệ thống nhận diện giọng nói. Các nghiên cứu gần đây cho thấy rằng việc áp dụng mạng nơron có thể giảm thiểu tỷ lệ lỗi trong nhận diện giọng nói, đồng thời tăng cường khả năng xử lý âm thanh phức tạp.

1.1. Mạng Nơron Tích Chập và Ứng Dụng Trong Nhận Diện Giọng Nói

Mạng nơron tích chập (CNN) đã được chứng minh là hiệu quả trong việc nhận diện giọng nói. Chúng có khả năng trích xuất đặc trưng từ tín hiệu âm thanh, giúp cải thiện độ chính xác của hệ thống. Việc sử dụng CNN trong nhận diện giọng nói cho phép xử lý các tín hiệu âm thanh phức tạp và đa dạng, từ đó nâng cao khả năng nhận diện trong các điều kiện khác nhau.

1.2. Lợi Ích Của Mạng Nơron Trong Nhận Diện Giọng Nói

Mạng nơron mang lại nhiều lợi ích cho hệ thống nhận diện giọng nói, bao gồm khả năng học từ dữ liệu lớn, giảm thiểu tỷ lệ lỗi và cải thiện tốc độ xử lý. Các nghiên cứu cho thấy rằng việc áp dụng mạng nơron có thể giúp hệ thống nhận diện giọng nói hoạt động hiệu quả hơn trong môi trường ồn ào và với nhiều giọng nói khác nhau.

II. Thách Thức Trong Nhận Diện Giọng Nói Tự Động

Mặc dù mạng nơron đã mang lại nhiều tiến bộ trong nhận diện giọng nói, nhưng vẫn còn nhiều thách thức cần phải vượt qua. Một trong những vấn đề lớn nhất là tỷ lệ lỗi trong nhận diện giọng nói, đặc biệt là trong các tình huống có nhiều tiếng ồn hoặc khi giọng nói không rõ ràng. Ngoài ra, việc thu thập và xử lý dữ liệu âm thanh cũng gặp nhiều khó khăn, đặc biệt là trong các ngữ cảnh đa dạng.

2.1. Tỷ Lệ Lỗi Trong Nhận Diện Giọng Nói

Tỷ lệ lỗi trong nhận diện giọng nói thường cao khi gặp phải các yếu tố như tiếng ồn nền, giọng nói không rõ ràng hoặc sự thay đổi trong ngữ điệu. Các nghiên cứu đã chỉ ra rằng việc cải thiện độ chính xác của hệ thống nhận diện giọng nói là một thách thức lớn, đòi hỏi sự phát triển liên tục của các thuật toán và mô hình học máy.

2.2. Khó Khăn Trong Việc Thu Thập Dữ Liệu Âm Thanh

Việc thu thập dữ liệu âm thanh cho các hệ thống nhận diện giọng nói gặp nhiều khó khăn, đặc biệt là trong các ngữ cảnh đa dạng. Dữ liệu cần phải được ghi âm trong nhiều điều kiện khác nhau để đảm bảo tính chính xác. Điều này đòi hỏi sự đầu tư lớn về thời gian và nguồn lực.

III. Phương Pháp Cải Thiện Nhận Diện Giọng Nói Bằng Mạng Nơron

Để cải thiện hiệu suất của hệ thống nhận diện giọng nói, nhiều phương pháp đã được đề xuất. Một trong những phương pháp hiệu quả nhất là sử dụng mạng nơron hồi tiếp (RNN) và mạng nơron tích chập (CNN) kết hợp. Phương pháp này cho phép hệ thống học từ dữ liệu âm thanh một cách hiệu quả hơn, từ đó nâng cao độ chính xác trong nhận diện giọng nói.

3.1. Sử Dụng Mạng Nơron Hồi Tiếp RNN

Mạng nơron hồi tiếp (RNN) có khả năng xử lý dữ liệu theo chuỗi, rất phù hợp cho nhận diện giọng nói. RNN có thể ghi nhớ thông tin từ các bước trước đó, giúp cải thiện độ chính xác trong việc nhận diện các từ và cụm từ trong ngữ cảnh.

3.2. Kết Hợp Mạng Nơron Tích Chập và Hồi Tiếp

Việc kết hợp mạng nơron tích chập và hồi tiếp đã cho thấy hiệu quả cao trong nhận diện giọng nói. Mạng tích chập giúp trích xuất đặc trưng từ tín hiệu âm thanh, trong khi mạng hồi tiếp giúp xử lý thông tin theo chuỗi, từ đó nâng cao khả năng nhận diện trong các tình huống phức tạp.

IV. Ứng Dụng Thực Tiễn Của Mạng Nơron Trong Nhận Diện Giọng Nói

Mạng nơron đã được áp dụng rộng rãi trong nhiều lĩnh vực khác nhau, từ trợ lý ảo đến hệ thống nhận diện giọng nói trong các thiết bị di động. Các ứng dụng này không chỉ giúp cải thiện trải nghiệm người dùng mà còn mở ra nhiều cơ hội mới trong việc phát triển công nghệ nhận diện giọng nói.

4.1. Trợ Lý Ảo và Ứng Dụng Trong Cuộc Sống Hàng Ngày

Trợ lý ảo như Siri, Google Assistant đã sử dụng công nghệ nhận diện giọng nói để tương tác với người dùng. Công nghệ này giúp người dùng thực hiện các tác vụ một cách dễ dàng và nhanh chóng, từ việc gửi tin nhắn đến tìm kiếm thông tin.

4.2. Hệ Thống Nhận Diện Giọng Nói Trong Thiết Bị Di Động

Nhiều thiết bị di động hiện nay đã tích hợp công nghệ nhận diện giọng nói, cho phép người dùng thực hiện các lệnh bằng giọng nói. Điều này không chỉ giúp tiết kiệm thời gian mà còn nâng cao tính tiện lợi trong việc sử dụng thiết bị.

V. Kết Luận và Tương Lai Của Nhận Diện Giọng Nói Tự Động

Nhận diện giọng nói tự động đang trên đà phát triển mạnh mẽ nhờ vào sự tiến bộ của công nghệ mạng nơron. Tương lai của công nghệ này hứa hẹn sẽ mang lại nhiều cải tiến đáng kể, từ độ chính xác đến khả năng xử lý trong các điều kiện khác nhau. Việc tiếp tục nghiên cứu và phát triển sẽ giúp mở rộng khả năng ứng dụng của nhận diện giọng nói trong nhiều lĩnh vực khác nhau.

5.1. Xu Hướng Phát Triển Công Nghệ Nhận Diện Giọng Nói

Công nghệ nhận diện giọng nói sẽ tiếp tục phát triển với sự hỗ trợ của mạng nơron và các thuật toán học máy tiên tiến. Xu hướng này sẽ giúp cải thiện độ chính xác và khả năng xử lý trong các tình huống phức tạp.

5.2. Tương Lai Của Nhận Diện Giọng Nói Trong Cuộc Sống

Nhận diện giọng nói sẽ trở thành một phần không thể thiếu trong cuộc sống hàng ngày. Công nghệ này sẽ được áp dụng rộng rãi trong nhiều lĩnh vực, từ giáo dục đến y tế, mang lại nhiều lợi ích cho người dùng.

Trích đoạn nội dung tài liệu

Institut de la Francophonie pour l’Informatique Institut Dalle Molle d’Intelligence Artificielle Perceptive VIETNAM SUISSE Rapport du stage de fin d’études Promotion 8 Sujet Les RESEAUX DE NEURONE avec L’ENTREE DISCRETE pour la RECONNAISSANCE AUTOMATIQUE DE LA PAROLE Stagiaire Responsable To Huy Cuong Hervé Bourlard (IFI, IDIAP) (IDIAP, EPFL) Martigny, Suisse : Mars 2004 – Janvier 2005 LUAN VAN CHAT LUONG download : add [e-mail] In memory of my father, M. San TO LUAN VAN CHAT LUONG download : add [e-mail] Table des matières Table des Matières iv Liste des Figures iv Qu'est-ce que c'est ce mémoire v Résumé vi Abstract vii Remerciements viii Reconnaissance de la parole ix Lieu de travail x Liste des Notations xi Liste des Jargons xiii 1 Introduction 1 1.2 La limite des systèmes de RAP courants .1 Le taux d'erreur .5 Organisation du mémoire. 4 2 Vue d'ensemble d'un système de RAP d'IDIAP 6 2.1 Extraction de caractéristiques .2 Évaluation de vraisemblance/postérieurs de phonème .4 Le problème avec l'apprentissage d'un PMC .5 Background: La Quantication Vectorielle par la Maximisation d'Estimation. 10 3 Le PMC discret pour RAP 13 3.1 La conception théorique .1 La quantication vectorielle des caractéristiques .2 L'entraînement du PMC discret .3 Le facteur d'accélération en théorie.

18 ii LUAN VAN CHAT LUONG download : add [e-mail] TABLE DES MATIÈRES iii 3.2 Expérience sur Numbers'95 .1 La préparation de l'expérience .2 Résultats de l'exactitude de la trame .3 L'analyse du comportement de l'ET .4 Résultats du Facteur d'Accélération (FA) .5 L'analyse du comportement du FA. 29 4 Le Perceptron Deux Couches Discret (PDCD) pour RAP 30 4.1 La conception du PDCD .2 La conception du PMCC-2 .2 La fusion des experts .1 La combination des classicateurs .2 La RAP multi-canaux .3 La combination des réseaux utilisant l'entropie inverse .1 Le multi-canaux de full-combination .2 Combination basé sur l'entropie inverse .4 La comparaison et combination des PDCD, PMCC-2 et PMCC .1 Entropie Moyenne et Erreur Moyenne selon les Moindres Carrés .2 Analyse de la combination. 42 5 Conclusion et Tâches futures 43 5.1 Le temps utilisé des fonctions de l'implémentation des PMCs .2 Les matrices de confusion à la sortie des réseaux .3 L'article comme résultat du projet .4 Pour mieux comprendre ce mémoire de n d'études. 52 LUAN VAN CHAT LUONG download : add [e-mail] Liste des Figures 2.1 Schéma fonctionnel d'un système connexionniste-HMM typique .2 Schéma fonctionnel de l'apprentissage et la structure du groupement de QV de base [courtoisie de L.Rabiner et al.1 Le diagramme d'un système Connexionniste-HMM avec l'entrée discrète.2 Comparaison d'un PMC continu et un PMC discret, où B = 3.3 Comparaison de l'exactitude de la trame (ET) des deux PMCs (a), elle est zoomée (b) pour visualiser la diérence.4 Les trois caractéristiques de QV qui inuencent l'erreur de classication du PMC discret 22 3.5 Les tailles de couche cachée des deux PMCs .6 La diérence entre le FA théorique et expérimental, sur la totalité de 450,005 échantillons 24 3.7 FA expérimental avec diérents nombres d'échantillons .8 Le temps utilisé (en seconde) par chaque connexion Cachée-Sortie (a) et le temps pour chaque 10,000 échantillons .9 Le temps utilisé (en seconde) par chaque connexion creuse d'Entrée-Cachée (a) et le temps pour chaque 10,000 échantillons .1 Un système multi-canaux de deux canaux, soit (PMCC + PMCC-2), soit (PMCC + PDCD) .2 Les mesures au niveau du mot et de la trame .3 "Pourcentage" de Correction de tous les phonèmes .4 PDCD: Mesures de l'exactitudes de la trame et du mot pour tous les tailles du dictionnaire 40 4.5 Les PDCDs de diérent W: ET, EM avant et après la combination avec PMCC .6 "Pourcentage" de Correction de tous les phonèmes, quand la taille du dictionnaire est 100 .1 Le temps utilisé par les fonctions principales du program, avec T anh comme la fonction d'activation à la couche cachée.2 Gprof Hard-Tanh .3 PDCD: matrice de confusion à la sortie .4 PMCC-2: matrice de confusion à la sortie .5 PMCC: matrice de confusion à la sortie.

51 iv LUAN VAN CHAT LUONG download : add [e-mail] Qu'est-ce que c'est ce mémoire ? C'est le mémoire de n de mes études à l'IFI, un Institut Francophone de la formation en Informatique du 3 ème cycle. Décrit mon travail du stage à l'Insititut de Recherche IDIAP en Suisse, un stage de recherche sur la Reconnaissance Automatique de la Parole (RAP). Utilise les connaissances acquises pendant les 3 semestres d'études à l'IFI. Les cours suivants ont de grandes importances à mon travail du stage • Programmation sur UNIX (N.Quang): comment lancer de gros programmes et manipuler du grand nombre de scripts de recherche en Shell/Perl sur l'UNIX.

A l'IDIAP on a 70 chercheurs, chacun exécute quotidiennement ses programmes. La question est comment exécuter toutes ces tâches judicieusement.Vinh): comment collaborer avec d'autres informaticiens dans l'équipe • Méthodologie de Recherche (D.Vu): la recherche est de découvrir de nouveaux menus à notre Restaurant dont les clients sont DARPA, NSF, et les Industries. • Travaux d'intérêt personnel encadré (TIPE) (P. une recherche individuelle qui demande une direction minimale du Responsable.

• Méthodologie de Programmation (A. Boucher): la programmation en C++, utilisant la bibliothèque de Torch. • Gestion du Projet (H.Vinh): comment gérer les époques du projet. C'est un projet de recherche sponsorisé par DARPA dont la gestion du temps et de la qualité est indispensable.

Ma recherche en RAP à l'IDIAP est de diminuer le taux d'erreur de la reconnaissance, et d'élargir la base de donnée d'apprentissage de la parole. Je l'ai faite en utilisant un des Réseaux de Neurone Articiel de l'Entrée Discrète. Pendant mon stage à l'IDIAP, on m'a appelait  homme du Réseau Discret ". v LUAN VAN CHAT LUONG download : add [e-mail] Résumé Des systèmes contemporains de la Reconnaissance Automatique de la Parole (RAP) utilisant le sys- tème hybride (composé par un Perceptron Multi Couches à l'entrée continue(PMCC) et un Modèle de Markov Caché (MMC)) sont limités par (i) sa performance en termes de taux d'erreur de la re- connaissance au niveau du mot, et (ii) son impossibilité d'entraîner sur les bases de données réelles très grandes.

On présente içi comment on attaque ces limites par l'utilisation dans le système hy- bride les réseaux l'entrée Discrète, avec ou sans la couche cachée. Nos première expériences, et notre première implémentation révèlent que ces réseaux discrets peut avoir les propriétés suivantes: (1) Ils accélèrent l'apprentissage utilisant la Rétro-Propagation, (2) Ils ont l'Exactitude du Mot et quelques fois l'Exactitude de la Trame plus basse q'un réseau standard (3) Ils produisent diérents types d'erreur au niveau de trame que le PMCC. Ce mémoire de n d'études décrit nos eorts de balancer ces trois caractéristiques dans la con- struction de diérents sytèmes, dans les quels nous compense la perte de performance avec la capacité d'entraîner sue de très grandes bases de données, ou nous essayons à combiner plusieurs réseaux dans un système hybride, an d'augmenter la performance. Bien que les expériences et l'implémentation initiales de notre nouveaux systèmes discrets sont loin d'être réellement conclusive, le potentiel théorique du projet est prouvé.

Nous arrivons à une estimation impressive de borne inférieure du CPU. Nous arrivons aussi à construire deux réseaux de diérent propriétés mais ayant l'exactitude comparable d'un PMCC standard. Nous avons achevé à augmenté l'Exactitude du Mot de 0.25% relative, sur Numbers'95 1 , avec une combination de deux réseaux dans un système utilisant le MMC. Nous avons aussi déni les directions de futur très proche du projet, en vue d'achever les résultats conclusives.

Dans ce mémoire de n d'études de 3-ème cycle, nous fournissons un détail riche des résultats acquises, avec l'espoir que les suggestions et contributions des lecteurs vont nous aider de réduire le temps à arriver à un système vraiment complet. Mots clés: Reconnaissance Automatique de la Parole (RAP), système hybride, Perceptron Multi Couches (PMC), Modèle de Markov Caché (MMC), entrée discrète, vecteur creux, Quantication Vectorielle (QV), Facteur d'Accélération (FA), Exactitude du Mot (EM), Exactitude de la Trame (ET), combination des classicateurs, multi-canaux. 1 une base de données de parole, pour la reconnaissance des chires: 0, 1, 2, ., 9 vi LUAN VAN CHAT LUONG download : add [e-mail] Abstract Contemporary automatic speech recognition (ASR) systems using hybride system (composed of a continuous input Multi Layer Perceptron (MLP) and a Hidden Markov Model (HMM)) are limited by (i) its performance in terms of Word-Error-Rate, and (ii) its unlikeliness to train on very large real-world databases. We present here how we attack these limits by using a Discrete input Neural Network, with or without the hidden layer.

Our rst experiments revealed that these Discrete Net- works may have three properties (1) Speed up the training using Back Propagation, (2) Have lower Word Accuracy and sometimes Frame Accuracy (3) Produce dierent types of Errors at the frame level from the normal continuous input MLP. This thesis describes our eorts to balance these properties in dierent systems, in which we try to compensate the performance lost by the ability to train on very large database, or we try to combine multiple neural network in a hybrid framework, in order to increase the performance. Although initial implementation and experiments of our discrete system, mainly due to time limi- tation, are far to be really conclusive , the theoretical potential of the project is proven. We have come up with a quite impressive estimation of the CPU lower bound, have some discrete network's frame accuracy comparable to a continuous standard one, and even got 0.25% of Word Accuracy relative increase on Numbers'952 with a combination of multiple networks in a HMM frame work.

We have also dene the very near future direction of the project, in order to have really conclusive results. In this Master Thesis, we will provide you with rich details of the results we have got, with a hope that your suggestions and contribution may help us reduce the time of reaching a real complete system. Key words: Automatic Speech Recognition (ASR), hybrid system, Multi Layer Perceptron (MLP), Hidden Markov Model (HMM), Discrete Input, sparse vector, Vector Quantization (VQ), speed-up, Word Accuracy (WA), Frame Accuracy (FA), classier combination, multi-stream. 2 a speech database, for the recognition of digits like: 0, 1, 2, ., 9 vii LUAN VAN CHAT LUONG download : add [e-mail] Remerciements Je remercie M.

Hervé Bourlard, directeur de l'IDIAP pour sa direction sur un sujet de vraie recherche pendant mon stage. J'ai appris beaucoup sur lui, et sur d'autres chercher de l'Institut. Hynek Hermansky à l'IDIAP pour ses lectures et conseils. C'était grâce à lui que j'ai pu sentir la philosophie" de recherche.

Je remercie les personnels de l'IFI pour les trois semestres du Diplôme d'Etudes Professionnelles Approfondies où je pourrais découvrir le monde. Je témoigne de ma reconnaissance à toutes les personnes qui ont aidé à fournir de divers com- posants pour notre système: John Dines pour des parties de son code source et pour ses grandes discussions. Samy Bengio pour son aide comment utiliser la bibliothèque de Torche. Hemant Misra pour ses suggestions de comment faire une recherche en RAP.

Tous les autres membres de notre groupe de la parole à IDIAP ont également contribué intellectuellement à ce travail. La vie dans une petite ville étrangère comme Martigny n'est pas toujours très agréable, mais mon ami, Quan Le m'aidait à lui s'adapter. Quan était plus que mon ami, mon frère et mon tuteur. Un grand merci à Dr.

Ho Tuong Vinh de l'IFI pour son aide dans la rédaction de la version Francaise du mémoire. Un grand merci à Dr. Vu Duong de l'Eurocontrol pour son aide dans la rédaction de la ver- sion Anglaise du mémoire. Il est toujours, avec Prof.

Patrick Bellot à l'ENST, une grande source d'aspiration et motivation pour ma recherche. Et je veux remercier la Suisse avec le Chocolat, la Neige et l'Esprit de travail auprès des Suisses. J'aurai eu visité toute la Suisse si mon travail n'aurai pas été si dûr.