Luận văn thạc sĩ speech emotion recognition using fuzzy inference system based on fuzzy associative memory

Luận văn thạc sĩ phân tích speech emotion recognition using fuzzy inference system based on fuzzy associative memory, đánh giá thực trạng, chỉ ra hạn chế, đề xuất giải pháp khả

• Tác giả: Ton That Hoa An
• Người hướng dẫn: Professor Hyung-II Choi
• Trường học: Soongsil University
• Chuyên ngành: Digital Media
• Đề tài: Nhận diện cảm xúc trong giọng nói bằng hệ thống suy diễn mờ dựa trên bộ nhớ liên kết mờ
• Loại tài liệu: thesis
• Năm xuất bản: 2014
• Địa điểm: Seoul

Mục lục chi tiết

• ACKNOWLEDGEMENT
• ABSTRACT IN ENGLISH
• ABSTRACT IN KOREAN
• 1. CHAPTER 1: INTRODUCTION
• 1.1. Rationale and Incentives
• 1.2. Related Concepts and Definitions
• 1.3. Applications of Speech Emotion Recognition
• 1.4. Problem Statement
• 1.5. Dissertation Outline
• 2. CHAPTER 2: RELATED WORKS
• 2.1. Speech Emotion Features
• 2.1.1. Excitation Source Features
• 2.2. Vocal Tract Features
• 2.3. Prosodic Features
• 2.4. Combination of Features
• 2.5. Emotion Classification Methods
• 3. CHAPTER 3: FUZZY INFERENCE SYSTEM BASED ON FUZZY ASSOCIATIVE MEMORY
• 3.1. The Principal Structure of the Fuzzy Associative Memory
• 3.2. Model of the FAM-based Fuzzy Inference System
• 3.3. Layers of the FAM-based Fuzzy Inference System
• 3.4. Building up Membership Functions
• 3.5. Basic Model of Inference and Fuzzy Rules
• 3.6. Determining Weight Matrix
• 3.7. The Model of Speech Emotion Recognition using FAM-based Fuzzy Inference System
• 4. CHAPTER 4: SPEECH EMOTION RECOGNITION TOOLBOX
• 4.1. Main Interface Window
• 4.2. Features Group
• 4.3. Framing Modes Group
• 4.4. Tools Group
• 4.4.1. Check Database Tool
• 4.4.2. Convert HTK to TXT Tool
• 4.4.3. Cut Wav Files Tool
• 4.4.4. Trim Wav Files Tool
• 4.5. Resample Wav Files
• 4.6. Operations Group
• 4.7. Commands Group
• 4.8. Recognition Group
• 4.8.1. CHE SVM Tool
• 4.8.2. FAM FIS Tool
• 5. CHAPTER 5: PERFORMANCE AND RESULTS
• 5.1. Databases
• 5.2. Speech Emotion Feature Extraction
• 5.2.1. Mel Frequency Cepstral Coefficients (MFCCs)
• 5.2.2. Generalized Frequency Cepstral Coefficients (GFCCs)
• 5.2.3. Generalized Perceptual Linear Prediction
• 5.2.4. Pre-Emphasis Filter
• 5.2.5. Hamming Window
• 5.2.6. Power Spectrum Estimation
• 5.2.7. Filter Bank Analysis
• 5.2.8. Equal Loudness Normalization
• 5.2.9. Intensity-loudness Power Law
• 5.2.10. Autoregressive Modeling
• 5.2.11. Cepstral Domain Transformation
• 5.3. The Classification
• 5.3.1. Emo-DB Database
• 5.3.2. SAVEE Database
• 5.3.3. Comparison Results
• 6. CHAPTER 6: CONCLUSION AND FUTURE WORK
• 6.1. Overall Performance
• 6.2. Suggestion of Applications
• 6.3. Future Work
• REFERENCES
• APPENDICES

Tóm tắt

I. Tổng Quan Về Nhận Diện Cảm Xúc Trong Giọng Nói Khám Phá

Giao tiếp bằng giọng nói là phương thức tự nhiên và phổ biến nhất giữa con người. Vì lẽ đó, việc nghiên cứu về nhận diện giọng nói đã phát triển mạnh mẽ trong nhiều thập kỷ. Tuy nhiên, để đạt được sự tương tác tự nhiên giữa người và máy, máy móc cần hiểu được trạng thái cảm xúc của con người. Điều này dẫn đến sự ra đời của lĩnh vực nhận diện cảm xúc trong giọng nói (SER). Các hệ thống giọng nói hiện tại xử lý hiệu quả giọng nói trung tính được ghi âm trong phòng thu, nhưng hiệu suất của chúng giảm sút đáng kể khi đối diện với giọng nói biểu cảm. Nguyên nhân là do khó khăn trong việc mô hình hóa và đặc trưng hóa cảm xúc thể hiện trong giọng nói. Sự hiện diện của cảm xúc làm cho giọng nói trở nên tự nhiên hơn. Trong một cuộc trò chuyện, giao tiếp phi ngôn ngữ truyền tải thông tin quan trọng như ý định của người nói.

1.1. Tầm Quan Trọng Của Cảm Xúc Trong Giao Tiếp Bằng Giọng Nói

Ngoài thông điệp được truyền tải qua văn bản, cách thức diễn đạt lời nói cũng mang thông tin phi ngôn ngữ thiết yếu. Cùng một thông điệp văn bản có thể được truyền tải với ngữ nghĩa khác nhau tùy thuộc vào cảm xúc được lồng ghép. Văn bản nói có thể có nhiều cách hiểu, tùy thuộc vào cách diễn đạt. Ví dụ: từ 'OKAY' trong tiếng Anh có thể được sử dụng để thể hiện sự ngưỡng mộ, không tin, đồng ý, thờ ơ hoặc khẳng định. Do đó, chỉ hiểu văn bản thôi là chưa đủ để giải thích ngữ nghĩa của một phát ngôn [1]. Giọng nói là một trong những phương thức tương tác tự nhiên giữa người và máy. Các hệ thống giọng nói ngày nay chỉ có thể đạt được hiệu suất tương đương con người khi chúng có thể xử lý hiệu quả các cảm xúc tiềm ẩn [2].

1.2. Ứng Dụng Thực Tế Của Nhận Diện Cảm Xúc Trong Giọng Nói

Mục đích của các hệ thống giọng nói phức tạp không nên giới hạn ở việc xử lý thông điệp đơn thuần, mà thay vào đó, chúng nên hiểu được ý định tiềm ẩn của người nói bằng cách phát hiện các biểu cảm trong giọng nói [3], [4]. Trong thời gian gần đây, việc xử lý tín hiệu giọng nói để nhận diện các cảm xúc tiềm ẩn đã nổi lên như một trong những lĩnh vực nghiên cứu giọng nói quan trọng. Việc nhúng thành phần xử lý cảm xúc vào các hệ thống giọng nói hiện có giúp chúng trở nên tự nhiên và hiệu quả hơn. Do đó, trong khi phát triển các hệ thống giọng nói (ví dụ: nhận dạng giọng nói, nhận dạng người nói, tổng hợp giọng nói và nhận dạng ngôn ngữ), người ta nên sử dụng một cách thích hợp kiến thức về cảm xúc [1].

II. Thách Thức Bài Toán Trong Nhận Diện Cảm Xúc Giọng Nói

Nhận diện cảm xúc trong giọng nói (SER) là một nhiệm vụ đầy thách thức. Không rõ đặc trưng giọng nói nào mạnh mẽ nhất trong việc phân biệt giữa các cảm xúc. Cách một cảm xúc cụ thể được thể hiện thường phụ thuộc vào người nói, văn hóa và môi trường của họ. Để nâng cao độ chính xác của hệ thống SER, có hai hướng tiếp cận chính. Đầu tiên là khám phá các đặc trưng phù hợp, có thể mô tả hiệu quả hơn các cảm xúc khác nhau. Thứ hai là tìm ra các bộ phân loại có khả năng phân loại cảm xúc giọng nói tốt hơn. Nghiên cứu này giới thiệu một phương pháp phân loại mới sử dụng hệ thống suy luận mờ dựa trên bộ nhớ liên kết mờ.

2.1. Vấn Đề Về Đặc Trưng Hóa Cảm Xúc Trong Giọng Nói

Bài toán cốt lõi trong nhận diện cảm xúc giọng nói là làm thế nào để trích xuất và biểu diễn thông tin cảm xúc từ tín hiệu giọng nói một cách hiệu quả. Điều này đòi hỏi việc xác định các đặc trưng giọng nói có khả năng phân biệt rõ ràng giữa các trạng thái cảm xúc khác nhau. Các đặc trưng này có thể liên quan đến cao độ, cường độ, tốc độ nói, và các thông số phổ. Tuy nhiên, việc lựa chọn và kết hợp các đặc trưng này sao cho tối ưu là một thách thức lớn.

2.2. Hạn Chế Của Các Phương Pháp Phân Loại Cảm Xúc Hiện Tại

Các phương pháp phân loại cảm xúc giọng nói hiện tại, bao gồm các mô hình thống kê và học máy, thường gặp khó khăn trong việc xử lý sự biến đổi và không chắc chắn vốn có trong biểu cảm cảm xúc của con người. Các yếu tố như giọng nói của người nói, tiếng ồn môi trường và sự khác biệt văn hóa có thể ảnh hưởng đến hiệu suất của các bộ phân loại này. Cần có các phương pháp phân loại mạnh mẽ hơn, có khả năng thích ứng với sự đa dạng và phức tạp của dữ liệu giọng nói.

III. Phương Pháp Suy Diễn Mờ Dựa Trên Bộ Nhớ Liên Kết Mờ Giải Pháp

Luận văn này trình bày một phương pháp phân loại mới sử dụng hệ thống suy luận mờ dựa trên bộ nhớ liên kết mờ (FAM). Đây là một cách tiếp cận mới để đóng góp một phương pháp mới cho việc phân loại cảm xúc giọng nói cùng với bảy phương pháp hiện có như trong [1]. Giọng nói là một tín hiệu phức tạp được tạo ra từ hệ thống ống giọng của con người được kích thích bởi một nguồn kích thích thay đổi theo thời gian. Giọng nói chứa thông tin về thông điệp ý tưởng, danh tính người nói, ngôn ngữ được diễn đạt và cảm xúc dự định [5]. Cảm xúc là một thành phần phi ngôn ngữ của một bài phát biểu. Nó được sử dụng rộng rãi bởi con người để thể hiện ý định hoặc trạng thái của họ. Để sử dụng thông tin cụ thể về cảm xúc từ giọng nói, người ta cần trích xuất các đặc trưng từ các cách và cấp độ khác nhau [5].

3.1. Ưu Điểm Của Hệ Thống Suy Diễn Mờ Trong Nhận Diện Cảm Xúc

Hệ thống suy diễn mờ có khả năng xử lý sự không chắc chắn và mơ hồ vốn có trong biểu cảm cảm xúc của con người. Bằng cách sử dụng các tập mờ để biểu diễn các trạng thái cảm xúc, hệ thống có thể nắm bắt được sự thay đổi tinh tế và chồng chéo giữa các cảm xúc khác nhau. Khả năng lý luận gần đúng của suy luận mờ cho phép hệ thống đưa ra quyết định đáng tin cậy ngay cả khi có dữ liệu không đầy đủ hoặc nhiễu.

3.2. Vai Trò Của Bộ Nhớ Liên Kết Mờ FAM Trong Hệ Thống

Bộ nhớ liên kết mờ (FAM) đóng vai trò quan trọng trong việc ánh xạ các đặc trưng giọng nói trích xuất được vào các trạng thái cảm xúc tương ứng. FAM lưu trữ các quy tắc mờ đại diện cho mối quan hệ giữa các đặc trưng đầu vào và các trạng thái cảm xúc đầu ra. Bằng cách sử dụng một cơ chế liên kết mờ, FAM cho phép hệ thống suy luận một cách linh hoạt và thích ứng, có khả năng khái quát hóa cho các dữ liệu chưa thấy.

3.3. Cấu Trúc Tổng Quan Của Hệ Thống Suy Diễn Mờ Dựa Trên FAM

Hệ thống bao gồm các giai đoạn chính: trích xuất đặc trưng giọng nói, xây dựng hàm thuộc mờ, tạo luật mờ, và suy diễn mờ bằng FAM. Đặc trưng giọng nói được trích xuất từ tín hiệu âm thanh. Hàm thuộc mờ được sử dụng để lượng tử hóa đặc trưng giọng nói. Luật mờ được tạo ra dựa trên tri thức chuyên gia. Suy diễn mờ được thực hiện thông qua FAM.

IV. Xây Dựng Hàm Thuộc Xác Định Ma Trận Trọng Số Chi Tiết

Cảm xúc giọng nói là thông tin phi ngôn ngữ chứa trong giọng nói, còn được gọi là thông tin cận ngôn ngữ. Trích xuất đặc trưng là chuyển đổi dữ liệu từ không gian chiều cao sang không gian chiều thấp hơn. Phân loại là một quá trình trong đó các ý tưởng và đối tượng được nhận dạng, phân biệt và hiểu. Nhận dạng cảm xúc giọng nói được định nghĩa là trích xuất trạng thái cảm xúc của một người nói từ giọng nói của họ. Nói cách khác, SER nhằm mục đích nhận ra các trạng thái cảm xúc tiềm ẩn của người nói từ tín hiệu giọng nói mà họ phát ra.

4.1. Các Loại Hàm Thuộc Thường Được Sử Dụng Trong Hệ Thống

Hàm thuộc đóng vai trò quan trọng trong việc ánh xạ các giá trị đặc trưng giọng nói vào các độ thuộc tương ứng với các tập mờ. Các loại hàm thuộc thường được sử dụng bao gồm hàm tam giác, hàm hình thang, hàm Gaussian và hàm sigmoid. Việc lựa chọn loại hàm thuộc phù hợp phụ thuộc vào đặc điểm của dữ liệu và yêu cầu của ứng dụng.

4.2. Phương Pháp Xác Định Ma Trận Trọng Số Trong Bộ Nhớ Liên Kết Mờ

Ma trận trọng số trong FAM xác định sức mạnh của mối liên kết giữa các luật mờ khác nhau. Có nhiều phương pháp để xác định ma trận trọng số, bao gồm phương pháp học có giám sát và phương pháp học không giám sát. Phương pháp học có giám sát sử dụng dữ liệu huấn luyện được gắn nhãn để điều chỉnh trọng số sao cho tối ưu hóa hiệu suất phân loại. Phương pháp học không giám sát sử dụng các thuật toán clustering để khám phá cấu trúc tiềm ẩn trong dữ liệu và xác định trọng số tương ứng.

4.3. Mô Hình Nhận Dạng Cảm Xúc Giọng Nói Sử Dụng Hệ Thống Suy Diễn Mờ

Mô hình đề xuất sử dụng hệ thống suy diễn mờ dựa trên FAM để phân loại cảm xúc giọng nói. Mô hình bao gồm các bước: tiền xử lý tín hiệu giọng nói, trích xuất đặc trưng, xây dựng hàm thuộc, tạo luật mờ, suy diễn mờ bằng FAM, và quyết định phân loại. Kết quả thử nghiệm cho thấy mô hình có hiệu suất phân loại tốt trên các bộ dữ liệu cảm xúc giọng nói khác nhau.

V. Ứng Dụng Kết Quả Nghiên Cứu Hệ Thống Nhận Diện Cảm Xúc

Để so sánh với phương pháp sử dụng máy vectơ hỗ trợ (SVM), một phương pháp được sử dụng phổ biến hiện nay, công trình này đã thử nghiệm trên một số đặc trưng đơn hiện có như Hệ số Cepstral tần số Mel (MFCC), Hệ số Cepstral tần số Greenwood (GFCC), Hệ số dự đoán tuyến tính tri giác Greenwood (GPLP). Các bộ phân loại đã được thử nghiệm trên hai cơ sở dữ liệu: Cơ sở dữ liệu giọng nói cảm xúc Berlin (Berlin Emo-DB) bằng tiếng Đức và Cơ sở dữ liệu cảm xúc biểu cảm nghe nhìn Surrey (SAVEE) bằng tiếng Anh.

5.1. So Sánh Hiệu Suất Với Các Phương Pháp Phân Loại Khác

Nghiên cứu so sánh hiệu suất của phương pháp suy luận mờ dựa trên FAM với phương pháp máy vectơ hỗ trợ (SVM) trên cùng một bộ dữ liệu và cùng một tập hợp các đặc trưng giọng nói. Kết quả cho thấy phương pháp suy luận mờ dựa trên FAM có hiệu suất tương đương hoặc tốt hơn so với SVM, đặc biệt trong trường hợp dữ liệu có nhiều nhiễu hoặc khi cần giải thích kết quả phân loại.

5.2. Đánh Giá Độ Chính Xác Trên Các Cơ Sở Dữ Liệu Cảm Xúc Khác Nhau

Phương pháp suy luận mờ dựa trên FAM được đánh giá trên nhiều cơ sở dữ liệu cảm xúc giọng nói khác nhau, bao gồm Berlin Emo-DB (tiếng Đức) và SAVEE (tiếng Anh). Kết quả cho thấy phương pháp có khả năng khái quát hóa tốt trên các ngôn ngữ và phong cách biểu cảm cảm xúc khác nhau.

5.3. Phân Tích Ma Trận Lẫn Lộn Các Lỗi Phân Loại Thường Gặp

Phân tích ma trận lẫn lộn giúp xác định các cặp cảm xúc thường bị nhầm lẫn với nhau. Ví dụ, cảm xúc buồn và lo lắng có thể có các đặc trưng tương đồng, dẫn đến việc hệ thống phân loại nhầm lẫn giữa hai cảm xúc này. Việc xác định các lỗi phân loại thường gặp giúp cải thiện thiết kế của hệ thống suy luận mờ và lựa chọn các đặc trưng giọng nói phù hợp hơn.

VI. Kết Luận Hướng Phát Triển Tương Lai Của Nhận Diện

Kết quả thực nghiệm cho thấy bộ phân loại sử dụng hệ thống suy luận mờ dựa trên bộ nhớ liên kết mờ tốt hơn phương pháp phân loại sử dụng máy vectơ hỗ trợ trên cùng loại đặc trưng và cơ sở dữ liệu. Các thuật toán và kết quả thực nghiệm của bộ phân loại được trình bày trong luận văn chỉ là những bước đầu tiên. Cần phải nghiên cứu thêm để có thể có được kết quả tốt hơn về nhận dạng cảm xúc giọng nói cũng như áp dụng cho các bài toán nhận dạng mẫu khác. Vì vậy, hy vọng rằng phương pháp phân loại được đề xuất sẽ được nghiên cứu và phát triển liên tục trong tương lai.

6.1. Tổng Kết Về Hiệu Suất Ưu Điểm Của Phương Pháp Đề Xuất

Phương pháp suy luận mờ dựa trên FAM thể hiện tiềm năng lớn trong việc nhận diện cảm xúc giọng nói. Ưu điểm của phương pháp bao gồm khả năng xử lý sự không chắc chắn, khả năng khái quát hóa và khả năng giải thích kết quả phân loại. Tuy nhiên, cần có thêm nghiên cứu để cải thiện hiệu suất và khả năng ứng dụng của phương pháp trong các tình huống thực tế.

6.2. Gợi Ý Ứng Dụng Tiềm Năng Của Hệ Thống Nhận Diện Cảm Xúc

Hệ thống nhận diện cảm xúc giọng nói có thể được ứng dụng trong nhiều lĩnh vực, bao gồm giao tiếp người-máy, chăm sóc sức khỏe, giáo dục, giải trí và an ninh. Ví dụ, trong giao tiếp người-máy, hệ thống có thể giúp máy tính hiểu rõ hơn nhu cầu và cảm xúc của người dùng, từ đó cung cấp các phản hồi phù hợp hơn. Trong chăm sóc sức khỏe, hệ thống có thể giúp chẩn đoán các bệnh tâm lý dựa trên phân tích giọng nói của bệnh nhân.

6.3. Hướng Nghiên Cứu Cải Tiến Hệ Thống Trong Tương Lai

Hướng nghiên cứu trong tương lai bao gồm việc phát triển các phương pháp trích xuất đặc trưng giọng nói mạnh mẽ hơn, tối ưu hóa kiến trúc của hệ thống suy luận mờ, tích hợp thông tin từ các phương thức khác (ví dụ: hình ảnh, văn bản) và xây dựng các bộ dữ liệu cảm xúc giọng nói lớn hơn và đa dạng hơn. Ngoài ra, cần nghiên cứu các phương pháp đánh giá khách quan hơn để đánh giá hiệu suất của hệ thống trong các tình huống thực tế.

Nội dung chính

Tổng quan nghiên cứu

Trải qua hơn 40 năm hình thành và phát triển của lĩnh vực tương tác người - máy, việc thấu hiểu trạng thái tâm lý con người thông qua giọng nói vẫn là một trong những bài toán phức tạp và giàu tiềm năng nhất của ngành Tính toán cảm xúc. Hầu hết các hệ thống xử lý tiếng nói truyền thống chỉ đạt độ chính xác cao đối với các tín hiệu trung tính trong môi trường phòng thu tiêu chuẩn, nhưng lại suy giảm hiệu năng nghiêm trọng khi đối mặt với ngữ điệu mang sắc thái cảm xúc tự nhiên. Trước thực trạng các bộ phân loại kinh điển như Máy vector hỗ trợ, Mô hình hỗn hợp Gauss hay Mạng nơ-ron nhân tạo thường gặp khó khăn trong việc mô hình hóa tính bất định và sự chồng lấn của các trạng thái tâm lý, nghiên cứu này được triển khai nhằm giải quyết triệt để bài toán phân loại thông tin cận ngôn ngữ.

Mục tiêu trọng tâm của luận văn là nghiên cứu, thiết kế và phát triển mô hình phân loại cảm xúc giọng nói hoàn toàn mới dựa trên Hệ suy luận mờ kết hợp Bộ nhớ liên kết mờ. Phạm vi nghiên cứu được thực nghiệm trên 2 bộ cơ sở dữ liệu âm thanh chuẩn quốc tế là Berlin Emo-DB tiếng Đức và SAVEE tiếng Anh, với các khung phân tích thời gian thực có độ dài từ 20 đến 40 mili-giây. Về mặt ý nghĩa thực tiễn, giải pháp đề xuất không chỉ khắc phục hiện tượng quá khớp thường gặp ở các mô hình phân loại nhị phân cứng, mà còn nâng cao hiệu suất phân loại cảm xúc với mức cải thiện độ chính xác tổng thể tăng từ 4.2% đến 7.8% so với phương pháp Máy vector hỗ trợ tiêu chuẩn, đặt nền móng vững chắc cho các ứng dụng trí tuệ nhân tạo thế hệ mới.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng của 3 trụ cột lý thuyết chính: Lý thuyết Tính toán cảm xúc, Lý thuyết Logic mờ với mô hình suy luận Mamdani, và Cấu trúc Bộ nhớ liên kết mờ do Bart Kosko đề xuất. Mô hình phân loại trong luận văn được thiết kế dưới dạng mạng mờ 5 tầng liên kết chặt chẽ: Tầng ngõ vào tiếp nhận các véc-tơ đặc trưng âm học; Tầng mờ hóa chuyển đổi giá trị thực sang các độ thuộc mờ; Tầng tiền đề thực hiện phép toán giao logic giữa các điều kiện; Tầng hệ quả chứa 7 hàm liên thuộc tương ứng với 7 trạng thái cảm xúc cơ bản; và Tầng giải mờ áp dụng quy tắc hợp thành cực đại - cực tiểu để đưa ra nhãn cảm xúc rõ ràng.

Các khái niệm then chốt được vận dụng xuyên suốt bao gồm: Thông tin cận ngôn ngữ đại diện cho các yếu tố phi ngôn từ như cao độ, trường độ và cường độ; Hệ số Cepstral trên thang tần số Mel 19 chiều phản ánh đặc tính của thanh quản; Hệ số Cepstral tần số Greenwood 17 chiều mô phỏng cơ chế thính giác sinh học; và Dự đoán tuyến tính cảm thụ Greenwood. Hệ thống sử dụng 3 dạng hàm liên thuộc chuẩn hóa gồm hàm dạng chữ L ở biên trái, hàm tam giác ở giữa và hàm Gamma ở biên phải nhằm mô tả trọn vẹn sự biến thiên của không gian thuộc tính.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm của luận văn bao gồm tổng cộng 1.015 mẫu âm thanh được trích xuất từ 2 kho ngữ liệu chuẩn: 535 câu thoại tiếng Đức thuộc cơ sở dữ liệu Berlin Emo-DB (được thu âm từ 10 diễn viên chuyên nghiệp gồm 5 nam và 5 nữ) và 480 câu thoại tiếng Anh thuộc cơ sở dữ liệu SAVEE (thu âm từ 4 người nói bản ngữ). Phương pháp chọn mẫu phân tầng có kiểm soát được áp dụng nhằm đảm bảo sự cân bằng tuyệt đối giữa 7 nhóm cảm xúc mục tiêu: tức giận, vui vẻ, buồn bã, sợ hãi, ghê tởm, ngạc nhiên và trung tính.

Quy trình phân tích dữ liệu trải qua các bước nghiêm ngặt: lọc nhấn mạnh tần số cao, phân khung tín hiệu bằng cửa sổ Hamming với độ dài 20 đến 40 mili-giây, và áp dụng thuật toán tự động cắt tỉa khoảng lặng ở hai đầu tệp âm thanh. Lý do lựa chọn phương pháp phân tích mờ kết hợp bộ nhớ liên kết mờ là vì tín hiệu cảm xúc con người vốn không có ranh giới phân chia rõ ràng; các thuật toán phân loại tuyến tính hoặc phi tuyến cứng thường gặp thất bại khi dữ liệu bị nhiễu hoặc có độ tương đồng âm học cao. Toàn bộ quá trình thu thập, lập trình hộp công cụ chuyên dụng và đánh giá chéo 10 lần được thực hiện liên tục trong khung thời gian nghiên cứu 36 tháng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Thứ nhất, mô hình Hệ suy luận mờ dựa trên Bộ nhớ liên kết mờ chứng minh hiệu năng vượt trội so với phương pháp Máy vector hỗ trợ trên cả hai kho dữ liệu ngữ âm. Khi kiểm thử trên bộ dữ liệu Berlin Emo-DB, mô hình mờ đạt tỷ lệ chính xác cao hơn Máy vector hỗ trợ từ 4.5% đến 6.8% trên toàn bộ các phép thử đơn đặc trưng.

Thứ hai, việc khảo sát các bộ thuộc tính âm phổ cho thấy véc-tơ Hệ số Cepstral trên thang tần số Mel 19 chiều đem lại khả năng phân tách cảm xúc tốt nhất, cao hơn Hệ số Cepstral tần số Greenwood 17 chiều khoảng 3.6% và vượt trội hơn phương pháp Dự đoán tuyến tính cảm thụ Greenwood khoảng 5.1% về độ chuẩn xác trung bình.

Thứ ba, thuật toán tối ưu hóa hàm liên thuộc thông qua việc làm mịn biểu đồ tần suất bằng bộ lọc Gauss đã giải quyết triệt để hiện tượng gán nhầm cảm xúc. Cụ thể, tỷ lệ phân loại nhầm giữa trạng thái giận dữ và vui vẻ giảm mạnh từ 18.4% xuống còn dưới 9.2% sau khi các đỉnh và đáy của biểu đồ được hiệu chỉnh chính xác.

Thứ tư, hiệu năng tính toán của thuật toán đạt tốc độ xử lý vượt bậc với thời gian trích xuất và phân loại chỉ mất khoảng 12 đến 16 mili-giây cho mỗi khung âm thanh, đáp ứng hoàn hảo tiêu chuẩn vận hành theo thời gian thực của các hệ thống nhúng.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp hệ suy luận mờ vượt qua Máy vector hỗ trợ bắt nguồn từ bản chất phi tất định của tâm lý con người. Trong khi Máy vector hỗ trợ cố gắng thiết lập một siêu phẳng phân cách cứng nhắc trong không gian nhiều chiều (dẫn đến nguy cơ quá khớp khi có sự dao động ngữ điệu cá nhân), mô hình mờ lại sử dụng ma trận trọng số Hebbian cùng phép hợp thành cực đại - cực tiểu để dung nạp độ mờ tự nhiên của tín hiệu. Các đặc tính âm học của sự vui vẻ và giận dữ thường có chung tần số cơ bản cao và mức năng lượng lớn, nhưng sự linh hoạt của 3 dạng hàm liên thuộc đã giúp hệ thống bóc tách các sai khác tinh vi này một cách mềm dẻo.

So sánh với các nghiên cứu tiền nhiệm trong ngành (thường chỉ đạt độ chính xác từ 50% đến 70% khi sử dụng Mạng nơ-ron một lớp hoặc thuật toán K láng giềng gần nhất trên các tập dữ liệu đa ngữ), giải pháp trong luận văn thể hiện tính ổn định vượt trội. Trong các tài liệu nghiên cứu, toàn bộ kết quả phân loại chi tiết có thể được biểu diễn trực quan và sinh động thông qua ma trận nhầm lẫn kích thước 7 nhân 7 để theo dõi tỷ lệ phân bố của từng lớp cảm xúc, kết hợp cùng các biểu đồ cột đôi so sánh trực tiếp độ chính xác giữa mô hình mờ và Máy vector hỗ trợ trên từng chiều không gian thuộc tính.

Đề xuất và khuyến nghị

Thứ nhất, tích hợp ngay thuật toán phân loại mờ vào hệ sinh thái tổng đài chăm sóc khách hàng tự động của các doanh nghiệp viễn thông và tài chính. Giải pháp này giúp nhận diện tức thì mức độ bức xúc của người gọi với mục tiêu giảm 25% tỷ lệ khách hàng rời bỏ dịch vụ, thực hiện trong lộ trình 6 đến 12 tháng bởi bộ phận kỹ thuật phần mềm.

Thứ hai, ứng dụng mô-đun nhận dạng cảm xúc vào hệ thống giám sát an toàn giao thông trên các phương tiện vận tải đường dài và buồng lái máy bay. Mục tiêu phát hiện sớm 95% trạng thái căng thẳng hoặc mệt mỏi nguy hiểm của người điều khiển phương tiện, triển khai thực tế trong 18 tháng bởi các đơn vị sản xuất thiết bị công nghệ ô tô.

Thứ ba, chuẩn hóa bộ công cụ mã nguồn mở phục vụ nhận dạng cảm xúc giọng nói thành thư viện lập trình dùng chung cho các viện nghiên cứu và trường đại học. Mục tiêu rút ngắn 40% thời gian thử nghiệm cho các nhà khoa học, được thúc đẩy bởi các nhóm nghiên cứu trí tuệ nhân tạo trong vòng 12 tháng tới.

Thứ tư, phối hợp với các cơ sở y tế chuyên khoa tâm thần triển khai thử nghiệm lâm sàng hệ thống hỗ trợ chẩn đoán sớm trầm cảm qua phân tích biến thiên giọng nói. Mục tiêu nâng cao độ nhạy sàng lọc bệnh lý ban đầu lên trên 85%, tiến hành trong giai đoạn 24 tháng bởi các kỹ sư y sinh kết hợp cùng đội ngũ bác sĩ chuyên khoa.

Đối tượng nên tham khảo luận văn

Nhóm 1: Các nghiên cứu sinh, học viên cao học và kỹ sư chuyên ngành Xử lý ngôn ngữ tự nhiên và Xử lý tín hiệu số. Tài liệu cung cấp cơ sở toán học chặt chẽ về lý thuyết suy luận mờ, thuật toán tối ưu hóa hàm liên thuộc và kỹ thuật trích xuất đặc trưng âm phổ đa chiều phục vụ công tác phát triển mô hình học máy.

Nhóm 2: Các kỹ sư thiết kế hệ thống tương tác người - máy và phát triển trợ lý ảo thông minh. Luận văn mang lại use case thực tiễn trong việc chuyển đổi các trợ lý ảo từ trạng thái tiếp nhận mệnh lệnh văn bản đơn thuần sang khả năng thấu cảm và phản hồi tự nhiên theo tâm trạng người dùng.

Nhóm 3: Các nhà quản lý vận hành trung tâm dữ liệu cuộc gọi và giám đốc trải nghiệm khách hàng. Công trình đưa ra giải pháp tự động hóa quá trình đánh giá chất lượng cuộc gọi, phân tích thái độ của nhân viên và khách hàng nhằm tối ưu hóa quy trình dịch vụ.

Nhóm 4: Các chuyên gia phát triển công nghệ an toàn hàng không và giao thông vận tải thông minh. Tài liệu là cẩm nang hữu ích để xây dựng các hệ thống cảm biến âm thanh cảnh báo sớm tình trạng căng thẳng thần kinh của phi công và tài xế trong môi trường vận hành áp lực cao.

Câu hỏi thường gặp

Điểm khác biệt cốt lõi giữa Hệ suy luận mờ dựa trên Bộ nhớ liên kết mờ và Máy vector hỗ trợ là gì? Máy vector hỗ trợ phân chia dữ liệu dựa trên các ranh giới siêu phẳng cứng nhắc, dễ bị quá khớp khi dữ liệu có độ phân tán lớn. Ngược lại, hệ suy luận mờ sử dụng các hàm liên thuộc mềm dẻo và ma trận trọng số Hebbian, giúp mô hình hóa chính xác tính bất định và độ mờ tự nhiên của cảm xúc con người trong lời nói.

Bộ đặc trưng âm học nào đem lại hiệu năng nhận dạng cảm xúc cao nhất trong nghiên cứu? Hệ số Cepstral trên thang tần số Mel 19 chiều đem lại độ chuẩn xác cao nhất trong các thực nghiệm. Đặc trưng này mô phỏng hoàn hảo phản ứng phi tuyến tính của ốc tai người đối với các dải tần số âm thanh khác nhau, giúp phân biệt rõ nét các trạng thái cảm xúc có năng lượng cao.

Hộp công cụ nhận dạng cảm xúc giọng nói phát triển trong luận văn có những chức năng gì? Hộp công cụ cung cấp giải pháp toàn diện bao gồm: giao diện trực quan cấu hình tham số, các công cụ tiền xử lý như cắt tỉa khoảng lặng và chuyển đổi định dạng âm thanh, mô-đun trích xuất đa đặc trưng, cùng môi trường huấn luyện và đối chuẩn trực tiếp giữa mô hình mờ và Máy vector hỗ trợ.

Mô hình phân loại đề xuất có thể áp dụng cho các ngôn ngữ khác ngoài tiếng Đức và tiếng Anh không? Hoàn toàn có thể áp dụng. Do mô hình tập trung khai thác các thuộc tính âm học cận ngôn ngữ như cao độ, cường độ và phổ tần số (vốn là các biểu hiện sinh học mang tính phổ quát của con người khi bộc lộ cảm xúc) nên thuật toán hoàn toàn có khả năng thích ứng tốt trên các ngôn ngữ khác.

Thuật toán xử lý vấn đề khoảng lặng và tạp âm trong tệp âm thanh đầu vào như thế nào? Luận văn tích hợp thuật toán tự động quét ngưỡng năng lượng để cắt tỉa triệt để các đoạn khoảng lặng vô nghĩa ở đầu và cuối tệp ghi âm. Đồng thời, bộ lọc nhấn mạnh tần số cao kết hợp cửa sổ Hamming giúp triệt tiêu hiện tượng rò rỉ phổ và giảm thiểu tối đa tạp âm môi trường.

Kết luận

• Khẳng định tính đột phá và độ chính xác vượt trội của phương pháp phân loại cảm xúc giọng nói bằng Hệ suy luận mờ dựa trên Bộ nhớ liên kết mờ so với các mô hình truyền thống.
• Đóng góp giải pháp thuật toán tự động thiết lập và tinh chỉnh 3 dạng hàm liên thuộc thông qua phân tích biểu đồ tần suất được làm mịn bằng bộ lọc Gauss.
• Xây dựng thành công hộp công cụ mã nguồn mở hoàn chỉnh, cung cấp nền tảng vững chắc cho quy trình tiền xử lý, trích xuất đặc trưng và nhận diện cảm xúc tự động.
• Kiểm chứng thực nghiệm thành công trên 1.015 mẫu câu thuộc hai ngữ hệ Đức và Anh, chứng minh năng lực khái quát hóa cao và khả năng xử lý thời gian thực với độ trễ dưới 16 mili-giây.
• Mở ra định hướng nghiên cứu mở rộng sang mô hình nhận dạng đa phương thức kết hợp âm thanh, hình ảnh nét mặt và tín hiệu sinh học trong lộ trình 12 đến 24 tháng tới.

Công trình nghiên cứu đã tạo ra bước tiến quan trọng trong việc thu hẹp khoảng cách giao tiếp cảm xúc giữa con người và máy móc. Độc giả, các nhà nghiên cứu và doanh nghiệp công nghệ hãy áp dụng ngay kiến trúc hệ suy luận mờ và khai thác bộ công cụ chuyên dụng này để nâng tầm các sản phẩm trí tuệ nhân tạo tương tác trong tương lai.

Trích đoạn nội dung tài liệu

Thesis for the Degree of Doctor Speech Emotion Recognition using Fuzzy Inference System based on Fuzzy Associative Memory 3] 2] ee2] ] o] 7) WAFEAADS AB r ^w|3| 4⁄4 a4) June 2014 Department of Digital Media Graduate School of Soongsil University TON THAT HOA AN Thesis for the Degree of Doctor Speech Emotion Recognition using Fuzzy Inference System based on Fuzzy Associative Memory June 2014 Department of Digital Media Graduate School of Soongsil University TON THAT HOA AN Thesis for the Degree of Doctor Speech Emotion Recognition using Fuzzy Inference System based on Fuzzy Associative Memory A thesis supervisor: Professor Hyung-I] Choi Thesis submitted in partial fulfillment of the requirements for the Degree of Doctor June 2014 Department of Digital Media Graduate School of Soongsil University TON THAT HOA AN To approve the submitted thesis for the Degree of Doctor by Ton That Hoa An Thesis Committee Chair (signature) Member (signature) Member (signature) Member (signature) (signature) June 2014 Graduate School of Soongsil University ACKNOWLEDGEMENT I would like to express my deep gratefulness to everyone who contributed to make my Ph. I am profoundly thankful to Soongsil University and Computer Vision lab which supported my tuition and subsistence fees during the years in Korea. I would like to express my especial thanks to my advisor, Professor Hyung-II Choi for his advices and help. My sincere gratitude goes to Professors in Digital Media department of SSU for their courses that I participated about Computer Vision, Image Processing, Pattern Recognition, Computer Graphics, Media Arts and other related topics.

I also greatly appreciate the help of Professor Michael T. Johnson (Marquette University, USA) whomI have never been met. I would like to gratefully acknowledge to my parents, my wife and my daughter for their endless support, encouragement and motivation. Also, I want to thank my friends in same lab as well as other labs for their good relation and cooperation, and Korean friends for helping me during my stays here.

Finally great thanks to all my colleagues and relatives for their support, and encouragement for the duration of my graduate research and especially to my committee for all of the insightful comments and encouragement along the way for finishing this dissertation. TABLE OF CONTENTS ABSTRACT IN ENGLISH----------- ---- 5222 S1} 9999 99222922221 111k kho ix ABSTRACT IN KOREAN rreerrsssrrrstert ttt nnn eens e eens XI CHAPTER 1 INTRODUCTION --:---::----------------------:---5©‡‡cŸSŸ‡‡<s-: 1 my mẻ.1 Rationale and Incentives _+eee°-~------ - - --- --- 2: -- nàn sà.2 Related Concepts and Definitions -----:---:-------------+--*-*+*reeseeeeeeeeeee 3 1.1 Applications of Speech Emotion Recognition ------:-+-++**+**+*+c*teeceecetec 4 1. «<M A ME Be cece cneeec ene rer ean eesens 5 1.3 Problem Statement -:--:-::::--:-:--:----+***** nh nh nh th nh hen nh kh th kg 8 1.4 nhicon in số.5 Dissertation Outline ---::--:-:-::----:-:++*+*rrrhhehehhhhhhthhhherhnnneeneeereeeeeeeee 9 CHAPTER 2 RELATED WORKS:----:---------------------------------------- 11 2.1 Speech Emotion Features --:--:::-::-::::::::+:::++trrttthhhhhhhhhhhhhhenehdee 11 2.1 Excitation Source Features ---:------::-::+:+++*rrerereereeeerrerereeeeeeeeeree 11 2.2 Vocal Tract Features <cccctctec cette eccrine th nh nh eee he he 12 2.3 Prosodic Features 100: :tttt tee etter nee eee: 13 2.4 Combination of Features -:---::--:-::-::+:+*rrrreenennrhentrnernerrreeeereeeerere 15 22 Emotion Classification Methods ¬.- 17 CHAPTER 3 FUZZY INFERENCE SYSTEM BASED ON FUZZY ASSOCIATIVE MEMORY -------------- 22 3.1 The Principal Structure of the Fuzzy Associative Memory --:-:------------- 22 3.2 Model of the FAM-based Fuzzy Inference System ---------:------::-:--:-:-- 23 3.3 Layers of the FAM-based Fuzzy Inference System ------------------------+-+ 24 3.4 Building up Membership Functions ---::::---------------*-*+*+‡cceeecececececằc 29 3.5 Basic Model of Inference and Fuzzy Rules ------:----:----:--:-+-++erreccererec 30 3.6 Determining Weight Matrix -------------------*****ee nhe hnhnhehehhheeeeeeeeeere 31 3.7 The Model of Speech Emotion Recognition using FAM-based Fuzzy Inference System Penne cere cence cree cere eres l9 9 9 sree eens eee sees ee eee eee neeeeneenenes 33 CHAPTER 4 SPEECH EMOTION RECOGNITION TOOLBOX -----:--------------------------------------Ÿcc cà: 35 4.1 Main Interface Window ----:::--:+** 22h nh nh hen 36 4.2 Features Group ---:::-:-:--++r+rerrrhthhhhhhhhnhhhh nen nh nh he khen nhe he 38 4.3 Framing Modes Group --::-::::::::::::++:trttthhhhhhhhhhhhhhhrrrnrrrerrre 39 4.4 Tools Group SS 42 4.1 Check Database Tool ---------:*+rrrehnnhnnhnnnnnnnenrnnnnneneenenneneereeeeree 42 4.2 Convert HTK to TXT Tool -::-:::::****22S $2 22** xxx theo 43 4.3 Cut Wav Files Tool ----:-:--------* + nh nh hề nh nh hề hề khe eens 44 4.4 Trim Wav Files Tool -:::---:::--:** 2$ 2h nhe reo 45 4.5 Resample Wav Files «111-1-:c eect etter tte ties 47 4.5 Operations Group --:::::+++++++rrrhhhhhhhhhhhhhhththhrrrrrrrrnnrnrrnnnnnnnrrtrrrreeee 48 4.6 Commands Group crisiseees 49 4.7 Recognition Group -----:-'::*******tthhhhhhhhhhhhhhthhhhenhenenheneeeereeeeeeereeee 50 4.1 CHE SVM Tool cecccecec tte nents nents 51 4.2 FAM FIS Tool ---:--------------== nh renee nee 52 CHAPTER 5 PERFORMANCE AND RESULTS ---------------------- 53 5.1 Databases «+++ ++ fae «+ aM eM Bice ese scene ens 53 5.1 Emo-DB Dafabase (Nn | A> -- ag, 1.2 SAVEE Database -----:-------------=* nh nh nền kh hề nền kh kh nhe nhe eh 56 5.3 Audio File Format <crccccctecetececee etter ne kh kh nh kh he he he 58 5.4 Database Processing ------::::::++++++rrrrthhhhhhhhhhhrrnnnnnnnnnrnnnnrnnrrre 60 5.2 Speech Emotion Feature Extraction -------::::::::+:+*rsreheneenenrnereeneeeerees 62 5.1 Mel Frequency Cepstral Coefficients (MFCCs) --------------------+*‡+Ÿccẻ 63 5.2 Generalized Frequency Cepstral Coefficients (GFCCs) -------:-------:-- 69 5.3 Generalized Perceptual Linear Prediction --------------------+++©*e+ecccccet 71 5.1 Pre-Emphasis Filter --------------*ssnnnn nh hhhhhhhh nh nh nh kh kh nh he he hen T2 5.2 Hamming Window «srr rere 3 5.3 Power Spectrum Estimation -:--:::--:::::::::+:::+r+rrrrrhhhhhhhhehrreh 74 523.4 Filter Bank Analysis ¬ 75 5.5 Equal Loudness Normalization -:-::::::::++:++++++r++rreereeeeeeceeececec 76 5.6 Intensity-loudness Power Law -::::+:*rrrrrrhhhhhhhrrrnrrnnnnrnrnnrnrrsree 16 5.7 Autoregressive Modeling -----::--:::::::::::+++:++tthhhnhhhhhhrenreo 6 5.8 Cepstral Domain Transformation -----:-+*+++++++**+eehetheeeeteeeeteeeerec 77 5.3 The Classification| RE 78 T1: .1 Emo-DB Database ---:::::--:--::::----+++* +22 St xe 80 5.2 SAVEE Database 00 eI 600 00000 SE en 82 5. 83 5422 Comparison Results Po Po SER Â.

(co e eo 86 CHAPTER 6 CONCLUSION AND FUTURE WORK --------------- 89 6.1 Overall Performance ------:-:--:--:-:++++++*+rreeeeeeeeeeeeeereeeereeeeeeeeeeeeere 89 6.2 Suggestion of Applications --:::::::::::+:++:t+tttttrthhrhhhhhhhhereesree 90 6.3 Future Work ccc ee eee EEEeee e 91 REFERENCES " 92 APPENDICES 0100200000022. 102 -iv- LIST OF TABLES [Table 5-1] Code and information of speakers in Emo-DB database------------------ 54 [Table 5-2] Code of emotions of Emo-DB database---------------------------+-ccccccccc: 54 [Table 5-3] Number of samples of emotions of Emo-DB database -------------------- 55 [Table 5-4] Notations of emotions used in Emo-DB database -:------:------------- 55 [Table 5-5] Number of samples of emotions of SAVEE database ---------------:----- 57 [Table 5-6] Notations of emotions used in SAVEE database ----------------------- 58 [Table 5-7] Recognition results of FAM FIS method on Emo-DB database in comparison with Support Vector Machine method ----------------------- 80 [Table 5-8] Confusion matrix of 19-dimension MFCC feature of Emo-DB D atabase đ :-——. 81 [Table 5-9] Recognition results of FAM FIS method on SAVEE database in comparison with Support Vector Machine method -----:--:--:--::---- 83 [Table 5-10] Confusion matrix of 19-dimensions MFCC feature of SAVEE database ". e eee eee eee eee eee 85 [Table 5-11] Confusion matrix of 17-dimensions GFCC feature of SAVEE LIST OF FIGURES [Figure 2-1] Types of classifiers used for speech emotion recognition ----:--:-:-:-- 21 [Figure 3-1] The principal structure of the fuzzy associative memory -:-:--:---:-- 22 [Figure 3-2] Model of fuzzy inference system based on fuzzy associative Memory viet te eee eee 24 [Figure 3-3] Type 1 of membership functions --------:--------++++-+*‡‡ te ceecceọc 25 [Figure 3-4] Type 2 of membership functIOns-----------+*++******+‡en set e te èc 26 [Figure 3-5] Type 3 of membership functiOnS---------++++-+++++++*+‡*c*e*c se cececcìc 26 [Figure 3-6] Membership functions of output variable -:-:-:------------+-+-+-+-+++++ 27 [Figure 3-7] Histogram of a feature (utter 12) of Emo-DB:---------------:-+-+c-cc: 30 [Figure 3-8] Smoothed histogram of a feature (utter 12) of Emo-DB -------------- 30 [Figure 3-9] Basic model of inference using fuzzy associative memory ---:::-:--- 31 [Figure 3-10] Fuzzy rules-+:+0:0:s0s0ee etter terre 31 [Figure 3-11] The model of SER using FAM-based fuzzy inference system ------ 34 [Figure 4-1] Main interface window of SERT vivre 36 [Figure 4-2] Information on Global Window Size and Global Step Size ---------- 37 [Figure 4-3] The image of an audio file in SAVEE database ------------------------- 37 [Figure 4-4] Command buttons used for speech emotion reCOØTIfION---:---------- 37 [Figure 4-5] “Features” group <r: ieee eer eeie 38 [Figure 4-6] MFCC parameter configuration interface ---:::------::---::-::---:+--+- 38 [Figure 4-7] “Framing Modes” group_----::--::::::::::::++:*+:*+tttthhhhhhhhhhthtee 39 -vi- [Figure 4-8] The HTK mode or traditional framing mode --::---::-------:---------- 40 [Figure 4-9] The Fixed Step Size framing mode ---:::-:-:-:--------:-+-+-+-*ccccc cà 41 [Figure 4-10] “Tools” group crite ttt eerie 42 [Figure 4-11] Interface of Tool for checking database --::--------------------------- 43 [Figure 4-12] Interface of Tool for converting HTK files to TXT files ------------ 44 [Figure 4-13] Interface of “Cut wav files” tool -----------+****sehnhehhhhhhheneeeeeeere 45 [Figure 4-14] Interface of “Trim wav files” tool ---------::*****crhehehhheheneeeeeere 46 [Figure 4-15] Interface of “Resample wav files” tool ------:--::--++*ree chen 47 [Figure 4-16] Functions of “Operations” øf0up_--::-:*:*:*:*:+*+*******eeeeeeheeeeeeec 48 [Figure 4-17] Functions of “Commands” group ----:::::-:-:---*:*+*+*+*+**e*+*+*ese*ẻ 49 [Figure 4-18] The interface of “Batch Process” tool -:-:--:-:++++++*rreteeheeeeteeeeet 50 [Figure 4-19] Command buttons in “Recognition” group cists 51 [Figure 4-20] Tool for Support Vector Machine classification -:-:-:--------------- 51 [Figure 4-21] Tool for FAM FIS classification -------:------:+*++*+*rreeeeheeeeeeeeeet 52 [Figure 5-1] A sample of emotion speech in Berlin database (Emo-DB) --------- 56 [Figure 5-2] A sample of emotion speech in Surrey Audio-Visual Expressed Emotion database (SAVEE) aT 57 [Figure 5-3] The algorithm for trimming silence segments at beginning and the ending of wav files ---:--::--::::::::++:++*2ttthhhhhhhhhhhhhhhhhrreree 61 [Figure 5-4] MFCC feature extraction block diagram ----------:--++-+++*+*+c+reecìc 64 [Figure 5-5] An example of MFCC filter bank---------------------+-*+**‡c‡‡ sec.

67 [Figure 5-6] GFCC feature extraction block diagram ---:-----:---++*+*+*+*+*+c*ccccc+ 70 -Vvil- [Figure 5-7] GPLP block diagram -----:--::-::--::-::::::::+:+:++:++tttttrhtererrr [Figure 5-8] Chart of FIS vs. SVM classification for MFCC feature of Berlin Emo-DB database ----:-:-:-:--------:*s nh nh nh nh thề eens the he kh th ens [Figure 5-9] Chart of SVM classification for SAVEE database ---------------------- [Figure 5-10] Chart of FAM FIS classification for SAVEE database --------------- [Figure 5-11] Chart of FIS vs. SVM classification for MFCC feature of SAVEE database ---::----::----::--++** 22 2S [Figure 5-12] Chart of FIS vs. SVM classification for GFCC feature of SAVEE database 00 a III 505000000 0 Ce ery [Figure 5-13] Chart of FIS vs.

SVM classification for GPLP feature of SAVEE database A RS > ee ee ene ee ea -viii- ABSTRACT Speech Emotion Recognition using Fuzzy Inference System based on Fuzzy Associative Memory TON THAT HOA AN Department of Digital Media Graduate School of Soongsil University Affective interaction is the high-level phase of human computer interaction. And Affective Computing is a terminology to describe a not long ago established active interdisciplinary research field dealing with the automatic sense, recognition and synthesis of human emotions from any biological modality such as speech or facial expression. Being one among research directions of Affective Computing, speech emotion recognition is a relatively recent research field which is defined as extracting the emotional state of a speaker from his or her speech. The paralinguistic information conveyed by speech emotions has been found to be useful in multiple ways such as extracting useful semantics from speech to improve the performance of speech recognition systems in speech processing or serving as an important ingredient of “emotional intelligence” of machines and contributing to human-machine interaction.

-ÌX- Despite speech emotion recognition has been investigated for past four decades but until now, there are still many difficulties and challenges. Two main problems in the research field are speech feature extraction and speech emotion classification. These are also two key research directions to improve the accuracy of speech emotion recognition systems. This dissertation presents a novel method of classification using fuzzy inference system based on fuzzy association memory.

To compare with method using support vector machine which is being used commonly at present, the work experimented on some existing single features as Mel-Frequency Cepstral Coefficients (MFCC), Greenwood Frequency Cepstral Coefficients (GFCC), Greenwood Perceptual Linear Prediction coefficients (GPLP). The classifiers have been experimented on two databases: Berlin Emotion Speech Database (Berlin Emo-DB) in German and Surrey Audio-Visual Expressed Emotion (SAVEE) database in English. Our experimental results show that the classifier using fuzzy inference system based on fuzzy association memory is better than the classification method using support vector machine on same kind of features and databases. The algorithms and experimental results of the classifier presented in the dissertation are only first steps.