Nghiên cứu về việc sử dụng thông tin quang phổ trong phân loại tải nhận thức qua giọng nói

• Tác giả: Phu Ngoc Le
• Người hướng dẫn: Prof. Eliathamby Ambikairajah
• Trường học: The University of New South Wales
• Chuyên ngành: Electrical Engineering and Telecommunications
• Đề tài: Kỹ Thuật Mới Trong Phân Loại Tải Nhận Thức Dựa Trên Thông Tin Quang Phổ
• Loại tài liệu: thesis
• Năm xuất bản: 2012
• Địa điểm: Sydney

• Abstract
• Acknowledgements
• List of publications
• Acronyms and Abbreviations
• Contents
• 2. Chapter 2: Automatic cognitive load classification system
• 2.1. Working memory and its limitation
• 2.2. Cognitive load theory
• 2.3. Types of cognitive load
• 2.4. Overview of cognitive load measurement
• 2.4.1. Subjective or self-reporting measures
• 2.5. Cognitive load and speech
• 2.5.1. Effect of cognitive load variation on high-level speech features
• 2.5.2. Human speech production
• 2.5.3. Effect of cognitive load variation on low-level speech features
• 2.6. Automatic speech-based cognitive load classification system
• 2.6.1. Gaussian mixture model
• 2.6.3. Existing CL classification systems
• 2.7. Cognitive load speech corpora
• 2.7.1. Collection of the Stroop test database
• 2.7.2. Collection of the Reading and Comprehension database
• 3. Chapter 3: Investigation of the effectiveness of speech features for cognitive load classification
• 3.1. Source-filter model of human speech production system
• 3.1.1. The source component
• 3.1.2. The filter component
• 3.1.3. Combining the source and the filter components
• 3.2. Human listening test
• 3.2.2. Results and discussion
• 3.3. Speech cues of cognitive load
• 3.4. Baseline cognitive load classification system
• 3.4.2. Allocation of training and testing data
• 3.5. The effectiveness of source and filter based features
• 3.5.1. Source-based features
• 3.5.1.3. Source Mel frequency cepstral coefficients (SMFCC)
• 3.5.2. Filter-based features
• 3.5.2.2. Filter Mel frequency cepstral coefficients (FMFCC)
• 3.5.2.1. Mel frequency cepstral coefficients (MFCCs)
• 3.5.2.2. Spectral slope and spectral intercept
• 3.5.2.3. Group delay feature (GD)
• 3.6. The effectiveness of spectral centroid features
• 3.6.2. Complementary behavior between spectral centroid and MFCC features
• 3.6.3. Cognitive load (CL) discrimination ability of spectral centroid features
• 3.6.4. Performance of the spectral centroid features
• 3.7. Comparison and discussion of performance of different speech features
• 4. Chapter 4: Multi-band approach for cognitive load classification
• 4.2. Motivation for using a multi-band approach
• 4.2.1. Advantage of multi-band over full-band approach
• 4.2.1.1. Effect of band-limited noise
• 4.2.1.2. Effect of different types of noise
• 4.2.2. Variation of CL information in different subbands
• 4.2.2.1. Subband based feature extraction
• 4.2.2.2. Distribution of CL information in different mel subbands
• 4.3. Multi-band classification system
• 4.3.1. Overview of multi-band system
• 4.3.2. Classification experiment setup for multi-band approach
• 4.3.3. Estimation of weighting coefficients for likelihood combination
• 4.4. Performance of multi-band approach in clean condition
• 4.5. Performance of multi-band approach under noisy conditions
• 4.5.1. Reliability of subband speech features
• 4.5.2. Weighting schemes for likelihood combination
• 4.5.3. Comparison of the effectiveness of multi-band and full-band approaches
• 4.5.4. Performance of the multi-band system based on three subbands
• 5. Chapter 5: Investigation of cognitive load information distribution and filterbank design
• 5.2. The effect of varying the feature dimension of the spectral features
• 5.2.2. System performance with different feature dimensions
• 5.3. Evaluation of the correlation of SCF and SCA
• 5.3. The distribution of CL information across different frequency bands
• 5.3.1. Analysis on cepstral coefficients
• 5.3.1.1. Feature-based measure
• 5.3.1.2. Model-based measure
• 5.3.1.3. Performance based measure
• 5.3.2. Results from the analysis on SCF, SCA, and energy
• 5.3.3. Spectral distribution of CL information
• 5.4. Filterbank design for CL classification
• 5.4.1. Procedure to allocate center frequencies and bandwidths of the filters
• 5.4.2. Designing filterbank to extract cepstral coefficients
• 5.4.2.2. Performance of the designed filterbanks
• 5.4.3. Designing a filterbank to extract spectral centroid features
• 5.4.3.2. Performance of the designed filterbanks
• 5.4.4. Performance of designed filterbanks in noisy conditions
• 6. Chapter 6: Speech enhancement for cognitive load classification
• 6.2. Proposed speech enhancement methods
• 6.2.1. Kalman filtering method
• 6.2.1.1. Kalman filtering for speech enhancement
• 6.2.1.2. Traditional full-band Kalman filtering method
• 6.2.1.3. Proposed non-uniform subband Kalman filtering
• 6.2.2. Empirical mode decomposition based method
• 6.2.2.1. Empirical mode decomposition
• 6.2.2.2. Proposed speech enhancement method based on empirical mode decomposition
• 6.2.3. Speech enhancement in DCT domain
• 6.2.3.1. Traditional soft thresholding method
• 6.2.3.2. Proposed improved soft thresholding method
• 6.2.4. Comparison of the proposed speech enhancement methods
• 6.3. Incorporating the thresholding DCT module into CL classification system
• 7. Chapter 7: Conclusion and Future work
• 7.1. Implementation of human listening test
• 7.2. The use of spectral based speech features
• 7.3. Analysis of the distribution of cognitive load information
• 7.4. Multi-band approach and the effectiveness of weighting schemes
• 7.5. Designing effective filterbanks to extract spectral features
• 7.6. Proposed speech enhancement methods
• List of Figures
• List of Tables

I. Giới thiệu về phân loại tải nhận thức

Phân loại tải nhận thức là một lĩnh vực nghiên cứu quan trọng trong khoa học nhận thức và công nghệ thông tin. Phân loại tải nhận thức đề cập đến việc đánh giá mức độ yêu cầu tinh thần mà người dùng phải đối mặt khi thực hiện một nhiệm vụ cụ thể. Việc ước lượng mức độ tải nhận thức (CL) của người dùng là cần thiết để điều chỉnh khối lượng công việc nhằm cải thiện hiệu suất thực hiện nhiệm vụ. Các hệ thống phân loại CL dựa trên giọng nói hiện tại không đủ khả năng cho việc sử dụng thương mại do hiệu suất thấp, đặc biệt trong môi trường ồn ào. Nghiên cứu này đề xuất nhiều kỹ thuật mới nhằm cải thiện hiệu suất của hệ thống phân loại CL dựa trên giọng nói trong cả điều kiện sạch và ồn ào.

1.1. Tầm quan trọng của thông tin quang phổ

Thông tin quang phổ đóng vai trò quan trọng trong việc phân tích và phân loại tải nhận thức. Nghiên cứu cho thấy rằng các đặc trưng giọng nói như tần số tâm quang phổ (SCF) và biên độ tâm quang phổ (SCA) có hiệu quả trong việc phân loại CL. Việc phát triển các hệ thống con dựa trên các đặc trưng này và kết hợp với hệ thống dựa trên hệ số cepstral tần số Mel (MFCC) đã cho thấy sự giảm tỷ lệ lỗi tương đối 8.5% so với hệ thống chỉ dựa trên MFCC. Điều này chứng tỏ rằng việc sử dụng thông tin quang phổ có thể nâng cao độ chính xác trong phân loại tải nhận thức.

II. Kỹ thuật phân tích quang phổ

Nghiên cứu đã chỉ ra rằng thông tin tải nhận thức phân bố không đồng đều trong các băng tần khác nhau. Cụ thể, thông tin phân bố trong băng tần tần số thấp cao hơn đáng kể so với băng tần tần số cao. Hai phương pháp khác nhau đã được đề xuất để tận dụng phát hiện này. Phương pháp đầu tiên, gọi là phương pháp đa băng, sử dụng một sơ đồ trọng số để nhấn mạnh các đặc trưng giọng nói trong các băng tần tần số thấp. Độ chính xác phân loại tải nhận thức của phương pháp này cao hơn so với hệ thống không sử dụng trọng số. Phương pháp thứ hai là thiết kế một bộ lọc hiệu quả dựa trên phân bố quang phổ của thông tin tải nhận thức bằng cách sử dụng thước đo Kullback-Leibler. Bộ lọc được thiết kế đã cho thấy độ chính xác phân loại cao hơn so với các bộ lọc hiện có như mel, Bark và băng tần hình chữ nhật tương đương.

2.1. Phân tích quang phổ và ứng dụng

Phân tích quang phổ là một công cụ mạnh mẽ trong việc hiểu rõ hơn về cách mà thông tin tải nhận thức được phân bố trong giọng nói. Việc áp dụng các kỹ thuật như công nghệ quang học và thuật toán phân loại đã cho phép phát triển các hệ thống phân loại CL hiệu quả hơn. Các nghiên cứu đã chỉ ra rằng việc sử dụng các đặc trưng quang phổ có thể cải thiện đáng kể độ chính xác của các hệ thống phân loại, đặc biệt trong các điều kiện ồn ào. Điều này mở ra nhiều cơ hội cho việc ứng dụng trong các lĩnh vực như giáo dục, y tế và công nghệ thông tin.

III. Kết luận và triển vọng tương lai

Nghiên cứu này đã chỉ ra rằng việc áp dụng kỹ thuật mới trong phân loại tải nhận thức dựa trên thông tin quang phổ có thể mang lại những cải tiến đáng kể về hiệu suất. Các phương pháp như thiết kế bộ lọc và phương pháp đa băng đã chứng minh được tính hiệu quả trong việc nâng cao độ chính xác phân loại. Tương lai của nghiên cứu này có thể mở rộng sang việc phát triển các hệ thống phân loại CL tự động hơn, có khả năng hoạt động trong các môi trường thực tế phức tạp. Việc tiếp tục nghiên cứu và phát triển các kỹ thuật này sẽ góp phần quan trọng vào việc cải thiện trải nghiệm người dùng trong nhiều lĩnh vực khác nhau.

3.1. Ứng dụng thực tiễn

Các ứng dụng thực tiễn của nghiên cứu này rất đa dạng, từ việc cải thiện giao diện người dùng trong các ứng dụng công nghệ thông tin đến việc hỗ trợ trong các lĩnh vực y tế và giáo dục. Việc hiểu rõ hơn về tải nhận thức có thể giúp các nhà phát triển thiết kế các hệ thống thông minh hơn, có khả năng điều chỉnh khối lượng công việc dựa trên mức độ tải nhận thức của người dùng. Điều này không chỉ nâng cao hiệu suất làm việc mà còn cải thiện sức khỏe tâm lý của người dùng.