Một Số Giải Pháp Nâng Cao Chất Lượng Nhận Dạng Cảm Xúc Sử Dụng Bộ Dữ Liệu Sinh Học Của MIT Và DEAP

Tài liệu nghiên cứu Một số giải pháp nâng cao chất lượng nhận dạng cảm xúc sử dụng bộ dữ liệu sinh học của mit và bộ dữ, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên

• Tác giả: Phạm Văn Dũng
• Người hướng dẫn: TS. Cung Thành Long
• Trường học: Đại học Bách Khoa Hà Nội
• Chuyên ngành: Kỹ thuật điều khiển và tự động hóa
• Đề tài: Giải Pháp Nâng Cao Chất Lượng Nhận Dạng Cảm Xúc Sử Dụng Dữ Liệu Sinh Học
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. TỔNG QUAN VỀ NHẬN DẠNG CẢM XÚC SỬ DỤNG CÁC TÍN HIỆU SINH HỌC
• 1.1. Giới thiệu chung
• 1.2. Các mô hình cảm xúc
• 1.2.1. Mô hình cảm xúc gián đoạn
• 1.2.2. Mô hình không gian cảm xúc đa chiều
• 1.3. Ưu điểm, nhược điểm của các phương pháp nhận dạng cảm xúc
• 1.3.1. Nhận dạng cảm xúc sử dụng hình ảnh
• 1.3.2. Nhận dạng cảm xúc sử dụng giọng nói
• 1.3.3. Nhận dạng cảm xúc sử dụng tín hiệu sinh học
• 1.4. Khó khăn của phương pháp nhận dạng cảm xúc sử dụng tín hiệu sinh học
• 1.5. Quy trình của một bài toán nhận dạng cảm xúc sử dụng các tín hiệu sinh học
• 1.5.1. Tiền xử lý dữ liệu
• 1.5.2. Áp dụng các kỹ thuật phân lớp
• 1.5.3. Ra quyết định nhận dạng
• 1.6. Một số kỹ thuật trích chọn đặc trưng, lựa chọn đặc trưng
• 1.6.1. Sequential Feature Algorithms (SFAs)
• 1.6.2. Principal Components Analysis (PCA)
• 1.6.3. Linear Discriminant Analysis (LDA)
• 1.7. Kỹ thuật tăng cường dữ liệu (data augmentation)
• 1.7.1. Phương pháp sinh dữ liệu mới từ dataset sẵn có
• 1.7.2. Phương pháp phân đoạn dữ liệu (segmenting)
• 1.7.3. Phương pháp thêm nhiễu vào tín hiệu
• 1.8. Một số kỹ thuật phân lớp
• 1.8.1. Support Vector Machine (SVM)
• 1.8.2. Mạng nơ ron nhân tạo
• 1.8.2.1. Multilayer Perceptrons - MLP
• 1.8.2.2. Mạng nơ ron tích chập (Convolutional Neural Network - CNN)
• 1.8.2.3. Mạng nơ ron hồi quy (Recurrent Neural Network - RNN)
• 1.8.2.4. Mạng nơ ron đồ thị (Graph Neural Network)
• 1.9. Bài toán nhận dạng cảm xúc trong nội dung luận văn
• 2. NHẬN DẠNG CẢM XÚC TRÊN BỘ DỮ LIỆU MIT VÀ BỘ DỮ LIỆU DEAP
• 2.1. Nhận dạng cảm xúc trên bộ dữ liệu MIT
• 2.1.1. Đặc điểm bộ dữ liệu cảm xúc MIT
• 2.1.2. Tiền xử lý dữ liệu
• 2.1.3. Tính toán các đặc trưng
• 2.1.4. Mô hình và kết quả phân loại 8 trạng thái cảm xúc của bộ dữ liệu MIT
• 2.2. Nhận dạng cảm xúc trên bộ dữ liệu DEAP
• 2.2.1. Đặc điểm bộ dữ liệu DEAP
• 2.2.2. Rò rỉ dữ liệu (data leakage) trong phương pháp tăng cường dữ liệu và huấn luyện các mô hình nhận dạng cảm xúc
• 2.2.3. Các mô hình mạng nơ ron đồ thị (GCNN) trong nhận dạng các sắc thái cảm xúc của bộ dữ liệu DEAP
• 2.2.4. Phương pháp chuyển đổi EEG-slic-graph cho nhận dạng cảm xúc sử dụng bộ dữ liệu DEAP
• KẾT LUẬN CHUNG
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Nhận Dạng Cảm Xúc Sinh Học Tiềm Năng Lớn

Nhận dạng cảm xúc sử dụng dữ liệu sinh học có tiềm năng ứng dụng rộng rãi trong nhiều lĩnh vực, từ an ninh đến chăm sóc sức khỏe. So với các phương pháp truyền thống như sử dụng hình ảnh biểu cảm gương mặt hay giọng nói, phương pháp này ít bị ảnh hưởng bởi sự giả tạo và có thể tiết lộ những cảm xúc sâu kín. Tuy nhiên, việc phân tích cảm xúc sinh học cũng đối mặt với nhiều thách thức, đặc biệt là về dữ liệu sinh học trong nhận dạng cảm xúc. Các tín hiệu EEG, ECG, GSR, EMG cung cấp thông tin giá trị về trạng thái cảm xúc. Mục tiêu là cải thiện độ chính xác và hiệu quả của nhận dạng cảm xúc bằng cách sử dụng dữ liệu sinh học từ các bộ dữ liệu như MIT và DEAP. Kết quả nghiên cứu đã đạt được những tiến bộ đáng kể trong việc nâng cao hiệu quả nhận dạng cảm xúc. Tín hiệu sinh học là phản ứng với hệ thần kinh trung ương và hệ thần kinh tự động của cơ thể con người.

1.1. Các Phương Pháp Đo Lường Cảm Xúc Sinh Học Phổ Biến

Các phương pháp đo lường cảm xúc sinh học bao gồm sử dụng các thiết bị ghi lại hoạt động điện não (EEG), điện tim (ECG), phản ứng điện da (GSR) và hoạt động cơ (EMG). Mỗi phương pháp cung cấp thông tin khác nhau về trạng thái cảm xúc. EEG đo hoạt động điện của não, ECG đo hoạt động tim, GSR đo sự thay đổi độ dẫn điện của da liên quan đến mồ hôi, và EMG đo hoạt động cơ bắp. Việc kết hợp các phương pháp này giúp phân tích cảm xúc toàn diện hơn. Tín hiệu sinh học là phản ứng với hệ thần kinh trung ương và hệ thần kinh tự động của cơ thể con người.

1.2. Ưu Và Nhược Điểm Của Phân Tích Cảm Xúc Sinh Học

Phân tích cảm xúc sinh học có ưu điểm là khó bị giả mạo và có thể phát hiện những cảm xúc tiềm ẩn. Tuy nhiên, nó cũng có nhược điểm là đòi hỏi thiết bị chuyên dụng, quy trình thu thập dữ liệu phức tạp và chịu ảnh hưởng bởi nhiều yếu tố sinh lý khác. Việc chuẩn hóa dữ liệu sinh học và xử lý nhiễu là rất quan trọng. Cần nghiên cứu thêm để cải thiện độ tin cậy của dữ liệu sinh học trong nhận dạng cảm xúc.

II. Thách Thức Nâng Cao Độ Chính Xác Nhận Dạng Cảm Xúc

Một trong những thách thức lớn nhất trong nhận dạng cảm xúc sinh học là cải thiện độ chính xác của các thuật toán. Dữ liệu sinh học thường phức tạp và đa dạng, dẫn đến khó khăn trong việc trích xuất các đặc trưng có ý nghĩa và xây dựng các mô hình phân loại hiệu quả. Sai số trong nhận dạng cảm xúc sinh học có thể do nhiều yếu tố, bao gồm nhiễu tín hiệu, sự biến đổi giữa các cá nhân và sự khác biệt trong phản ứng cảm xúc. Do đó, cần có các phương pháp xử lý tín hiệu tiên tiến và các thuật toán học máy mạnh mẽ để giải quyết vấn đề này. Mục tiêu là nâng cao hiệu quả nhận dạng cảm xúc trong các ứng dụng thực tế.

2.1. Các Yếu Tố Ảnh Hưởng Đến Độ Tin Cậy Dữ Liệu Sinh Học

Độ tin cậy của dữ liệu sinh học trong nhận dạng cảm xúc bị ảnh hưởng bởi nhiều yếu tố, bao gồm chất lượng thiết bị đo, điều kiện thu thập dữ liệu, và trạng thái sinh lý của người tham gia. Nhiễu từ môi trường, chuyển động cơ thể, và các hoạt động thần kinh không liên quan có thể làm giảm độ chính xác của các phép đo. Việc chuẩn hóa dữ liệu và áp dụng các kỹ thuật lọc nhiễu là rất quan trọng để đảm bảo độ tin cậy. Ngoài ra, cần xem xét các yếu tố như giấc ngủ, chế độ ăn uống, và mức độ căng thẳng của người tham gia.

2.2. Vấn Đề Bias Trong Nhận Dạng Cảm Xúc Sinh Học Nguyên Nhân

Bias trong nhận dạng cảm xúc sinh học là một vấn đề nghiêm trọng cần được giải quyết. Các thuật toán có thể hoạt động khác nhau đối với các nhóm người khác nhau dựa trên giới tính, tuổi tác, chủng tộc hoặc các yếu tố khác. Bias có thể phát sinh từ khó khăn trong thu thập dữ liệu sinh học đại diện cho tất cả các nhóm. Việc sử dụng các bộ dữ liệu đa dạng và đánh giá hiệu suất của thuật toán trên các nhóm khác nhau là rất quan trọng để giảm thiểu bias và đảm bảo tính công bằng.

III. Phương Pháp Mới Học Sâu Dữ Liệu Đa Phương Thức

Các phương pháp học sâu trong nhận dạng cảm xúc sinh học đang trở nên phổ biến nhờ khả năng tự động trích xuất các đặc trưng phức tạp từ dữ liệu. Mạng nơ-ron tích chập (CNN), mạng nơ-ron hồi quy (RNN) và mạng nơ-ron đồ thị (GNN) đã được sử dụng để phân tích cảm xúc từ EEG, ECG, GSR và EMG. Ngoài ra, việc kết hợp dữ liệu sinh học với các thông tin khác như hình ảnh, giọng nói và văn bản (nhận dạng cảm xúc đa phương thức) có thể cải thiện đáng kể độ chính xác và hiệu quả của nhận dạng cảm xúc. Điều này đòi hỏi các mô hình học máy có khả năng tích hợp và xử lý dữ liệu từ nhiều nguồn khác nhau.

3.1. Ứng Dụng Mạng Nơ ron Đồ Thị GNN Trong Phân Tích Cảm Xúc

Mạng nơ-ron đồ thị (GNN) là một công cụ mạnh mẽ để phân tích cảm xúc từ dữ liệu EEG, vì chúng có thể mô hình hóa các mối quan hệ không gian giữa các điện cực. Bằng cách biểu diễn dữ liệu EEG dưới dạng đồ thị, GNN có thể học các đặc trưng liên quan đến cảm xúc từ cấu trúc liên kết của não bộ. Các nghiên cứu đã chỉ ra rằng GNN có thể đạt được kết quả vượt trội so với các phương pháp truyền thống trong nhận dạng cảm xúc.

3.2. Tích Hợp Dữ Liệu Sinh Học Và Video Hướng Tiếp Cận Đa Phương Thức

Phân tích cảm xúc dựa trên dữ liệu sinh học và video là một hướng tiếp cận đầy hứa hẹn để nâng cao hiệu quả nhận dạng cảm xúc. Bằng cách kết hợp thông tin từ tín hiệu sinh học (ví dụ: EEG, ECG, GSR) với biểu cảm khuôn mặt và ngôn ngữ cơ thể từ video, các mô hình có thể hiểu rõ hơn về trạng thái cảm xúc của một người. Điều này đòi hỏi các thuật toán có khả năng xử lý và tích hợp dữ liệu từ nhiều nguồn khác nhau một cách hiệu quả.

IV. Ứng Dụng Thực Tế Từ Y Tế Đến Trải Nghiệm Người Dùng

Ứng dụng nhận dạng cảm xúc sinh học rất đa dạng và có tiềm năng thay đổi nhiều lĩnh vực. Trong y tế, nó có thể được sử dụng để theo dõi trạng thái tâm lý của bệnh nhân, hỗ trợ chẩn đoán các rối loạn tâm thần và cải thiện hiệu quả điều trị. Trong marketing, nó có thể giúp đánh giá phản ứng của khách hàng đối với sản phẩm và dịch vụ, từ đó tối ưu hóa chiến lược quảng cáo. Trong giáo dục, nó có thể giúp tạo ra môi trường học tập cá nhân hóa và tăng cường trải nghiệm người dùng. Ngoài ra, nó còn có thể được sử dụng trong các ứng dụng như phát hiện nói dối, điều khiển thiết bị bằng não và cải thiện an toàn giao thông.

4.1. Nhận Dạng Cảm Xúc Sinh Học Trong Ứng Dụng Y Tế Tiềm Năng

Ứng dụng nhận dạng cảm xúc sinh học trong y tế có thể mang lại nhiều lợi ích. Nó có thể giúp theo dõi trạng thái tâm lý của bệnh nhân mắc các bệnh như trầm cảm, lo âu và rối loạn căng thẳng sau chấn thương. Nó cũng có thể giúp đánh giá hiệu quả của các phương pháp điều trị và cung cấp phản hồi thời gian thực cho bệnh nhân và bác sĩ. Ngoài ra, nó có thể được sử dụng để phát hiện sớm các dấu hiệu của các cơn động kinh hoặc các biến cố sức khỏe khác.

4.2. Cải Thiện Trải Nghiệm Người Dùng Với Nhận Dạng Cảm Xúc Sinh Học

Ứng dụng nhận dạng cảm xúc sinh học trong trải nghiệm người dùng (UX) có thể giúp tạo ra các sản phẩm và dịch vụ phù hợp hơn với nhu cầu và mong muốn của người dùng. Bằng cách theo dõi phản ứng cảm xúc của người dùng khi tương tác với một sản phẩm hoặc dịch vụ, các nhà thiết kế có thể xác định các điểm mạnh và điểm yếu, từ đó tối ưu hóa trải nghiệm người dùng. Ví dụ, nó có thể được sử dụng để cải thiện thiết kế giao diện người dùng, tạo ra các trò chơi hấp dẫn hơn và cung cấp nội dung phù hợp hơn.

V. Kết Luận Tương Lai Nhận Dạng Cảm Xúc Sinh Học Đầy Hứa Hẹn

Tương lai của nhận dạng cảm xúc sinh học đầy hứa hẹn với tiềm năng ứng dụng rộng rãi trong nhiều lĩnh vực. Các tiến bộ trong học sâu, xử lý tín hiệu sinh học và công nghệ cảm biến sinh học đang mở ra những khả năng mới để cải thiện độ chính xác và hiệu quả của nhận dạng cảm xúc. Tuy nhiên, vẫn còn nhiều thách thức cần được giải quyết, bao gồm khó khăn trong thu thập dữ liệu, vấn đề bias và các vấn đề đạo đức. Nghiên cứu và phát triển trong lĩnh vực này cần tiếp tục tập trung vào việc tạo ra các thuật toán mạnh mẽ, công bằng và đáng tin cậy.

5.1. Các Xu Hướng Phát Triển Chính Trong Nhận Dạng Cảm Xúc Sinh Học

Các xu hướng phát triển chính trong nhận dạng cảm xúc sinh học bao gồm sử dụng học sâu, tích hợp dữ liệu đa phương thức, phát triển các công nghệ cảm biến sinh học di động và không xâm lấn, và tập trung vào các ứng dụng trong y tế và trải nghiệm người dùng. Các nghiên cứu cũng đang tập trung vào việc giải quyết các vấn đề đạo đức và đảm bảo tính công bằng của các thuật toán.

5.2. Thách Thức Trong Nhận Dạng Cảm Xúc Sinh Học Vượt Qua

Các thách thức trong nhận dạng cảm xúc sinh học bao gồm khó khăn trong thu thập dữ liệu, vấn đề bias, sự biến đổi giữa các cá nhân, và các vấn đề đạo đức. Để vượt qua những thách thức này, cần có các bộ dữ liệu lớn và đa dạng, các thuật toán công bằng và đáng tin cậy, và các quy định rõ ràng về việc sử dụng dữ liệu sinh học.

Nội dung chính

Tổng quan nghiên cứu

Nhận dạng cảm xúc dựa trên tín hiệu sinh học là lĩnh vực nghiên cứu có tiềm năng ứng dụng rộng rãi trong nhiều ngành như an ninh, chăm sóc sức khỏe, giao tiếp người-máy và đào tạo từ xa. Theo ước tính, việc sử dụng tín hiệu sinh học như điện não đồ (EEG), điện tim (ECG), điện dẫn da (GSR) giúp nhận dạng cảm xúc có độ tin cậy cao hơn so với các phương pháp truyền thống dựa trên biểu cảm khuôn mặt hay giọng nói. Tuy nhiên, phương pháp này vẫn còn nhiều thách thức, đặc biệt là về chất lượng và tính đa dạng của dữ liệu.

Mục tiêu của luận văn là đề xuất một số giải pháp nâng cao chất lượng nhận dạng cảm xúc sử dụng bộ dữ liệu sinh học của MIT và bộ dữ liệu DEAP. Phạm vi nghiên cứu tập trung vào phân tích và cải tiến các kỹ thuật trích chọn đặc trưng, tăng cường dữ liệu và áp dụng các mô hình học máy hiện đại trong khoảng thời gian gần đây. Ý nghĩa của nghiên cứu được thể hiện qua việc cải thiện độ chính xác nhận dạng cảm xúc, góp phần phát triển các ứng dụng thực tiễn như hệ thống tương tác người-máy có cảm xúc và các giải pháp chăm sóc sức khỏe tâm thần.

Kết quả nghiên cứu cho thấy, với bộ dữ liệu MIT, thuật toán Random Forest kết hợp kỹ thuật phân đoạn dữ liệu đạt độ chính xác 97.72% trên 8 trạng thái cảm xúc. Trên bộ dữ liệu DEAP, mô hình mạng nơ ron đồ thị Spectral Convolutional Graph đạt độ chính xác 93.7% cho nhãn Valence trong trường hợp subject-independent. Những con số này tương đương hoặc vượt trội hơn so với các công trình trước đây, khẳng định hiệu quả của các giải pháp đề xuất.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai khung lý thuyết chính: mô hình cảm xúc đa chiều và các kỹ thuật học máy trong nhận dạng cảm xúc.

1. Mô hình cảm xúc đa chiều: Cảm xúc được biểu diễn trong không gian hai hoặc ba chiều với các trục valence (tích cực - tiêu cực), arousal (cường độ cảm xúc) và dominance (mức độ kiểm soát). Mô hình này giúp định lượng và phân loại các trạng thái cảm xúc phức tạp hơn so với mô hình cảm xúc rời rạc truyền thống.

2. Kỹ thuật trích chọn đặc trưng và phân lớp: Các thuật toán như Sequential Feature Algorithms (SFA), Principal Components Analysis (PCA), Linear Discriminant Analysis (LDA) được sử dụng để giảm chiều dữ liệu và chọn lọc các đặc trưng quan trọng nhất. Các mô hình phân lớp bao gồm Support Vector Machine (SVM), Random Forest (RF), hồi quy softmax và các kiến trúc mạng nơ ron nhân tạo như Multilayer Perceptrons (MLP), Convolutional Neural Network (CNN), Recurrent Neural Network (RNN) và Graph Neural Network (GCN).

3. Kỹ thuật tăng cường dữ liệu (Data Augmentation): Bao gồm phương pháp phân đoạn dữ liệu, thêm nhiễu vào tín hiệu và sử dụng các mô hình sinh như Generative Adversarial Networks (GAN) và Variational Autoencoders (VAE) để tạo dữ liệu tổng hợp, giúp cải thiện hiệu suất mô hình khi dữ liệu gốc hạn chế.

Phương pháp nghiên cứu

Nguồn dữ liệu chính gồm bộ dữ liệu MIT và bộ dữ liệu DEAP, trong đó:

• Bộ dữ liệu MIT chứa các tín hiệu sinh học đa dạng như EEG, ECG, GSR với 8 trạng thái cảm xúc được phân loại.
• Bộ dữ liệu DEAP tập trung vào tín hiệu EEG với nhãn cảm xúc theo hai chiều valence và arousal.

Phương pháp nghiên cứu bao gồm:

• Tiền xử lý dữ liệu: Lọc nhiễu, trích xuất đặc trưng thống kê và tần số, chuyển đổi tín hiệu EEG thành dạng đồ thị (EEG-slic-graph).
• Lựa chọn đặc trưng: Áp dụng các thuật toán SFA, PCA, LDA để giảm chiều dữ liệu và loại bỏ đặc trưng không cần thiết.
• Tăng cường dữ liệu: Sử dụng phân đoạn dữ liệu với các đoạn chồng chập và không chồng chập, thêm nhiễu và mô hình sinh dữ liệu.
• Huấn luyện mô hình: Áp dụng thuật toán Random Forest cho bộ dữ liệu MIT và mạng nơ ron đồ thị Spectral Convolutional Graph cho bộ dữ liệu DEAP.
• Đánh giá mô hình: Sử dụng phương pháp Leave-One-Out Cross-validation (LOOCV) để đánh giá độ chính xác, đảm bảo tính khách quan và khả năng khái quát hóa của mô hình.

Cỡ mẫu nghiên cứu gồm khoảng 20-30 đối tượng trong mỗi bộ dữ liệu, được chọn ngẫu nhiên theo tiêu chí đảm bảo tính đại diện. Phương pháp phân tích dữ liệu kết hợp thống kê mô tả và các thuật toán học máy hiện đại nhằm tối ưu hóa hiệu suất nhận dạng cảm xúc.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Độ chính xác nhận dạng trên bộ dữ liệu MIT: Sử dụng kỹ thuật phân đoạn dữ liệu và thuật toán Random Forest với các đặc trưng thống kê, mô hình đạt độ chính xác 97.72% trên 8 trạng thái cảm xúc. Kết quả này vượt trội so với các phương pháp truyền thống, cho thấy hiệu quả của việc phân đoạn dữ liệu và lựa chọn đặc trưng phù hợp.

2. Hiệu quả mô hình mạng nơ ron đồ thị trên bộ dữ liệu DEAP: Phương pháp biến đổi EEG-slic-graph giúp giảm kích thước mô hình, đồng thời mạng Spectral Convolutional Graph đạt độ chính xác 93.7% cho nhãn Valence trong trường hợp subject-independent và 60.39% cho subject-dependent. Điều này chứng minh khả năng khái quát hóa tốt của mô hình đối với các đối tượng chưa từng xuất hiện trong tập huấn luyện.

3. So sánh các kỹ thuật tăng cường dữ liệu: Phân đoạn dữ liệu cho phép tăng số lượng mẫu huấn luyện nhanh chóng và cải thiện phân phối dữ liệu, giúp mô hình học hiệu quả hơn. Thêm nhiễu vào tín hiệu giúp tăng độ nhạy và độ chính xác nhưng cần kiểm soát để tránh làm giảm chất lượng dữ liệu. Mô hình sinh dữ liệu như GAN và VAE có tiềm năng tạo dữ liệu mới nhưng việc đánh giá chất lượng dữ liệu sinh còn là thách thức.

4. Khó khăn trong nhận dạng cảm xúc subject-dependent: Độ chính xác nhận dạng cảm xúc phụ thuộc cá nhân thấp hơn đáng kể so với subject-independent, do sự khác biệt sinh lý và cảm xúc giữa các cá nhân. Điều này đặt ra yêu cầu phát triển các mô hình cá nhân hóa hoặc mô hình có khả năng thích ứng cao.

Thảo luận kết quả

Nguyên nhân chính của sự cải thiện độ chính xác là do việc áp dụng kỹ thuật phân đoạn dữ liệu giúp tăng số lượng mẫu huấn luyện và cân bằng phân phối cảm xúc, đồng thời lựa chọn đặc trưng hiệu quả loại bỏ nhiễu và thông tin không liên quan. Mô hình Random Forest với khả năng xử lý dữ liệu đa chiều và không yêu cầu tiền xử lý phức tạp đã phát huy hiệu quả trên bộ dữ liệu MIT.

Mạng nơ ron đồ thị Spectral Convolutional Graph tận dụng cấu trúc đồ thị của tín hiệu EEG, giúp mô hình học được các mối quan hệ không gian giữa các điện cực, từ đó nâng cao độ chính xác nhận dạng trên bộ dữ liệu DEAP. Kết quả này phù hợp với các nghiên cứu gần đây trong lĩnh vực nhận dạng cảm xúc sử dụng tín hiệu EEG.

Việc so sánh các kỹ thuật tăng cường dữ liệu cho thấy phân đoạn dữ liệu là phương pháp đơn giản nhưng hiệu quả nhất trong bối cảnh dữ liệu hạn chế. Mô hình sinh dữ liệu tuy hứa hẹn nhưng cần có các chỉ số đánh giá phù hợp để đảm bảo chất lượng dữ liệu tổng hợp.

Các kết quả có thể được trình bày qua biểu đồ độ chính xác so sánh giữa các mô hình và kỹ thuật tăng cường dữ liệu, cũng như bảng confusion matrix thể hiện hiệu suất phân loại trên từng trạng thái cảm xúc.

Đề xuất và khuyến nghị

1. Áp dụng kỹ thuật phân đoạn dữ liệu chuẩn hóa: Đề xuất xây dựng quy trình phân đoạn dữ liệu với độ dài và tỷ lệ chồng chập tối ưu nhằm cân bằng phân phối cảm xúc và tăng số lượng mẫu huấn luyện. Thời gian thực hiện trong vòng 6 tháng, do nhóm nghiên cứu và kỹ thuật viên thực hiện.

2. Phát triển mô hình mạng nơ ron đồ thị nâng cao: Khuyến nghị nghiên cứu và thử nghiệm các kiến trúc GCN tiên tiến hơn để cải thiện độ chính xác nhận dạng cảm xúc, đặc biệt trong trường hợp subject-dependent. Thời gian triển khai dự kiến 12 tháng, phối hợp giữa nhóm nghiên cứu và chuyên gia AI.

3. Mở rộng bộ dữ liệu và đa dạng hóa tín hiệu sinh học: Đề xuất thu thập thêm dữ liệu từ các bộ dữ liệu khác với số lượng kênh EEG lớn hơn và bổ sung các tín hiệu sinh học khác như ECG, GSR để tăng tính đa dạng và độ phong phú của dữ liệu. Thời gian thực hiện 18 tháng, phối hợp với các trung tâm nghiên cứu và bệnh viện.

4. Phát triển thuật toán nhận dạng cảm xúc online: Khuyến nghị xây dựng các thuật toán nhận dạng cảm xúc trực tuyến dựa trên các mô hình đã huấn luyện, phục vụ các ứng dụng tương tác người-máy có cảm xúc trong thời gian thực. Thời gian thực hiện 9 tháng, do nhóm phát triển phần mềm và nghiên cứu AI đảm nhiệm.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Kỹ thuật điều khiển và Tự động hóa: Có thể áp dụng các phương pháp trích chọn đặc trưng, tăng cường dữ liệu và mô hình học máy trong các bài toán nhận dạng tín hiệu sinh học và cảm xúc.

2. Chuyên gia phát triển hệ thống tương tác người-máy: Sử dụng kết quả nghiên cứu để phát triển các ứng dụng robot, trợ lý ảo có khả năng nhận dạng và phản hồi cảm xúc người dùng.

3. Ngành y tế và chăm sóc sức khỏe tâm thần: Áp dụng các kỹ thuật nhận dạng cảm xúc dựa trên tín hiệu sinh học để theo dõi và đánh giá trạng thái tâm lý bệnh nhân, hỗ trợ điều trị và chăm sóc.

4. Nhà phát triển phần mềm và công nghệ AI: Tham khảo các mô hình mạng nơ ron đồ thị và kỹ thuật tăng cường dữ liệu để cải thiện hiệu suất các ứng dụng nhận dạng cảm xúc trong thực tế.

Câu hỏi thường gặp

1. Nhận dạng cảm xúc sử dụng tín hiệu sinh học có ưu điểm gì so với phương pháp truyền thống?
   Sử dụng tín hiệu sinh học như EEG, ECG giúp nhận dạng cảm xúc khách quan hơn vì các tín hiệu này khó bị làm giả và phản ánh trực tiếp hoạt động hệ thần kinh, trong khi biểu cảm khuôn mặt hay giọng nói có thể bị kiểm soát hoặc giả tạo.

2. Tại sao cần tăng cường dữ liệu trong nhận dạng cảm xúc?
   Dữ liệu sinh học thường khan hiếm và khó thu thập, tăng cường dữ liệu giúp mở rộng tập huấn luyện, cải thiện khả năng khái quát hóa của mô hình và giảm hiện tượng quá khớp.

3. Mô hình mạng nơ ron đồ thị (GCN) có ưu điểm gì trong nhận dạng cảm xúc?
   GCN tận dụng cấu trúc đồ thị của tín hiệu EEG, học được các mối quan hệ không gian giữa các điện cực, từ đó nâng cao độ chính xác và khả năng khái quát hóa so với các mô hình truyền thống.

4. Phân đoạn dữ liệu ảnh hưởng thế nào đến hiệu suất mô hình?
   Phân đoạn dữ liệu giúp tăng số lượng mẫu huấn luyện, cân bằng phân phối cảm xúc và giảm chi phí tính toán, từ đó cải thiện độ chính xác và độ ổn định của mô hình.

5. Làm thế nào để đánh giá chất lượng dữ liệu sinh từ mô hình GAN hoặc VAE?
   Cần sử dụng các chỉ số đánh giá như Inception Score, Fréchet Inception Distance (FID) hoặc các khoảng cách Euclidean, Wasserstein để đo lường sự đa dạng và tính thực tế của dữ liệu sinh, tuy nhiên việc đánh giá vẫn còn nhiều thách thức do thiếu ground truth rõ ràng.

Kết luận

• Luận văn đã đề xuất và chứng minh hiệu quả của các giải pháp nâng cao chất lượng nhận dạng cảm xúc sử dụng bộ dữ liệu sinh học MIT và DEAP.
• Kỹ thuật phân đoạn dữ liệu kết hợp thuật toán Random Forest đạt độ chính xác 97.72% trên bộ dữ liệu MIT với 8 trạng thái cảm xúc.
• Mạng nơ ron đồ thị Spectral Convolutional Graph đạt 93.7% độ chính xác cho nhãn Valence trên bộ dữ liệu DEAP trong trường hợp subject-independent.
• Các kỹ thuật tăng cường dữ liệu như phân đoạn, thêm nhiễu và mô hình sinh dữ liệu góp phần cải thiện hiệu suất mô hình trong điều kiện dữ liệu hạn chế.
• Hướng nghiên cứu tiếp theo tập trung vào phát triển các kiến trúc mạng GCN tiên tiến, mở rộng bộ dữ liệu và xây dựng thuật toán nhận dạng cảm xúc online cho ứng dụng thực tế.

Để tiếp tục phát triển lĩnh vực này, các nhà nghiên cứu và chuyên gia công nghệ được khuyến khích áp dụng các giải pháp đề xuất, đồng thời mở rộng phạm vi nghiên cứu sang các bộ dữ liệu và ứng dụng đa dạng hơn. Hành động ngay hôm nay để nâng cao chất lượng nhận dạng cảm xúc và thúc đẩy các ứng dụng trí tuệ nhân tạo trong đời sống.

Trích đoạn nội dung tài liệu

ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Một số giải pháp nâng cao chất lượng nhận dạng cảm xúc sử dụng bộ dữ liệu sinh học của MIT và bộ dữ liệu DEAP PHẠM VĂN DŨNG dung.vn Ngành Kỹ thuật điều khiển và tự động hóa Giảng viên hướng dẫn: TS. Cung Thành Long Chữ ký của GVHD Trường: Điện - Điện tử HÀ NỘI, 4/2023 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự do – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ và tên tác giả luận văn: Phạm Văn Dũng Đề tài luận văn: Một số giải pháp nâng cao chất lượng nhận dạng cảm xúc sử dụng bộ dữ liệu sinh học của MIT và bộ dữ liệu DEAP Chuyên ngành: Kỹ thuật điều khiển và tự động hóa Mã số HV: 20202248M Tác giả, Người hướng dẫn khoa học và Hội đồng chấm luận văn xác nhận tác giả đã sửa chữa, bổ sung luận văn theo biên bản họp Hội đồng ngày….………… với các nội dung sau: x Chỉnh sửa lại các lỗi chính tả trong luận văn, chỉnh sửa lỗi font chữ với các công thức toán học x Đổi thứ tự hai đoạn văn mục 3.1 x Sửa lại, dịch các Bảng 3.9 sang tiếng Việt x Thêm mô tả phương pháp Leave-One-Out Cross-validation ở Hình 3.14, thêm lưu đồ thuật toán cho phương pháp đề xuất trong luận văn ở Hình 3.15 x Thêm danh mục các công trình liên quan đã công bố trong quá trình thực hiện luận văn ở phụ lục A4 Ngày tháng năm Giáo viên hướng dẫn Tác giả luận văn CHỦ TỊCH HỘI ĐỒNG ĐỀ TÀI LUẬN VĂN 1. Tên đề tài: Một số giải pháp nâng cao chất lượng nhận dạng cảm xúc sử dụng bộ dữ liệu sinh học của MIT và bộ dữ liệu DEAP 2. Giảng viên hướng dẫn: TS.

Cung Thành Long Giảng viên hướng dẫn Ký và ghi rõ họ tên Lời cảm ơn Lời đầu tiên, tác giả xin được gửi lời cảm ơn chân thành nhất đến các thầy cô, cán bộ nhân viên trong trường nói chung và các thầy cô giảng viên của Trường Điện - Điện tử nói riêng đã giảng dạy và truyền đạt cho tác giả nhiều kiến thức quý báu trong suốt quá trình học tập tại trường. Tác giả xin kính chúc các thầy cô thật nhiều sức khỏe, gặt hái được nhiều thành công, danh hiệu để tiếp tục truyền đạt kiến thức cho các thế hệ sinh viên Bách Khoa sau này. Để hoàn thành được luận văn này, tác giả xin chân thành cảm ơn Thầy - TS. Cung Thành Long và các bạn sinh viên tại DREAM LAB đã tận tình động viên, chỉ bảo, giúp đỡ cùng nhau tháo gỡ các khúc mắc trong suốt quá trình thực hiện luận văn.

Bên cạnh đó, không thể không nhắc tới sự hỗ trợ từ gia đình và những người bạn thân thiết. Mọi người là đã luôn đồng hành, khích lệ và là hậu phương vững cho tác giả vào những giai đoạn khó khăn. Tóm tắt nội dung luận văn Nhận dạng cảm xúc có tiềm năng ứng dụng thực tiễn rất lớn trong các lĩnh vực như kiểm tra an ninh, phát hiện nói dối, phát triển robot có khả năng nhận dạng, hiểu và giao tiếp có cảm xúc với con người, xây dựng các ứng dụng thấu cảm phục vụ đào tạo từ xa, các ứng dụng hỗ trợ lái xe, phi công bay đường dài, ứng dụng chăm sóc sức khỏe, … cùng nhiều ứng dụng khác. Trong lĩnh vực nhận dạng cảm xúc, phương pháp nhận dạng cảm xúc sử dụng tín hiệu sinh học (physiological signals) có nhiều ưu điểm so với các phương pháp tiền nhiệm khác như sử dụng ảnh biểu cảm gương mặt hay sử dụng giọng nói.

Tuy nhiên, phương pháp này còn nhiều khó khăn, thách thức cần được nghiên cứu giải quyết, đặc biệt là về dữ liệu. Do đó, mục tiêu của luận văn nhằm đưa ra một số phương pháp giúp cải thiện chất lượng nhận dạng cảm xúc trên hai bộ dữ liệu MIT và DEAP. Kết quả của luận văn đã phần nào đạt được mục tiêu đề ra khi đưa ra được những phương pháp nâng cao chất lượng nhận dạng trên 2 bộ dữ liệu nêu trên. Đối với bộ dữ liệu MIT, áp dụng kỹ thuật phân đoạn dữ liệu, các tập dữ liệu chồng chập và không chồng chập đã được xây dựng.

Thuật toán Random Forest đã được sử dụng cùng các đặc trưng thống kê giúp đạt được độ chính xác nhận dạng là 97.72% với 8 trạng thái cảm xúc. Khi sử dụng tín hiệu EEG của bộ dữ liệu DEAP, phương pháp biến đổi EEG-slic-graph được đề xuất cho phép lựa chọn số lượng nút đầu vào của đồ thị giúp làm giảm kích thước của mô hình. Những mô hình mạng nơ ron Spectral Convolutional Graph đã được huấn luyện và đạt độ chính xác cho hai nhãn Valence /arousal lần lượt là 93.7 % với subject-independent và 60.39% với subject-dependent. Các kết quả trên đều tương đương hoặc tốt hơn so với những công trình đã được công bố.

Hướng mở rộng tiếp theo của đề tài là sử dụng những kiến trúc mạng GCN khác ưu việt hơn, thử nghiệm trên những bộ dữ liệu khác với số lượng kênh EEG lớn hơn và kiểm chứng kết quả. Cuối cùng, sử dụng các phương pháp nhận dạng đã thử nghiệm để phát triển các thuật toán nhận dạng online, các ứng dụng tương tác người máy có cảm xúc. HỌC VIÊN Ký và ghi rõ họ tên MỤC LỤC TỔNG QUAN VỀ NHẬN DẠNG CẢM XÚC SỬ DỤNG CÁC TÍN HIỆU SINH HỌC.1 Giới thiệu chung .2 Các mô hình cảm xúc. 1 Mô hình cảm xúc gián đoạn.

2 Mô hình không gian cảm xúc đa chiều .3 Ưu điểm, nhược điểm của các phương pháp nhận dạng cảm xúc. 4 Nhận dạng cảm xúc sử dụng hình ảnh. 4 Nhận dạng cảm xúc sử dụng giọng nói. 5 Nhận dạng cảm xúc sử dụng tín hiệu sinh học .4 Khó khăn của phương pháp nhận dạng cảm xúc sử dụng tín hiệu sinh học .5 Quy trình của một bài toán nhận dạng cảm xúc sử dụng các tín hiệu sinh học.

7 Tiền xử lý dữ liệu. 7 Áp dụng các kỹ thuật phân lớp. 8 Ra quyết định nhận dạng.1 Một số kỹ thuật trích chọn đặc trưng, lựa chọn đặc trưng. 11 Sequential Feature Algorithms (SFAs).

11 Principal Components Analysis (PCA). 12 Linear Discriminant Analysis (LDA) .2 Kỹ thuật tăng cường dữ liệu (data augmentation). 16 Phương pháp sinh dữ liệu mới từ dataset sẵn có. 17 Phương pháp phân đoạn dữ liệu (segmenting).

18 Phương pháp thêm nhiễu vào tín hiệu .3 Một số kỹ thuật phân lớp. 20 Support Vector Machine (SVM) .4 Mạng nơ ron nhân tạo. 31 Multilayer Perceptrons - MLP. 32 Mạng nơ ron tích chập (Convolutional Neural Network - CNN).

37 Mạng nơ ron hồi quy (Recurrent Neural Network - RNN). 41 Mạng nơ ron đồ thị (Graph Neural Network) .5 Bài toán nhận dạng cảm xúc trong nội dung luận văn. 53 NHẬN DẠNG CẢM XÚC TRÊN BỘ DỮ LIỆU MIT VÀ BỘ DỮ LIỆU DEAP .1 Nhận dạng cảm xúc trên bộ dữ liệu MIT. 55 Đặc điểm bộ dữ liệu cảm xúc MIT.

55 Tiền xử lý dữ liệu. 55 Tính toán các đặc trưng. 56 Mô hình và kết quả phân loại 8 trạng thái cảm xúc của bộ dữ liệu MIT .2 Nhận dạng cảm xúc trên bộ dữ liệu DEAP. 60 Đặc điểm bộ dữ liệu DEAP.

60 Rò rỉ dữ liệu (data leakage) trong phương pháp tăng cường dữ liệu và huấn luyện các mô hình nhận dạng cảm xúc. 61 Các mô hình mạng nơ ron đồ thị (GCNN) trong nhận dạng các sắc thái cảm xúc của bộ dữ liệu DEAP. 63 Phương pháp chuyển đổi EEG-slic-graph cho nhận dạng cảm xúc sử dụng bộ dữ liệu DEAP. 67 KẾT LUẬN CHUNG.

75 TÀI LIỆU THAM KHẢO. 81 DANH MỤC HÌNH VẼ Hình 1.1 Bánh xe cảm xúc của Plutchik .2 Không gian cảm xúc 2 chiều .3 Không gian cảm xúc 3 chiều .4 Quy trình của bài toán nhận dạng cảm xúc sử dụng tín hiệu sinh học .5 Mô hình kết hợp (ensemble model) .1 Thuật toán PCA .2 Thuật toán LDA .3 Đồ thị của hàm sigmoid .4 Mô hình hồi quy logistic .5 Mô hình hồi quy softmax .6 Đường thẳng phân chia dữ liệu trong không gian 2 chiều .7 Lề (margin) trong thuật toán SVM .8: Bài toán hard-margin SVM với những điểm gây nhiễu.9 Dữ liệu không phân biệt tuyến tính .10 Mô tả cách hoạt động của kernel trong SVM .11 Cấu trúc một nơ-ron sinh học.13 Biểu diễn nơ ron sinh học dưới góc nhìn toán .14 Multilayer perceptron - mạng nơ ron với 1 lớp ẩn .15 Ví dụ về kết nối đầy đủ (dưới) và kêt nối thưa (trên) .16 Cách tính tích chập trên ảnh .17 Minh họa phép toán max pooling và average pooling trên ảnh .18 Biểu đồ tính toán của mạng RNN .19 Cấu trúc một lớp LSTM so với RNN .20 Chi tiết cấu trúc một lớp LSTM .21 Cơ chế attention trong bài toán dịch máy sử dụng RNN .22 Một số cách biểu diễn các loại dữ liệu theo dạng đồ thị .23 Hai loại mạng GCN hiện nay .24 Cạnh và nút của đồ thị .25 Biểu diễn ma trận liền kề cho đồ thị có hướng .26 Biểu diễn ma trận bậc và ma trận Laplacian .27 Ma trận có hướng và vô hướng .28 Mô hình mạng GCN .29 Xử lý dữ liệu ở mạng CNN và GCN .1 Các tín hiệu sinh học của bộ dữ liệu MIT .2 Đồ thị điểm CV của các thuật toán SFFS và SBFS .3 Đồ thị hàm ReLU .4 Các confusion matrix kết quả của bộ phân loại RF .5 Mô hình ACRNN [9] .6 Ví dụ về kết nối giữa các kênh EEG .7 Mô hình DGCNN .8 Quy trình huấn luyện mô hình DGCNN [7] .9 Quy trình huấn luyện mô hình SparseDGCNN [11] .10 Quy trình chuyển từ ảnh dạng lưới truyền thống sang superpixel graph [42] .11 Cách sắp xếp vị trí các điện cực EEG của bộ dữ liệu DEAP trên không gian 2 chiều, những vị trí được tô đỏ là các điện cực có thông tin của bộ dữ liệu DEAP .12 Topology mapping sau khi sử dụng thuật toán nội suy clough-touch của một dải tần số EEG .13 Topology mappings của một dải tần số EEG sau khi được phân vùng sử dụng SLIC với số lượng phân vùng lần lượt là 5, 7 và 10 .14 Mô tả thuật toán Leave-One-Out Cross-validation .15 Lưu đồ thực hiện chuyển đổi EEG-slic-graph. 72 DANH MỤC BẢNG BIỂU Bảng 3.1 Công thức tính các đặc trưng thống kê. Kết quả nhận dạng trên các tập dữ liệu chồng chập và không chồng chập.

Kết quả độ chính xác subject-dependent của mô hình ACRNN (accuracy: mean ± std). Kết quả subject-independent của mô hình ACRNN (accuracy: mean)63 Bảng 3.