Phân loại tín hiệu điện não dựa trên học sâu để xây dựng hệ thống đánh vần bằng mắt

• Tác giả: Trần Xuân Đạt
• Người hướng dẫn: PGS. Lê Thanh Hà
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Khoa học máy tính
• Đề tài: Phân loại tín hiệu điện não dựa trên học sâu để phát triển hệ thống giao tiếp bằng mắt
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2022
• Địa điểm: Hà Nội

• LỜI CẢM ƠN
• LỜI CAM KẾT
• TÓM TẮT
• 1. CHƯƠNG 1: Tổng quan
• 1.1. Đặt vấn đề
• 1.2. Định nghĩa bài toán và hướng tiếp cận
• 1.3. Đóng góp của luận văn
• 1.4. Cấu trúc của luận văn
• 2. CHƯƠNG 2: Tín hiệu điện não
• 2.1. Giao diện não - máy tính
• 2.2. Điện não đồ không xâm lấn
• 2.3. Tưởng tượng ảnh vận động
• 2.4. Các nghiên cứu liên quan về phân loại tín hiệu điện não trong tác vụ tưởng tượng ảnh vận động
• 3. CHƯƠNG 3: Phân loại tín hiệu điện não trong tác vụ tưởng tượng ảnh vận động sử dụng mô hình học sâu
• 3.1. Quy trình phân loại tín hiệu điện não trong tác vụ tưởng tượng ảnh vận động sử dụng mô hình học sâu
• 3.2. Căn chỉnh dữ liệu tín hiệu điện não
• 3.2.1. Căn chỉnh tín hiệu theo phiên thu, đối tượng
• 3.2.2. Căn chỉnh tín hiệu theo nhãn
• 3.3. Mô hình học sâu trong phân loại tín hiệu điện não
• 3.4. Thực nghiệm
• 3.4.1. Thông số đánh giá mô hình phân loại
• 3.4.2. Bộ dữ liệu Physionet Motor Movement/Imagery
• 3.4.2.1. Phương pháp đánh giá
• 3.4.2.2. Kết quả thực nghiệm
• 3.4.3. Bộ dữ liệu HMI EEG-ET
• 3.4.3.1. Phương pháp đánh giá
• 3.4.3.2. Kết quả thực nghiệm
• 5. CHƯƠNG 5: Kết luận
• 5.1. Kết luận
• 5.2. Hướng phát triển trong tương lai
• TÀI LIỆU THAM KHẢO

I. Tổng quan về phân loại tín hiệu điện não bằng học sâu

Phân loại tín hiệu điện não là một lĩnh vực nghiên cứu quan trọng trong khoa học thần kinh. Hệ thống giao tiếp bằng mắt kết hợp với tín hiệu điện não mở ra nhiều cơ hội cho những người gặp khó khăn trong việc giao tiếp. Việc áp dụng học sâu trong phân loại tín hiệu điện não giúp cải thiện độ chính xác và tốc độ của hệ thống giao tiếp này.

1.1. Định nghĩa tín hiệu điện não và học sâu

Tín hiệu điện não (EEG) là các tín hiệu được ghi lại từ hoạt động điện của não. Học sâu là một nhánh của học máy, sử dụng mạng nơ-ron để phân tích và phân loại dữ liệu phức tạp.

1.2. Lợi ích của việc phân loại tín hiệu điện não

Phân loại tín hiệu điện não giúp nhận diện các trạng thái tâm lý và hành vi của con người, từ đó hỗ trợ trong việc phát triển các hệ thống giao tiếp cho người khuyết tật.

II. Vấn đề trong phân loại tín hiệu điện não hiện nay

Mặc dù có nhiều tiến bộ trong công nghệ, việc phân loại tín hiệu điện não vẫn gặp phải nhiều thách thức. Đặc biệt, độ chính xác của các mô hình học sâu phụ thuộc vào chất lượng và số lượng dữ liệu huấn luyện.

2.1. Thách thức về dữ liệu trong phân loại tín hiệu

Dữ liệu tín hiệu điện não thường không đồng nhất và có thể bị nhiễu, điều này làm giảm độ chính xác của các mô hình phân loại.

2.2. Khó khăn trong việc áp dụng mô hình học sâu

Mô hình học sâu yêu cầu một lượng lớn dữ liệu để huấn luyện, điều này có thể khó khăn đối với các bệnh nhân có dữ liệu hạn chế.

III. Phương pháp phân loại tín hiệu điện não bằng học sâu

Để giải quyết các vấn đề trong phân loại tín hiệu điện não, nhiều phương pháp học sâu đã được phát triển. Các mô hình này giúp cải thiện khả năng phân loại và nhận diện các trạng thái khác nhau của tín hiệu điện não.

3.1. Mô hình mạng nơ ron tích chập CNN

Mạng nơ-ron tích chập (CNN) là một trong những mô hình học sâu phổ biến nhất trong phân loại tín hiệu điện não, giúp trích xuất đặc trưng hiệu quả từ dữ liệu.

3.2. Căn chỉnh dữ liệu tín hiệu điện não

Căn chỉnh dữ liệu là một bước quan trọng trong quá trình phân loại, giúp cải thiện độ chính xác của mô hình bằng cách đồng bộ hóa các tín hiệu từ các phiên thu khác nhau.

IV. Ứng dụng thực tiễn của phân loại tín hiệu điện não

Phân loại tín hiệu điện não có nhiều ứng dụng thực tiễn, đặc biệt trong lĩnh vực y tế. Hệ thống giao tiếp bằng mắt kết hợp với tín hiệu điện não có thể giúp cải thiện chất lượng cuộc sống cho những người khuyết tật.

4.1. Hệ thống giao tiếp cho người khuyết tật

Hệ thống giao tiếp bằng mắt sử dụng tín hiệu điện não giúp người khuyết tật có thể giao tiếp hiệu quả hơn, mở ra cơ hội mới trong việc tương tác xã hội.

4.2. Nghiên cứu và phát triển trong y tế

Nghiên cứu về phân loại tín hiệu điện não đang được áp dụng để phát triển các phương pháp điều trị mới cho bệnh nhân mắc chứng xơ cứng teo cơ một bên.

V. Kết luận và tương lai của phân loại tín hiệu điện não

Phân loại tín hiệu điện não bằng học sâu đang mở ra nhiều cơ hội mới trong nghiên cứu và ứng dụng. Tương lai của lĩnh vực này hứa hẹn sẽ mang lại nhiều tiến bộ trong việc hỗ trợ giao tiếp cho người khuyết tật.

5.1. Hướng phát triển trong nghiên cứu

Nghiên cứu trong lĩnh vực này cần tiếp tục phát triển các mô hình học sâu mới và cải thiện chất lượng dữ liệu để nâng cao độ chính xác.

5.2. Tương lai của hệ thống giao tiếp bằng mắt

Hệ thống giao tiếp bằng mắt kết hợp với tín hiệu điện não có tiềm năng lớn trong việc cải thiện chất lượng cuộc sống cho những người khuyết tật, mở ra nhiều cơ hội mới trong tương lai.

Tổng quan nghiên cứu

Trong lĩnh vực giao diện não - máy tính (Brain-Computer Interface - BCI), việc phân loại tín hiệu điện não (EEG) đóng vai trò then chốt trong việc phát triển các hệ thống hỗ trợ giao tiếp cho người bị tổn thương chức năng vận động, đặc biệt là bệnh nhân xơ cứng teo cơ một bên (ALS). Theo ước tính, các hệ thống BCI có thể cải thiện đáng kể chất lượng cuộc sống cho nhóm đối tượng này bằng cách thay thế hoặc hỗ trợ các chức năng vận động bị mất. Tuy nhiên, các hệ thống đánh vần sử dụng tín hiệu EEG thường có tốc độ nhập liệu chậm hơn so với các hệ thống theo dõi ánh mắt (Eye-tracking), đồng thời gặp khó khăn khi người dùng suy giảm thị lực. Do đó, việc kết hợp tín hiệu EEG với theo dõi ánh mắt trong hệ thống giao diện não - máy tính lai (Hybrid BCI) được xem là hướng đi tiềm năng nhằm nâng cao hiệu quả và độ chính xác của hệ thống đánh vần.

Luận văn tập trung nghiên cứu phân loại tín hiệu EEG trong tác vụ tưởng tượng ảnh vận động (Motor Imagery - MI), một mô hình tín hiệu EEG chủ động và có khả năng kết hợp cao với theo dõi ánh mắt. Mục tiêu cụ thể là xây dựng và đánh giá các mô hình học sâu, đặc biệt là mạng nơ-ron tích chập (CNN), kết hợp với các phương pháp căn chỉnh dữ liệu nhằm cải thiện khả năng phân loại tín hiệu EEG cho cả đối tượng khỏe mạnh và bệnh nhân ALS. Nghiên cứu thực hiện trên hai bộ dữ liệu chính: Physionet Motor Movement/Imagery với 105 đối tượng và bộ dữ liệu HMI EEG-ET mới được xây dựng tại Phòng thí nghiệm Tương tác người - máy, Đại học Công Nghệ, Đại học Quốc gia Hà Nội, bao gồm hơn 90 đối tượng khỏe mạnh và 5 bệnh nhân ALS. Phạm vi nghiên cứu tập trung vào dữ liệu thu thập trong các phiên thu tại Việt Nam trong giai đoạn gần đây.

Việc phân loại chính xác tín hiệu EEG trong tác vụ tưởng tượng ảnh vận động không chỉ góp phần phát triển các hệ thống giao diện não - máy tính hiệu quả mà còn mở rộng khả năng giao tiếp cho người khuyết tật vận động, đồng thời thúc đẩy ứng dụng công nghệ học sâu trong lĩnh vực y sinh và khoa học máy tính.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình sau:

• Giao diện não - máy tính (BCI): Hệ thống cho phép giao tiếp hoặc điều khiển thiết bị điện tử trực tiếp bằng tín hiệu điện não, không cần vận động cơ bắp. BCI được chia thành hai loại chính: xâm lấn và không xâm lấn, trong đó EEG là phương pháp không xâm lấn phổ biến nhất.

• Tín hiệu điện não EEG: Là tín hiệu điện thế thu được từ các điện cực đặt trên da đầu, phản ánh hoạt động của các nhóm tế bào thần kinh. Tín hiệu EEG có các nhịp sóng chính như Delta, Theta, Alpha, Mu, Beta và Gamma, trong đó nhịp Mu (8-12Hz) và Beta (12-30Hz) liên quan mật thiết đến tác vụ tưởng tượng ảnh vận động.

• Tưởng tượng ảnh vận động (MI): Hoạt động nhận thức chủ động, trong đó người dùng tưởng tượng thực hiện các vận động cơ thể như nâng tay trái, tay phải hoặc chân. MI tạo ra các đặc trưng EEG đặc thù như sự suy giảm năng lượng (Event-related desynchronization - ERD) của sóng Mu và sự gia tăng năng lượng (Event-related synchronization - ERS) của sóng Beta tại các vùng vận động trên vỏ não.

• Phân loại tín hiệu EEG: Sử dụng các phương pháp trích chọn đặc trưng như Common Spatial Patterns (CSP), Band Power (BP), và không gian Riemannian Manifold (RM) để biểu diễn và phân loại tín hiệu. Gần đây, các mô hình học sâu như mạng nơ-ron tích chập (CNN) được áp dụng để tự động học đặc trưng và phân loại hiệu quả hơn.

• Căn chỉnh dữ liệu (Data Alignment): Bao gồm hai phương pháp chính là Euclidean Alignment (EA) và Label Alignment (LA), nhằm giảm thiểu sự khác biệt về phân phối dữ liệu giữa các phiên thu và đối tượng, giúp mô hình học sâu tổng quát hơn khi áp dụng trên dữ liệu đa nguồn.

Phương pháp nghiên cứu

• Nguồn dữ liệu: Nghiên cứu sử dụng hai bộ dữ liệu chính:

  • Physionet Motor Movement/Imagery: Gồm 105 đối tượng khỏe mạnh, tín hiệu EEG 64 kênh, tần số lấy mẫu 160Hz, với các tác vụ tưởng tượng vận động tay trái, tay phải, hai tay và hai chân.
  • HMI EEG-ET: Bộ dữ liệu mới gồm 90 đối tượng khỏe mạnh và 5 bệnh nhân ALS, tín hiệu EEG 32 kênh, tần số lấy mẫu 128Hz, kết hợp với dữ liệu theo dõi chuyển động mắt (Eye-tracking).

• Phương pháp phân tích:

  • Tiền xử lý tín hiệu EEG bao gồm lọc băng tần 8-30Hz (tập trung vào nhịp Mu và Beta), giảm tần số lấy mẫu, và phân tách tín hiệu thành các đoạn cố định (epoching) theo hai cách: trialwise và cropped.
  • Áp dụng các phương pháp căn chỉnh dữ liệu EA và LA để đồng nhất phân phối dữ liệu giữa các phiên thu và đối tượng.
  • Xây dựng và huấn luyện các mô hình học sâu CNN, cụ thể là EEGNet và EEG-ITNet, với các kiến trúc tích chập đa nhánh, tích chập giãn nở theo thời gian (Temporal Convolutional Network - TCN) nhằm trích xuất đặc trưng không gian và thời gian của tín hiệu EEG.
  • Đánh giá mô hình bằng các chỉ số Accuracy, Balanced Accuracy (BAC), Cohen’s Kappa và F1-Score, sử dụng phương pháp kiểm định chéo (cross-validation) theo đối tượng (cross-subject) và theo phiên thu.

• Timeline nghiên cứu: Nghiên cứu được thực hiện trong năm 2022, với quá trình thu thập dữ liệu, xây dựng mô hình, thực nghiệm và phân tích kết quả diễn ra trong vòng 12 tháng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả của phương pháp căn chỉnh dữ liệu:
   Áp dụng Euclidean Alignment (EA) giúp giảm đáng kể sự khác biệt phân phối dữ liệu giữa các đối tượng trong bộ dữ liệu Physionet MMIDB, thể hiện qua biểu đồ t-SNE cho thấy các điểm dữ liệu tập trung hơn sau căn chỉnh. Điều này giúp mô hình học sâu đạt độ chính xác trung bình BAC khoảng 0.78 trên 3 nhãn (tay trái, tay phải, nghỉ) và 0.74 trên 4 nhãn (thêm chân) trong bộ dữ liệu này.

2. Hiệu suất mô hình học sâu trên bộ dữ liệu HMI EEG-ET:
   Trên 90 đối tượng khỏe mạnh, mô hình CNN (EEG-ITNet) đạt BAC trung bình 0.6043 trên 4 nhãn, trong khi với 5 bệnh nhân ALS, BAC đạt 0.6427 trên 3 nhãn và 0.5206 trên 4 nhãn. So sánh với mô hình học máy truyền thống CSP-BP-SVM, CNN chưa vượt trội, đặc biệt với dữ liệu bệnh nhân ALS có hạn chế về số lượng.

3. Khả năng tổng quát hóa và học chuyển tiếp:
   Sử dụng dữ liệu từ đối tượng khỏe mạnh để huấn luyện và áp dụng căn chỉnh dữ liệu LA giúp cải thiện độ chính xác phân loại cho bệnh nhân ALS, tăng BAC từ khoảng 0.24 lên 0.39 trên 3 nhãn. Tuy nhiên, việc sử dụng dữ liệu khỏe mạnh trực tiếp mà không căn chỉnh không mang lại cải tiến rõ rệt.

4. Khả năng tưởng tượng ảnh vận động của bệnh nhân ALS thấp hơn:
   Kết quả phân loại trung bình cho thấy bệnh nhân ALS có khả năng tưởng tượng ảnh vận động kém hơn so với nhóm đối tượng khỏe mạnh, với BAC thấp hơn khoảng 15-20%. Sự khác biệt này có thể bị ảnh hưởng bởi độ tuổi trung bình của các nhóm.

Thảo luận kết quả

Nguyên nhân chính của sự khác biệt hiệu suất giữa các nhóm đối tượng là do tính không đồng nhất và hạn chế dữ liệu, đặc biệt với bệnh nhân ALS có số lượng phiên thu và lần thử hạn chế. Phương pháp căn chỉnh dữ liệu EA và LA đã chứng minh hiệu quả trong việc giảm thiểu sự khác biệt này, giúp mô hình học sâu tổng quát hơn khi áp dụng trên dữ liệu đa nguồn.

So với các nghiên cứu trước đây, kết quả của luận văn phù hợp với xu hướng sử dụng học sâu kết hợp căn chỉnh dữ liệu để cải thiện phân loại tín hiệu EEG trong tác vụ tưởng tượng ảnh vận động. Tuy nhiên, độ chính xác của mô hình CNN chưa vượt trội so với các mô hình học máy truyền thống trên bộ dữ liệu hạn chế, cho thấy cần thêm dữ liệu và cải tiến kiến trúc mô hình.

Việc sử dụng toàn bộ các kênh EEG thay vì chọn lọc một số kênh đặc trưng cũng giúp mô hình học sâu đạt hiệu quả tốt hơn, nhấn mạnh vai trò của việc khai thác đầy đủ thông tin không gian của tín hiệu EEG.

Dữ liệu có thể được trình bày qua các biểu đồ t-SNE minh họa sự tập trung dữ liệu sau căn chỉnh, bảng so sánh độ chính xác các mô hình trên từng bộ dữ liệu và ma trận lỗi (confusion matrix) thể hiện khả năng phân biệt các nhãn của mô hình.

Đề xuất và khuyến nghị

1. Mở rộng thu thập dữ liệu cho bệnh nhân ALS:
   Tăng số lượng phiên thu và lần thử cho bệnh nhân ALS nhằm cải thiện chất lượng và đa dạng dữ liệu, giúp mô hình học sâu học được đặc trưng tổng quát hơn. Thời gian thực hiện: 12-18 tháng. Chủ thể thực hiện: Phòng thí nghiệm Tương tác người - máy, các bệnh viện hợp tác.

2. Phát triển mô hình học sâu kết hợp học chuyển tiếp nâng cao:
   Nghiên cứu và áp dụng các kỹ thuật học chuyển tiếp (transfer learning) và học liên tục (continual learning) để tận dụng dữ liệu từ đối tượng khỏe mạnh hỗ trợ phân loại cho bệnh nhân ALS. Thời gian thực hiện: 6-12 tháng. Chủ thể thực hiện: Nhóm nghiên cứu khoa học máy tính.

3. Tích hợp hệ thống đánh vần bằng mắt và tín hiệu EEG:
   Xây dựng hệ thống giao diện não - máy tính lai kết hợp theo dõi ánh mắt và phân loại tín hiệu EEG nhằm nâng cao tốc độ và độ chính xác nhập liệu cho người dùng bị tổn thương vận động. Thời gian thực hiện: 12 tháng. Chủ thể thực hiện: Phòng thí nghiệm HMI, nhóm phát triển phần mềm.

4. Tối ưu hóa kiến trúc mô hình CNN và tiền xử lý dữ liệu:
   Nghiên cứu các kiến trúc mạng nơ-ron mới như mạng tích chập theo thời gian (TCN) sâu hơn, mạng attention, và cải tiến phương pháp tiền xử lý, lọc nhiễu để nâng cao hiệu quả phân loại. Thời gian thực hiện: 6-9 tháng. Chủ thể thực hiện: Nhóm nghiên cứu AI và xử lý tín hiệu.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu khoa học máy tính và trí tuệ nhân tạo:
   Có thể ứng dụng các phương pháp học sâu và căn chỉnh dữ liệu trong các bài toán phân loại tín hiệu sinh học, phát triển các mô hình tổng quát cho dữ liệu đa nguồn.

2. Chuyên gia y sinh và kỹ thuật y tế:
   Tham khảo để phát triển các hệ thống hỗ trợ giao tiếp cho người khuyết tật vận động, đặc biệt là bệnh nhân ALS, qua việc ứng dụng BCI không xâm lấn.

3. Nhà phát triển hệ thống giao diện não - máy tính:
   Áp dụng các kết quả nghiên cứu để xây dựng hệ thống đánh vần lai kết hợp tín hiệu EEG và theo dõi ánh mắt, nâng cao hiệu quả và trải nghiệm người dùng.

4. Bác sĩ và chuyên gia phục hồi chức năng:
   Hiểu rõ về khả năng tưởng tượng vận động của bệnh nhân ALS qua tín hiệu EEG, từ đó thiết kế các chương trình phục hồi chức năng phù hợp.

Câu hỏi thường gặp

1. Tại sao chọn tác vụ tưởng tượng ảnh vận động (MI) để phân loại tín hiệu EEG?
   MI là tác vụ chủ động, không phụ thuộc kích thích bên ngoài, phù hợp để xây dựng hệ thống giao diện não - máy tính cho người bị tổn thương vận động. MI tạo ra các đặc trưng EEG rõ ràng như ERD/ERS giúp phân loại hiệu quả.

2. Phương pháp căn chỉnh dữ liệu EA và LA khác nhau như thế nào?
   EA căn chỉnh dữ liệu không cần nhãn, đồng nhất phân phối giữa các phiên thu và đối tượng; LA căn chỉnh theo từng nhãn, cần dữ liệu có nhãn từ đối tượng mục tiêu, giúp tăng cường sự tương đồng phân phối dữ liệu theo nhãn.

3. Mô hình học sâu CNN có ưu điểm gì so với mô hình học máy truyền thống?
   CNN tự động học đặc trưng không gian và thời gian từ dữ liệu thô, giảm phụ thuộc vào kiến thức chuyên ngành và trích chọn đặc trưng thủ công, có khả năng tổng quát hóa tốt hơn trên dữ liệu đa dạng.

4. Tại sao mô hình CNN chưa đạt độ chính xác cao với bệnh nhân ALS?
   Do số lượng dữ liệu hạn chế, đặc biệt mỗi phiên thu chỉ có 3 lần thử, khiến mô hình khó học được đặc trưng tổng quát. Ngoài ra, sự khác biệt về đặc tính tín hiệu EEG giữa bệnh nhân và người khỏe mạnh cũng ảnh hưởng.

5. Làm thế nào để cải thiện hiệu quả phân loại tín hiệu EEG trong tương lai?
   Mở rộng dữ liệu thu thập, áp dụng học chuyển tiếp, cải tiến kiến trúc mạng nơ-ron, kết hợp đa nguồn dữ liệu và tích hợp các phương pháp tiền xử lý, căn chỉnh dữ liệu phù hợp sẽ giúp nâng cao hiệu quả phân loại.

Kết luận

• Luận văn đã xây dựng và thử nghiệm thành công mô hình học sâu kết hợp căn chỉnh dữ liệu để phân loại tín hiệu EEG trong tác vụ tưởng tượng ảnh vận động, hướng tới phát triển hệ thống đánh vần bằng mắt cho người bị tổn thương vận động.
• Phương pháp căn chỉnh dữ liệu EA và LA giúp cải thiện khả năng tổng quát hóa của mô hình trên dữ liệu đa nguồn, đặc biệt với bệnh nhân ALS có dữ liệu hạn chế.
• Mô hình CNN đạt độ chính xác BAC khoảng 0.60 trên nhóm đối tượng khỏe mạnh và 0.52-0.64 trên bệnh nhân ALS, chưa vượt trội so với mô hình học máy truyền thống do hạn chế dữ liệu.
• Bệnh nhân ALS có khả năng tưởng tượng ảnh vận động kém hơn nhóm khỏe mạnh, ảnh hưởng đến hiệu quả phân loại và cần được xem xét trong thiết kế hệ thống.
• Hướng phát triển tiếp theo bao gồm mở rộng dữ liệu, áp dụng học chuyển tiếp nâng cao, tích hợp hệ thống lai EEG và theo dõi mắt, cũng như tối ưu kiến trúc mô hình học sâu.

Call-to-action: Các nhà nghiên cứu và phát triển hệ thống BCI được khuyến khích tiếp tục khai thác và mở rộng nghiên cứu này nhằm tạo ra các giải pháp giao tiếp hiệu quả, hỗ trợ người khuyết tật vận động trong tương lai gần.