Phân loại tín hiệu điện não dựa trên học sâu để xây dựng hệ thống đánh vần bằng mắt

Chuyên khảo kỹ thuật phân tích Phân loại tín hiệu điện não dựa trên học sâu hướng đến xây dựng hệ thống đánh vần bằng mắt, đánh giá các khía cạnh quan trọng, đề xuất hướng nghiên

• Tác giả: Trần Xuân Đạt
• Người hướng dẫn: PGS. Lê Thanh Hà
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Khoa học máy tính
• Đề tài: Phân loại tín hiệu điện não dựa trên học sâu để phát triển hệ thống giao tiếp bằng mắt
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2022
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM KẾT
• TÓM TẮT
• 1. CHƯƠNG 1: Tổng quan
• 1.1. Đặt vấn đề
• 1.2. Định nghĩa bài toán và hướng tiếp cận
• 1.3. Đóng góp của luận văn
• 1.4. Cấu trúc của luận văn
• 2. CHƯƠNG 2: Tín hiệu điện não
• 2.1. Giao diện não - máy tính
• 2.2. Điện não đồ không xâm lấn
• 2.3. Tưởng tượng ảnh vận động
• 2.4. Các nghiên cứu liên quan về phân loại tín hiệu điện não trong tác vụ tưởng tượng ảnh vận động
• 3. CHƯƠNG 3: Phân loại tín hiệu điện não trong tác vụ tưởng tượng ảnh vận động sử dụng mô hình học sâu
• 3.1. Quy trình phân loại tín hiệu điện não trong tác vụ tưởng tượng ảnh vận động sử dụng mô hình học sâu
• 3.2. Căn chỉnh dữ liệu tín hiệu điện não
• 3.2.1. Căn chỉnh tín hiệu theo phiên thu, đối tượng
• 3.2.2. Căn chỉnh tín hiệu theo nhãn
• 3.3. Mô hình học sâu trong phân loại tín hiệu điện não
• 3.4. Thực nghiệm
• 3.4.1. Thông số đánh giá mô hình phân loại
• 3.4.2. Bộ dữ liệu Physionet Motor Movement/Imagery
• 3.4.2.1. Phương pháp đánh giá
• 3.4.2.2. Kết quả thực nghiệm
• 3.4.3. Bộ dữ liệu HMI EEG-ET
• 3.4.3.1. Phương pháp đánh giá
• 3.4.3.2. Kết quả thực nghiệm
• 5. CHƯƠNG 5: Kết luận
• 5.1. Kết luận
• 5.2. Hướng phát triển trong tương lai
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về phân loại tín hiệu điện não bằng học sâu

Phân loại tín hiệu điện não là một lĩnh vực nghiên cứu quan trọng trong khoa học thần kinh. Hệ thống giao tiếp bằng mắt kết hợp với tín hiệu điện não mở ra nhiều cơ hội cho những người gặp khó khăn trong việc giao tiếp. Việc áp dụng học sâu trong phân loại tín hiệu điện não giúp cải thiện độ chính xác và tốc độ của hệ thống giao tiếp này.

1.1. Định nghĩa tín hiệu điện não và học sâu

Tín hiệu điện não (EEG) là các tín hiệu được ghi lại từ hoạt động điện của não. Học sâu là một nhánh của học máy, sử dụng mạng nơ-ron để phân tích và phân loại dữ liệu phức tạp.

1.2. Lợi ích của việc phân loại tín hiệu điện não

Phân loại tín hiệu điện não giúp nhận diện các trạng thái tâm lý và hành vi của con người, từ đó hỗ trợ trong việc phát triển các hệ thống giao tiếp cho người khuyết tật.

II. Vấn đề trong phân loại tín hiệu điện não hiện nay

Mặc dù có nhiều tiến bộ trong công nghệ, việc phân loại tín hiệu điện não vẫn gặp phải nhiều thách thức. Đặc biệt, độ chính xác của các mô hình học sâu phụ thuộc vào chất lượng và số lượng dữ liệu huấn luyện.

2.1. Thách thức về dữ liệu trong phân loại tín hiệu

Dữ liệu tín hiệu điện não thường không đồng nhất và có thể bị nhiễu, điều này làm giảm độ chính xác của các mô hình phân loại.

2.2. Khó khăn trong việc áp dụng mô hình học sâu

Mô hình học sâu yêu cầu một lượng lớn dữ liệu để huấn luyện, điều này có thể khó khăn đối với các bệnh nhân có dữ liệu hạn chế.

III. Phương pháp phân loại tín hiệu điện não bằng học sâu

Để giải quyết các vấn đề trong phân loại tín hiệu điện não, nhiều phương pháp học sâu đã được phát triển. Các mô hình này giúp cải thiện khả năng phân loại và nhận diện các trạng thái khác nhau của tín hiệu điện não.

3.1. Mô hình mạng nơ ron tích chập CNN

Mạng nơ-ron tích chập (CNN) là một trong những mô hình học sâu phổ biến nhất trong phân loại tín hiệu điện não, giúp trích xuất đặc trưng hiệu quả từ dữ liệu.

3.2. Căn chỉnh dữ liệu tín hiệu điện não

Căn chỉnh dữ liệu là một bước quan trọng trong quá trình phân loại, giúp cải thiện độ chính xác của mô hình bằng cách đồng bộ hóa các tín hiệu từ các phiên thu khác nhau.

IV. Ứng dụng thực tiễn của phân loại tín hiệu điện não

Phân loại tín hiệu điện não có nhiều ứng dụng thực tiễn, đặc biệt trong lĩnh vực y tế. Hệ thống giao tiếp bằng mắt kết hợp với tín hiệu điện não có thể giúp cải thiện chất lượng cuộc sống cho những người khuyết tật.

4.1. Hệ thống giao tiếp cho người khuyết tật

Hệ thống giao tiếp bằng mắt sử dụng tín hiệu điện não giúp người khuyết tật có thể giao tiếp hiệu quả hơn, mở ra cơ hội mới trong việc tương tác xã hội.

4.2. Nghiên cứu và phát triển trong y tế

Nghiên cứu về phân loại tín hiệu điện não đang được áp dụng để phát triển các phương pháp điều trị mới cho bệnh nhân mắc chứng xơ cứng teo cơ một bên.

V. Kết luận và tương lai của phân loại tín hiệu điện não

Phân loại tín hiệu điện não bằng học sâu đang mở ra nhiều cơ hội mới trong nghiên cứu và ứng dụng. Tương lai của lĩnh vực này hứa hẹn sẽ mang lại nhiều tiến bộ trong việc hỗ trợ giao tiếp cho người khuyết tật.

5.1. Hướng phát triển trong nghiên cứu

Nghiên cứu trong lĩnh vực này cần tiếp tục phát triển các mô hình học sâu mới và cải thiện chất lượng dữ liệu để nâng cao độ chính xác.

5.2. Tương lai của hệ thống giao tiếp bằng mắt

Hệ thống giao tiếp bằng mắt kết hợp với tín hiệu điện não có tiềm năng lớn trong việc cải thiện chất lượng cuộc sống cho những người khuyết tật, mở ra nhiều cơ hội mới trong tương lai.

Nội dung chính

Tổng quan nghiên cứu

Trong lĩnh vực giao diện não - máy tính (Brain-Computer Interface - BCI), việc phân loại tín hiệu điện não (EEG) đóng vai trò then chốt trong việc phát triển các hệ thống hỗ trợ giao tiếp cho người bị tổn thương chức năng vận động, đặc biệt là bệnh nhân xơ cứng teo cơ một bên (ALS). Theo ước tính, các hệ thống BCI có thể cải thiện đáng kể chất lượng cuộc sống cho nhóm đối tượng này bằng cách thay thế hoặc hỗ trợ các chức năng vận động bị mất. Tuy nhiên, các hệ thống đánh vần sử dụng tín hiệu EEG thường có tốc độ nhập liệu chậm hơn so với các hệ thống theo dõi ánh mắt (Eye-tracking), đồng thời gặp khó khăn khi người dùng suy giảm thị lực. Do đó, việc kết hợp tín hiệu EEG với theo dõi ánh mắt trong hệ thống giao diện não - máy tính lai (Hybrid BCI) được xem là hướng đi tiềm năng nhằm nâng cao hiệu quả và độ chính xác của hệ thống đánh vần.

Luận văn tập trung nghiên cứu phân loại tín hiệu EEG trong tác vụ tưởng tượng ảnh vận động (Motor Imagery - MI), một mô hình tín hiệu EEG chủ động và có khả năng kết hợp cao với theo dõi ánh mắt. Mục tiêu cụ thể là xây dựng và đánh giá các mô hình học sâu, đặc biệt là mạng nơ-ron tích chập (CNN), kết hợp với các phương pháp căn chỉnh dữ liệu nhằm cải thiện khả năng phân loại tín hiệu EEG cho cả đối tượng khỏe mạnh và bệnh nhân ALS. Nghiên cứu thực hiện trên hai bộ dữ liệu chính: Physionet Motor Movement/Imagery với 105 đối tượng và bộ dữ liệu HMI EEG-ET mới được xây dựng tại Phòng thí nghiệm Tương tác người - máy, Đại học Công Nghệ, Đại học Quốc gia Hà Nội, bao gồm hơn 90 đối tượng khỏe mạnh và 5 bệnh nhân ALS. Phạm vi nghiên cứu tập trung vào dữ liệu thu thập trong các phiên thu tại Việt Nam trong giai đoạn gần đây.

Việc phân loại chính xác tín hiệu EEG trong tác vụ tưởng tượng ảnh vận động không chỉ góp phần phát triển các hệ thống giao diện não - máy tính hiệu quả mà còn mở rộng khả năng giao tiếp cho người khuyết tật vận động, đồng thời thúc đẩy ứng dụng công nghệ học sâu trong lĩnh vực y sinh và khoa học máy tính.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình sau:

• Giao diện não - máy tính (BCI): Hệ thống cho phép giao tiếp hoặc điều khiển thiết bị điện tử trực tiếp bằng tín hiệu điện não, không cần vận động cơ bắp. BCI được chia thành hai loại chính: xâm lấn và không xâm lấn, trong đó EEG là phương pháp không xâm lấn phổ biến nhất.

• Tín hiệu điện não EEG: Là tín hiệu điện thế thu được từ các điện cực đặt trên da đầu, phản ánh hoạt động của các nhóm tế bào thần kinh. Tín hiệu EEG có các nhịp sóng chính như Delta, Theta, Alpha, Mu, Beta và Gamma, trong đó nhịp Mu (8-12Hz) và Beta (12-30Hz) liên quan mật thiết đến tác vụ tưởng tượng ảnh vận động.

• Tưởng tượng ảnh vận động (MI): Hoạt động nhận thức chủ động, trong đó người dùng tưởng tượng thực hiện các vận động cơ thể như nâng tay trái, tay phải hoặc chân. MI tạo ra các đặc trưng EEG đặc thù như sự suy giảm năng lượng (Event-related desynchronization - ERD) của sóng Mu và sự gia tăng năng lượng (Event-related synchronization - ERS) của sóng Beta tại các vùng vận động trên vỏ não.

• Phân loại tín hiệu EEG: Sử dụng các phương pháp trích chọn đặc trưng như Common Spatial Patterns (CSP), Band Power (BP), và không gian Riemannian Manifold (RM) để biểu diễn và phân loại tín hiệu. Gần đây, các mô hình học sâu như mạng nơ-ron tích chập (CNN) được áp dụng để tự động học đặc trưng và phân loại hiệu quả hơn.

• Căn chỉnh dữ liệu (Data Alignment): Bao gồm hai phương pháp chính là Euclidean Alignment (EA) và Label Alignment (LA), nhằm giảm thiểu sự khác biệt về phân phối dữ liệu giữa các phiên thu và đối tượng, giúp mô hình học sâu tổng quát hơn khi áp dụng trên dữ liệu đa nguồn.

Phương pháp nghiên cứu

• Nguồn dữ liệu: Nghiên cứu sử dụng hai bộ dữ liệu chính:

  • Physionet Motor Movement/Imagery: Gồm 105 đối tượng khỏe mạnh, tín hiệu EEG 64 kênh, tần số lấy mẫu 160Hz, với các tác vụ tưởng tượng vận động tay trái, tay phải, hai tay và hai chân.
  • HMI EEG-ET: Bộ dữ liệu mới gồm 90 đối tượng khỏe mạnh và 5 bệnh nhân ALS, tín hiệu EEG 32 kênh, tần số lấy mẫu 128Hz, kết hợp với dữ liệu theo dõi chuyển động mắt (Eye-tracking).

• Phương pháp phân tích:

  • Tiền xử lý tín hiệu EEG bao gồm lọc băng tần 8-30Hz (tập trung vào nhịp Mu và Beta), giảm tần số lấy mẫu, và phân tách tín hiệu thành các đoạn cố định (epoching) theo hai cách: trialwise và cropped.
  • Áp dụng các phương pháp căn chỉnh dữ liệu EA và LA để đồng nhất phân phối dữ liệu giữa các phiên thu và đối tượng.
  • Xây dựng và huấn luyện các mô hình học sâu CNN, cụ thể là EEGNet và EEG-ITNet, với các kiến trúc tích chập đa nhánh, tích chập giãn nở theo thời gian (Temporal Convolutional Network - TCN) nhằm trích xuất đặc trưng không gian và thời gian của tín hiệu EEG.
  • Đánh giá mô hình bằng các chỉ số Accuracy, Balanced Accuracy (BAC), Cohen’s Kappa và F1-Score, sử dụng phương pháp kiểm định chéo (cross-validation) theo đối tượng (cross-subject) và theo phiên thu.

• Timeline nghiên cứu: Nghiên cứu được thực hiện trong năm 2022, với quá trình thu thập dữ liệu, xây dựng mô hình, thực nghiệm và phân tích kết quả diễn ra trong vòng 12 tháng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả của phương pháp căn chỉnh dữ liệu:
   Áp dụng Euclidean Alignment (EA) giúp giảm đáng kể sự khác biệt phân phối dữ liệu giữa các đối tượng trong bộ dữ liệu Physionet MMIDB, thể hiện qua biểu đồ t-SNE cho thấy các điểm dữ liệu tập trung hơn sau căn chỉnh. Điều này giúp mô hình học sâu đạt độ chính xác trung bình BAC khoảng 0.78 trên 3 nhãn (tay trái, tay phải, nghỉ) và 0.74 trên 4 nhãn (thêm chân) trong bộ dữ liệu này.

2. Hiệu suất mô hình học sâu trên bộ dữ liệu HMI EEG-ET:
   Trên 90 đối tượng khỏe mạnh, mô hình CNN (EEG-ITNet) đạt BAC trung bình 0.6043 trên 4 nhãn, trong khi với 5 bệnh nhân ALS, BAC đạt 0.6427 trên 3 nhãn và 0.5206 trên 4 nhãn. So sánh với mô hình học máy truyền thống CSP-BP-SVM, CNN chưa vượt trội, đặc biệt với dữ liệu bệnh nhân ALS có hạn chế về số lượng.

3. Khả năng tổng quát hóa và học chuyển tiếp:
   Sử dụng dữ liệu từ đối tượng khỏe mạnh để huấn luyện và áp dụng căn chỉnh dữ liệu LA giúp cải thiện độ chính xác phân loại cho bệnh nhân ALS, tăng BAC từ khoảng 0.24 lên 0.39 trên 3 nhãn. Tuy nhiên, việc sử dụng dữ liệu khỏe mạnh trực tiếp mà không căn chỉnh không mang lại cải tiến rõ rệt.

4. Khả năng tưởng tượng ảnh vận động của bệnh nhân ALS thấp hơn:
   Kết quả phân loại trung bình cho thấy bệnh nhân ALS có khả năng tưởng tượng ảnh vận động kém hơn so với nhóm đối tượng khỏe mạnh, với BAC thấp hơn khoảng 15-20%. Sự khác biệt này có thể bị ảnh hưởng bởi độ tuổi trung bình của các nhóm.

Thảo luận kết quả

Nguyên nhân chính của sự khác biệt hiệu suất giữa các nhóm đối tượng là do tính không đồng nhất và hạn chế dữ liệu, đặc biệt với bệnh nhân ALS có số lượng phiên thu và lần thử hạn chế. Phương pháp căn chỉnh dữ liệu EA và LA đã chứng minh hiệu quả trong việc giảm thiểu sự khác biệt này, giúp mô hình học sâu tổng quát hơn khi áp dụng trên dữ liệu đa nguồn.

So với các nghiên cứu trước đây, kết quả của luận văn phù hợp với xu hướng sử dụng học sâu kết hợp căn chỉnh dữ liệu để cải thiện phân loại tín hiệu EEG trong tác vụ tưởng tượng ảnh vận động. Tuy nhiên, độ chính xác của mô hình CNN chưa vượt trội so với các mô hình học máy truyền thống trên bộ dữ liệu hạn chế, cho thấy cần thêm dữ liệu và cải tiến kiến trúc mô hình.

Việc sử dụng toàn bộ các kênh EEG thay vì chọn lọc một số kênh đặc trưng cũng giúp mô hình học sâu đạt hiệu quả tốt hơn, nhấn mạnh vai trò của việc khai thác đầy đủ thông tin không gian của tín hiệu EEG.

Dữ liệu có thể được trình bày qua các biểu đồ t-SNE minh họa sự tập trung dữ liệu sau căn chỉnh, bảng so sánh độ chính xác các mô hình trên từng bộ dữ liệu và ma trận lỗi (confusion matrix) thể hiện khả năng phân biệt các nhãn của mô hình.

Đề xuất và khuyến nghị

1. Mở rộng thu thập dữ liệu cho bệnh nhân ALS:
   Tăng số lượng phiên thu và lần thử cho bệnh nhân ALS nhằm cải thiện chất lượng và đa dạng dữ liệu, giúp mô hình học sâu học được đặc trưng tổng quát hơn. Thời gian thực hiện: 12-18 tháng. Chủ thể thực hiện: Phòng thí nghiệm Tương tác người - máy, các bệnh viện hợp tác.

2. Phát triển mô hình học sâu kết hợp học chuyển tiếp nâng cao:
   Nghiên cứu và áp dụng các kỹ thuật học chuyển tiếp (transfer learning) và học liên tục (continual learning) để tận dụng dữ liệu từ đối tượng khỏe mạnh hỗ trợ phân loại cho bệnh nhân ALS. Thời gian thực hiện: 6-12 tháng. Chủ thể thực hiện: Nhóm nghiên cứu khoa học máy tính.

3. Tích hợp hệ thống đánh vần bằng mắt và tín hiệu EEG:
   Xây dựng hệ thống giao diện não - máy tính lai kết hợp theo dõi ánh mắt và phân loại tín hiệu EEG nhằm nâng cao tốc độ và độ chính xác nhập liệu cho người dùng bị tổn thương vận động. Thời gian thực hiện: 12 tháng. Chủ thể thực hiện: Phòng thí nghiệm HMI, nhóm phát triển phần mềm.

4. Tối ưu hóa kiến trúc mô hình CNN và tiền xử lý dữ liệu:
   Nghiên cứu các kiến trúc mạng nơ-ron mới như mạng tích chập theo thời gian (TCN) sâu hơn, mạng attention, và cải tiến phương pháp tiền xử lý, lọc nhiễu để nâng cao hiệu quả phân loại. Thời gian thực hiện: 6-9 tháng. Chủ thể thực hiện: Nhóm nghiên cứu AI và xử lý tín hiệu.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu khoa học máy tính và trí tuệ nhân tạo:
   Có thể ứng dụng các phương pháp học sâu và căn chỉnh dữ liệu trong các bài toán phân loại tín hiệu sinh học, phát triển các mô hình tổng quát cho dữ liệu đa nguồn.

2. Chuyên gia y sinh và kỹ thuật y tế:
   Tham khảo để phát triển các hệ thống hỗ trợ giao tiếp cho người khuyết tật vận động, đặc biệt là bệnh nhân ALS, qua việc ứng dụng BCI không xâm lấn.

3. Nhà phát triển hệ thống giao diện não - máy tính:
   Áp dụng các kết quả nghiên cứu để xây dựng hệ thống đánh vần lai kết hợp tín hiệu EEG và theo dõi ánh mắt, nâng cao hiệu quả và trải nghiệm người dùng.

4. Bác sĩ và chuyên gia phục hồi chức năng:
   Hiểu rõ về khả năng tưởng tượng vận động của bệnh nhân ALS qua tín hiệu EEG, từ đó thiết kế các chương trình phục hồi chức năng phù hợp.

Câu hỏi thường gặp

1. Tại sao chọn tác vụ tưởng tượng ảnh vận động (MI) để phân loại tín hiệu EEG?
   MI là tác vụ chủ động, không phụ thuộc kích thích bên ngoài, phù hợp để xây dựng hệ thống giao diện não - máy tính cho người bị tổn thương vận động. MI tạo ra các đặc trưng EEG rõ ràng như ERD/ERS giúp phân loại hiệu quả.

2. Phương pháp căn chỉnh dữ liệu EA và LA khác nhau như thế nào?
   EA căn chỉnh dữ liệu không cần nhãn, đồng nhất phân phối giữa các phiên thu và đối tượng; LA căn chỉnh theo từng nhãn, cần dữ liệu có nhãn từ đối tượng mục tiêu, giúp tăng cường sự tương đồng phân phối dữ liệu theo nhãn.

3. Mô hình học sâu CNN có ưu điểm gì so với mô hình học máy truyền thống?
   CNN tự động học đặc trưng không gian và thời gian từ dữ liệu thô, giảm phụ thuộc vào kiến thức chuyên ngành và trích chọn đặc trưng thủ công, có khả năng tổng quát hóa tốt hơn trên dữ liệu đa dạng.

4. Tại sao mô hình CNN chưa đạt độ chính xác cao với bệnh nhân ALS?
   Do số lượng dữ liệu hạn chế, đặc biệt mỗi phiên thu chỉ có 3 lần thử, khiến mô hình khó học được đặc trưng tổng quát. Ngoài ra, sự khác biệt về đặc tính tín hiệu EEG giữa bệnh nhân và người khỏe mạnh cũng ảnh hưởng.

5. Làm thế nào để cải thiện hiệu quả phân loại tín hiệu EEG trong tương lai?
   Mở rộng dữ liệu thu thập, áp dụng học chuyển tiếp, cải tiến kiến trúc mạng nơ-ron, kết hợp đa nguồn dữ liệu và tích hợp các phương pháp tiền xử lý, căn chỉnh dữ liệu phù hợp sẽ giúp nâng cao hiệu quả phân loại.

Kết luận

• Luận văn đã xây dựng và thử nghiệm thành công mô hình học sâu kết hợp căn chỉnh dữ liệu để phân loại tín hiệu EEG trong tác vụ tưởng tượng ảnh vận động, hướng tới phát triển hệ thống đánh vần bằng mắt cho người bị tổn thương vận động.
• Phương pháp căn chỉnh dữ liệu EA và LA giúp cải thiện khả năng tổng quát hóa của mô hình trên dữ liệu đa nguồn, đặc biệt với bệnh nhân ALS có dữ liệu hạn chế.
• Mô hình CNN đạt độ chính xác BAC khoảng 0.60 trên nhóm đối tượng khỏe mạnh và 0.52-0.64 trên bệnh nhân ALS, chưa vượt trội so với mô hình học máy truyền thống do hạn chế dữ liệu.
• Bệnh nhân ALS có khả năng tưởng tượng ảnh vận động kém hơn nhóm khỏe mạnh, ảnh hưởng đến hiệu quả phân loại và cần được xem xét trong thiết kế hệ thống.
• Hướng phát triển tiếp theo bao gồm mở rộng dữ liệu, áp dụng học chuyển tiếp nâng cao, tích hợp hệ thống lai EEG và theo dõi mắt, cũng như tối ưu kiến trúc mô hình học sâu.

Các nhà nghiên cứu và phát triển hệ thống BCI được khuyến khích tiếp tục khai thác và mở rộng nghiên cứu này nhằm tạo ra các giải pháp giao tiếp hiệu quả, hỗ trợ người khuyết tật vận động trong tương lai gần.

Trích đoạn nội dung tài liệu

Đặt vấn đề Khả năng giao tiếp, truyền đạt ý nghĩ của con người bằng hành động hay ngôn ngữ phụ thuộc rất nhiều vào khả năng kiểm soát và hoạt động của cơ bắp trong cơ thể. Con người cần sử dụng các cơ bắp này để nói chuyện hoặc thực hiện các hành vi giao tiếp. Những người bị tổn thương chức năng vận động hay những bệnh nhân mắc chứng xơ cứng teo cơ một bên (ALS) gặp khó khăn hoặc mất khả năng vận động của các cơ, điều này khiến cho quá trình giao tiếp của họ gặp các vấn đề lớn. Bệnh nhân ALS dần dần mất khả năng kiểm soát các cơ do sự suy giảm các tế bào thần kinh vận động trung ương và ngoại vi, dẫn đến họ có thể mất khả năng nói.

Những người này cần một hệ thống bên ngoài hỗ trợ khả năng giao tiếp. Các hệ thống giao diện não - máy tính, cụ thể là các hệ thống đánh vần là một giải pháp khả thi khi sử dụng tín hiệu điện não để thực hiện các hành động thay cho chuyển động của các cơ. Các hệ thống hỗ trợ giao tiếp này cải thiện đáng kể chất lượng cuộc sống của những bệnh nhân bị tổn thương khả năng vận động. Các hệ thống giao diện não - máy tính cho đánh vần sử dụng tín hiệu điện não thường có tốc độ nhập liệu chậm hơn so với các hệ thống đánh vần sử dụng phương pháp theo dõi ánh mắt (Eye-tracking).

Tuy nhiên, các hệ thống này phụ thuộc vào khả năng chuyển động của mắt, chúng thường kém hiệu quả khi người sử dụng suy giảm khả năng thị lực. Các hệ thống đánh vần gần đây thường kết hợp tín hiệu điện não và theo dõi ánh mắt để xây dựng một hệ thống giao diện não - máy tính lai (Hybrid BCI) để cải thiện tốc độ cũng như độ chính xác của hệ thống.1 minh họa hệ thống giao diện não - máy tính lai phục vụ mục đích nhập liệu (đánh vần). Với mong muốn cải thiện hiệu quả của hệ thống giao diện não - máy tính (BCI) cho đánh vần sử dụng theo dõi ánh mắt hiện có, luận văn nghiên cứu các phương pháp và xây dựng mô hình phân loại tín hiệu điện não dựa trên mô hình học sâu (mạng nơ-ron tích chập) để có thể kết hợp với hệ thống đánh vần bằng mắt đã có trong tương lai. Luận văn đánh giá kết quả của mô hình phân loại trên dữ liệu từ các đối tượng khỏe mạnh và 1 bệnh nhân ALS, cũng như khả năng sử dụng dữ liệu từ các phiên thu, đối tượng khác (bằng cách áp dụng các phương pháp căn chỉnh dữ liệu) để phân biệt tín hiệu điện não khi dữ liệu của mỗi đối tượng hạn chế, đặc biệt với các bệnh nhân ALS.1: Hệ thống nhập liệu sử dụng tín hiệu điện não (thực hiện / tưởng tượng ảnh vận động) và theo dõi ánh mắt [1] 2 Định nghĩa bài toán và hướng tiếp cận Phân loại tín hiệu điện não là một trong những bài toán điển hình của nghiên cứu về khoa học thần kinh.

Phân loại tín hiệu điện não cho phép tìm kiếm các đặc trưng của não bộ trong những trạng thái nhất định, cũng như xây dựng các hệ thống giao diện não - máy tính. Với các hệ thống giao diện não - máy tính, cụ thể là các hệ thống đánh vần, ba mô hình của tín hiệu điện não được sử dụng phổ biến bao gồm: kích thích tiềm năng liên quan đến sự kiện (khoảng 300ms), phản hồi tự nhiên trước các kích thích thị giác tại các tần số nhất định và tưởng tượng ảnh vận động. Các mô hình này có thể được phân biệt với nhau bởi các đặc trưng cần được trích rút và mô hình phân loại tương ứng. Luận văn tập trung vào việc phân loại tín hiệu điện não EEG trong tác vụ tưởng tượng ảnh vận động.

Các đối tượng sử dụng có thể tưởng tượng quá trình thực hiện vận động tự nguyện, chủ động, không phụ thuộc vào các kích thích từ bên ngoài như các kích thích về thị giác so với hai mô hình còn lại (não bộ phản hồi lại các kích thích này). Do đó, mô hình này có tiềm năng rất lớn trong việc xây dựng hệ thống đánh vần kết hợp với hệ thống theo dõi ánh mắt đã có từ trước. Với sự phát triển nhanh chóng của các mô hình học sâu, các nghiên cứu gần đây về khoa học thần kinh cũng tập trung áp dụng các mô hình này bên cạnh các mô hình học 2 máy truyền thống và đạt được những kết quả nhất định. Khác với các mô hình học máy truyền thống, các mô hình học sâu không bị phụ thuộc vào đặc trưng của từng loại mô hình tín hiệu điện não, tổng quát cho nhiều bài toán khác nhau.

Như vậy, luận văn giải quyết bài toán phân loại các đoạn tín hiệu điện não liên tục theo thời gian sử dụng mô hình học sâu, cụ thể là mạng nơ-ron tích chập và đánh giá kết quả trên hai bộ dữ liệu về tín hiệu điện não trong tác vụ tưởng tượng ảnh vận động với các nhãn là các chuyển động của từng bộ phận cơ thể như tay trái, tay phải, hai chân,. - Đầu vào: Các đoạn tín hiệu điện não xi ∈ RN xT , với N là số kênh, T là độ dài của tín hiệu theo thời gian. - Đầu ra: Nhãn của các đoạn tín hiệu điện não trong tác vụ tưởng tượng ảnh vận động yi ∈ {nghỉ, hai chân trái/phải, tay trái, tay phải,. 3 Đóng góp của luận văn Luận văn tập trung vào thực nghiệm các phương pháp phân loại tín hiệu điện não bằng các mô hình học sâu đã được đề xuất trước đó cho tác vụ tưởng tượng ảnh vận động.

Luận văn đánh giá phương pháp căn chỉnh dữ liệu và mô hình học sâu trên hai bộ dữ liệu về tác vụ tưởng tượng ảnh vận động: Physionet Motor Movement/Imagery [2] và HMI EEG-ET, trong đó HMI EEG-ET là bộ dữ liệu hoàn toàn mới của Phòng thí nghiệm Tương tác người - máy (HMI), Trường Đại học Công Nghệ, Đại học Quốc gia Hà Nội. Bộ dữ liệu HMI EEG-ET gồm hơn 100 đối tượng khỏe mạnh và bệnh nhân ALS (tiếp tục mở rộng), được xây dựng với mục tiêu phát triển hệ thống đánh vần kết hợp tín hiệu điện não và theo dõi ánh mắt. Luận văn đánh giá khả năng xây dựng phương pháp phân loại tín hiệu điện não sử dụng mô hình học sâu cho bệnh nhân ALS với lượng dữ liệu hạn chế của mỗi đối tượng. 4 Cấu trúc của luận văn Phần sau của luận văn được chia thành 4 chương bao gồm các nội dung sau: - Chương 2: Tín hiệu điện não.

Chương này trình bày một số lý thuyết, khái niệm cơ bản về tín hiệu điện não, tác vụ tưởng tượng ảnh vận động và các nghiên cứu liên quan đến bài toán phân loại. - Chương 3: Phân loại tín hiệu điện não trong tác vụ tưởng tượng ảnh vận động sử dụng mô hình học sâu. Chương này trình bày phương pháp phân loại tín hiệu điện não được sử dụng trong luận văn, bao gồm: căn chỉnh tín hiệu điện não và mô hình học sâu - mạng nơ-ron tích chập được sử dụng để phân loại tín hiệu. 3 - Chương 4: Thực nghiệm.

Chương này trình bày các thông số đánh giá mô hình phân loại, thực nghiệm và kết quả thu được của luận văn khi thực nghiệm trên hai bộ dữ liệu tín hiệu điện não về tác vụ tưởng tượng ảnh vận động bao gồm: Physionet Motor Movement/Imagery và HMI EEG-ET. - Chương 5: Kết luận. Chương này trình bày các kết luận của luận văn sau khi thực hiện các thực nghiệm, các hạn chế và các hướng phát triển tiếp theo của luận văn trong tương lai. 4 CHƯƠNG 2 Tín hiệu điện não Chương này trình bày một số lý thuyết, khái niệm cơ bản về tín hiệu điện não, tác vụ tưởng tượng ảnh vận động và các nghiên cứu liên quan đến bài toán phân loại tín hiệu điện não.

1 Giao diện não - máy tính Giao diện não - máy tính hay Brain-Computer Interface (BCI) là hệ thống hoạt động giữa não và máy tính, cho phép con người giao tiếp hoặc điều khiển qua máy tính, các thiết bị điện tử trực tiếp bằng tín hiệu điện não mà không cần thực hiện chuyển động. Các hệ thống BCI được ứng dụng trong lĩnh vực y tế khi hỗ trợ giao tiếp, điều khiển các thiết bị điện tử, hoặc xe lăn, chi giả,. cho những người bị tổn thương chức năng vận động hoặc những bệnh nhân cần phục hồi chức năng sau các tổn thương về não. Ngoài ra, hệ thống BCI còn được áp dụng trong các lĩnh vực khác như trò chơi điện tử, thực tế ảo, .1: Tổng quan hệ thống BCI [Nguồn: how2electronics] Các hệ thống BCI có thể được phân biệt dựa trên nhiều khía cạnh: cách thu, tiền xử lý dữ liệu, trích chọn đặc trưng hay các bộ phân lớp được sử dụng.

Nhìn chung, các hệ thống BCI được chia làm hai loại chính là xâm lấn và không xâm lấn: - Các hệ thống BCI xâm lấn là các hệ thống mà thiết bị được đặt trực tiếp trong/trên bề mặt của não bộ. Các hệ thống này có thể thu thập và xử lý các tín hiệu chi tiết và có độ chính xác cao. Tuy nhiên, nó cũng đặt ra các rủi ro về sức khỏe khi cần thực hiện phẫu thuật và chi phí lớn, nên chúng thường không phổ biến. Hệ thống BCI xâm lấn phổ biến có thể kể đến điện não đồ xâm lấn (Electrocorticography - ECoG).

- Các hệ thống BCI không xâm lấn là các hệ thống mà thiết bị không cần đặt trực tiếp trên bề mặt của não bộ, được cài đặt nhanh chóng, đơn giản hơn. Các hệ thống này được sử dụng phổ biến cả bên trong và ngoài y tế. Tuy nhiên, các hệ thống không xâm lấn này có độ chính xác kém hơn và không thể thu thập tín hiệu từ các vùng nằm sâu phía trong não. Một số hệ thống BCI không xâm lấn phổ biến như chụp cộng hưởng từ (Functional magnetic resonance imaging - fMRI) hay điện não đồ không xâm lấn (Electroencephalography - EEG).

2 Điện não đồ không xâm lấn Electroencephalography (EEG) là phương pháp không xâm lấn, được dùng để đo đạc hoạt động của các nhóm tế bào thần kinh cùng hoạt động trong não bộ bằng cách 6 ghi lại điện thế tại các điện cực được đặt trên da đầu. Các giá trị điện thế thu được tạo thành một tín hiệu liên tục theo thời gian gọi là sóng não hay tín hiệu điện não. Các giá trị điện thế thường nằm trong khoảng từ −100µV đến +100µV .