Luận án tiến sĩ: Định vị và điều khiển xe lăn điện bằng tín hiệu EEG và camera

Luận án tiến sĩ nghiên cứu kết hợp tín hiệu eeg camera và vật mốc để định vị điều khiển xe lăn điện đến đích dựa vào bản đồ, phát triển phương pháp mới, đánh giá hiệu quả ứng dụng

• Tác giả: Ngô Bá Việt
• Người hướng dẫn: PGS. Nguyễn Thanh Hải
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
• Chuyên ngành: Kỹ Thuật Điện Tử
• Đề tài: Định Vị Xe Lăn Điện Bằng Tín Hiệu EEG Và Camera
• Loại tài liệu: luận án
• Năm xuất bản: 2024
• Địa điểm: Thành Phố Hồ Chí Minh

Mục lục chi tiết

• MẶC LẠC QUYẾT ĐỊNH GIAO ĐỀ TÀI
• LÝ LỊCH CÁ NHÂN
• LỜI CAM ĐOAN
• DANH SÁCH CÁC TỪ VIẾT TẮT
• DANH SÁCH CÁC HÌNH
• DANH SÁCH CÁC BẢNG
• 1. CHƯƠNG 1: TÍNH CẤP THIẾT CỦA ĐỀ TÀI LUẬN ÁN
• 1.1. MỤC TIÊU NGHIÊN CỨU CỦA LUẬN ÁN
• 1.2. ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU
• 1.3. CÁCH TIẾP CẬN VÀ PHƯƠNG PHÁP NGHIÊN CỨU
• 1.4. ĐÓNG GÓP VÀ KHOA HỌC CỦA LUẬN ÁN
• 1.5. CẤU TRÚC CỦA LUẬN ÁN
• 2. CHƯƠNG 2: TỔNG QUAN VỀ TÍN HIỆU EEG
• 2.1. PHÂN LOẠI HOẠT ĐỘNG DỰA VÀO TÍN HIỆU EEG
• 2.1.1. Phát hiện hoạt động mắt dựa vào ngưỡng biên độ tín hiệu EEG
• 2.1.2. Phân loại tín hiệu EEG dùng mạng nơ-ron
• 2.1.3. Phân loại tín hiệu EEG dùng mạng nơ-ron tích chập
• 2.2. GIAO DIỆN GIỮA NÃO NGƯỜI VÀ MÁY TÍNH
• 2.3. MÔ HÌNH XE LĂN ĐIỆN CHO NGƯỜI KHUYẾT TẬT
• 2.3.1. Xe lăn điện thông minh
• 2.3.2. Xe lăn điện với bộ điều khiển robot
• 2.3.3. Xe lăn điện tích hợp với môi trường thông minh
• 2.3.4. Xe lăn điện với tính năng tránh chướng ngại vật
• 2.3.5. Hệ thống chia sẻ điều khiển cho xe lăn điện
• 3. CHƯƠNG 3: PHƯƠNG PHÁP XÂY DỰNG BẢN ĐỒ LƯỚI 2D ĐIỀU HƯỚNG ROBOT TRONG NHÀ
• 3.1. CÁC PHƯƠNG PHÁP DẪN ĐƯỜNG CHO ROBOT DI CHUYỂN
• 3.1.1. Phương pháp đoán định vị trí
• 3.1.2. Phương pháp định vị robot dùng vật mắc
• 3.1.3. Phương pháp định vị cho robot dùng hệ thống WIFI
• 3.2. CÁC PHƯƠNG PHÁP NHẬN DẠNG VẬT THỂ
• 3.2.1. Phương pháp nhận dạng dựa trên diện mạo
• 3.2.2. Phương pháp nhận dạng dựa trên các điểm đặc trưng
• 3.2.2.1. Nhận dạng vật thể theo phương pháp máy học
• 3.3. MÔ HÌNH HÓA VÀ ĐIỀU KHIỂN XE LĂN ĐIỆN
• 3.4. PHƯƠNG PHÁP LẬP KẾ HOẠCH ĐƯỜNG ĐI CHO ROBOT DI CHUYỂN
• 3.4.1. Phương pháp A*
• 3.4.2. Phương pháp học sâu
• 4. CHƯƠNG 4: PHÂN LOẠI TÍN HIỆU EEG CỦA HOẠT ĐỘNG MẮT CHO GIAO TIẾP GIỮA NÃO NGƯỜI VÀ MÁY TÍNH
• 4.1. TÍN HIỆU EEG CỦA HOẠT ĐỘNG NHÁY MẮT
• 4.2. THU THẬP DỮ LIỆU
• 4.2.1. Quy trình thu thập dữ liệu
• 4.2.2. Tập dữ liệu gốc của tín hiệu EEG
• 4.2.3. Lọc nhiễu dùng bộ lọc Hamming
• 4.2.4. Làm trên tín hiệu dùng bộ lọc Savitzky-Golay
• 4.3. PHÂN LOẠI TÍN HIỆU EEG CỦA HOẠT ĐỘNG NHÁY MẮT
• 4.3.1. Phân loại hoạt động nháy mắt theo phương pháp ngưỡng biên độ
• 4.3.2. Phân loại tín hiệu hoạt động nháy mắt dùng mô hình CNN-1D
• 5. CHƯƠNG 5: NHẬN DẠNG VÀ XÁC ĐỊNH VỊ TRÍ VẬT MẮC TỰ NHIÊN TRONG MÔI TRƯỜNG TRONG NHÀ
• 5.1. VAI TRÒ CỦA VẬT MẮC ĐỐI VỚI QUÁ TRÌNH ĐÁNH DẤU VÀ ĐIỀU KHIỂN XE LĂN ĐIỆN
• 5.2. PHƯƠNG PHÁP MẬT ĐẶC ĐIỂM LẦN NHẤT CHO NHẬN DẠNG CÁC VẬT MẮC TRONG TỰ NHIÊN
• 5.2.1. Phát hiện các điểm đặc trưng
• 5.2.2. Kết nối các điểm đặc trưng trong các đối tượng
• 5.2.3. Nhận dạng vật mắc tự nhiên
• 5.3. XÁC ĐỊNH VÀ TRÍ VẬT MẮC TRONG MÔI TRƯỜNG
• 5.3.1. Vị trí của xe lăn trong môi trường
• 5.4. KẾT QUẢ NHẬN BIẾT VÀ THU THẬP VẬT MẮC TỰ NHIÊN
• 5.5. KẾT QUẢ XÁC ĐỊNH VÀ TRÍ VẬT MẮC
• 6. CHƯƠNG 6: MÔ HÌNH ĐIỀU KHIỂN XE LĂN ĐIỆN KẾT HỢP TÍN HIỆU EEG VÀ CAMERA DỰA VÀO BẢN ĐỒ
• 6.1. HỆ THỐNG ĐIỀU KHIỂN THỬ - ẢO CHO XE LĂN ĐIỆN DỰA VÀO BẢN ĐỒ LƯỚI 2D ẢO
• 6.1.1. Cấu trúc hệ thống điều khiển thử - ảo cho xe lăn điện
• 6.1.2. Giao diện lựa chọn đích đến cho xe lăn
• 6.1.3. Mô hình DQNs lập kế hoạch đường đi tái tạo cho xe lăn
• 6.2. ĐÁNH DẤU XE LĂN ĐIỆN TRONG BẢN ĐỒ LƯỚI 2D ẢO DỰA VÀO VẬT MẮC TỰ NHIÊN
• 6.2.1. ĐIỀU HƯỚNG XE LĂN ĐIỆN TRONG MÔI TRƯỜNG THỰC
• 6.2.2. PHƯƠNG PHÁP TRÁNH VẬT CẢN DỰA VÀO THÔNG TIN 3D MÔI TRƯỜNG
• 6.3. KẾT QUẢ THÍ NGHIỆM ĐIỀU KHIỂN XE LĂN ĐIỆN
• 6.3.1. Mô phỏng huấn luyện tìm đường đi cho xe lăn dựa vào bản đồ lưới 2D ảo
• 6.3.2. Kết quả nhận dạng vật mắc
• 6.3.3. Xác định vị trí xe lăn trên bản đồ lưới 2D ảo dựa vào vật mắc
• 6.3.4. Xe lăn di chuyển đến đích mong muốn dựa vào bản đồ lưới 2D ảo
• 7. CHƯƠNG 7: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 7.1. KẾT LUẬN
• 7.2. HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO
• CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ

Tóm tắt

I. Giới thiệu

Trong bối cảnh gia tăng số lượng người khuyết tật và người cao tuổi, việc phát triển các phương tiện hỗ trợ di chuyển như xe lăn điện trở nên cấp thiết. Luận án này trình bày một phương pháp định vị xe lăn bằng cách sử dụng tín hiệu EEG và camera. Mục tiêu là tạo ra một hệ thống điều khiển tự động cho xe lăn thông minh, giúp người dùng dễ dàng di chuyển đến các điểm đích trong môi trường nội thất.

1.1 Tính cấp thiết

Sự gia tăng số lượng người khuyết tật đã tạo ra nhu cầu lớn cho các giải pháp di chuyển an toàn và hiệu quả. Xe lăn điện không chỉ giúp duy trì tính độc lập mà còn cải thiện chất lượng cuộc sống cho người dùng. Việc áp dụng công nghệ trí tuệ nhân tạo và công nghệ định vị trong việc điều khiển xe lăn là một bước tiến quan trọng trong lĩnh vực này.

II. Phương pháp nghiên cứu

Luận án áp dụng một quy trình ba giai đoạn để điều khiển xe lăn điện. Đầu tiên, người dùng sẽ chọn điểm đến trên giao diện máy tính thông qua tín hiệu EEG. Tiếp theo, xe lăn sẽ xác định vị trí bắt đầu dựa trên các vật mác trong môi trường. Cuối cùng, hệ thống sẽ tự động điều khiển xe lăn đến đích dựa trên thông tin đã thu thập.

2.1 Phân loại hoạt động nháy mắt

Luận án đã phát triển hai phương pháp phân loại hoạt động nháy mắt từ tín hiệu EEG. Phương pháp đầu tiên sử dụng ngưỡng biên độ, cho phép phân loại với độ chính xác cao trên 97%. Phương pháp thứ hai áp dụng mô hình CNN-1D, yêu cầu thu thập dữ liệu huấn luyện trước. Cả hai phương pháp đều cho thấy khả năng nhận diện chính xác các hoạt động nháy mắt, từ đó tạo ra các lệnh điều khiển cho xe lăn.

III. Định vị và điều khiển xe lăn

Để xác định vị trí của xe lăn điện, hệ thống sử dụng camera để thu thập thông tin về các vật mác trong môi trường. Các hình ảnh thu được sẽ được xử lý để xác định vị trí của xe lăn dựa trên các đặc điểm của vật mác. Hệ thống cũng sử dụng một bản đồ 2D ảo để điều khiển xe lăn, cho phép người dùng dễ dàng chọn điểm đến và giảm thiểu sự tham gia của người dùng trong quá trình điều khiển.

3.1 Mô hình điều khiển thực ảo

Mô hình điều khiển thực-ảo cho phép xe lăn tự động di chuyển đến các điểm đích đã được xác định trên bản đồ 2D ảo. Mô hình này sử dụng thuật toán Deep Q-Networks (DQNs) để tìm kiếm đường đi tối ưu, giúp tăng cường tính an toàn và hiệu quả trong việc điều khiển xe lăn. Kết quả thí nghiệm cho thấy mô hình này có thể điều khiển xe lăn đến đích một cách ổn định và an toàn hơn so với việc điều khiển bằng tay.

IV. Kết luận và triển vọng

Luận án đã chứng minh tính khả thi của việc sử dụng tín hiệu EEG và camera trong việc định vị xe lăn điện. Các phương pháp và mô hình được phát triển không chỉ có giá trị lý thuyết mà còn có thể áp dụng thực tiễn trong việc hỗ trợ người khuyết tật. Việc phát triển xe lăn tự động với chi phí thấp sẽ mở ra nhiều cơ hội cho người dùng trong tương lai.

4.1 Triển vọng nghiên cứu

Nghiên cứu có thể mở rộng để tích hợp thêm các công nghệ mới như robot hỗ trợ và công nghệ cảm biến để nâng cao khả năng tự động hóa và an toàn cho xe lăn điện. Việc áp dụng các công nghệ này sẽ giúp cải thiện hơn nữa trải nghiệm của người dùng và đáp ứng tốt hơn nhu cầu di chuyển của họ.

Nội dung chính

Tổng quan nghiên cứu

Theo ước tính của Tổ chức Y tế Thế giới (WHO) năm 2022, khoảng 16% dân số toàn cầu, tương đương 1,3 tỷ người, gặp các vấn đề về khuyết tật. Tại Việt Nam, số liệu năm 2019 cho thấy có khoảng 6,2 triệu người khuyết tật, chiếm 7,06% dân số từ 2 tuổi trở lên, trong đó gần 29% là người khuyết tật nặng và đặc biệt nặng. Đặc biệt, khoảng 7% trong số này cần sử dụng xe lăn để duy trì khả năng di chuyển. Thị trường xe lăn điện toàn cầu đạt doanh thu 2,89 tỷ USD năm 2021 và dự kiến tăng trưởng gần 10,76% giai đoạn 2022-2027. Tuy nhiên, việc vận hành xe lăn điện truyền thống vẫn còn nhiều khó khăn đối với người khuyết tật, đặc biệt là những người không thể điều khiển bằng tay hoặc đầu.

Luận văn thạc sĩ này tập trung nghiên cứu và phát triển hệ thống điều khiển bán tự động cho xe lăn điện trong môi trường trong nhà, dựa trên sự kết hợp tín hiệu điện não EEG, camera, vật mốc tự nhiên và bản đồ 2D ảo. Mục tiêu chính là giảm gánh nặng điều khiển cho người khuyết tật, đồng thời tăng cường tính an toàn và hiệu quả di chuyển. Phạm vi nghiên cứu tập trung vào môi trường trong nhà, với người dùng là những người khuyết tật nặng về vận động tay, chân hoặc đầu nhưng vẫn còn khả năng nhận thức và tập trung. Nghiên cứu có ý nghĩa quan trọng trong việc cải thiện chất lượng cuộc sống, hỗ trợ di chuyển an toàn và độc lập cho người khuyết tật, đồng thời góp phần phát triển công nghệ xe lăn điện thông minh với chi phí hợp lý.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình sau:

• Tín hiệu điện não EEG (Electroencephalography): EEG ghi lại hoạt động điện của não bộ, phản ánh các trạng thái nhận thức và hành vi. Các dạng sóng EEG như Delta, Theta, Alpha, Beta, Gamma được phân tích để nhận diện các hoạt động mắt như nháy mắt trái, phải, hai mắt.
• Mạng nơ-ron tích chập 1 chiều (CNN-1D): Mô hình học sâu dùng để phân loại tín hiệu EEG thành các loại hoạt động mắt khác nhau với độ chính xác cao.
• Phương pháp nhận dạng vật mốc tự nhiên: Dựa trên đặc trưng hình thái và mật độ điểm đặc trưng trong ảnh thu được từ camera để phát hiện và phân loại vật mốc trong môi trường trong nhà.
• Bản đồ 2D ảo (2D grid map): Mô hình hóa môi trường thực thành lưới ô vuông chứa thông tin về khoảng trống và chướng ngại vật, phục vụ cho việc lập kế hoạch đường đi.
• Mạng Q sâu (Deep Q-Networks - DQNs) với hàm kích hoạt PreLU: Mô hình học tăng cường sâu dùng để tìm đường đi tối ưu trên bản đồ 2D ảo, từ đó điều khiển xe lăn di chuyển đến đích một cách tự động.

Các khái niệm chính bao gồm: tín hiệu EEG, phân loại hoạt động mắt, nhận dạng vật mốc, bản đồ 2D ảo, học tăng cường sâu, điều khiển bán tự động.

Phương pháp nghiên cứu

• Nguồn dữ liệu: Tín hiệu EEG được thu thập từ thiết bị Emotiv Epoc+ với 14 điện cực, tập trung xử lý tín hiệu từ 4 điện cực chính liên quan đến hoạt động mắt. Dữ liệu hình ảnh môi trường trong nhà được thu thập bằng camera RGB-D gắn trên xe lăn. Dữ liệu vật mốc tự nhiên được thu thập trong quá trình di chuyển và lưu trữ trong cơ sở dữ liệu.
• Phương pháp phân tích:
  • Tín hiệu EEG được xử lý bằng bộ lọc Savitzky-Golay và Hamming để làm mịn và loại bỏ nhiễu.
  • Phân loại hoạt động nháy mắt sử dụng hai phương pháp: thuật toán ngưỡng biên độ và mô hình CNN-1D. Thuật toán ngưỡng biên độ cho độ chính xác trên 97% và xử lý nhanh, không cần huấn luyện trước. CNN-1D cho phép phân loại đa dạng hơn nhưng cần dữ liệu huấn luyện chuẩn hóa.
  • Nhận dạng vật mốc dựa trên mật độ điểm đặc trưng trong ảnh, sử dụng thuật toán hình thái học để kết nối điểm đặc trưng thành đối tượng, chọn đối tượng có mật độ điểm đặc trưng cao nhất làm vật mốc.
  • Xác định vị trí xe lăn trên bản đồ 2D ảo dựa trên tọa độ vật mốc trong không gian thực và camera, sử dụng các phương trình lượng giác.
  • Lập kế hoạch đường đi tối ưu bằng mô hình DQNs-PreLU, huấn luyện trên bản đồ 2D ảo để tìm đường đi đến đích.
• Timeline nghiên cứu: Quá trình thu thập dữ liệu, xử lý tín hiệu EEG và hình ảnh, xây dựng mô hình phân loại và nhận dạng vật mốc, phát triển bản đồ 2D ảo và mô hình DQNs được thực hiện trong khoảng thời gian từ 2019 đến 2023, với các thí nghiệm mô phỏng và thực tế được tiến hành liên tục để đánh giá hiệu quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Phân loại hoạt động nháy mắt từ tín hiệu EEG:
   • Thuật toán ngưỡng biên độ đạt độ chính xác trên 97% cho các loại nháy mắt trái, phải, hai mắt, và không nháy.
   • Mô hình CNN-1D phân loại 5 loại nháy mắt với độ chính xác trung bình trên 97%, tuy nhiên cần dữ liệu huấn luyện chuẩn hóa và thời gian huấn luyện dài hơn.
2. Nhận dạng vật mốc tự nhiên trong môi trường trong nhà:
   • Phương pháp mật độ điểm đặc trưng và thuật toán hình thái học cho phép nhận dạng vật mốc với độ chính xác IOU cao, sai số vị trí tuyệt đối dưới 5 cm.
   • Vật mốc được nhận dạng ổn định trong các điều kiện ánh sáng khác nhau và góc nhìn đa dạng.
3. Xác định vị trí xe lăn trên bản đồ 2D ảo:
   • Vị trí xe lăn được tính toán chính xác dựa trên tọa độ vật mốc và thông tin 3D từ camera, sai số vị trí trung bình dưới 10 cm.
4. Mô hình điều khiển bán tự động DQNs-PreLU:
   • Thời gian huấn luyện ngắn hơn nhiều so với các mô hình khác, đồng thời giữ được độ chính xác cao trong việc tìm đường đi tối ưu.
   • Mô hình cho phép xe lăn di chuyển đến đích mong muốn với độ ổn định và an toàn cao hơn so với điều khiển thủ công.
   • Thuật toán chuyển đổi lệnh mô phỏng sang lệnh điều khiển thực tế hoạt động hiệu quả, đảm bảo phản hồi nhanh và chính xác.

Thảo luận kết quả

Kết quả phân loại tín hiệu EEG cho thấy phương pháp ngưỡng biên độ là giải pháp đơn giản, hiệu quả và phù hợp cho các ứng dụng thời gian thực, trong khi CNN-1D mở rộng khả năng phân loại đa dạng nhưng đòi hỏi dữ liệu và tài nguyên tính toán lớn hơn. Việc nhận dạng vật mốc tự nhiên dựa trên mật độ điểm đặc trưng và thuật toán hình thái học giúp xe lăn có thể định vị chính xác trong môi trường trong nhà mà không cần gắn vật mốc nhân tạo, tăng tính linh hoạt và giảm chi phí triển khai.

Việc xây dựng bản đồ 2D ảo từ dữ liệu thực tế và sử dụng mô hình DQNs-PreLU cho thấy hiệu quả trong việc lập kế hoạch đường đi tối ưu, giảm thiểu sự tham gia điều khiển của người dùng, từ đó giảm gánh nặng và tăng tính an toàn. So sánh với các nghiên cứu trước đây sử dụng các mô hình học sâu phức tạp hoặc các phương pháp điều khiển thủ công, mô hình này có ưu điểm về thời gian huấn luyện và khả năng áp dụng thực tế.

Dữ liệu có thể được trình bày qua các biểu đồ độ chính xác phân loại EEG, biểu đồ sai số vị trí vật mốc, và biểu đồ so sánh thời gian huấn luyện các mô hình DQNs khác nhau, giúp minh họa rõ ràng hiệu quả của các phương pháp đề xuất.

Đề xuất và khuyến nghị

1. Triển khai hệ thống điều khiển bán tự động cho xe lăn điện trong các cơ sở y tế và trung tâm phục hồi chức năng: Tăng cường khả năng di chuyển độc lập cho người khuyết tật, giảm áp lực cho nhân viên y tế. Thời gian thực hiện: 12-18 tháng. Chủ thể thực hiện: Bệnh viện, trung tâm phục hồi chức năng.
2. Phát triển phần mềm giao diện người dùng dựa trên tín hiệu EEG với thuật toán ngưỡng biên độ: Đơn giản, dễ sử dụng, phù hợp với người dùng có khả năng tập trung hạn chế. Thời gian thực hiện: 6-12 tháng. Chủ thể thực hiện: Các công ty công nghệ y sinh.
3. Mở rộng nghiên cứu nhận dạng vật mốc trong môi trường ngoài trời và các môi trường phức tạp hơn: Nâng cao tính ứng dụng của hệ thống trong nhiều điều kiện thực tế. Thời gian thực hiện: 18-24 tháng. Chủ thể thực hiện: Các viện nghiên cứu, trường đại học.
4. Tích hợp thêm các cảm biến khác như LiDAR hoặc IMU để tăng độ chính xác định vị và tránh vật cản: Cải thiện an toàn và hiệu quả di chuyển. Thời gian thực hiện: 12-18 tháng. Chủ thể thực hiện: Các nhà sản xuất xe lăn điện.
5. Đào tạo và hướng dẫn sử dụng hệ thống cho người khuyết tật và người thân: Đảm bảo người dùng có thể khai thác tối đa tính năng của xe lăn bán tự động. Thời gian thực hiện: liên tục. Chủ thể thực hiện: Trung tâm đào tạo, tổ chức xã hội.

Đối tượng nên tham khảo luận văn

1. Người khuyết tật và gia đình: Hiểu rõ về công nghệ hỗ trợ di chuyển, lựa chọn giải pháp phù hợp để nâng cao chất lượng cuộc sống.
2. Nhân viên y tế và chuyên gia phục hồi chức năng: Áp dụng công nghệ mới trong hỗ trợ điều trị và phục hồi chức năng cho bệnh nhân.
3. Nhà nghiên cứu và sinh viên ngành kỹ thuật y sinh, kỹ thuật điện tử: Tham khảo phương pháp xử lý tín hiệu EEG, nhận dạng vật thể và học máy trong ứng dụng thực tế.
4. Các công ty sản xuất thiết bị hỗ trợ di chuyển: Nghiên cứu phát triển sản phẩm xe lăn điện thông minh, tối ưu chi phí và tính năng.

Câu hỏi thường gặp

1. Tín hiệu EEG được sử dụng như thế nào để điều khiển xe lăn?
   Tín hiệu EEG ghi lại hoạt động điện não liên quan đến các hành động nháy mắt. Các thuật toán phân loại như ngưỡng biên độ và CNN-1D được dùng để nhận diện loại nháy mắt, từ đó chuyển thành lệnh điều khiển trên giao diện máy tính.

2. Phương pháp nhận dạng vật mốc tự nhiên có ưu điểm gì?
   Phương pháp này không cần gắn vật mốc nhân tạo, sử dụng đặc trưng hình ảnh và mật độ điểm đặc trưng để nhận dạng vật mốc trong môi trường thực, giúp xe lăn định vị chính xác và linh hoạt hơn.

3. Bản đồ 2D ảo được xây dựng như thế nào?
   Bản đồ 2D ảo được tạo từ dữ liệu thực tế, chia thành các ô vuông chứa thông tin về khoảng trống và chướng ngại vật, phục vụ cho việc lập kế hoạch đường đi bằng mô hình học tăng cường sâu.

4. Mô hình DQNs-PreLU có ưu điểm gì so với các mô hình khác?
   Mô hình này có thời gian huấn luyện ngắn hơn, độ chính xác cao và khả năng lưu trữ thông số để điều khiển xe lăn trong môi trường thực, giúp tăng hiệu quả và an toàn khi di chuyển.

5. Hệ thống này có thể áp dụng cho những đối tượng nào?
   Hệ thống phù hợp với người khuyết tật nặng không thể điều khiển xe lăn bằng tay hoặc đầu, người già yếu, và những người cần hỗ trợ di chuyển trong môi trường trong nhà.

Kết luận

• Đã phát triển thành công phương pháp phân loại hoạt động nháy mắt từ tín hiệu EEG với độ chính xác trên 97% bằng thuật toán ngưỡng biên độ và CNN-1D.
• Đề xuất phương pháp nhận dạng vật mốc tự nhiên trong môi trường trong nhà với độ chính xác cao, hỗ trợ định vị xe lăn trên bản đồ 2D ảo.
• Xây dựng mô hình điều khiển bán tự động DQNs-PreLU giúp xe lăn di chuyển đến đích an toàn, ổn định và giảm gánh nặng điều khiển cho người dùng.
• Kết quả nghiên cứu đã được kiểm chứng qua các thí nghiệm mô phỏng và thực tế, đồng thời công bố trong các hội thảo và tạp chí khoa học.
• Đề xuất các hướng phát triển tiếp theo bao gồm mở rộng môi trường ứng dụng, tích hợp cảm biến mới và đào tạo người dùng để nâng cao hiệu quả sử dụng.

Luận văn mở ra cơ hội ứng dụng thực tiễn công nghệ điều khiển bán tự động cho xe lăn điện, góp phần nâng cao chất lượng cuộc sống cho người khuyết tật. Các nhà nghiên cứu và doanh nghiệp được khuyến khích tiếp tục phát triển và triển khai các giải pháp này trong tương lai gần.

Trích đoạn nội dung tài liệu

Bà GIÁO DĂC VÀ ĐÀO T¾O TR¯âNG Đ¾I HàC S¯ PH¾M Kþ THU¾T THÀNH PHà Hâ CHÍ MINH NGÔ BÁ VIàT K¾T HĀP TÍN HIàU EEG, CAMERA VÀ V¾T MàC Đ ĐÞNH VÞ, ĐIÀU KHIÂN XE LN ĐIàN Đ¾N ĐÍCH DĎA VÀO BÀN Đâ LU¾N ÁN TI¾N S) NGÀNH: Kþ THU¾T ĐIàN TĊ Tp. Hã Chí Minh, tháng 1/2024 Bà GIÁO DĂC VÀ ĐÀO T¾O TR¯âNG Đ¾I HàC S¯ PH¾M Kþ THU¾T THÀNH PHà Hâ CHÍ MINH NGÔ BÁ VIàT K¾T HĀP TÍN HIàU EEG, CAMERA VÀ V¾T MàC Đ ĐÞNH VÞ, ĐIÀU KHIÂN XE LN ĐIàN Đ¾N ĐÍCH DĎA VÀO BÀN Đâ NGÀNH: Kþ THU¾T ĐIàN TĊ - 9520203 H°ãng d¿n khoa hãc: PGS. NGUYÆN THANH HÀI PhÁn biÉn 1: PhÁn biÉn 2: PhÁn biÉn 3: Tp. Hã Chí Minh, tháng 1/2024 QUYÀT ĐàNH GIAO Đ TÀI QUY¾T ĐÞNH GIAO ĐÀ TÀI Trang 3 iii 3 LÝ LàCH CÁ NHÂN LÝ LÞCH CÁ NHÂN I.

THÔNG TIN CÁ NHÂN Hã và tên: Ngô Bá ViÉt Giãi tính: Nam Ngày, tháng, nm sinh: 18 -04-1987 N¢i sinh: Bình Đánh Đáa chß nhà: 04.2 Lô B chung c° Thą Thiêm Star, Ph°ång Bình Tr°ng Đông, Thành Phá Thą Đćc, Thành Phá Hã Chí Minh. ĐiÉn tho¿i: 0907689357 E-mail: [e-mail] C¢ quan - n¢i làm viÉc: Tr°ång Đ¿i Hãc S° Ph¿m Kỹ ThuÁt Tp. Đáa chß c¢ quan: 01 Võ Vn Ngân, Thành Phá Thą Đćc, Thành Phá Hã Chí Minh. QUÁ TRÌNH ĐÀO T¾O - Tĉ 2005 3 2010: Sinh viên ngành Kỹ thuÁt điÉn 3 điÉn tċ, Tr°ång Đ¿i hãc S° ph¿m Kỹ thuÁt Tp.

- Tĉ 2011 3 2013: Hãc viên cao hãc ngành Kỹ thuÁt điÉn tċ, Tr°ång Đ¿i hãc S° ph¿m Kỹ thuÁt Tp. - Tĉ 2016 3 nay: Nghiên cću sinh ngành Kỹ thuÁt điÉn tċ, Tr°ång Đ¿i hãc S° ph¿m Kỹ thuÁt Tp. QUÁ TRÌNH CÔNG TÁC Thåi gian N¢i công tác Công viÉc đÁm nhiÉm Công Ty GreyStone Data Systems ViÉt 03/2007- 10/2010 Kỹ s° lÁp trình Nam 08/2011- 01/2019 Tr°ång Cao Đẳng Kỹ ThuÁt Cao ThÃng GiÁng viên Tr°ång Đ¿i Hãc S° Ph¿m Kỹ ThuÁt Thành 02/2019- nay GiÁng viên Phá Hã Chí Minh Tp. Hồ Chí Minh, ngày 18 tháng 1 năm 2024 NGÔ BÁ VIàT Trang 3 iv 3 LäI CAM ĐOAN LâI CAM ĐOAN Tôi cam đoan đây là công trình nghiên cću cąa tôi.

Các sá liÉu, kÁt quÁ nêu trong luÁn vn là trung thďc và ch°a tĉng đ°āc công bá trong bÃt kỳ công trình nào khác Tp. Hồ Chí Minh, ngày 18 tháng 1 năm 2024 NGÔ BÁ VIàT Trang 3 v 3 LäI CÀM ¡N LâI CÀM ¡N Đầu tiên, tôi xin gċi låi cÁm ¢n chân thành và sâu sÃc đÁn Thầy PGS. NguyÇn Thanh HÁi, ng°åi đã luôn nhiÉt tình h°ãng d¿n, góp ý và đánh h°ãng giúp tôi đ¿t đ°āc nhčng kÁt quÁ tát nhÃt trong suát quá trình thďc hiÉn luÁn án. Tôi xin gċi låi cÁm ¢n đÁn Ban Giám HiÉu Tr°ång Đ¿i Hãc SPKT Tp.HCM, Ban Chą NhiÉm Khoa ĐiÉn 3 ĐiÉn tċ, nhčng Thầy/Cô và đãng nghiÉp đã hß trā tôi trong quá trình thďc hiÉn luÁn án này.

Cuái cùng, tôi xin đ°āc gċi låi cÁm ¢n đÁn gia đình tôi, chß dďa tinh thần và là nguãn đáng viên vô cùng to lãn, giúp tôi có thÅ thďc hiÉn tát công viÉc hãc tÁp và nghiên cću cąa mình. Xin chân thành cÁm ¢n! Tp. Hồ Chí Minh, ngày 18 tháng 1 năm 2024 NGÔ BÁ VIàT Trang 3 vi 3 TÓM TÂT TÓM TÀT Trong nhčng nm gần đây, sá l°āng ng°åi gÁp vÃn đà và vÁn đáng đã tng lên ç ViÉt Nam và trên thÁ giãi. Đái vãi ng°åi già và ng°åi khuyÁt tÁt, các chćc nng thÅ chÃt cąa hã bá giÁm sút nghiêm trãng, và do đó xe ln điÉn gần nh° là ph°¢ng tiÉn duy nhÃt đÅ duy trì tính c¢ đáng.

LuÁn án này đã đà xuÃt mát sá ph°¢ng pháp cho viÉc điÃu khiÅn bán tď đáng cho xe ln điÉn dďa vào tín hiÉu điÉn não đã (EEG), camera, các vÁt mác và bÁn đã. Că thÅ, đÅ điÃu khiÅn bán tď đáng cho xe ln đÁn đích, mát quá trình gãm 3 giai đo¿n đ°āc thďc hiÉn, bao gãm: (1) ng°åi dùng chãn vá trí điÅm đích trên giao diÉn máy tính bằng tín hiÉu EEG; (2) xe ln tď xác đánh vá trí bÃt đầu trên bÁn đã dďa vào các vÁt mác trong môi tr°ång; và (3) hÉ tháng điÃu khiÅn xe ln điÉn tď đáng đÁn đích dďa vào thông tin điÅm bÃt đầu và đích đÁn. Trong môi tr°ång trong nhà, đÅ bÃt đầu cho mát lá trình di chuyÅn tď đáng, mát điÅm đích cần phÁi đ°āc lďa chãn. Khi ng°åi khuyÁt tÁt bá h¿n chÁ và vÁn đáng chẳng h¿n nh° không thÅ cċ đáng tay hoÁc đầu, các ho¿t đáng nháy mÃt là phù hāp đÅ ng°åi dùng ra các lÉnh lďa chãn đích đÁn trên mát giao diÉn máy tính đã đ°āc thiÁt kÁ tr°ãc vãi các điÅm đích.

Tĉ đó, luÁn án đà xuÃt hai ph°¢ng pháp phân lo¿i các ho¿t đáng nháy mÃt tĉ tín hiÉu EEG gãm ph°¢ng pháp ng°ÿng biên đá và mô hình hãc sâu CNN-1D. ¯u điÅm cąa ph°¢ng pháp phân lo¿i các ho¿t đáng mÃt nh° nháy mÃt trái, nháy mÃt phÁi, dùng thuÁt toán ng°ÿng biên đá là đá chính xác cao, trên 97% cho mßi lo¿i, và có thÅ xċ lý trďc tiÁp trên tín hiÉu mà không cần phÁi đ°āc huÃn luyÉn tr°ãc. Vãi ph°¢ng pháp phân lo¿i các ho¿t đáng mÃt dùng m¿ng hãc sâu CNN-1D, tÁp dč liÉu huÃn luyÉn cần đ°āc thu thÁp tr°ãc theo mát quy trình đ°āc chuẩn hóa. Vãi đÁc điÅm cąa các ho¿t đáng mÃt, chß có tín hiÉu tĉ 4 điÉn cďc trong tång sá 14 điÉn cďc thu đ°āc tĉ thiÁt bá Emotiv Epoc+ đ°āc trích xuÃt và ghép l¿i t¿o thành 1 tín hiÉu cho huÃn luyÉn.

Các tín hiÉu này đ°āc làm tr¢n dùng bá lãc Savitzky- Golay tr°ãc khi đ°a vào huÃn luyÉn. KÁt quÁ phân lo¿i cho 5 lo¿i nháy mÃt gãm nháy mÃt trái, nháy mÃt phÁi, nháy hai mÃt, nháy hai mÃt hai lần liên tiÁp và không nháy mÃt có đá chính xác trung bình trên 97%. Trang 3 vii 3 TÓM TÂT Sau khi ng°åi dùng đã chãn đ°āc điÅm đích, vá trí ban đầu cąa xe ln trên bÁn đã cần đ°āc xác đánh. Vãi xe ln điÉn đ°āc trang bá camera, thông tin cąa các vÁt mác tď nhiên bao gãm hình Ánh vÁt mác và vá trí cąa nó trong môi tr°ång, là rÃt cần thiÁt cho viÉc xác đánh vá trí cąa xe ln.

ĐÅ đánh vá trên bÁn đã dďa vào vÁt mác, xe ln cần thu thÁp thông tin vÁt mác và l°u vào c¢ sç dč liÉu, sau đó trong quá trình di chuyÅn xe ln s¿ xác đánh vá trí dďa vào các vÁt mác này. ĐÅ thu thÁp thông tin vÁt mác trong môi tr°ång, luÁn án kiÁn nghá ph°¢ng pháp mÁt đá điÅm đÁc tr°ng lãn nhÃt cho nhÁn biÁt vÁt mác tď nhiên và ph°¢ng pháp xác đánh vá trí cąa vÁt mác dďa vào vá trí xe ln và thông tin 3D tĉ camera. Că thÅ, hình Ánh môi tr°ång thu thÁp đ°āc tĉ camera s¿ đ°āc trích xuÃt đÁc tr°ng, và sau đó các thuÁt toán hình thái hãc đ°āc thďc hiÉn đÅ kÁt nái các điÅm đÁc tr°ng này l¿i t¿o thành các đái t°āng trong Ánh. MÁt đá điÅm đÁc tr°ng cho tĉng đái t°āng này s¿ đ°āc tính toán và đái t°āng nào có mÁt đá điÅm đÁc tr°ng lãn nhÃt đ°āc chãn là vÁt mác.

Vãi vÁt mác đã đ°āc lďa chãn, thông tin 3D cąa vÁt mác và vá trí cąa xe ln trong môi tr°ång đ°āc dùng đÅ xác đánh vá trí vÁt mác. Bên c¿nh đó, luÁn án cũng kiÁn nghá ph°¢ng pháp xác đánh vá trí xe ln trên bÁn đã l°ãi 2D Áo tĉ thông tin vÁt mác trong môi tr°ång thďc, nhằm phăc vă cho viÉc điÃu khiÅn xe ln. Că thÅ, sau khi nhÁn d¿ng đ°āc các vÁt mác có trong c¢ sç dč liÉu đã thu thÁp tr°ãc đó, thông tin tãa đá vá trí cąa các vÁt mác này trong không gian môi tr°ång và trong không gian cąa camera s¿ đ°āc dùng đÅ tính toán vá trí xe ln trong môi tr°ång thďc và trên bÁn đã 2D l°ãi Áo bằng các ph°¢ng trình l°āng giác. ĐÅ giÁm bãt viÉc tham gia điÃu khiÅn cąa ng°åi sċ dăng và tng sď an toàn, luÁn án đà xuÃt mô hình điÃu khiÅn thďc - Áo cho xe ln điÉn dďa vào bÁn đã l°ãi 2D Áo, cho phép ng°åi khuyÁt tÁt đÁn bÃt kỳ điÅm đÁn đánh s¿n nào trên bÁn đã l°ãi này.

Că thÅ, bÁn đã l°ãi 2D Áo đ°āc xây dďng tĉ môi tr°ång thďc bằng cách chia thành các ô l°ãi có thÅ chća các khoÁng tráng hoÁc ch°ãng ng¿i vÁt. Sau đó, bÁn đã vãi các ô l°ãi đ°āc v¿ này s¿ đ°āc mô phßng đÅ tìm các đ°ång đi tái °u đÅ đÁn các vá trí đích bằng mô hình Deep Q-Networks (DQNs) vãi hàm kích ho¿t PreLU. Bên trong mô hình DQNs-PreLU là mát m¿ng n¢-ron truyÃn thẳng sċ dăng ph°¢ng pháp lan Trang 3 viii 3 TÓM TÂT truyÃn ng°āc đÅ cÁp nhÁt các thông sá m¿ng. Ngõ vào mô hình là bÁn đã l°ãi và ngõ ra là các hành đáng cąa xe ln t°¢ng ćng trên bÁn đã bao gãm Lên, Xuáng, Trái, PhÁi.

Vãi các thí nghiÉm đã đ°āc thďc hiÉn, mô hình DQNs-PreLU cho thÃy thåi gian huÃn luyÉn ngÃn h¢n rÃt nhiÃu so vãi các mô hình khác và các thông sá mô hình có thÅ l°u trč l¿i đÅ dùng cho điÃu khiÅn xe ln trong môi tr°ång thďc. ĐÅ có thÅ điÃu khiÅn xe ln trong môi tr°ång thďc, mát thuÁt toán mãi đ°āc đà xuÃt đÅ chuyÅn đåi các hành đáng cąa xe ln tĉ ngõ ra cąa mô hình DQNs-PreLU khi mô phßng vãi bÁn đã l°ãi 2D Áo thành các lÉnh điÃu khiÅn thďc tÁ cho xe ln. KÁt quÁ thí nghiÉm đã cho thÃy mô hình điÃu khiÅn đà xuÃt có thÅ tď đáng điÃu khiÅn xe ln đÁn đích mong muán vãi tính ån đánh và an toàn h¢n so vãi khi ng°åi dùng tď điÃu khiÅn. Tĉ nhčng kÁt quÁ này, mát mô hình xe ln điÉn bán tď đáng cho ng°åi khuyÁt tÁt trong môi tr°ång trong nhà có thÅ đ°āc ćng dăng trong thďc tÁ.

HiÉu quÁ cąa các ph°¢ng pháp đà xuÃt đã đ°āc đánh giá thông qua các kÁt quÁ thí nghiÉm. Các ph°¢ng pháp và mô hình đ°āc kiÁn nghá cùng vãi các kÁt quÁ thu đ°āc trong luÁn án này đã đ°āc đng trong các kỷ yÁu hái thÁo khoa hãc và t¿p chí khoa hãc. Vãi mô hình xe ln điÉn bán tď đáng đ°āc đà xuÃt cùng vãi các kÁt quÁ thċ nghiÉm, xe ln điÉn vãi chi phí thÃp có thÅ đ°āc sÁn xuÃt trong t°¢ng lai gần, h°ãng đÁn nhu cầu di chuyÅn thiÁt yÁu và an toàn cho ng°åi khuyÁt tÁt. Trang 3 ix 3 TÓM TÂT ABSTRACT In recent years, the number of people facing mobility issues has increased in Vietnam and worldwide.

For the elderly and people with disabilities, their physical functions are severely compromised, and therefore, electric wheelchairs are nearly the sole means to maintain mobility. This thesis has proposed several methods for semi-automatic control of an electric wheelchair based on electroencephalogram (EEG) signals, cameras, landmarks, and maps.