Đồ án: Thiết kế bộ điều khiển cử chỉ tay cho xe lăn điện người khiếm thính

Đồ án thiết kế, thi công bộ điều khiển xe lăn điện bằng cử chỉ tay. Giải pháp công nghệ đột phá, hỗ trợ người khiếm thính giao tiếp và di chuyển dễ dàng.

• Tác giả: Nguyễn Quốc Tân
• Người hướng dẫn: PGS.TS Nguyễn Thanh Hải
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Công nghệ Kỹ thuật Điện tử, Viễn thông
• Đề tài: Thiết kế và Thi công Bộ Điều khiển và Giao tiếp Bằng Cử chỉ Tay cho Xe lăn Điện Hỗ trợ Người Khiếm thính
• Loại tài liệu: Đồ án tốt nghiệp
• Năm xuất bản: 2024
• Địa điểm: Thành phố Hồ Chí Minh

Tóm tắt

I. Giới thiệu về xe lăn điện điều khiển cử chỉ tay

Xe lăn điện điều khiển cử chỉ tay là một giải pháp công nghệ tiên tiến dành cho người khiếm thính, cho phép họ điều khiển phương tiện một cách độc lập và an toàn. Công nghệ này kết hợp các cảm biến hiện đại, hệ thống vi xử lý, và giao diện người dùng thân thiện để tạo ra một trải nghiệm điều khiển mượt mà. Hệ thống bộ điều khiển cử chỉ tay sử dụng các cảm biến gia tốc và camera để nhận diện các chuyển động tay, từ đó chuyển đổi thành các lệnh điều khiển cho động cơ xe lăn. Đây là một bước tiến lớn trong lĩnh vực công nghệ hỗ trợ người khuyết tật, cải thiện chất lượng cuộc sống và tự chủ của người dùng.

1.1. Khái niệm xe lăn điện thông minh

Xe lăn điện thông minh là loại xe lăn được trang bị các hệ thống điện tử tiên tiến, cho phép điều khiển từ xa hoặc thông qua các cử chỉ cơ thể. Nó tích hợp pin sạc, động cơ điện, bộ điều khiển động cơ, cảm biến thông minh, và giao diện người dùng trực quan. Xe lăn loại này có thể tự động điều chỉnh tốc độ, hướng di chuyển dựa trên lệnh từ người dùng.

1.2. Ứng dụng công nghệ cử chỉ tay

Công nghệ cử chỉ tay cho phép người khiếm thính giao tiếp và điều khiển thiết bị mà không cần âm thanh. Bằng cách sử dụng các cảm biến và camera, hệ thống có thể nhận diện các chuyển động cố định, từ đó phát lệnh tương ứng. Điều này giúp nâng cao khả năng tương tác và độc lập của người sử dụng.

II. Cấu tạo và nguyên lý hoạt động hệ thống

Hệ thống bộ điều khiển xe lăn điện bao gồm nhiều thành phần quan trọng hoạt động liên kết với nhau. Phần cứng gồm: vi xử lý (MCU), cảm biến gia tốc, camera nhận diện cử chỉ, màn hình cảm ứng, động cơ điện, và bộ nguồn pin. Phần mềm chạy trên vi xử lý xử lý tín hiệu từ các cảm biến, nhận diện các cử chỉ tay, và gửi lệnh điều khiển tới động cơ. Mạch điều khiển động cơ chuyển đổi tín hiệu điều khiển thành dòng điện phù hợp để vận hành các động cơ. Giao diện người dùng trên màn hình cảm ứng hiển thị trạng thái xe lăn, mức pin, và nhân các thông tin khác giúp người dùng theo dõi hoạt động.

2.1. Các thành phần chính của hệ thống

Vi xử lý xử lý dữ liệu từ các cảm biến và đưa ra quyết định điều khiển. Cảm biến gia tốc phát hiện chuyển động tay theo các trục X, Y, Z. Camera chuyên dụng nhận diện các cử chỉ cụ thể. Bộ điều khiển động cơ (Motor Driver) chuyển đổi tín hiệu thành dòng điện cần thiết. Pin sạc cung cấp năng lượng cho toàn bộ hệ thống.

2.2. Nguyên lý nhận diện cử chỉ tay

Hệ thống sử dụng thuật toán xử lý hình ảnh để nhận diện các cử chỉ tay từ camera. Mỗi cử chỉ được định nghĩa sẵn tương ứng với các lệnh điều khiển (tiến, lùi, rẽ trái, rẽ phải). Cảm biến gia tốc hỗ trợ bằng cách phát hiện cường độ chuyển động. Kết hợp dữ liệu từ hai nguồn giúp tăng độ chính xác nhận diện.

III. Lợi ích cho người khiếm thính

Công nghệ xe lăn điện điều khiển cử chỉ tay mang lại những lợi ích vô cùng quan trọng cho cộng đồng người khiếm thính. Trước tiên, nó cung cấp một phương thức giao tiếp và điều khiển không dựa vào âm thanh, giúp người khiếm thính tương tác với công nghệ một cách bình đẳng. Thứ hai, hệ thống này nâng cao tự chủ và độc lập của người dùng, cho phép họ di chuyển và hoạt động mà không cần sự trợ giúp liên tục. Thứ ba, giao diện trực quan với các ký hiệu, hình ảnh rõ ràng giúp người dùng dễ dàng hiểu và sử dụng. Cuối cùng, công nghệ này cải thiện chất lượng cuộc sống, tạo cơ hội cho người khiếm thính tham gia các hoạt động xã hội, việc làm, và giáo dục.

3.1. Tăng tự chủ và độc lập

Người khiếm thính có thể tự điều khiển xe lăn điện mà không phụ thuộc vào người khác. Khả năng di chuyển tự do giúp họ có quyền tự quyết định, đi đến những nơi muốn, và tham gia các hoạt động hàng ngày một cách độc lập. Điều này có tác động tích cực đến tâm lý và sự tự tin của người sử dụng.

3.2. Cải thiện giao tiếp và tương tác xã hội

Hệ thống sử dụng giao diện trực quan với hình ảnh, ký hiệu, văn bản để thay thế tiếng nói. Nó có thể tích hợp màn hình cảm ứng để hiển thị các thông báo, hướng dẫn bằng hình ảnh. Loa và phản hồi hình ảnh giúp người dùng biết hệ thống đã nhận lệnh. Điều này tạo điều kiện cho giao tiếp hai chiều và tương tác xã hội tốt hơn.

IV. Hướng phát triển và ứng dụng tương lai

Công nghệ xe lăn điện điều khiển cử chỉ tay có tiềm năng phát triển rất lớn trong tương lai. Các hướng cải tiến bao gồm: tích hợp trí tuệ nhân tạo (AI) để nhận diện cử chỉ với độ chính xác cao hơn, phát triển các giao diện người dùng cá nhân hóa phù hợp với mỗi người dùng, kết nối với các hệ thống IoT thông minh trong nhà để điều khiển các thiết bị khác, cải thiện pin sạc để tăng thời gian hoạt động, và triển khai định vị GPS để xe lăn có thể tự động di chuyển đến các điểm định trước. Các ứng dụng tương lai có thể mở rộng sang các lĩnh vực khác như robot hỗ trợ, tay máy điều khiển, và các thiết bị y tế thông minh.

4.1. Tích hợp trí tuệ nhân tạo

AI và machine learning có thể được huấn luyện để nhận diện các cử chỉ cá nhân và học hỏi từ hành vi của người dùng. Hệ thống có thể dự đoán ý định người dùng và đưa ra các gợi ý hữu ích. Nhận diện giọng nói kết hợp với cử chỉ tay sẽ tạo ra một giao diện đa phương thức, phù hợp hơn cho mọi người dùng.

4.2. Mở rộng ứng dụng công nghệ

Công nghệ này có thể được ứng dụng trong robot hỗ trợ chăm sóc, tay máy công nghiệp, và thiết bị y tế thông minh. Kết nối 5G sẽ cho phép điều khiển từ xa và trao đổi dữ liệu nhanh hơn. Triển khai rộng rãi sẽ giúp cải thiện cuộc sống cho hàng triệu người khuyết tật trên toàn thế giới.

Trích đoạn nội dung tài liệu

đặt vấn đề dẫn nhập lý do chọn đề tài, mục tiêu, các thông số giới hạn, nội dung nghiên cứu, và bố cục đồ án. Chương 2: Cơ sở lý thuyết Chương này trình bày lý thuyết cơ sở làm tiền đề để thực hiện đồ án, sử dụng các đề tài đã được nghiên cứu trước làm cơ sở để tham khảo. Chương 3: Tính toán và thiết kế Chương này đưa ra sơ đồ khối, tính toán và thiết kế các khối có trong hệ thống, thiết kế các lưu đồ giải thuật. Chương 4: Thi công Chương này trình bày quá trình thi công hệ thống và thiết kế giao diện.

Chương 5: Kết quả - nhận xét – đánh giá Chương này đưa ra kết quả, hình ảnh minh chứng và đánh giá bộ điều khiển xe lăn điện. Chương 6: Kết luận và hướng phát triển Chương này đưa ra kết luận về đề tài sau thời gian thực hiện và hướng phát triển của đề tài. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 3 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT Chương 2: CƠ SỞ LÝ THUYẾT 2. Các mô hình, hệ thống điều khiển 2.

Hệ thống điều khiển xe lăn điện bằng cử chỉ tay sử dụng trí thông minh nhân tạo Sự phát triển mạnh gần đây của trí tuệ nhân tạo đã góp phần phát triển khoa học công nghệ ở nhiều lĩnh vực. Trí tuệ nhân tạo đã mang lại nhiều cơ hội mới cho việc thiết kế hệ thống điều khiển xe lăn điện. Xe lăn điện điều khiển bằng cử chỉ tay là một mô hình giúp cải thiện việc di chuyển cho người khuyết tật [3]. Mô hình sử dụng thuật toán phát hiện đối tượng YOLO để nhận dạng và phân loại cử chỉ tay thông qua máy tính nhúng Jetson Nano Developẻ Kit từ hình ảnh thu thập được qua camera sau đó phân loại và và gửi tín hiệu tới vi điều khiển Arduino Due để thực hiện điều khiển xe lăn.

Mô hình huấn được huấn luyện để nhận dạng 6 cử chỉ tay: tiến chậm, tiến nhanh, lùi, trái, phải, dừng. Sau được được gửi thông qua mô-đun truyền thông không dây tầm gần bluetooth HC-05 cho vi điều khiển Arduino Due để xử lý và thực hiện điều khiển 2 động cơ. Bằng việc sử dụng 9600 ảnh để nhận diện và 2400 ảnh cho việc đánh giá làm cho độ chính xác khi nhận diện cao trên 90% cho mỗi cử chỉ. Ngoài ra mô hình còn tích hợp màn hình cảm ứng để hiện thị các hành động được camera thu được.

Mô hình còn một số khuyết điểm như tốc độ xử lý chưa đủ nhanh, chỉ nhận dạng được 6 cử chỉ, ánh sáng môi trường phải vừa đủ cho việc nhận diện. Điều khiển xe lăn bằng giọng nói hoặc điện thoại thông minh Bộ điều khiển xe lăn bằng giọng nói nhằm mục đích hỗ trợ di chuyển cho những người già, trẻ em, người khuyết tật và người hạn chế khả năng di chuyển, đặc biệt trong một thời gian dài với ưu điểm là di chuyển dễ dàng không tốn sức hay có người hỗ trợ phía sau dễ dàng di chuyển ở nhiều địa hình [6]. Mô hình sử dụng bo ESP8266 để điều khiển trung tâm đồng thời nhận tín hiệu từ wifi. Kết hợp với mô hình nhận dạng giọng nói Voice Recognition để thực hiện điều khiển hai động cơ của xe lăn thông qua mô-đun điều khiển động cơ BTS7960.

Đồng thời kết hợp với MIT App Inventor để tạo ra app Android có thể điều khiển xe lăn thông qua điện thoại dựa vào wifi. Ngoài các ưu điểm trên mô hình có tồn đọng những khuyết điểm như điều khiển qua điện thoại vẫn còn độ trễ giữa việc truyền nhận dữ liệu, truyền nhận bằng giọng nói vẫn chưa được tối ưu, vẫn có sự chậm trễ trong lúc truyền nhận. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 4 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2. Hệ thống xe lăn tự định vị và đến đích dựa vào bản đồ 2D Nhằm phục vụ cho việc di chuyển trong nhà của người khuyết tật và người già được thuận tiện và dễ dàng dựa vào các vị trí đã được đánh dấu trước đó.

Đề tài [4] này đã thực hiện nhằm nghiên cứu và đưa ra giải pháp cho nhu cầu thiết yếu này cho những người khuyết tật dựa vào các công nghệ hiện nay. Bằng cách dùng vi điều khiển Arduino Due đọc và xử lý các tín hiệu được gửi từ các pha A, B, Z của bộ mã hóa quay tròn Encoder, từ đó có thể xác định được quỹ đạo của xe, nhằm mục điều khiển 2 bộ mô-đun điều khiển động cơ BTS7960 để điều khiển 2 bộ động cơ giảm tốc của xe lăn. Ngoài ra mô hình còn được tích hợp màn hình cảm ứng LCD Nextion để nhập tọa độ điểm đến đã được đánh dấu trước đó và 2 cảm biến siêu âm HC-SR05 để quét môi trường xung quanh nhằm né tránh các vật cản trên đường đi. Việc dùng bộ mã hóa quay tròn Encoder để đọc các xung tín hiệu giúp xe lăn có thể di chuyển một cách chính xác với độ sai số là rất nhỏ từ đó giúp xe lăn có thể được điều khiển để di chuyển được chính xác.

Ngoài ra mô hình còn một số khuyết điểm như xe bị giật, rung lắc chưa trơn chu do chưa tối ưu được về thuật toán. Hệ thống xe lăn tự hành dùng camera 3D Với người khuyết tật thì xe lăn là thứ gắn liền với cuộc sống giúp người khuyết tật dễ dàng di chuyển và thực hiện các sinh hoạt hàng ngày. Đề tài [7] nhằm mục đích di chuyển an toàn tránh được các vật cản trong nhà để người khuyết tật có thể di chuyển dễ dàng và linh hoạt hơn. Với mục đích nhận dạng được vật cản ở phía trước xe lăn, xác định vật mốc và dừng xe tại vị trí vật mốc, mô hình sử dụng camera 3D để đọc các dữ liệu nhận được từ môi trường sau đó mang dữ liệu thu thập được xử lý bằng máy tính Laptop sau đó gửi tín hiệu đã được xử lý cho vi điều khiển Arduino Nano thông qua mô-đun truyền thông không dây tầm gần bluetooth HC-05 để xử lý và điều khiển hai bánh của động cơ giảm tốc thông qua mô-đun điều khiển động cơ BTS7960.

Ngoài những kết quả đạt được thì hệ thống vẫn còn những hạn chế như khả năng nhận dạng bị ảnh hưởng bởi các yếu tố môi trường như ánh sáng nhiễu hay cường độ ánh sáng thấp, chỉ nhận dạng được vật có nhiều đặc trưng và các vật cản nằm trong khoảng cách gần. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 5 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2. Các mô hình nhận dạng cử chỉ tay 2. Nhận dạng cử chỉ tay cho người khiếm thính dùng mô hình mạng học sâu YOLO Để hỗ trợ cồng đồng người khiếm thính, thì các nhà nghiên cứu đã và đang tìm hiểu những phương pháp khác nhau để có thể tiếp cận và đơn giản hoá các ngôn ngữ cử chỉ.

Đề tài [8] này tận dụng các bàn tay vật mốc để phát hiện 10 chữ cái trong hệ thống chữ ASL. Thuật toán suy luận Mediapipe dùng để phát hiện các đặc trưng của bàn tay, các đặc trưng này sẽ được đưa vào huấn luyện bằng mạng YOLOv7 để đem lại kết quả dò tìm chính xác hơn. Trong đề tài sử dụng 2000 bức ảnh được thu thập từ 5 người có độ tuổi và giới tính khác nhau. Các hình ảnh sau khi thu thập sẽ được lọc nhiễu bằng phương pháp tích chập và định lại kích thước trước khi đưa vào mô hình mạng YOLOv7 để thực hiện huấn luyện.

Kết quả huấn luyện chỉ số trung bình của độ chính xác mAP đạt 0.995, độ chính xác đạt 99.4% tham số thu hồi đạt 99,2%. Độ chính xác của các kí tự “a”, “c”, “e”, “g”, “h”, “i”, “j” có độ chính xác 100%, “b” đạt 98% “c” đạt 97% và “f” có độ chính xác thấp nhất là 84%. Nhận dạng cử chỉ tay cho ngôn ngữ kí hiệu bằng mạng nơ-ron Phương pháp tương tác không cần chạm như cử chỉ tay, được coi là hiệu quả và trực quan để tương tác với máy tính, nhưng nó hiện vẫn ít được sử dụng. Nguyên nhân chính là do việc phát hiện chính xác các cử chỉ trong không gian đang gặp nhiều thách thức về kỹ thuật.

Đề tài này [9] tận dụng kỹ thuật theo dõi ngón tay với độ chính xác cao, sử dụng phương pháp suy luận Mediapipe để trích xuất các điểm mốc từ hình ảnh 2D. Quá trình này giúp phát hiện và trích xuất các đặc điểm quan trọng của bàn tay từ mỗi hình ảnh. Hệ thống có khả năng nhận diện 21 điểm chính trên mỗi bàn tay và hỗ trợ việc đồng thời phát hiện nhiều bàn tay. Các điểm mốc bàn tay được trích xuất từ hình ảnh bàn tay có thể được sử dụng như một đặc trưng quan trọng để huấn luyện và kiểm tra mô hình.

Nhờ vậy người dùng có thể tương tác trực tiếp với máy tính chỉ cần thông qua camera RGB mà không cần sử dụng các thiết bị chạm. Điều này tạo ra cho người sử dụng có một trải nghiệm tương tác thú vị, nơi người dùng có thể tùy chỉnh và thực hiện các lệnh điều khiển bằng cử chỉ tay theo thời gian thực. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 6 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2. Nhận dạng cử chỉ tay dùng phương pháp HMM Phương pháp nhận diện cử chỉ bằng mô hình Markov ẩn Hidden Markov Model (HMM) là một trong những phương pháp phổ biến và mạnh mẽ được sử dụng trong lĩnh vực nhận diện cử chỉ.

HMM được ứng dụng trong việc mô hình hóa chuỗi dữ liệu, trong đó mỗi trạng thái của mô hình được gán với một cử chỉ cụ thể. HMM có khả năng học và nhận biết các chuỗi cử chỉ dựa trên quá trình học từ dữ liệu huấn luyện. Khi được huấn luyện đúng cách, HMM có thể nhận diện và phân loại các cử chỉ mới mà không cần phải biết trước về chúng [10]. Phương pháp HMM cho phép nhận biết cử chỉ một cách linh hoạt và có thể được áp dụng trong nhiều lĩnh vực, từ nhận diện ngôn ngữ cử chỉ đến điều khiển các ứng dụng công nghiệp và y tế.

Giới thiệu về bộ điều khiển xe lăn điện Xe lăn điện công cụ hỗ trợ đi lại tuyệt vời cho người khuyết tật để hòa nhập với cuộc sống hiện đại, nên việc không ngừng nghiên cứu và cải tiến các bộ điều khiển của xe lăn điện là rất cần thiết và mang ý nghĩa cao đẹp.