đặt vấn đề, trình bày lý do chọn đề tài, mục tiêu, giới hạn, nội dung nghiên cứu và bố cục của đề tài. Chương 2: Cơ sở lý thuyết Chương này trình bày cơ sở lý thuyết và tham khảo các đề tài đã nghiên cứu trước đó để làm tiền đề thực hiện đồ án. Chương 3: Tính toán và thiết kế hệ thống Chương này trình bày sơ đồ khối, đưa ra tính toán thiết kế phần cứng phù hợp với đề tài. Trình bày về thiết kế hệ thống nhận đạng phân loại cử chỉ tay (chuẩn bị dữ liệu, huấn luyện, đánh giá mô hình).
Chương 4: Thi công hệ thống Chương này trình bày quá trình thiết kế và thi công phần cứng và thiết kế phần mềm. Chương 5: Kết quả - nhận xét - đánh giá Chương này trình bày kết quả thi công của đề tài, các nhận xét và đánh giá về sản phẩm sau khi hoàn thành. Chương 6: Kết luận và hướng phát triển Chương này trình bày kết luận chung của nhóm về nội dung, quá trình tìm hiểu và thực hiện và kết quả của đề tài. Đưa ra một số hướng phát triển, cải thiện khả thi trong tương lai.
4 Chương 2: CƠ SỞ LÍ THUYẾT 2. Các mô hình, hệ thống điều khiển 2. Hệ thống điều khiển xe lăn điện sử dụng cảm biến gia tốc Bộ điều khiển xe lăn điện sử dụng cảm biến gia tốc là sản phẩm nghiên cứu tạo ra một bộ điều khiển không dây sử dụng các cử chỉ bằng đầu để điều khiển hoạt động của xe lăn điện. Hệ thống hoạt động dựa trên các cử chỉ thu thập được bằng đầu từ cảm biến gia tốc MPU6050 và xử lý dữ liệu thu được bằng Arduino Pro Mini sau đó gửi tín hiệu điều khiển về bộ xử lý tín hiệu điều khiển của xe thông qua module Bluetooth HC-05 để điều khiển xe hoạt động.
Hệ thống còn sử dụng cảm biến khoảng cách VL53L0X để phát hiện vật cản phía trước và sau xe giúp tránh khỏi những va chạm xảy ra. Việc thiết kế và thi công bộ điều khiển với tiêu chí an toàn, dễ sử dụng cho người khuyết tật. Hệ thống tương đối hoàn thiện về mặt thẩm mỹ và an toàn. Về độ ổn định thì xe lăn sử dụng nguồn acquy an toàn và tai nghe điều khiển sử dụng bluetooth ổn định trong quá trình kết nối và truyền dữ liệu.
Ngoài một số ưu điểm thì hệ thống vẫn còn một số lỗi do khối cảm biến phát hiện vật cản lazer nên khi xe ra ngoài ánh sáng cường độ cao thì khoảng cách phát hiện vật cản của lazer bị thu hẹp vì ảnh hưởng của môi trường bên ngoài, ảnh hưởng của bề mặt vật vản phức tạp [2]. Hệ thống xe lăn tự định vị và đến đích dựa vào bản đồ 2D Xe lăn là thiết bị hỗ trợ rất cần thiết cho người khuyết tật, người già di chuyển khó khăn. Do đó đề tài được chọn giúp cho người khuyết tật và người già có thể dễ dàng trong quá trình di chuyển bẳng việc áp dụng công nghệ hiện nay vào xe để giúp cho xe có thể tự di chuyển và tìm đường đi đến vị trí đã chỉ định trước đó. Hệ thống sử dụng board Arduino Due để làm khối xử lý trung tâm và 2 encoder để bám theo chuyển động quay của bánh xe và xuất ra tín hiệu dưới dạng xung điện.
Màn hình LCD Nextion để nhập toạ đọ đích đến. Bộ điều khiển động cơ gồm 2 module điều khiển động cơ BTS7960 43A để điều khiển 2 động cơ của xe lăn. Mô hình xe có thể tự động tìm đường về đích và có thể né tránh những chướng ngại mà mô hình phát hiện trên đường đi.Hệ thống định vị được vị trí với sai số nhỏ. Bên cạnh những ưu điểm thì hệ thống còn có nhưng khuyết điểm cần khắc phục như dễ bị ảnh 5 hưởng bởi môi trường vận hành như địa hình gồ ghề , mặt sàn trơn, xử lý chưa được tối ưu hoàn toàn gây ra hiện tượng giật, rung lắc [3].
Hệ thống điều khiển xe lăn điện thông qua tín hiệu điện não và camera Nhận thấy nhu cầu đi lại của người khuyết tật là vấn đề cần được quan tâm, để họ có thể dễ dàng di chuyển thì phương tiện gắn liền với cuộc sống của họ chính là xe lăn. Đề tài này nhằm mục đích đáp ứng nhu cầu di chuyển nhưng không tốn nhiều công sức và tiện lợi trong việc sử dụng. Hệ thống sử dụng board Arduino Nano làm bộ xử lý trung tâm kết hợp với việc điều khiển xe thông qua tín hiệu điện não và camera tránh vật cản giúp người sử dụng tránh được những va chạm không cần thiết xảy ra. Hệ thống có cấu trúc bên ngoài đơn giản, bộ điều khiển gọn nhẹ phụ hợp nhiều loại xe lăn điện, camera đặt phía trước xe lăn, bộ Emotiv Epoc được đội lên đầu người dùng để điều khiển.
Trải qua quá trình thực nghiệm, kết quả hệ thống xe lăn điện có khả năng xác định được vật cản nhoè vào camera, điều khiển được xe theo tín hiệu điện não, điều hướng xe lăn tránh vật cản, tối ưu được quãng đường đi khi kết hợp camera với tín hiệu điện não [4]. Hệ thống xe lăn tự hành dùng camera 3D Trong cuộc sống, xe lăn là thiết bị hỗ trợ cần thiết cho những người khuyết tật, nó đã và đang ứng dụng trong các hộ gia đình có người khuyết tật, di chuyển khó khăn. Đề tài nhằm mục đích giúp người khuyết tật có khả năng di chuyển một cách tự động, linh hoạt. Hệ thống sử dụng Arduino Nano làm bộ xử lý trung tâm, module bluetooth HC- 06 và Camera Intel RealSense D435 3D.
Xe lăn đạt được những mục tiêu nhận diện vật cản phía trước, xác định được vật mốc và cho xe ngừng di chuyển tại vật mốc. Ngoài những kết quả đạt được thì hệ thống vẫn còn những hạn chế như khả năng nhận dạng bị ảnh hưởng bởi các yếu tố môi trường ánh sáng nhiễu, chỉ nhận dạng được vật có nhiều đặc trưng và nằm trong khoảng cách gần [5]. Hệ thống điều khiển xe lăn điện và giao tiếp theo hướng nhìn của mắt Những bệnh nhân mắc chứng liệt luôn là những người cần được quan tâm và giúp đỡ trong cuộc sống. Việc di chuyển của bệnh nhân hết sức khó khăn, một số bệnh nhân mắc chứng liệt còn không thể giao tiếp.
Vì thế, đề tài này đưa ra giải pháp để giúp những bệnh nhân ấy có thể giao tiếp với mọi người xung quanh và điều khiển xe lăn điện thông qua cử động mắt của họ. Hệ thống sử dụng camera thu thập dữ liệu thời gian thực, dữ liệu sẽ được gửi tới Jetson Nano Developer Kit. Mô hình nhận dạng Yolov4 sử dụng để nhận diện hướng nhìn của mắt từ dữ liệu thu được để đưa ra các tín hiệu điều khiển xe. Bệnh nhân giao tiếp với giao diện ứng dụng hiển thị thông qua màn hình Waveshare 10.1 inch, ngoài ra còn sử dụng loa để phát âm thanh giao tiếp cho những lựa chọn giao tiếp cơ bản.
Khi cần di chuyển , họ chỉ cần sử dụng các hướng nhìn của mắt, đưa ra các lệnh đièu khiển để xe di chuyển theo ý muốn. Tuy nhiên, vấn đề về độ chính xác, tốc độ xử lý chưa cao và bất tiện về phần cứng là hạn chế của đề tài [6]. Mô hình thùng rác di chuyển theo cử chỉ tay Vấn đề rác thải vẫn đang là một điểm nhấn nguy hiểm cho môi trường sống của con người trên toàn thế giới. Sự ô nhiễm cho đến hiện tạo thì không chỉ dừng lại ở môi trường sống nào mà có thể nói là tất cả.
Vì vậy bảo vệ môi trường không chỉ là mọi người tự ý thức mà cụ thể là những giải pháp. Cho nên đề tài này ngoài việc ý tưởng và mong muốn góp phần cải tạo môi trường ô nhiễm. Mô hình sử dụng camera thu thập dữ liệu cử chỉ sau đó sẽ được gửi tới Jetson Nano Developer Kit. Mô hình nhân dạng cử chỉ dùng mạng Nơron tích chập để nhận diện cử chỉ tay từ ảnh thu được từ camera để đưa tín hiệu điều khiển ra ESP32 điều khiển robot thùng rác di động.
Mô hình có khả năng di chuyển tự động thông qua các cảm biến tránh vật cản hoặc có thể điều khiển bằng cử chỉ tay thông qua app. Hiển thị dung lượng rác và thông báo rác đầy qua app.Sau khi thực nghiệm mô hình hoạt động ổn định, độ chính xác khá cao. Tuy nhiên thời gian xử lý nhận diện cử chỉ bàn tay còn chậm, nhận diện sai trong điều kiện ánh sáng kém [7]. Mô hình điều khiển thiết bị bằng cử chỉ tay Đề tài thực hiện điều khiển sáng và tắt 5 Led đơn thông qua 5 cử chỉ tay của con người thông qua xử lý ảnh.
Hệ thống gồm có 1 webcam để thu nhận ảnh có chứa tay được kết nối với một máy tính chạy chương trình xử lý. Chương trình có nhiệm vụ tìm, xác định nơi chứa bàn tay có trong ảnh bằng phương pháp lọc màu da. Sau đó thực hiện khoanh vùng và chọn vùng thực sự chứa bàn tay. Tiếp theo lần lượt thực hiện các phương pháp co ảnh, giãn ảnh, trừ ảnh để tìm và gắn nhãn cho các vùng ngón tay.
Thông qua việc đếm số vùng đã gắn nhãn chương trình sẽ đưa ra kết luận số ngón tay có trong ảnh. Kết quả được hiển thị lên màn hình máy tính dạng hình ảnh thông qua giao diện người dùng và xuất ra tín hiệu điều khiển ra PIC16F887 thông qua cổng COM để bật/tắt 5 đèn LED trên phần cứng bên ngoài được kết nối với chương trình [8]. Một số mô hình nhận dạng cử chỉ tay 2. Nhận dạng cử chỉ tay dùng mô hình mạng nơron tích chập Giao diện người và máy sẽ trực quan nếu con người có thể điều khiển thiết bị bằng cử chỉ hay giọng nói mà không cần đùng các thiết bị điêu khiển khác.
Hệ thống thị giác máy tính sẽ thích hợp hơn trong môi trường ồn ào hay âm thanh bị nhiễu. Mạng nơron tích chập được áp dụng khá nhiều trong các bài toán nhận dạng với độ chính xác cao như nhận dạng gương mặt, nhận dạng chữ số viết tay, xử lý ngôn ngữ tự nhiện. Bài nghiên cứu [9] này thiết lập một mạng nơron tích chập với 14 lớp và ứng dụng vào hệ thống nhận dạng 6 cử chỉ bàn tay, với đầu vào là các ãnh tĩnh thu được từ camera. Tập dữ liệu huấn luyện được tạo ra từ các cử chỉ tay của 7 người.
Kết quả mô phỏng cho thấy hệ thống có độ chính xác cao 98,6% đối với các ảnh bàn tay chụp chính diện, có độ sáng và độ mở của các ngón tay thích hợp.