Bối cảnh và vấn đề nghiên cứu
Lý do chọn đề tài và bối cảnh thực tiễn
Theo số liệu công bố ngày 11/01/2019 của Tổng cục Thống kê và Quỹ Nhi đồng Liên Hợp Quốc (UNICEF), Việt Nam có hơn 7% dân số từ 2 tuổi trở lên (tương đương khoảng 6,2 triệu người) là người khuyết tật. Trong đó, nhóm đối tượng bị khuyết tật hoặc suy giảm chức năng vận động các chi gặp nhiều rào cản trong sinh hoạt thường nhật và hòa nhập cộng đồng. Xe lăn điện là công cụ hỗ trợ di chuyển thiết yếu, đóng vai trò như phương tiện thay thế chức năng vận động.
Tuy nhiên, các phương thức điều khiển truyền thống bằng cần điều khiển (joystick) hoặc nút bấm cơ học đòi hỏi người sử dụng phải có lực tay và khả năng cầm nắm tốt. Đối với những bệnh nhân bị liệt một phần chi trên, việc tương tác cơ học trực tiếp gặp nhiều trở ngại. Trước sự phát triển của công nghệ thị giác máy tính và trí tuệ nhân tạo, nhóm tác giả đã lựa chọn đề tài "Thiết kế và thi công hệ thống điều khiển xe lăn điện bằng cử chỉ tay sử dụng thông minh nhân tạo" nhằm cung cấp một giải pháp điều khiển không tiếp xúc trực quan, hỗ trợ người khuyết tật di chuyển độc lập.
Mục tiêu và nhiệm vụ nghiên cứu
Mục tiêu tổng quát của đề tài là thiết kế và thi công hoàn chỉnh hệ thống xe lăn điện có khả năng nhận dạng 6 cử chỉ tay theo thời gian thực từ camera thông qua máy tính nhúng Jetson Nano Developer Kit chạy mô hình YOLO, sau đó truyền tín hiệu điều khiển sang vi điều khiển Arduino Due để vận hành hệ thống động cơ.
Nhóm nghiên cứu xác định 11 nội dung nhiệm vụ cụ thể theo văn bản:
- Nội dung 1: Tham khảo và tóm tắt tài liệu chuyên ngành để định hình ý tưởng và hướng tiếp cận của đề tài.
- Nội dung 2: Thu thập dữ liệu hình ảnh cử chỉ tay thực tế và tiến hành gán nhãn dữ liệu.
- Nội dung 3: Huấn luyện mô hình nhận dạng, phân loại cử chỉ tay sử dụng kiến trúc YOLOv8 trên nền tảng Google Colab.
- Nội dung 4: Xây dựng chương trình nhận dạng và phân loại cử chỉ từ bộ trọng số đã được huấn luyện.
- Nội dung 5: Thiết kế sơ đồ khối và sơ đồ nguyên lý hoạt động của toàn bộ hệ thống.
- Nội dung 6: Tính toán, thiết kế kết nối phần cứng giữa Jetson Nano Developer Kit, Arduino Due, màn hình hiển thị và camera.
- Nội dung 7: Gia công, lắp ráp và hoàn thiện phần cứng hệ thống xe lăn điện.
- Nội dung 8: Thiết kế giao diện hiển thị kết quả và trạng thái điều khiển trên màn hình cảm ứng kết nối với Jetson Nano.
- Nội dung 9: Thử nghiệm thực tế, kiểm tra độ chính xác, đánh giá hiệu năng và hiệu chỉnh các thông số hệ thống.
- Nội dung 10: Tổng hợp kết quả và biên soạn báo cáo khóa luận tốt nghiệp.
- Nội dung 11: Báo cáo và bảo vệ luận văn trước Hội đồng chấm tốt nghiệp.
Đối tượng và phạm vi nghiên cứu
- Đối tượng nghiên cứu: Hệ thống điều khiển xe lăn điện tích hợp thuật toán thị giác máy tính (mô hình học sâu YOLOv8 kết hợp giải pháp suy luận Mediapipe), kiến trúc phần cứng nhúng (Jetson Nano, Arduino Due, module công suất BTS7960, module Bluetooth HC-05).
- Phạm vi không gian và thời gian: Đề tài được triển khai thực hiện từ ngày 11/09/2023 đến ngày 05/01/2024 tại Khoa Điện – Điện tử và Phòng thí nghiệm Lab C306, Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh.
- Giới hạn kỹ thuật:
- Hệ thống giới hạn nhận dạng 6 cử chỉ tay tương ứng với 6 trạng thái vận hành: Tiến chậm (Tiến 1), Tiến nhanh (Tiến 2), Lùi, Rẽ trái, Rẽ phải và Dừng.
- Vị trí bàn tay người điều khiển đặt đối diện trực diện với camera trong khoảng cách từ 40 cm đến 50 cm.
- Hệ thống hoạt động trong điều kiện ánh sáng vừa đủ và tốc độ thực hiện cử chỉ của người dùng ở mức vừa phải, không di chuyển quá nhanh.
Cơ sở lý thuyết và phương pháp
Khung lý thuyết và công nghệ sử dụng
Khóa luận kế thừa và phát triển từ các công trình nghiên cứu về điều khiển xe lăn và nhận dạng cử chỉ:
- Giải pháp suy luận Mediapipe: Framework mã nguồn mở do Google phát triển, cho phép trích xuất 21 điểm mốc (landmarks) tọa độ 2D/3D trên bàn tay với mức tiêu thụ tài nguyên phần cứng thấp. Thuật toán này được sử dụng để xác định bàn tay vật mốc và khoanh vùng vùng quan tâm (Region of Interest - ROI) tại lòng bàn tay, giúp loại bỏ các tác động gây nhiễu từ phông nền môi trường.
- Mô hình phát hiện đối tượng YOLOv8: Nhóm tác giả lựa chọn phiên bản YOLOv8n (nano) - phiên bản tối ưu hóa nhẹ nhất với 8,7 triệu tham số và 3,2 GFLOPS. Cấu trúc mạng gồm phần trích xuất đặc trưng (backbone) dựa trên kiến trúc CSPDarknet53 tùy biến với các khối C2f và Conv, kết hợp với phần đầu (head) dự đoán bounding box và xác suất phân lớp, áp dụng thuật toán triệt tiêu phi cực đại (Non-Maximum Suppression - NMS) để chọn khung bao tối ưu.
| Công trình tham khảo |
Tác giả & Năm |
Phương pháp / Công nghệ cốt lõi |
Hạn chế ghi nhận trong văn bản |
| Điều khiển xe lăn bằng gia tốc |
Võ Ngọc Tiến, Lâm Minh Cảnh (2019) |
Cảm biến MPU-6050, Arduino Pro Mini, laser VL53L0X |
Cảm biến laser bị thu hẹp khoảng cách khi gặp ánh sáng mạnh ngoài trời |
| Xe lăn tự định vị bản đồ 2D |
Lê Trung Nghĩa, Nguyễn Lữ Phụng Đình (2020) |
Arduino Due, 2 encoder, LCD Nextion, BTS7960 |
Dễ trượt bánh, rung lắc và xử lý chưa mượt trên địa hình gồ ghề |
| Điều khiển bằng điện não và camera |
Vũ Hoàng Thiên, Đoàn Lâm (2020) |
Bộ Emotiv Epoc, Arduino Nano, camera tránh vật cản |
Phần cứng cồng kềnh khi phải đội thiết bị lên đầu |
| Xe lăn tự hành camera 3D |
Huỳnh Tấn Cường (2019) |
Camera Intel RealSense D435 3D, Arduino Nano |
Bị ảnh hưởng bởi ánh sáng nhiễu, chỉ nhận diện vật mốc ở cự ly gần |
| Xe lăn theo hướng nhìn của mắt |
Nguyễn Đoàn Vĩnh Thái, Bùi Đức Hiếu (2023) |
Mạng YOLOv4, Jetson Nano, màn hình Waveshare 10.1 inch |
Độ trễ xử lý còn cao, cồng kềnh về mặt cơ khí |
| Thùng rác nhận diện cử chỉ tay |
Ngô Xuân Thịnh, Nguyễn Phạm Hoài Ân (2019) |
Mạng CNN, Jetson Nano, ESP32 |
Xử lý chậm, nhận diện sai khi ánh sáng yếu |
| Nhận dạng chữ cái ASL |
Nguyễn Thành Long (2023) |
Mediapipe kết hợp mô hình mạng YOLOv7 cải tiến |
Cần cấu hình phần cứng lớn khi triển khai mạng phức tạp |
Phương pháp nghiên cứu thực nghiệm
- Phương pháp thu thập dữ liệu: Thu thập thủ công 12.000 ảnh màu kích thước gốc được định cỡ về 300x300 pixel thông qua Webcam W2 Full HD. Dữ liệu được ghi nhận từ 6 người (5 nam, 1 nữ) tại 3 bối cảnh ánh sáng khác nhau: ánh sáng trong phòng, ánh sáng ngoài trời giữa trưa và ánh sáng trời về chiều.
- Phương pháp tiền xử lý và gán nhãn: Ứng dụng Mediapipe để bắt 21 điểm mốc, cắt vùng bàn tay ROI nhằm cô lập đặc trưng cử chỉ. Sau đó, sử dụng nền tảng Roboflow để gán nhãn tọa độ bounding box theo chuẩn định dạng YOLO (
<object_class> <x_center> <y_center> <width> <height>).
- Phương pháp huấn luyện: Thực hiện huấn luyện mô hình YOLOv8n trên môi trường đám mây Google Colab nhằm tối ưu hóa hàm mất mát và trích xuất bộ trọng số
best.pt.
- Phương pháp đánh giá mô hình: Sử dụng Ma trận nhầm lẫn (Confusion Matrix) cùng 4 chỉ số thống kê toán học:
$$\text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN}$$
$$\text{Precision} = \frac{TP}{TP + FP}$$
$$\text{Recall} = \frac{TP}{TP + FN}$$
$$\text{F1-Score} = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}$$
Thiết kế và triển khai hệ thống
Kiến trúc sơ đồ khối hệ thống
Hệ thống phần cứng được phân chia thành 6 khối chức năng hoạt động đồng bộ:
[Khối thu thập dữ liệu: Webcam W2]
(Bluetooth HC-05 / UART)
[Khối nguồn: Ắc quy 24V 12Ah]
- Khối thu thập dữ liệu: Sử dụng Webcam W2 Full HD (1080P/30FPS, cảm biến 2,4 MP, góc quét thấu kính 130 độ, nguồn 5V-1A kết nối qua cổng USB 3.0).
- Khối xử lý trung tâm: Máy tính nhúng NVIDIA Jetson Nano Developer Kit (A02) trang bị vi xử lý CPU Quad-core ARM A57 1,43 GHz, GPU 128 lõi kiến trúc Maxwell, RAM 4 GB 64-bit LPDDR4 bus 25,6 GB/s, đảm nhiệm vai trò chạy mô hình YOLOv8n và giao diện đồ họa.
- Khối hiển thị: Màn hình cảm ứng điện dung Raspberry Pi 7 inch HD, độ phân giải 800x480 pixel, nhận tín hiệu hình ảnh qua HDMI và nguồn qua cổng USB của Jetson Nano.
- Khối điều khiển: Bo mạch Arduino Due trang bị vi điều khiển 32-bit Atmel AT91SAM3X8E xung nhịp 84 MHz, bộ nhớ Flash 512 KB, SRAM 96 KB, 54 chân Digital I/O (12 chân PWM), điện áp hoạt động logic 3,3V.
- Khối truyền thông: Module Bluetooth HC-05 kết nối với Arduino Due qua chuẩn giao tiếp UART (TX3/RX3, mức logic TTL 3,3V - 5V, dải tần 2,4 GHz ISM).
- Khối công suất và chấp hành: 2 module điều khiển động cơ cầu H BTS7960 (dòng tải cực đại 43A, điện áp 6-27VDC, tần số PWM 25 kHz) kết nối với các chân PWM 8, 9, 12, 13 và chân cho phép 10, 11 của Arduino Due để điều khiển 2 động cơ DC 24V - 60W của xe lăn.
Tính toán và thiết kế khối nguồn
Hệ thống sử dụng bộ ắc quy chính có điện áp danh định 24VDC, dung lượng 12Ah. Nguồn 24V được cấp trực tiếp cho tải động cơ và thông qua các mạch giảm áp DC-DC để nuôi các khối logic:
- Module hạ áp XL4016E1 công suất cao hạ áp từ 24V xuống 5V cấp nguồn riêng cho Jetson Nano Developer Kit.
- Mạch hạ áp LM2596 hạ áp từ 24V xuống 5V cấp nguồn cho Arduino Due, module Bluetooth HC-05 và mạch điều khiển BTS7960.
| STT |
Tên thiết bị |
Số lượng |
Điện áp hoạt động (V) |
Dòng điện tiêu thụ (mA) |
| 1 |
Jetson Nano Developer Kit |
1 |
5 |
4.000 |
| 2 |
Màn hình cảm ứng 7 inch HD |
1 |
5 |
1.000 |
| 3 |
Arduino Due |
1 |
5 |
500 |
| 4 |
Module cầu H BTS7960 |
2 |
5 |
100 |
| 5 |
Module Bluetooth HC-05 |
1 |
5 |
30 |
| 6 |
Webcam W2 Full HD |
1 |
5 |
900 |
| 7 |
Động cơ PWM xe lăn (2 động cơ) |
2 |
24 |
5.000 |
| Tổng |
Toàn hệ thống |
-- |
-- |
11.530 mA |
Công suất tiêu thụ tổng của hệ thống được tính toán theo công thức:
$$P = U \times I = 5 \times (I_{JS} + I_{AD} + I_{MH} + I_{HC} + I_{W2}) + 5 \times I_{BTS} + 24 \times I_{DC}$$
$$P = 5 \times (4000 + 500 + 1000 + 30 + 900) + 5 \times 100 + 24 \times 10000 = 272.650 \text{ mW} = 272,65 \text{ W}$$
Thời gian hoạt động lý thuyết của hệ thống khi chạy liên tục với hệ số xả ắc quy $\eta = 0,7$:
$$t = \frac{A \times V \times \eta}{P} = \frac{12000 \text{ mAh} \times 24 \text{ V} \times 0,7}{272,65 \text{ W}} \approx 1,32 \text{ giờ}$$
Thiết kế phần mềm và cấu hình huấn luyện AI
Bộ dữ liệu gồm 12.000 ảnh được phân bổ theo tỷ lệ 80% cho tập huấn luyện (training set) và 20% cho tập đánh giá (validation set).
| Nhãn cử chỉ (Class) |
Ý nghĩa hành động |
Số lượng ảnh huấn luyện (Train) |
Số lượng ảnh đánh giá (Val) |
Tổng số ảnh |
| Tien1 |
Xe tiến thẳng tốc độ chậm |
1.600 |
400 |
2.000 |
| Tien2 |
Xe tiến thẳng tốc độ nhanh |
1.600 |
400 |
2.000 |
| Lui |
Xe lùi về phía sau |
1.600 |
400 |
2.000 |
| Trai |
Xe chuyển hướng rẽ trái |
1.600 |
400 |
2.000 |
| Phai |
Xe chuyển hướng rẽ phải |
1.600 |
400 |
2.000 |
| Dung |
Xe dừng khẩn cấp |
1.600 |
400 |
2.000 |
| Tổng cộng |
6 trạng thái |
9.600 |
2.400 |
12.000 |
Tham số cấu hình huấn luyện mô hình trên Google Colab được xác lập:
- Tác vụ (Task): Detect
- Chế độ (Mode): Train
- Phiên bản mô hình (Model): YOLOv8n
- Số chu kỳ lặp (Epochs): 100
- Kích thước ảnh đầu vào (Imgsz): 512x512 pixel
- Thời gian huấn luyện: Kéo dài từ 3 đến 4 giờ. Trọng số tối ưu được lưu trữ dưới tệp
best.pt.
Nội dung chính theo từng chương
Chương 1: Tổng quan
Chương 1 trình bày bối cảnh xã hội về nhu cầu hỗ trợ người khuyết tật vận động tại Việt Nam dựa trên số liệu của Tổng cục Thống kê và UNICEF. Tác giả nêu rõ mục tiêu thiết kế hệ thống xe lăn điện điều khiển bằng 6 cử chỉ tay thông qua xử lý ảnh và trí tuệ nhân tạo trên Jetson Nano kết hợp Arduino Due. Đồng thời, chương này xác lập phạm vi khoảng cách nhận diện từ 40-50 cm, vạch ra 11 nhiệm vụ nghiên cứu và cấu trúc 6 chương của khóa luận.
Chương 2: Cơ sở lí thuyết
Chương 2 tổng hợp và phân tích ưu, nhược điểm của 7 hệ thống điều khiển xe lăn/robot di động tiền nhiệm (sử dụng cảm biến gia tốc MPU6050, bản đồ 2D, tín hiệu điện não, camera 3D RealSense, cử chỉ mắt và lọc màu da) và 4 công trình nhận dạng cử chỉ bằng mạng học sâu. Tác giả đi sâu vào cơ chế hoạt động của thuật toán trích xuất 21 điểm mốc Mediapipe và cấu trúc mạng nơ-ron tích chập YOLOv8 (các khối CSPDarknet53, C2f, Conv, cơ chế tự chú ý và thuật toán NMS), làm cơ sở để lựa chọn mô hình YOLOv8n kết hợp Mediapipe cho đề tài.
Chương 3: Tính toán và thiết kế
Chương 3 chi tiết hóa quy trình thiết kế hệ thống:
- Thiết lập sơ đồ khối chức năng và lựa chọn linh kiện theo thông số kỹ thuật (Jetson Nano A02, Arduino Due, BTS7960, Webcam W2, LCD cảm ứng 7 inch, Bluetooth HC-05).
- Tính toán điện áp, dòng điện tiêu thụ toàn tải (11.530 mA), công suất tiêu thụ (272,65 W) và thời lượng hoạt động liên tục của ắc quy 24V-12Ah đạt 1,32 giờ.
- Xây dựng quy trình thu thập 12.000 ảnh cho 6 cử chỉ, phương pháp tạo ROI bằng Mediapipe và gán nhãn qua Roboflow.
- Thiết lập tham số cấu hình huấn luyện YOLOv8n trên Google Colab (100 Epochs, Imgsz 512).
- Trình bày lưu đồ giải thuật chương trình chính trên Jetson Nano, chương trình con nhận dạng cử chỉ và chương trình điều khiển động cơ trên Arduino Due. Thiết kế giao diện đồ họa kích thước 800x480 pixel.
Chương 4: Thi công hệ thống
Chương 4 mô tả toàn bộ quá trình thi công thực tế:
- Lắp ráp cơ khí, bố trí hộp điều khiển trung tâm, kết nối dây dẫn nguồn, module hạ áp LM2596, XL4016E1, cầu H BTS7960 và động cơ xe lăn.
- Triển khai huấn luyện mô hình YOLOv8n trên môi trường Google Colab, trích xuất tệp trọng số
best.pt nạp vào Jetson Nano.
- Cài đặt môi trường thực thi, lập trình giao diện người dùng trên Jetson Nano và nạp mã điều khiển cho Arduino Due.
- Trình bày hướng dẫn vận hành thiết bị bao gồm các bước bật công tắc nguồn, khởi động phần mềm, bật/tắt camera và quy trình thực hiện 6 cử chỉ tay chuẩn xác.
Chương 5: Kết quả – Nhận xét – Đánh giá
Chương 5 trình bày các kết quả thực nghiệm đạt được:
- Hình ảnh hoàn thiện cơ khí 4 mặt (trước, sau, trái, phải) của xe lăn và hộp điều khiển.
- Giao diện ứng dụng vận hành hiển thị khung hình camera, tên cử chỉ phân loại và trạng thái di chuyển.
- Đánh giá thông số mô hình AI: biểu đồ suy giảm độ mất mát (loss) trên tập huấn luyện và đánh giá, ma trận nhầm lẫn và độ chính xác phân loại 6 cử chỉ.
- Thử nghiệm thực tế điều khiển xe lăn di chuyển theo bản đồ đường đi định sẵn tại khu vực hành lang phòng Lab C306, ghi nhận thời gian đáp ứng và độ lệch quỹ đạo so với đường chuẩn.
- Bảng tổng hợp dự toán kinh phí linh kiện phục vụ đề tài.
Chương 6: Kết luận và hướng phát triển
Chương 6 tổng kết các kết quả đạt được đối chiếu với mục tiêu ban đầu: hoàn thiện mô hình xe lăn điện thực tế, ứng dụng thành công YOLOv8n và Mediapipe trên Jetson Nano, điều khiển xe ổn định qua 6 cử chỉ. Chương này cũng chỉ rõ các điểm hạn chế tồn đọng và đề xuất các giải pháp nâng cấp trong tương lai.
Kết quả và đóng góp
Kết quả thực nghiệm chính
- Thi công phần cứng: Hoàn thiện mô hình xe lăn điện tích hợp đầy đủ hệ thống máy tính nhúng, camera, màn hình cảm ứng, mạch công suất và ắc quy 24V 12Ah. Hệ thống đáp ứng dòng tải 11.530 mA với thời gian vận hành lý thuyết liên tục 1,32 giờ.
- Xây dựng tập dữ liệu: Thiết lập thành công bộ dữ liệu gồm 12.000 ảnh bàn tay chuẩn hóa ROI cho 6 lớp cử chỉ điều khiển, gán nhãn chính xác trên Roboflow.
- Hiệu năng mô hình: Huấn luyện thành công mô hình YOLOv8n qua 100 chu kỳ trên Google Colab. Mô hình đạt độ hội tụ tốt, các tham số độ lỗi (loss) trên cả tập train và validation giảm đều, ma trận nhầm lẫn thể hiện tỷ lệ nhận diện chính xác cao ở cả 6 lớp cử chỉ (
Tien1, Tien2, Lui, Trai, Phai, Dung).
- Thử nghiệm vận hành: Hệ thống nhận dạng cử chỉ thời gian thực từ webcam, truyền lệnh qua Bluetooth HC-05 sang Arduino Due với độ trễ thấp, xe lăn thực hiện chính xác các chuyển động tiến chậm, tiến nhanh, lùi, quay trái, quay phải và dừng lại trên quỹ đạo thử nghiệm tại Lab C306.
Giải pháp và đóng góp của đề tài
- Kết hợp Mediapipe và YOLOv8n: Đóng góp giải pháp tiền xử lý dữ liệu bằng cách sử dụng Mediapipe bắt 21 điểm mốc để tạo vùng ROI trước khi đưa vào mạng YOLOv8n. Kỹ thuật này giúp loại bỏ phông nền phức tạp, cho phép sử dụng phiên bản YOLO nhẹ nhất (nano) mà vẫn duy trì được độ chính xác phân loại cao, giải quyết bài toán giới hạn phần cứng trên Jetson Nano.
- Tích hợp hệ thống nhúng phân tầng: Phân tách rõ ràng giữa tầng xử lý trí tuệ nhân tạo (Jetson Nano) và tầng điều khiển chấp hành thời gian thực (Arduino Due + BTS7960) giao tiếp không dây qua Bluetooth, tăng tính an toàn, giảm tải xử lý cho vi điều khiển và dễ dàng bảo trì.
Hạn chế và hướng nghiên cứu tiếp
Hạn chế theo văn bản
- Số lượng cử chỉ: Hệ thống mới chỉ huấn luyện và nhận dạng được 6 cử chỉ tay cơ bản cố định.
- Phạm vi nhận diện: Bàn tay người điều khiển bắt buộc phải đặt đối diện camera trong khoảng cách hẹp từ 40 cm đến 50 cm.
- Điều kiện môi trường: Độ chính xác của thị giác máy tính bị suy giảm khi môi trường có ánh sáng quá yếu hoặc ngược sáng mạnh; hệ thống có thể nhận diện sai nếu người dùng thực hiện cử chỉ quá nhanh hoặc tay bị rung lắc.
- Thời lượng nguồn: Thời gian sử dụng liên tục của ắc quy còn hạn chế (~1,32 giờ ở mức tải tối đa).
Hướng phát triển đề xuất
- Cải tiến và tối ưu hóa mô hình AI để hoạt động ổn định trong các điều kiện môi trường ánh sáng phức tạp và ban đêm.
- Mở rộng thêm tập cử chỉ tay và các tư thế điều khiển linh hoạt hơn nhằm tăng tính tiện dụng cho nhiều dạng khuyết tật khác nhau.
- Tối ưu hóa thuật toán và tần số lấy mẫu để rút ngắn thời gian trễ xử lý điều khiển của xe lăn.
- Tích hợp thêm các cảm biến phụ trợ (cảm biến siêu âm, LiDAR hoặc camera chiều sâu 3D) để tăng cường tính năng tự động phát hiện và né tránh chướng ngại vật, nâng cao mức độ an toàn cho người dùng.
Giá trị tham khảo
- Đối tượng tham khảo: Tài liệu là nguồn tham khảo hữu ích cho sinh viên, học viên cao học và kỹ sư thuộc các ngành Công nghệ Kỹ thuật Điện tử - Viễn thông, Kỹ thuật Điều khiển và Tự động hóa, Cơ điện tử, Robot và Trí tuệ Nhân tạo (AIoT / Edge AI).
- Nội dung giá trị nhất:
- Phương pháp tích hợp mô hình thị giác máy tính YOLOv8 lên thiết bị nhúng NVIDIA Jetson Nano.
- Pipeline xử lý ảnh kết hợp giữa Mediapipe (trích xuất đặc trưng điểm mốc ROI) và YOLOv8n để tối ưu hóa tài nguyên phần cứng.
- Phương pháp tính toán công suất nguồn, lựa chọn mạch cầu H BTS7960 điều khiển động cơ DC công suất lớn và phân bổ kiến trúc vi điều khiển Arduino Due giao tiếp qua UART/Bluetooth.
Câu hỏi thường gặp
1. Hệ thống điều khiển xe lăn nhận diện bao nhiêu cử chỉ tay và tương ứng với các trạng thái di chuyển nào?
Theo khóa luận, hệ thống nhận dạng chính xác 6 cử chỉ tay tương ứng với 6 trạng thái hoạt động:
Tien1: Xe tiến thẳng với tốc độ chậm.Tien2: Xe tiến thẳng với tốc độ nhanh.Lui: Xe lùi về phía sau.Trai: Xe chuyển hướng rẽ trái.Phai: Xe chuyển hướng rẽ phải.Dung: Xe dừng di chuyển khẩn cấp.
2. Tại sao nhóm tác giả lại kết hợp Mediapipe với YOLOv8n thay vì chỉ dùng mạng học sâu độc lập?
Thuật toán Mediapipe của Google có khả năng trích xuất 21 điểm mốc bàn tay với chi phí tính toán rất thấp. Bằng việc sử dụng Mediapipe để tạo vùng quan tâm (ROI) quanh lòng bàn tay, hệ thống đã loại bỏ hoàn toàn các yếu tố gây nhiễu từ phông nền môi trường. Nhờ đó, nhóm nghiên cứu có thể sử dụng phiên bản YOLOv8n nhỏ nhất (8,7 triệu tham số) nhằm tăng tốc độ xử lý trên máy tính nhúng Jetson Nano mà vẫn đảm bảo độ chính xác nhận dạng cao.
3. Khối xử lý trung tâm và khối điều khiển động cơ sử dụng phần cứng nào và giao tiếp bằng phương thức gì?
Khối xử lý trung tâm sử dụng máy tính nhúng NVIDIA Jetson Nano Developer Kit (A02) để chạy mô hình AI và giao diện đồ họa. Khối điều khiển động cơ sử dụng bo mạch Arduino Due (chip AT91SAM3X8E) kết hợp 2 module cầu H BTS7960. Hai khối này truyền nhận dữ liệu điều khiển không dây với nhau thông qua Module Bluetooth HC-05 theo chuẩn giao tiếp UART.
4. Nguồn điện của hệ thống được thiết kế như thế nào và thời gian hoạt động liên tục là bao lâu?
Hệ thống sử dụng bộ ắc quy 24V dung lượng 12Ah. Nguồn được chia thành đường 24V trực tiếp cho 2 động cơ xe và các đường hạ áp 5V qua module XL4016E1 (cấp riêng cho Jetson Nano) và LM2596 (cấp cho Arduino Due, Bluetooth và mạch logic BTS7960). Tổng dòng tiêu thụ toàn mạch là 11.530 mA, tổng công suất là 272,65 W. Theo tính toán lý thuyết với hệ số xả $\eta = 0,7$, hệ thống hoạt động liên tục được khoảng 1,32 giờ.
5. Tập dữ liệu hình ảnh được thu thập và phân chia như thế nào để huấn luyện mô hình?
Tập dữ liệu gồm 12.000 ảnh kích thước 300x300 pixel thu thập từ 6 người (5 nam, 1 nữ) tại 3 điều kiện ánh sáng (trong phòng, giữa trưa, chiều tà), mỗi cử chỉ thu thập 2.000 ảnh. Dữ liệu được chia theo tỷ lệ 80/20, bao gồm 9.600 ảnh dùng cho tập huấn luyện (1.600 ảnh/cử chỉ) và 2.400 ảnh dùng cho tập đánh giá (400 ảnh/cử chỉ), gán nhãn bounding box qua Roboflow.
Kết luận
Khóa luận tốt nghiệp của sinh viên Mai Thành Gió và Trương Tấn Kiệt đã hoàn thành trọn vẹn mục tiêu thiết kế và thi công hệ thống điều khiển xe lăn điện bằng cử chỉ tay sử dụng trí tuệ nhân tạo. Bằng việc kết hợp hiệu quả giữa máy tính nhúng Jetson Nano chạy mô hình YOLOv8n kết hợp Mediapipe và vi điều khiển Arduino Due điều khiển công suất BTS7960, hệ thống cho phép nhận diện thời gian thực 6 trạng thái điều hướng chính xác. Công trình mang tính ứng dụng thực tiễn cao đối với lĩnh vực thiết bị hỗ trợ người khuyết tật vận động, đồng thời cung cấp giải pháp kỹ thuật mẫu mực về triển khai thị giác máy tính trên phần cứng nhúng.
