Bối cảnh và vấn đề nghiên cứu
Sự phát triển của trí tuệ nhân tạo và kỹ thuật điều khiển tự động đã thúc đẩy quá trình chế tạo các dòng robot di động thông minh có khả năng nhận thức môi trường và tự đưa ra quyết định di chuyển. Trong lĩnh vực y tế và đời sống dân sinh, robot hỗ trợ người cao tuổi và người khuyết tật là một nhánh nghiên cứu mang tính ứng dụng thực tiễn cao. Người cao tuổi thường gặp nhiều khó khăn trong việc vận chuyển, khuân vác các đồ vật nặng trong sinh hoạt hàng ngày, đồng thời luôn đối mặt với rủi ro té ngã bất ngờ dẫn đến các chấn thương nghiêm trọng. Xuất phát từ bối cảnh đó, đề tài "Thiết kế và thi công mô hình robot di động hỗ trợ khuân vác đồ vật và phát hiện té ngã cho người cao tuổi" được thực hiện bởi sinh viên Nguyễn Tài Tuệ và Nguyễn Trọng Tín, dưới sự hướng dẫn của TS. Dương Minh Thiện tại Khoa Điện – Điện tử, Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh.
Mục tiêu nghiên cứu của đề tài được tác giả xác định cụ thể:
- Thiết kế mô hình robot di động hỗ trợ người cao tuổi khuân vác đồ dùng trong gia đình hoặc hỗ trợ chở hàng hóa trong siêu thị với tải trọng lên đến 20kg.
- Xây dựng hệ thống theo dõi người sử dụng và phát hiện, cảnh báo cho người xung quanh hoặc người thân khi người cao tuổi gặp sự cố té ngã.
- Đảm bảo hệ thống vận hành an toàn, tin cậy và có khả năng tự dừng chính xác khi gặp vật cản trên đường di chuyển trong không gian trong nhà.
Nhiệm vụ nghiên cứu được phân chia thành 6 nội dung:
- Thiết kế robot di động hệ dẫn động hai bánh vi sai có khả năng bám theo người dùng trong nhà và siêu thị.
- Thiết kế kết cấu cơ khí trên phần mềm SolidWorks, thi công mạch điều khiển điện tử, xây dựng firmware nhúng và phần mềm ứng dụng.
- Khảo sát và thiết lập mô hình động học của hệ robot hai bánh vi sai.
- Thiết kế và cân chỉnh bộ điều khiển PID nhằm ổn định vận tốc động cơ.
- Xây dựng thuật toán thị giác máy tính phục vụ nhận diện người mục tiêu và phát hiện trạng thái té ngã.
- Phát triển thuật toán nhận biết khoảng cách an toàn và dừng xe khẩn cấp khi gặp vật cản.
Đối tượng và phạm vi nghiên cứu:
- Đối tượng nghiên cứu: Robot di động hai bánh vi sai bám người, kỹ thuật thị giác máy tính nhận diện và bám đối tượng, thuật toán học sâu nhận biết tư thế và phát hiện té ngã.
- Phạm vi không gian: Môi trường trong nhà và siêu thị với bề mặt sàn bằng phẳng.
- Phạm vi thời gian: Đồ án được hoàn thành và nghiệm thu vào tháng 06/2025.
- Giới hạn kỹ thuật: Góc quan sát của camera giới hạn từ -25 độ đến 25 độ; thuật toán nhận diện té ngã chỉ kích hoạt khi robot ở trạng thái đứng yên; robot chỉ dừng khi gặp vật cản chứ chưa thực hiện chuyển hướng tránh vật cản tự động.
Cơ sở lý thuyết và phương pháp
Khung lý thuyết và mô hình toán học sử dụng trong đồ án bao gồm:
- Động học robot hai bánh vi sai: Thiết lập hệ tọa độ toàn cục ${x_w, y_w}$ và hệ tọa độ cục bộ gắn trên robot ${x_r, y_r}$, xác định vị trí tâm quay tức thời (ICC). Phương trình động học thuận mô tả mối quan hệ giữa vận tốc dài $v$, vận tốc góc $\omega$ của robot với vận tốc dài bánh phải $v_R$ và bánh trái $v_L$ qua khoảng cách hai tâm bánh xe $L$ và bán kính bánh $r$. Phương trình động học nghịch chuyển đổi yêu cầu chuyển động thành tốc độ vòng quay $n_R, n_L$ (đơn vị RPM) của hai động cơ dẫn động.
- Bộ điều khiển PID: Ứng dụng giải thuật điều khiển tỉ lệ - tích phân - vi phân (Proportional - Integral - Derivative) cho hệ một ngõ vào một ngõ ra (SISO) nhằm triệt tiêu sai số xác lập và điều khiển chính xác vận tốc động cơ theo giá trị đặt.
- Xử lý ảnh và thị giác máy tính: Xử lý kết hợp giữa dữ liệu ảnh màu RGB (cung cấp thông tin quang phổ) và ảnh chiều sâu (Depth map - cung cấp khoảng cách vật lý 3D từ cảm biến đến từng pixel).
- Hiệu chỉnh camera (Calibration): Ứng dụng phương pháp hiệu chỉnh hình học với mẫu bàn cờ kích thước 8x6 ô. Thuật toán khôi phục ma trận tham số nội tại $K$ (gồm tiêu cự $f_x, f_y$, tọa độ điểm gốc quang học $c_x, c_y$) và ma trận tham số ngoại tại $[R|t]$ (ma trận quay và vector tịnh tiến) nhằm khử méo thấu kính và ánh xạ chính xác tọa độ không gian 3D sang mặt phẳng ảnh 2D.
- Mô hình phát hiện đối tượng YOLO11n: Kiến trúc mạng nơ-ron tích chập phiên bản nano của Ultralytics gồm các khối tích chập chuẩn hóa SiLU, khối Bottleneck, khối C3K2 tối ưu hóa tính toán với kernel 3x3, mô-đun SPFF (Spatial Pyramid Pooling Fast), khối C2PSA tập trung không gian và đầu dự đoán đa thang đo (Multi-Scale Prediction Head). Mô hình giảm 22% số lượng tham số so với YOLOv8n.
- Thuật toán theo dõi đối tượng DeepSORT: Kết hợp bộ lọc Kalman để dự đoán quỹ đạo với giải thuật liên kết dữ liệu Hungarian dựa trên khoảng cách không gian (IOU) và vector đặc trưng ngoại hình trích xuất từ mạng nơ-ron tích chập (CNN), cho phép duy trì ID cố định của người mục tiêu khi bị che khuất tạm thời.
- Ước lượng tư thế MediaPipe Pose: Trích xuất tọa độ 3D của 33 điểm mốc khớp xương (Keypoints) trên cơ thể người từ khung ảnh chứa đối tượng.
- Mô hình mạng GRU (Gated Recurrent Unit): Mạng nơ-ron hồi tiếp với hai cổng chức năng (Reset Gate và Update Gate) dùng để phân tích chuỗi biến đổi thời gian của 33 keypoints, từ đó phân loại trạng thái cơ thể thành hai nhóm: ngã (
fall) và không ngã (not_fall).
Phương pháp nghiên cứu thực nghiệm:
- Phương pháp thu thập dữ liệu: Nhóm tác giả tự ghi hình video từ camera gắn trên robot tại các góc độ thực tế, chia cắt thành từng khung hình và gán nhãn thủ công cho các trạng thái: đứng, ngồi, đi, ngã ngửa ra sau, ngã xéo về trước, ngã về phía trước.
- Phương pháp thực nghiệm kiểm chứng: Chạy mô phỏng kiểm tra quỹ đạo và bộ điều khiển trên máy tính; sau đó nạp chương trình vào phần cứng thực tế để đánh giá sai số bám vận tốc bánh xe, khả năng bám người qua ảnh depth, phản hồi của cảm biến siêu âm khi có vật cản và độ chính xác của mạng GRU trên 12 trường hợp thử nghiệm.
Thiết kế và triển khai
Hệ thống được thiết kế theo cấu trúc phân tầng gồm hai phần chính: tầng tính toán xử lý ảnh cấp cao và tầng chấp hành điều khiển nhúng cấp thấp.
| Phân hệ / Linh kiện |
Thông số kỹ thuật chi tiết |
Vai trò và chức năng trong hệ thống |
| Bộ xử lý nhúng |
Arduino Mega 2560 |
Nhận và xử lý chuỗi dữ liệu JSON từ máy tính, thực thi thuật toán PID, phát xung PWM điều khiển động cơ và đọc cảm biến siêu âm. |
| Động cơ dẫn động |
Động cơ Planet 24VDC, 60W, 320 RPM (kèm Encoder) |
Truyền động trực tiếp cho 2 bánh xe vi sai chính, phản hồi tín hiệu xung về vi điều khiển để đo vận tốc. |
| Mạch công suất |
BTS7960 High-Power Motor Driver |
Mạch cầu H công suất cao điều chế độ rộng xung (PWM) và đảo chiều quay động cơ. |
| Cảm biến thị giác |
Camera Orbbec Astra Pro |
Cung cấp luồng video RGB độ phân giải cao và bản đồ chiều sâu Depth phục vụ thuật toán nhận diện, đo khoảng cách và góc lệch. |
| Cảm biến an toàn |
Cảm biến siêu âm HC-SR04 |
Đo khoảng cách trực tiếp đến vật cản phía trước robot trong phạm vi gần, kích hoạt lệnh dừng khẩn cấp. |
| Module truyền thông |
Module SIMA7680 |
Hỗ trợ kết nối mạng viễn thông, truyền dữ liệu và phát tín hiệu cảnh báo khẩn cấp khi người dùng té ngã. |
| Nguồn cấp điện |
Pin Lithium-ion 24V |
Cung cấp năng lượng độc lập cho toàn bộ động cơ và hệ thống mạch điều khiển. |
| Kết cấu cơ khí |
Khung hợp kim nhôm, 2 bánh dẫn động + bánh đa hướng |
Bản vẽ SolidWorks 2D/3D phần đế, thân và vỏ ngoài; khoang chứa đồ có tải trọng thiết kế 20kg. |
Quy trình vận hành phần mềm:
- Camera Astra Pro thu nhận luồng hình ảnh RGB và dữ liệu chiều sâu; dữ liệu được hiệu chỉnh hình học dựa trên ma trận hiệu chỉnh từ bàn cờ 8x6.
- Khung hình được chuyển qua mô hình YOLO11n để xác định vị trí người dùng qua khung bao (Bounding box).
- Thuật toán DeepSORT tiếp nhận bounding box, gán và duy trì ID người mục tiêu dựa trên khoảng cách ban đầu, tránh nhầm lẫn khi có người khác di chuyển ngang qua.
- Hệ thống trích xuất tọa độ pixel tâm của người mục tiêu so với tâm ảnh để tính toán góc lệch hướng, đồng thời đọc giá trị chiều sâu tương ứng để xác định cự ly vật lý thực tế.
- Mô hình MediaPipe Pose trích xuất tọa độ 33 điểm khớp xương cơ thể bên trong bounding box, định dạng thành chuỗi vector thời gian và đưa vào mạng GRU để phân loại trạng thái té ngã.
- Máy tính đóng gói các thông số điều khiển (vận tốc góc, vận tốc dài hoặc trạng thái ngã) thành cấu trúc chuỗi JSON gửi xuống Arduino Mega 2560 qua cổng Serial.
- Arduino Mega 2560 giải mã JSON, tính toán tín hiệu điều khiển bằng thuật toán PID và xuất xung điều khiển driver BTS7960. Đồng thời, ngắt đọc cảm biến HC-SR04 liên tục kiểm tra; nếu khoảng cách đến vật cản nhỏ hơn ngưỡng an toàn, hệ thống lập tức ngắt động cơ để robot dừng lại.
Nội dung chính theo từng chương
Chương 1: Giới thiệu
Chương này tổng quan về sự phát triển của công nghệ robot thông minh và phân tích nhu cầu ứng dụng thực tế trong hỗ trợ y tế, chăm sóc người cao tuổi. Tác giả khảo sát tình hình nghiên cứu robot di động tự hành (AMR) trên thế giới thông qua các sản phẩm thương mại tiêu biểu như Gitamini của hãng Piaggio Fast Forward, robot Savioke Relay, PuduBot2 của Pudu Robotics và robot giao hàng của Twinsheel. Tại Việt Nam, các sản phẩm như AGV Picking của Viettel hay NextArm của tập đoàn FPT được điểm qua. Tác giả cũng tổng hợp 4 đề tài nghiên cứu liên quan về robot di động và xe tự hành của các khóa K19, K20 tại Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh (do PGS.TS Vũ Văn Phong, TS. Trần Vi Đô và ThS. Huỳnh Quốc Dân hướng dẫn). Từ đó, đề tài xác định rõ mục tiêu, nội dung, phương pháp nghiên cứu, đối tượng nghiên cứu và giới hạn kỹ thuật của hệ thống.
Chương 2: Cơ sở lý thuyết
Chương 2 trình bày toàn bộ nền tảng toán học và giải thuật được ứng dụng trong đề tài:
- Thiết lập chi tiết phương trình động học thuận và nghịch của robot hai bánh vi sai, phân tích vận tốc bánh xe ($v_R, v_L$) dựa trên bán kính bánh $r$ và cự ly $L$.
- Cấu trúc bộ điều khiển PID với ba thành phần $P_{out}, I_{out}, D_{out}$ điều khiển vòng kín cho hệ SISO.
- Quy trình xử lý ảnh 10 bước theo chuẩn VinBigData (2023), nguyên lý hệ màu RGB và biểu diễn ma trận ảnh Depth.
- Toán học hiệu chỉnh camera: Khử biến dạng xuyên tâm, xác định mối quan hệ giữa điểm 3D thế giới thực ($X_w, Y_w, Z_w$) với tọa độ điểm ảnh ($u, v$) thông qua ma trận chiếu $P = K [R|t]$.
- Cấu tạo mạng YOLO11: Phân tích sâu các khối chức năng Conv (kèm SiLU), Bottleneck, khối C3K2 với kernel 3x3, khối SPPF gom đặc trưng đa tỷ lệ, khối C2PSA tăng cường chú ý không gian và Multi-scale Head.
- Cơ chế bám đối tượng của DeepSORT thông qua quy trình ba bước: Phát hiện (Detect), Dự đoán (Predict bằng Kalman Filter) và Liên kết (Associate bằng Hungarian kết hợp trích xuất đặc trưng ngoại hình từ CNN).
- Khung nhận diện MediaPipe Pose với bảng danh mục 33 keypoints tọa độ 3D và nguyên lý cấu tạo mạng hồi tiếp GRU sử dụng Reset Gate cùng Update Gate nhằm chống suy giảm gradient trên chuỗi dữ liệu dài.
Chương 3: Thiết kế phần cứng
Chương 3 tập trung vào thiết kế kỹ thuật và chế tạo phần cứng robot:
- Xác định chỉ tiêu tải trọng 20kg trên nền phẳng. Thiết kế cơ khí trên SolidWorks bao gồm bản vẽ 2D/3D phần đế chịu lực, hệ thống bánh dẫn động chính, bánh xe đa hướng, thân xe, vỏ ngoài và hộp điều khiển.
- Tính toán lựa chọn động cơ DC giảm tốc Planet 24V 60W 320RPM và bộ nguồn Pin Lithium-ion 24V đáp ứng đủ công suất và thời gian hoạt động.
- Lựa chọn vi điều khiển Arduino Mega 2560, mạch công suất BTS7960, camera chiều sâu Astra Pro, cảm biến siêu âm HC-SR04 và module truyền thông SIMA7680.
- Thiết kế sơ đồ nguyên lý mạch điều khiển, thiết kế layout mạch in PCB dạng 2D/3D và gia công mạch thực tế, hoàn thiện lắp ráp tổng thể hệ thống cơ khí - điện tử.
Chương 4: Xây dựng phần mềm
Chương này mô tả chi tiết quy trình xây dựng các giải thuật phần mềm và điều khiển nhúng:
- Xây dựng lưu đồ giải thuật tổng quát mô tả hoạt động của robot từ lúc khởi động, quét tìm người dùng đến lúc điều hướng bám theo hoặc cảnh báo té ngã.
- Thực hiện hiệu chỉnh camera thực tế với bàn cờ 8x6 để thu được các tham số thấu kính chính xác.
- Thu thập và chuẩn bị tập dữ liệu ảnh từ góc nhìn robot, phân chia dữ liệu thành tập huấn luyện (train) và tập kiểm thử (val), tiến hành huấn luyện mô hình YOLO11n nhận diện người ở các tư thế khác nhau.
- Tích hợp giải thuật DeepSORT để theo dõi người, lập trình module chọn và cố định người mục tiêu dựa trên khoảng cách ban đầu.
- Trích xuất 33 keypoints từ MediaPipe, chuẩn hóa chuỗi dữ liệu đầu vào và huấn luyện mạng GRU để phân loại trạng thái té ngã với các thông số cấu hình cụ thể.
- Xây dựng thuật toán bám người: Tính toán độ chênh lệch pixel giữa người và tâm ảnh để xác định góc lệch quay xe, kết hợp giá trị chiều sâu từ Astra Pro để tính khoảng cách thực tế.
- Lập trình firmware cho Arduino Mega 2560: Xử lý chuỗi JSON nhận từ cổng nối tiếp, cài đặt giải thuật PID điều khiển tốc độ động cơ và giải thuật ngắt dừng khẩn cấp khi cảm biến siêu âm HC-SR04 phát hiện vật cản.
Chương 5: Kết quả mô phỏng và thực nghiệm
Tác giả trình bày kết quả đánh giá hệ thống qua hai giai đoạn:
- Kết quả mô phỏng: Mô phỏng động học robot vi sai bám theo các quỹ đạo khác nhau (quỹ đạo tròn cùng chiều kim đồng hồ, quỹ đạo thẳng, quỹ đạo tròn ngược chiều kim đồng hồ); mô phỏng kiểm tra đáp ứng vận tốc của động cơ trái và động cơ phải qua bộ điều khiển PID; đánh giá các đường cong suy giảm hàm mất mát (loss) khi huấn luyện YOLO11n và mạng GRU.
- Kết quả thực nghiệm:
- Điều khiển vận tốc động cơ: Đồ thị đáp ứng thực tế của động cơ trái và bánh phải bám sát giá trị đặt ở các mốc tốc độ 40 RPM, 70 RPM và 96 RPM.
- Kiểm thử theo dõi đối tượng: Thuật toán giữ mục tiêu hoạt động ổn định khi có người khác xuất hiện cắt ngang làm nhiễu.
- Kiểm thử điều hướng: Robot chuyển hướng mượt mà khi thực hiện các tác vụ rẽ trái, rẽ phải và đi thẳng (được đối chiếu qua cả góc nhìn của camera robot và góc nhìn của người quan sát bên ngoài).
- Kiểm thử an toàn: Robot dừng chuyển động ngay lập tức khi gặp vật cản phía trước và tự động kích hoạt di chuyển trở lại khi vật cản được loại bỏ.
- Kiểm thử phát hiện té ngã: Đồ án ghi nhận kết quả thực nghiệm chi tiết trên 12 trường hợp người thử nghiệm (từ Người 1 đến Người 12) ở các tư thế ngã và đứng.
- Phân tích lỗi: Ghi nhận và chụp lại các trường hợp nhận diện không chính xác khi người mục tiêu di chuyển lệch ra ngoài góc nhìn [-25°, 25°], trường hợp cơ thể bị che khuất khiến MediaPipe không trích xuất đủ khung xương, và một số trường hợp nhận định nhầm trạng thái té ngã.
Chương 6: Kết luận và hướng phát triển
Tóm lược các hạng mục đã hoàn thành về phần cứng, phần mềm và các hạn chế thực tế cần khắc phục trong tương lai.
Kết quả và đóng góp
Kết quả thực nghiệm chính của đề tài:
- Chế tạo hoàn chỉnh mô hình robot di động hệ hai bánh vi sai có kết cấu cơ khí chắc chắn, mang tải hàng hóa đạt mức 20kg.
- Bộ điều khiển PID kiểm soát chính xác vận tốc động cơ với đáp ứng ổn định ở cả 3 dải vận tốc thử nghiệm: 40 RPM, 70 RPM và 96 RPM.
- Ứng dụng thành công mô hình mạng YOLO11n và thuật toán DeepSORT giúp phát hiện người và duy trì ID người mục tiêu trong luồng video thời gian thực, không bị mất dấu khi có người lạ cắt ngang.
- Tích hợp thành công mô hình ước lượng tư thế MediaPipe Pose kết hợp mạng GRU phân loại chính xác các trạng thái té ngã từ dữ liệu chuỗi thời gian của 33 điểm mốc cơ thể khi xe đứng yên.
- Cảm biến siêu âm HC-SR04 can thiệp ngắt động cơ nhanh chóng, đảm bảo an toàn tuyệt đối khi phát hiện vật cản trước mặt và cho phép robot tiếp tục hành trình khi lối đi thông thoáng.
Đóng góp khoa học và kỹ thuật do nhóm tác giả tự nêu:
- Ứng dụng kiến trúc thị giác tiên tiến YOLO11n vào bài toán bám người, tận dụng ưu thế giảm 22% số tham số so với YOLOv8n để tăng tốc độ xử lý trên thiết bị nhúng.
- Kết hợp giải thuật trích xuất điểm xương MediaPipe Pose với mạng nơ-ron hồi tiếp GRU, giúp việc nhận diện té ngã dựa trên chuỗi cử động thực tế thay vì chỉ phân tích hình dáng khung bao 2D tĩnh.
- Xây dựng hoàn chỉnh một giải pháp tích hợp liên ngành từ thiết kế cơ khí 3D, thiết kế chế tạo mạch in PCB điều khiển công suất đến xử lý thị giác máy tính và học sâu trên cùng một mô hình thực tế phục vụ người cao tuổi.
Giải pháp và đề xuất cải tiến của tác giả:
- Mở rộng thuật toán để nhận diện té ngã ngay cả trong lúc robot đang di chuyển.
- Tích hợp thêm cảm biến hoặc cơ cấu xoay camera nhằm khắc phục hạn chế góc nhìn hẹp.
Hạn chế và hướng nghiên cứu tiếp
Các hạn chế được chỉ rõ trong văn bản:
- Địa hình di chuyển: Robot chỉ hoạt động tốt trên các mặt sàn phẳng trong nhà, chưa thể di chuyển trên địa hình gồ ghề ngoài trời hoặc môi trường khắc nghiệt.
- Giới hạn góc nhìn: Tầm quan sát quang học của cụm camera Astra Pro chỉ nằm trong dải góc từ -25 độ đến 25 độ; nếu người di chuyển ra khỏi khoảng này, robot sẽ mất dấu hoặc điều hướng sai lệch.
- Điều kiện phát hiện té ngã: Hệ thống hiện chỉ hỗ trợ nhận diện té ngã chính xác khi robot đang ở trạng thái dừng yên.
- Hiện tượng che khuất: Khi các bộ phận trên cơ thể người bị đồ vật hoặc vật cản che khuất một phần, MediaPipe không trích xuất đủ 33 keypoints, dẫn đến mạng GRU đưa ra kết quả phân loại sai lệch.
- Phản ứng với vật cản: Hệ thống mới chỉ dừng lại khi phát hiện vật cản thông qua cảm biến siêu âm, chưa phát triển giải thuật định tuyến để tự động chuyển hướng tránh vật cản.
Hướng nghiên cứu tiếp theo:
- Nghiên cứu thuật toán phát hiện té ngã động khi robot đang trong quá trình chuyển động bám theo người.
- Phát triển giải thuật lập quỹ đạo tự động tránh vật cản (obstacle avoidance) thay vì chỉ dừng lại.
- Nâng cấp hệ thống chuyển động cơ khí để robot có thể thích ứng với nhiều bề mặt địa hình phức tạp khác nhau.
- Tối ưu hóa mô hình xử lý khung xương khi bị che khuất một phần và mở rộng phạm vi góc nhìn của hệ thống thị giác.
Giá trị tham khảo
Đồ án là tài liệu tham khảo hữu ích cho:
- Sinh viên và học viên: Thuộc các chuyên ngành Công nghệ Kỹ thuật Điều khiển và Tự động hóa, Cơ điện tử, Kỹ thuật Robot, Điện tử - Viễn thông và Khoa học Máy tính / Trí tuệ Nhân tạo.
- Người làm đề tài tương tự: Các nhóm nghiên cứu về robot di động tự hành (AMR/AGV), xe bám người thông minh (human-following mobile robot), hệ thống giám sát y tế và cảnh báo rủi ro cho người già.
- Các phần có giá trị tham khảo chuyên sâu:
- Quy trình thiết kế cơ khí 3D và phương pháp thiết kế, thi công mạch in PCB thực tế cho hệ thống điều khiển công suất dùng BTS7960 và vi điều khiển Arduino.
- Phương pháp hiệu chỉnh thấu kính camera bằng bàn cờ 8x6 và kỹ thuật đồng bộ giữa ảnh màu RGB với bản đồ chiều sâu Depth từ camera Orbbec Astra Pro.
- Quy trình thu thập, gán nhãn tập dữ liệu video góc nhìn thấp và huấn luyện mạng YOLO11n.
- Kỹ thuật kết hợp 33 keypoints của MediaPipe Pose với mạng GRU để phân tích hành động theo chuỗi thời gian.
- Giao thức truyền thông điều khiển nối tiếp giữa máy tính xử lý thị giác và vi điều khiển nhúng bằng định dạng dữ liệu JSON.
Câu hỏi thường gặp
1. Đồ án sử dụng camera nào và việc xác định vị trí, khoảng cách của người mục tiêu được thực hiện ra sao?
Robot sử dụng camera Orbbec Astra Pro cung cấp đồng thời ảnh RGB và ảnh chiều sâu (Depth). Hệ thống xác định khung bao người qua YOLO11n, dùng DeepSORT gán ID người mục tiêu, sau đó tính toán độ lệch giữa tâm pixel của người với tâm ảnh để xác định góc lệch quay xe, đồng thời truy xuất trực tiếp giá trị độ sâu tại vùng ảnh tương ứng để tính khoảng cách vật lý thực tế giữa người và robot.
2. Quá trình phát hiện té ngã trên robot được phối hợp giữa những thuật toán nào?
Quá trình này kết hợp giữa mô hình MediaPipe Pose và mạng nơ-ron hồi tiếp GRU (Gated Recurrent Unit). MediaPipe Pose trích xuất tọa độ 3D của 33 điểm mốc khớp xương từ ảnh đối tượng, sau đó chuỗi tọa độ này được đưa vào mạng GRU (sử dụng Reset Gate và Update Gate) để phân tích sự thay đổi tư thế theo thời gian và phân loại thành trạng thái ngã (fall) hoặc không ngã (not_fall).
3. Theo nội dung chỉnh sửa sau phản biện, khả năng phản ứng với vật cản của robot được xác nhận như thế nào?
Theo biên bản xác nhận chỉnh sửa đồ án, mô hình robot di động chỉ có khả năng nhận biết vật cản bằng cảm biến siêu âm HC-SR04 và tự động dừng lại khi khoảng cách nhỏ hơn ngưỡng an toàn; khả năng tự động chuyển hướng tránh vật cản chưa được thể hiện và thực nghiệm trong báo cáo. Khi vật cản rời đi, robot sẽ tiếp tục di chuyển.
4. Hệ thống dẫn động sử dụng loại động cơ nào và thuật toán điều khiển vận tốc được thử nghiệm ở những dải tốc độ nào?
Robot sử dụng hai động cơ DC giảm tốc Planet 24V 60W tốc độ 320 RPM có gắn encoder, được điều khiển bằng mạch cầu H BTS7960. Nhóm tác giả xây dựng thuật toán điều khiển PID trên Arduino Mega 2560 và đã kiểm nghiệm thực tế đáp ứng tốc độ của bánh xe trái và bánh xe phải tại 3 mốc vận tốc đặt: 40 RPM, 70 RPM và 96 RPM.
5. Giới hạn về góc nhìn và điều kiện nhận diện té ngã của mô hình là gì?
Tầm nhìn thị giác của robot bị giới hạn trong phạm vi góc từ -25 độ đến 25 độ, nếu người di chuyển ra ngoài dải này robot sẽ không thể điều hướng chính xác. Đồng thời, nghiên cứu chỉ tập trung nhận diện người cao tuổi té ngã khi xe đang ở trạng thái đứng yên.
Kết luận
Đồ án tốt nghiệp của sinh viên Nguyễn Tài Tuệ và Nguyễn Trọng Tín đã thiết kế và thi công thành công mô hình robot di động hai bánh vi sai hỗ trợ khuân vác tải trọng 20kg và phát hiện té ngã cho người cao tuổi. Bằng cách tích hợp sâu giữa phần cứng nhúng Arduino Mega 2560, driver BTS7960 với hệ thống thị giác máy tính hiện đại gồm YOLO11n, DeepSORT, MediaPipe Pose và mạng GRU, robot có thể tự động bám theo người dùng và cảnh báo té ngã chính xác trong nhà. Mặc dù vẫn còn một số giới hạn về góc quan sát của camera và chưa thể tự động chuyển hướng tránh vật cản, công trình đã hoàn thành toàn diện các mục tiêu đề ra và mở ra hướng ứng dụng thiết thực trong lĩnh vực robot y tế phục vụ cộng đồng.