Đồ Án Tốt Nghiệp: Thiết Kế Và Chế Tạo Cánh Tay Robot Hỗ Trợ Giảng Dạy Ngôn Ngữ Ký Hiệu Cho Trẻ Em Câm Điếc

• Tác giả: Trương Nghệ Nhân
• Người hướng dẫn: PGS. Nguyễn Thanh Hải
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
• Chuyên ngành: Công Nghệ Kỹ Thuật Điện Tử - Viễn Thông
• Đề tài: Thiết Kế Cánh Tay Robot Hỗ Trợ Giảng Dạy Ngôn Ngữ Ký Hiệu Cho Trẻ Em Câm Điếc
• Loại tài liệu: Đồ Án Tốt Nghiệp
• Năm xuất bản: 2022
• Địa điểm: Tp. Hồ Chí Minh

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: MỤC TIÊU ĐỀ TÀI
• 1.1. Đối tượng và phạm vi nghiên cứu
• 1.2. Nội dung nghiên cứu
• 1.3. Các nghiên cứu đã thực hiện
• 1.4. Cánh tay robot Aslan
• 1.5. Nhận diện ngôn ngữ kí hiệu dựa trên YoloV5
• 1.6. Nhận diện ngôn ngữ kí hiệu sử dụng MediaPipe và Long Short-Term Memory
• 1.7. Ngôn ngữ kí hiệu Việt Nam
• 1.8. Phát hiện vật thể (Object Detection)
• 1.9. Mạng xương sống CSPDarknet
• 1.10. You Only Look Once (YOLO)
• 1.11. Nhận dạng hành động (Action Recognition)
• 1.12. Recurrent Neural Network (RNNs)
• 1.13. Gated Recurrent Units (GRUs)
• 1.14. Thư viện MediaPipe Hand
• 1.15. Các phương pháp đánh giá
• 1.16. Giới thiệu phần cứng
• 1.17. Động cơ bước Nema 17 tỉ số 3969/289
• 1.18. Module Adafruit PWM/Servo driver PCA9685
• 1.19. Màn hình cảm ứng điện dung Waveshare LCD (C)
• 2. CHƯƠNG 2: THIẾT KẾ HỆ THỐNG
• 2.1. Thiết kế phần cứng
• 2.2. Thiết kế phần cứng cơ khí
• 2.3. Thiết kế mạch điều khiển
• 2.4. Phần mềm và thuật toán
• 2.4.1. Kiến trúc mạng mô hình nhận diện cử chỉ tĩnh YoloV5
• 2.4.2. Kiến trúc mạng của mô hình nhận diện cử chỉ động
• 2.4.3. Thiết kế giao diện
• 2.4.4. Các Framework xây dựng mô hình mạng
• 3. CHƯƠNG 3: THI CÔNG VÀ THỰC NGHIỆM
• 3.1. Thi công phần cứng
• 3.2. Lắp ráp cánh tay giả
• 3.3. Thi công board mạch
• 3.4. Các thực nghiệm cho nhận diện cử chỉ tĩnh
• 3.4.1. Thu thập và tăng cường dữ liệu
• 3.4.2. Huấn luyện mô hình YoloV5
• 3.5. Các thực nghiệm cho nhận diện cử chỉ động
• 3.5.1. Huấn luyện mô hình GRUs
• 3.5.2. Thu thập dữ liệu
• 3.6. Xây dựng giao diện tương tác
• 4. CHƯƠNG 4: KẾT QUẢ - NHẬN XÉT - ĐÁNH GIÁ
• 4.1. Mô hình phần cứng của hệ thống
• 4.2. Mô hình phát hiện cử chỉ tĩnh
• 4.3. Mô hình nhận diện cử chỉ động
• 4.4. Giao diện tương tác với người học
• 4.5. Nhận xét và đánh giá
• 4.6. Tài liệu hướng dẫn sử dụng
• 4.7. Dự toán chi phí thi công
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Hướng phát triển
• TÀI LIỆU THAM KHẢO

I. Tổng quan về thiết kế cánh tay robot hỗ trợ giảng dạy ngôn ngữ ký hiệu

Thiết kế cánh tay robot hỗ trợ giảng dạy ngôn ngữ ký hiệu cho trẻ em câm điếc là một sáng kiến quan trọng trong giáo dục hiện đại. Với sự phát triển của công nghệ, việc áp dụng robot vào giảng dạy không chỉ giúp trẻ em tiếp cận ngôn ngữ một cách dễ dàng hơn mà còn tạo ra môi trường học tập tương tác và thú vị. Cánh tay robot có khả năng thực hiện các cử chỉ của ngôn ngữ ký hiệu, giúp trẻ em học hỏi một cách trực quan và sinh động.

1.1. Nguyên lý hoạt động của cánh tay robot trong giảng dạy

Cánh tay robot hoạt động dựa trên các thuật toán điều khiển và nhận diện cử chỉ. Sử dụng các cảm biến và vi điều khiển, robot có thể thực hiện các động tác chính xác theo yêu cầu của người học. Điều này giúp trẻ em câm điếc dễ dàng tiếp cận và học hỏi ngôn ngữ ký hiệu một cách tự nhiên.

1.2. Lợi ích của việc sử dụng cánh tay robot trong giáo dục

Việc sử dụng cánh tay robot trong giảng dạy ngôn ngữ ký hiệu mang lại nhiều lợi ích. Nó không chỉ giúp trẻ em câm điếc học hỏi một cách hiệu quả mà còn tạo ra sự hứng thú trong quá trình học tập. Hơn nữa, robot có thể hoạt động liên tục mà không cần nghỉ ngơi, giúp trẻ em có nhiều thời gian thực hành hơn.

II. Thách thức trong việc giảng dạy ngôn ngữ ký hiệu cho trẻ em câm điếc

Giảng dạy ngôn ngữ ký hiệu cho trẻ em câm điếc gặp nhiều thách thức. Một trong những vấn đề lớn nhất là thiếu giáo viên có chuyên môn. Hầu hết giáo viên dạy ngôn ngữ ký hiệu tập trung ở các thành phố lớn, trong khi đó, trẻ em ở vùng sâu vùng xa lại không có cơ hội tiếp cận. Điều này dẫn đến việc trẻ em không được học tập đầy đủ và gặp khó khăn trong giao tiếp.

2.1. Thiếu nguồn lực giáo dục cho trẻ em câm điếc

Nhiều trẻ em câm điếc không có cơ hội tiếp cận với giáo dục mầm non do thiếu giáo viên dạy ngôn ngữ ký hiệu. Điều này tạo ra một khoảng cách lớn trong việc phát triển ngôn ngữ và giao tiếp của trẻ em.

2.2. Rào cản trong việc học ngôn ngữ ký hiệu

Ngôn ngữ ký hiệu là một ngôn ngữ tượng hình, đòi hỏi sự chỉ dẫn và kèm cặp của giáo viên. Việc thiếu giáo viên có thể dẫn đến việc trẻ em không thể học hỏi một cách hiệu quả, gây khó khăn trong việc giao tiếp với người khác.

III. Phương pháp thiết kế cánh tay robot hỗ trợ giảng dạy

Phương pháp thiết kế cánh tay robot bao gồm việc sử dụng các công nghệ hiện đại như vi điều khiển, cảm biến và thuật toán học sâu. Cánh tay robot được thiết kế để thực hiện các cử chỉ của ngôn ngữ ký hiệu một cách chính xác và linh hoạt. Điều này giúp trẻ em câm điếc học hỏi một cách dễ dàng và hiệu quả hơn.

3.1. Thiết kế phần cứng cánh tay robot

Phần cứng của cánh tay robot bao gồm các động cơ servo, vi điều khiển Arduino và các cảm biến. Thiết kế này cho phép cánh tay robot thực hiện các cử chỉ một cách linh hoạt và chính xác, đáp ứng nhu cầu học tập của trẻ em.

3.2. Phát triển thuật toán nhận diện cử chỉ

Thuật toán nhận diện cử chỉ được phát triển dựa trên các mô hình học sâu như YoloV5. Mô hình này giúp cánh tay robot nhận diện và thực hiện các cử chỉ của ngôn ngữ ký hiệu một cách chính xác, tạo điều kiện thuận lợi cho việc học tập của trẻ em.

IV. Ứng dụng thực tiễn của cánh tay robot trong giáo dục

Cánh tay robot không chỉ là một công cụ hỗ trợ giảng dạy mà còn là một phương pháp giáo dục sáng tạo. Việc áp dụng cánh tay robot trong giảng dạy ngôn ngữ ký hiệu đã cho thấy những kết quả tích cực. Trẻ em câm điếc có thể học hỏi một cách tự nhiên và hiệu quả hơn, từ đó cải thiện khả năng giao tiếp của mình.

4.1. Kết quả nghiên cứu về hiệu quả giảng dạy

Nghiên cứu cho thấy rằng việc sử dụng cánh tay robot trong giảng dạy ngôn ngữ ký hiệu đã giúp trẻ em câm điếc cải thiện khả năng giao tiếp và học hỏi. Các em có thể tiếp cận ngôn ngữ một cách dễ dàng hơn và tự tin hơn trong giao tiếp.

4.2. Tương tác giữa cánh tay robot và trẻ em

Cánh tay robot tạo ra một môi trường học tập tương tác, giúp trẻ em câm điếc cảm thấy hứng thú hơn trong việc học. Sự tương tác này không chỉ giúp các em học hỏi mà còn tạo ra sự kết nối giữa các em và giáo viên.

V. Kết luận và hướng phát triển tương lai của cánh tay robot

Cánh tay robot hỗ trợ giảng dạy ngôn ngữ ký hiệu cho trẻ em câm điếc là một giải pháp tiềm năng trong giáo dục. Với sự phát triển không ngừng của công nghệ, việc cải tiến và mở rộng ứng dụng của cánh tay robot sẽ giúp nâng cao chất lượng giáo dục cho trẻ em câm điếc. Hướng phát triển trong tương lai có thể bao gồm việc tích hợp thêm các công nghệ mới và mở rộng phạm vi ứng dụng.

5.1. Tích hợp công nghệ mới vào cánh tay robot

Việc tích hợp các công nghệ mới như trí tuệ nhân tạo và học máy vào cánh tay robot sẽ giúp nâng cao khả năng nhận diện và tương tác của robot. Điều này sẽ tạo ra một môi trường học tập hiệu quả hơn cho trẻ em câm điếc.

5.2. Mở rộng ứng dụng cánh tay robot trong giáo dục

Cánh tay robot có thể được mở rộng ứng dụng không chỉ trong giảng dạy ngôn ngữ ký hiệu mà còn trong các lĩnh vực giáo dục khác. Việc này sẽ giúp trẻ em câm điếc có nhiều cơ hội học tập hơn và phát triển toàn diện hơn.