Thiết kế và chế tạo cánh tay robot hỗ trợ dạy học thủ ngữ cho trẻ em

1. CHƯƠNG 1: MỤC TIÊU ĐỀ TÀI. ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU. PHƯƠNG PHÁP NGHIÊN CỨU. CÁC NGHIÊN CỨU ĐÃ THỰC HIỆN. CÁNH TAY ROBOT ASLAN. NHẬN DIỆN NGÔN NGỮ KÍ HIỆU DỰA TRÊN YOLOV5. NHẬN DIỆN NGÔN NGỮ KÍ HIỆU SỬ DỤNG MEDIAPIPE VÀ LONG SHORT-TERM MEMORY. NGÔN NGỮ KÍ HIỆU VIỆT NAM. PHÁT HIỆN VẬT THỂ (OBJECT DETECTION). MẠNG XƯƠNG SỐNG CSPDARKNET. YOU ONLY LOOK ONCE (YOLO). NHẬN DẠNG HÀNH ĐỘNG (ACTION RECOGNITION). RECURRENT NEURAL NETWORK (RNNS). GATED RECURRENT UNITS (GRUS). THƯ VIỆN MEDIAPIPE HAND. CÁC PHƯƠNG PHÁP ĐÁNH GIÁ. GIỚI THIỆU PHẦN CỨNG. ĐỘNG CƠ BƯỚC NEMA 17 TỈ SỐ 3969/289. MODULE ADAFRUIT PWM/SERVO DRIVER PCA9685. MÀN HÌNH CẢM ỨNG ĐIỆN DUNG WAVESHARE LCD (C).

2. CHƯƠNG 2: THIẾT KẾ HỆ THỐNG

2.1. Thiết kế phần cứng

2.2. Thiết kế phần cứng cơ khí

2.3. Thiết kế mạch điều khiển

2.4. Phần mềm và thuật toán

2.4.1. Kiến trúc mạng mô hình nhận diện cử chỉ tĩnh YoloV5

2.4.2. Kiến trúc mạng của mô hình nhận diện cử chỉ động

2.5. Thiết kế giao diện

2.6. Các Framework xây dựng mô hình mạng

3. CHƯƠNG 3: THI CÔNG VÀ THỰC NGHIỆM

3.1. Thi công phần cứng

3.2. Lắp ráp cánh tay giả

3.3. Thi công board mạch

3.4. Các thực nghiệm cho nhận diện cử chỉ tĩnh

3.4.1. Thu thập và tăng cường dữ liệu

3.4.2. Huấn luyện mô hình YoloV5

3.5. Các thực nghiệm cho nhận diện cử chỉ động

3.5.1. Huấn luyện mô hình GRUs

3.5.2. Thu thập dữ liệu

3.6. Xây dựng giao diện tương tác

4. CHƯƠNG 4: KẾT QUẢ - NHẬN XÉT - ĐÁNH GIÁ

4.1. Mô hình phần cứng của hệ thống

4.2. Mô hình phát hiện cử chỉ tĩnh

4.3. Mô hình nhận diện cử chỉ động

4.4. Giao diện tương tác với người học

4.5. Nhận xét và đánh giá

4.6. Tài liệu hướng dẫn sử dụng

4.7. Dự toán chi phí thi công

5. CHƯƠNG 5: KẾT LUẬN VÀ KIẾN NGHỊ

TÀI LIỆU THAM KHẢO

MINH CHỨNG SẢN PHẨM ĐỀ TÀI

I. Giới thiệu về thiết kế cánh tay robot hỗ trợ dạy học thủ ngữ

Thiết kế và chế tạo cánh tay robot hỗ trợ dạy học thủ ngữ cho trẻ em là một sáng kiến quan trọng trong lĩnh vực giáo dục. Sự phát triển của công nghệ robot giáo dục đã mở ra nhiều cơ hội cho trẻ em câm điếc trong việc tiếp cận ngôn ngữ ký hiệu. Cánh tay robot không chỉ giúp trẻ em học tập một cách trực quan mà còn tạo ra môi trường học tập thân thiện và hiệu quả.

1.1. Tầm quan trọng của ngôn ngữ ký hiệu trong giáo dục

Ngôn ngữ ký hiệu đóng vai trò quan trọng trong việc giao tiếp của trẻ em câm điếc. Việc học ngôn ngữ này giúp trẻ em phát triển khả năng giao tiếp và hòa nhập xã hội. Theo WHO, có khoảng 34 triệu trẻ em điếc trên toàn thế giới, và việc giáo dục ngôn ngữ ký hiệu là cần thiết để giúp họ tiếp cận tri thức.

1.2. Công nghệ robot trong giáo dục hiện đại

Công nghệ robot giáo dục đang ngày càng trở nên phổ biến. Các thiết bị như cánh tay robot không chỉ giúp trẻ em học tập mà còn tạo ra những trải nghiệm học tập thú vị. Việc áp dụng công nghệ này vào giáo dục ngôn ngữ ký hiệu sẽ giúp nâng cao hiệu quả giảng dạy.

II. Vấn đề và thách thức trong việc dạy học thủ ngữ

Mặc dù ngôn ngữ ký hiệu rất quan trọng, nhưng việc dạy học thủ ngữ cho trẻ em câm điếc vẫn gặp nhiều thách thức. Số lượng giáo viên có khả năng dạy ngôn ngữ ký hiệu còn hạn chế, đặc biệt ở các vùng nông thôn. Điều này dẫn đến việc trẻ em không có đủ cơ hội để học tập và phát triển.

2.1. Thiếu hụt giáo viên dạy ngôn ngữ ký hiệu

Số lượng giáo viên dạy ngôn ngữ ký hiệu hiện nay còn rất ít, đặc biệt là ở các khu vực nông thôn. Điều này gây khó khăn cho trẻ em câm điếc trong việc tiếp cận kiến thức và phát triển kỹ năng giao tiếp.

2.2. Khó khăn trong việc học ngôn ngữ ký hiệu

Ngôn ngữ ký hiệu có cấu trúc phức tạp và cần có sự hướng dẫn của giáo viên. Trẻ em câm điếc thường gặp khó khăn trong việc học mà không có sự hỗ trợ từ giáo viên, dẫn đến việc thiếu hụt kiến thức cơ bản.

III. Phương pháp thiết kế cánh tay robot hỗ trợ dạy học thủ ngữ

Để giải quyết các vấn đề trong việc dạy học thủ ngữ, nhóm nghiên cứu đã áp dụng các phương pháp thiết kế cánh tay robot hiện đại. Cánh tay robot được thiết kế để thực hiện các ký tự thủ ngữ một cách chính xác và hiệu quả, giúp trẻ em dễ dàng học tập.

3.1. Thiết kế phần cứng cánh tay robot

Cánh tay robot được thiết kế với các linh kiện hiện đại như động cơ servo và mạch điều khiển. Việc sử dụng công nghệ in 3D giúp tạo ra các bộ phận chính xác và dễ dàng lắp ráp.

3.2. Phát triển phần mềm nhận diện cử chỉ

Phần mềm nhận diện cử chỉ được phát triển dựa trên các thuật toán học sâu. Các mô hình như YoloV5 và MediaPipe được sử dụng để nhận diện các ký tự thủ ngữ một cách chính xác và nhanh chóng.

IV. Ứng dụng thực tiễn của cánh tay robot trong giáo dục

Cánh tay robot không chỉ là một thiết bị học tập mà còn là một công cụ hỗ trợ giáo dục hiệu quả. Thiết bị này giúp trẻ em câm điếc tự học và tự kiểm tra kiến thức của mình một cách độc lập.

4.1. Giao diện người dùng thân thiện

Giao diện người dùng được thiết kế đơn giản và dễ sử dụng, giúp trẻ em dễ dàng tương tác với cánh tay robot. Các chế độ học tập như 'Học chữ' và 'Kiểm tra' được tích hợp để hỗ trợ quá trình học.

4.2. Kết quả nghiên cứu và đánh giá

Kết quả nghiên cứu cho thấy cánh tay robot có khả năng thực hiện 36/44 ký hiệu của ngôn ngữ ký hiệu Việt Nam với độ chính xác trên 97%. Điều này chứng tỏ hiệu quả của thiết bị trong việc hỗ trợ dạy học.

V. Kết luận và tương lai của thiết bị hỗ trợ dạy học thủ ngữ

Thiết bị cánh tay robot hỗ trợ dạy học thủ ngữ cho trẻ em là một bước tiến quan trọng trong giáo dục. Với những thành công đạt được, thiết bị này hứa hẹn sẽ mang lại nhiều lợi ích cho trẻ em câm điếc trong việc học tập và phát triển.

5.1. Tiềm năng phát triển trong giáo dục

Cánh tay robot có tiềm năng lớn trong việc mở rộng ứng dụng giáo dục cho trẻ em câm điếc. Việc phát triển thêm các tính năng mới sẽ giúp nâng cao hiệu quả giảng dạy.

5.2. Hướng nghiên cứu trong tương lai

Nghiên cứu sẽ tiếp tục tập trung vào việc cải thiện độ chính xác của các mô hình nhận diện cử chỉ và mở rộng khả năng của cánh tay robot để phục vụ cho nhiều đối tượng học sinh khác nhau.

Luận văn thạc sĩ: Nghiên cứu thiết kế và chế tạo thiết bị hỗ trợ dạy học thủ ngữ cho trẻ em thông qua cánh tay robot