Khóa Luận Tốt Nghiệp: Ứng Dụng Xử Lý Ảnh Nhận Dạng Cử Chỉ Bàn Tay Điều Khiển Robot Di Động

• Tác giả: Nguyễn Văn Đạt
• Người hướng dẫn: ThS. Trần Hoàn
• Trường học: Trường Đại học Công nghiệp Thực phẩm TP. Hồ Chí Minh
• Chuyên ngành: Công nghệ Điện – Điện tử
• Đề tài: Ứng dụng xử lý ảnh nhận dạng cử chỉ bàn tay điều khiển robot di động
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2020
• Địa điểm: Hồ Chí Minh

• LỜI CÁM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ ĐỀ TÀI
• 1.1. Đặt vấn đề
• 1.2. Mục tiêu
• 1.3. Phạm vi của luận văn tốt nghiệp
• 1.4. Tổng quan về các nghiên cứu liên quan
• 1.4.1. Nhận dạng bàn tay dựa vào màu sắc và hình dáng
• 1.4.2. Nhận dạng dựa vào ngưỡng trên mỗi kênh màu
• 1.4.3. Optical Flow
• 1.4.4. Phương pháp trừ nền
• 1.4.5. Ý nghĩa khoa học và thực tiễn của đề tài
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Giới thiệu về hệ thống xử lý ảnh
• 2.2. Những vấn đề cơ bản trong hệ thống xử lý ảnh
• 2.2.1. Điểm ảnh (Picture Element)
• 2.3. Các phương pháp xử lý ảnh số
• 2.4. Máy tính nhúng Raspberry Pi
• 2.5. Ngôn ngữ python và thư viện Opencv
• 2.6. Board UNO WIFI - WeMos D1
• 2.7. Module điều khiển động cơ L298
• 2.8. Động cơ giảm tốc
• 3. CHƯƠNG 3: CƠ SỞ THỰC HIỆN
• 3.1. Thiết kế sơ đồ khối hệ thống
• 3.2. Sơ đồ kết nối hệ thống
• 3.3. Các bước truy cập và lập trình trên python
• 3.3.1. Hiển thị lên màng hình laptop qua Wifi
• 3.3.2. Hiển thị qua cáp ethernet
• 3.4. Lưu đồ giải thuật nhận dạng cử chỉ bàn tay
• 3.5. Lưu đồ giải thuật điều khiển robot di động
• 3.6. Bảng vẽ cơ khí
• 4. CHƯƠNG 4: KẾT QUẢ THỰC NGHIỆM
• 5. CHƯƠNG 5: KẾT LUẬN VÀ ĐỊNH HƯỚNG ĐỀ TÀI
• 5.1. Kết quả đạt được
• 5.2. Hướng phát triển của đề tài
• TÀI LIỆU THAM KHẢO

I. Xử lý ảnh và nhận dạng cử chỉ bàn tay

Xử lý ảnh là nền tảng cốt lõi trong đề tài này, tập trung vào việc phân tích và chuyển đổi hình ảnh thành dữ liệu có thể xử lý bằng máy tính. Nhận dạng cử chỉ bàn tay là quá trình sử dụng các thuật toán để xác định và phân loại các cử chỉ tay từ hình ảnh thu được. Các phương pháp như trừ nền, phân tích màu sắc, và optical flow được áp dụng để tăng độ chính xác trong việc nhận dạng. Đề tài sử dụng thư viện OpenCV và ngôn ngữ Python để xây dựng giải thuật nhận dạng cử chỉ bàn tay, đảm bảo tính ổn định và hiệu quả trong việc điều khiển robot.

1.1. Phương pháp trừ nền

Phương pháp trừ nền là một kỹ thuật quan trọng trong xử lý ảnh, giúp tách đối tượng (bàn tay) khỏi nền. Thuật toán codebook trong OpenCV được sử dụng để phát hiện bàn tay dựa trên sự khác biệt giữa nền và đối tượng. Các điểm lồi và lõm trên bàn tay được xác định bằng thuật toán convex hull và convexity defect, từ đó xác định số ngón tay được đưa lên. Phương pháp này đảm bảo độ chính xác cao trong việc nhận dạng cử chỉ.

1.2. Nhận dạng dựa trên màu sắc và hình dáng

Nhận dạng bàn tay dựa trên màu sắc và hình dáng là phương pháp phổ biến. Màu da được sử dụng làm đặc trưng chính để định vị bàn tay. Tuy nhiên, phương pháp này gặp khó khăn khi màu sắc nền tương đồng với màu da. Để khắc phục, các điều kiện ánh sáng và màu sắc nền được kiểm soát chặt chẽ. Thuật toán SASOM (Structure Adaptive Self-Organizing Map) được đề xuất để cải thiện độ ổn định trong việc nhận dạng màu sắc không ổn định.

II. Điều khiển robot di động

Điều khiển robot di động là mục tiêu chính của đề tài, sử dụng cử chỉ bàn tay để điều khiển các chuyển động cơ bản như tiến, lùi, rẽ trái, rẽ phải và dừng. Hệ thống được xây dựng trên nền tảng Raspberry Pi và Arduino Wifi ESP8266, kết hợp với thư viện OpenCV để xử lý hình ảnh. Kết quả thực nghiệm cho thấy hệ thống có khả năng điều khiển robot một cách ổn định và chính xác, mở ra nhiều ứng dụng thực tiễn trong lĩnh vực robot tự động.

2.1. Thiết kế hệ thống điều khiển

Hệ thống điều khiển được thiết kế dựa trên Raspberry Pi và Arduino Wifi ESP8266. Raspberry Pi đóng vai trò là bộ xử lý trung tâm, thực hiện việc nhận dạng cử chỉ bàn tay thông qua camera. Arduino Wifi ESP8266 được sử dụng để điều khiển động cơ và các chuyển động của robot. Các lệnh điều khiển được truyền qua giao thức UDP, đảm bảo tính linh hoạt và tốc độ phản hồi cao.

2.2. Giải thuật điều khiển robot

Giải thuật điều khiển robot được xây dựng dựa trên việc nhận dạng cử chỉ bàn tay. Mỗi cử chỉ tương ứng với một lệnh điều khiển cụ thể: ngón tay thứ nhất (tiến), ngón tay thứ hai (lùi), ngón tay thứ ba (rẽ trái), ngón tay thứ tư (rẽ phải). Khi không có cử chỉ tay, robot sẽ dừng lại. Giải thuật này đảm bảo tính đơn giản và hiệu quả trong việc điều khiển robot di động.

III. Ứng dụng và ý nghĩa thực tiễn

Đề tài Ứng dụng xử lý ảnh nhận dạng cử chỉ bàn tay điều khiển robot di động không chỉ mang tính học thuật mà còn có giá trị thực tiễn cao. Nó mở ra hướng phát triển mới trong lĩnh vực điều khiển robot bằng cử chỉ tay, ứng dụng trong các ngành công nghiệp, y tế và giải trí. Hệ thống có thể được tích hợp vào các thiết bị thông minh, giúp con người tương tác với máy móc một cách tự nhiên và hiệu quả hơn.

3.1. Ứng dụng trong công nghiệp

Trong công nghiệp, hệ thống này có thể được sử dụng để điều khiển các robot thực hiện các nhiệm vụ phức tạp trong môi trường nguy hiểm hoặc khó tiếp cận. Việc điều khiển bằng cử chỉ tay giúp giảm thiểu rủi ro và tăng hiệu quả làm việc.

3.2. Ứng dụng trong y tế

Trong lĩnh vực y tế, hệ thống có thể được ứng dụng để điều khiển các thiết bị y tế tự động, hỗ trợ bác sĩ trong các thủ thuật phức tạp. Điều này giúp tăng độ chính xác và giảm thiểu sai sót trong quá trình điều trị.