Cách sử dụng nhận diện khuôn mặt và cử chỉ tay để điều khiển thiết bị gia đình

• Tác giả: Lê Thị Thanh Thư
• Người hướng dẫn: PhD. Đỗ Duy Tân
• Trường học: Ho Chi Minh City University of Technology and Education
• Chuyên ngành: Computer Engineering
• Đề tài: Facial Recognition and Hand Gestures to Control Home Appliances
• Loại tài liệu: Graduation thesis
• Năm xuất bản: 2024
• Địa điểm: Ho Chi Minh City

• DISCLARATION
• ACKNOWLEDGEMENTS
• TABLE OF CONTENTS
• LIST OF FIGURES
• LIST OF TABLES
• LIST OF ABBREVIATIONS
• ABSTRACT
• 1. CHAPTER 1: INTRODUCTION
• 1.1. INTRODUCTION
• 1.2. OBJECTIVES
• 1.3. LIMITATION
• 1.4. SCOPE
• 2. DESIGN AND IMPLEMENTATION
• 2.1. Raspberry Pi transmits data to Database
• 2.2. ESP32 receives data to Database
• 2.3. Image Processing Block
• 2.3.1. Building Custom Dataset
• 2.3.2. Set Up train YOLO model
• 2.4. Hand Gestures Recognition
• 2.4.1. Configure Parameter of Hand Gestures
• 2.4.2. Set Up MediaPipe
• 2.5. Control Home Appliances via Camera
• 2.6. Remote Home Appliances via GUI App
• 2.7. Performance Assessment of IoT System
• 2.8. Performance of the AI model
• 3. CONCLUSIONS AND FUTURE WORKS
• REFERENCES

I. Nhận diện khuôn mặt và cử chỉ tay trong điều khiển thiết bị gia đình

Nghiên cứu này tập trung vào việc tích hợp nhận diện khuôn mặt và cử chỉ tay để điều khiển các thiết bị gia đình thông minh. Nhận diện khuôn mặt được sử dụng để xác thực quyền truy cập, trong khi cử chỉ tay cung cấp giao diện điều khiển trực quan và không cần chạm. Sự kết hợp này không chỉ nâng cao bảo mật mà còn tối ưu hóa trải nghiệm người dùng, đặc biệt trong các môi trường như nhà ở, văn phòng và công nghiệp.

1.1. Công nghệ nhận diện khuôn mặt

Công nghệ nhận diện khuôn mặt đóng vai trò chính trong việc kiểm soát truy cập. Hệ thống sử dụng camera để xác thực danh tính người dùng, loại bỏ nhu cầu sử dụng chìa khóa vật lý hoặc thẻ truy cập. Công nghệ này dựa trên các thuật toán trí tuệ nhân tạo và học máy, đảm bảo độ chính xác cao và khả năng xử lý thời gian thực. Điều này không chỉ tăng cường bảo mật mà còn mang lại sự tiện lợi cho người dùng.

1.2. Công nghệ nhận diện cử chỉ tay

Công nghệ nhận diện cử chỉ tay cho phép người dùng điều khiển các thiết bị như đèn và quạt thông qua các cử chỉ tay cụ thể. Hệ thống sử dụng công nghệ cảm biến và xử lý hình ảnh để nhận diện và phân tích các cử chỉ, từ đó gửi tín hiệu điều khiển đến thiết bị. Giao diện này không chỉ trực quan mà còn giúp tiết kiệm năng lượng bằng cách cho phép điều chỉnh chính xác các điều kiện môi trường.

II. Tích hợp công nghệ và hệ thống điều khiển

Nghiên cứu đề xuất một hệ thống tích hợp IoT và công nghệ nhận diện để tạo ra một môi trường nhà thông minh hoàn chỉnh. Hệ thống bao gồm các thành phần như Raspberry Pi 4, ESP32, và các thiết bị gia đình được kết nối qua Wi-Fi. Raspberry Pi 4 đảm nhiệm việc xử lý hình ảnh và nhận diện, trong khi ESP32 quản lý việc điều khiển thiết bị và kết nối cơ sở dữ liệu.

2.1. Kiến trúc hệ thống

Hệ thống được thiết kế với kiến trúc phân tán, trong đó Raspberry Pi 4 xử lý các tác vụ nhận diện hình ảnh và cử chỉ tay, còn ESP32 đảm nhiệm việc điều khiển thiết bị và kết nối với cơ sở dữ liệu. Sự phân chia này đảm bảo hiệu suất tối ưu và khả năng mở rộng hệ thống.

2.2. Giao diện người dùng

Hệ thống cung cấp một giao diện người dùng trực quan và dễ sử dụng, cho phép người dùng điều khiển thiết bị từ xa thông qua ứng dụng dựa trên web. Giao diện này kết nối với cơ sở dữ liệu để cung cấp thông tin và tùy chọn quản lý linh hoạt, đảm bảo trải nghiệm người dùng mượt mà và hiệu quả.

III. Ứng dụng và giá trị thực tiễn

Hệ thống này mang lại nhiều lợi ích thực tiễn, bao gồm cải thiện bảo mật, tăng cường tiện ích và tối ưu hóa sử dụng năng lượng. Tự động hóa gia đình thông qua nhận diện khuôn mặt và cử chỉ tay không chỉ giúp quản lý môi trường sống một cách thông minh mà còn mở ra nhiều ứng dụng tiềm năng trong các lĩnh vực khác như y tế, giáo dục và công nghiệp.

3.1. Cải thiện bảo mật và tiện ích

Việc sử dụng nhận diện khuôn mặt giúp tăng cường bảo mật bằng cách xác thực danh tính người dùng một cách chính xác. Đồng thời, cử chỉ tay mang lại sự tiện lợi bằng cách cho phép điều khiển thiết bị mà không cần chạm, đặc biệt hữu ích trong các tình huống cần vệ sinh cao.

3.2. Tối ưu hóa năng lượng

Hệ thống cho phép người dùng điều chỉnh chính xác các điều kiện môi trường như ánh sáng và nhiệt độ, giúp tiết kiệm năng lượng hiệu quả. Điều này không chỉ giảm chi phí mà còn góp phần bảo vệ môi trường.