Chương 1. 2-22 2£ E£+E£EE£EE£+EE+EE£EEEEEEEEEEEEEEEEEEEEZEEEEkerkerrrrree 3 1. Ly do thực hiện đề tài. Mục tiêu của để tài.
Mục tiêu tổng quan. Mục tiêu cụ thể. Giới hạn đề tài. cv nghe 5 Chuong 2.
TONG QUAN DE TÀI.- 2-5252 52+SE2EE2EE2EE2EE2E2EEEE22E22E22EeErkee 6 2. Phuong pháp điều khiển sử dụng nút bấm. Phương pháp điều khiển sử đụng giọng nói. Phương pháp điều khiển băng cử chỉ tay.
Cac nghiên cứu ứng dụng trong nƯỚC. Cac nghiên cứu ứng dụng ngoài nước. Ưu, nhược điểm các giải pháp, sản phẩm của các nhóm nghiên cứu. CO SỞ LÝ THUYẾTT.---2-©2©++2E++EE++EE++EE++Ex+zrxrzrxrrrxee 10 3.
Thu viện hỗ trợ Al/ ML Mediapipe. Xu lý chương trình da tác VỤ. _ Hệ điều hành thời gian thực RTOS. Lập trình đa luồng bằng ngôn ngữ lập trình.
Cơ sở lý thuyết về MQTTT.-- 2: + s+SE+EE+EESEE2EE2EEEEEEEE2E22E. Tổng quan về giao thức MQTTT. Nguyên tắc hoạt động MQTT. Broker MQTT fÏespI1.
Tổng quan về UARTT.---:- + + ++EE+EE£EE+EE+EEEEEEEEEEEErrrrrrrrrei 19 3. Nguyên tắc hoạt động của giao tiếp UART. Giao thre GPO. Giao thức I2C veceececscssssssessessessesssessecsesssessessesesecsecsusssessecsuessessesssessessueeseeses 22 3.
Téng quan giao thức [2C .--- + + x+++Ek+EE+EE+EE+EEeErErrsrreres 22 3. Nguyên tắc hoạt động giao thức I2C. Công cụ phát triển ứng dụng MIT App Inventor. THIẾT KE MÔ HÌNH GIẢI PHÁP.
- Giải pháp dé xuất.csck2Ekvck ìct HH1 11111111 1x 26 4. _ Thiết kế thiết bị nhận diện cử chỉ bàn tay .----2- 2 22+sz+sz+se2 +: 29 4. Thiết kế phần cứng thiết bị nhận diện cử chỉ ban tay. Xây dựng giải pháp, cau hình mô hình nhận diện cử chỉ tay dựa trên MMe1apID€.
-- cà 19010 1n TH Họ re 33 4. Luông giải thuật chung cho chương trình. Thiết kế các thiết bị mô hình ứng dụng. _ Thiết kế thiết bị điều khiển đèn dây RGB.
Thiết kế phần cứng. Định nghĩa tập lệnh điều khiến. Luong giải thuật chương trình. Ứng dụng hỗ trợ đèn dây RGB woc.
_ Thiết kế thiết bị điều khiển màn hình OLED. _ Thiết kế phần cứng.---¿- 2 2+ ++EE+EE+EE+EE+EEEEEEEEEEEEEEErrrrrrrei 46 4. Định nghĩa tập lệnh điều khiển. Luông giải thuật chương trình.
Ứng dụng hỗ trợ màn hình OLED.---2- 2 ¿s++zx++zx+zse2 50 4. _ Thiết kế mô hình xe điều khiến. Biéu đồ ý tưởng thiết kẾ. Thiết kế phần cứng.
Thực thi phần mềm.----¿- 2 2£ +22 EE+EE+EE+EE+EEEEEEEEEEEEErrerrerei 56 4. Thông số kỹ thuật linh kiện phần cứng được sử dụng trong các mô hình I8. _ THỰC NGHIỆM VÀ DANH GIIÁ. Kết qua thu được từ thiết bị nhận diện bàn tay.
Kiểm tra đánh giá chức năng các thiết bị hiện thực phần cứng của hệ thống M6 hinh 8/61 11 1Ó: 69 5. Truyền giá tri UART cho Module Wifi Server và thực hiện đánh giá thiết bị màn hình OL/ED. ¿2 £ E£+E£+EE+EE£EEEEEE£EEEEEEEEEEEEEEEErrkerrerrkrree 69 5. Đèn dây RGB.
Xe robot điều khiến.----¿- 2: ©£+c++EEt£EEtEEEEEEtEEerkerrerrkrree 76 Chương 6. Hạn chế đề taicccecccecccccccccsscsssessssssssessusssessessusssessessusssessessusssecsessseesecsueeseeses 81 6. Nhược điểm. Hướng phát triển đề tai.
ccceccccccccccccsessessessessessessessessssssssessessessssesseseeseeses 81 TAI LIEU THAM KHÁO.- - St St SE+E‡EEEE+EEEEEEEEEEESEEEEEEEEEEEEEEEEEkrkrkrrrrkrrrree 83 DANH MỤC HÌNH Hình 3. 1 Mô hình Hand LandimarK .-- -- 5 + 1x vn ng nh rưết 10 Hình 3. 2 Kiến trúc SSÌD.++ 2 tt tt Hee II Hình 3. 3 Hai tác vụ đang luân phiên thực hiện đồng thời.
4 Giản đồ minh họa hai công việc được thực hiện bằng RTOS. 5 Thiết bị chơi game đèn đuổi được thiết kế sử dung kit Arduino. 6 Luéng chương trình thiết bị chơi game đèn đuôi sử dung RTOS. 7 Mô hình Publisher — SubSCTIĐeT.
8 Mô hình giao tiếp UART giữa 2 thiết bị. 9 Định dạng gói tin giao tiếp UART. 10 Tín hiệu kỹ thuật số (Digita]). 11 Tín hiệu tuần tự (Analog) cccccccccccccsecsesssessesssessteseessecseesesseesesssesseeseesseesecs 21 Hình 3.
12 Mô hình Remote Control Reciever của ESP32. 13 Mô hình giao tiếp Master — Slave của I2C.------¿- sccz+csscseee 23 Hình 3. 14 Định dạng gói tin I2C.- --- c5 32+ SE **ESvEeeEreererrreerrerrrerrerrree 24 Hình 4. 1 Sơ đồ giải pháp đề xuất đơn giản.
2 Gian đồ độ trễ truyền thông giao tiếp của giải pháp đề xuất. 3 Kiến trúc thiết kế phần cứng cho thiết bị nhận diện cử chỉ bàn tay. 4 Kit ESP32-S AI-ThiinK€T.- c3 1 91 91 9 9E ng ng rệt 30 Hình 4. 5 Raspberry Pi 4 Model B,.
- - - Sc 1 ng HH ky 31 Hình 4. 6 Module Camera Raspberry Pi V2 IMX219 S§MP. 7 Sơ đồ luồng giải thuật xử lý thiết bị nhận diện cử chi bàn tay. 8 Luéng giải thuật chương trình thiết bị nhận diện ban tay RTOS.
9 Sơ đồ tối giản thiết kế chung cho thiết bị mô hình ứng dụng. 10 Kit ESP32-WROOM-32 NodeMCU LuaNode. 11 Nút bam cơ nhấn nhả. 12 Led 3mm đục chân ngắn .-- -- 2-2 5£++£+EE+EEE+EEtEEtEEEvEEerkrrrkrrkeee 38 Hình 4.
13 Thiết kế phan cứng thiết bi điều khiển đèn dây RGB. 14 Đèn dây WS2812 RGB 5050.--- ng niệ, 39 Hình 4. 15 Luong sơ đồ giải thuật xử lý cho thiết bị đèn dây RGB. 16 Luéng giải thuật chương trình thiết bị điều khiến đèn dây RGB RTOS 43 Hình 4.
17 Giao diện ứng dụng đèn dây RGB.- - -- SG vs ssseersrres 44 Hình 4. 18 Xử lý kết nỗi MQTT cho back end đèn dây RGB. 19 Xử lý back end cho việc cập nhật trạng thái thiết bị đèn dây RGB. 20 Màn hình OLED SSD1306 .¿--2-©22©5+22+2E+2EE2EE+2Eerxrrxrerxerxee 41 Hình 4.
21 Thiết kế phan cứng thiết bị điều khiến màn hình OLED. 22 Luong sơ đồ giải thuật xử lý cho thiết bi man hình OLED. 23 Luông giải thuật chương trình thiết bị hiển thi màn hình OLED RTOS 50 Hình 4. 24 Giao diện ứng dụng hỗ trợ thiết bị màn hình OLED.
25 Xử lý back end ứng dụng hỗ trợ OLED. 26 Biểu đồ ý tưởng thiết kế chung cho xe điều khiên. 27 Thiết kế phan cứng xe robot điều khiền.- HH H1 HT ng ng KT ket 54 Hình 4. 31 Động cơ giảm tỐC .---2¿- ¿22c ©22222‡EE29EE2EEE2EE2EE22E21121.
32 Led 5mm đục chân dầt. 33 Luồng sơ đồ giải thuật xử lý cho thiết bị xe robot. 34 Định nghĩa kỹ thuật các chân pin của L289N. 1 Thử nghiệm nhận diện các khung hình khác nhau.
2 Nhận diện cử chi cả NAM ngÓñ.-- - 5 5 + k2 19v ng ng cưy 65 Hình 5. 3 Cảnh báo khi không hỗ trợ nhận diện 2 tay cùng một lúc. 4 Cu chỉ bàn tay nhận diện đÚng.-- 55 + 33+ 13+ E+*vE+seereeeeseeereeses 68 Hình 5. 5 Cử chỉ bàn tay nhận diỆn Sa1.-- - 5< S1 12313911 vs rey 68 Hình 5.
6 Cau tao phần cứng hiện thực thiết bị nhận diện cử chỉ ban tay. 70 DANH MUC BANG Bảng 4. 1 Bang dac ta Noi chi DAN tay. 2 Bảng đặc ta điều khién thiết bi đèn RGB dựa vào cử chi ban tay.
3 Bang đặc tả điều khiến thiết bi hiển thi man hình OLED. 4 Bảng đặc ta cấu hình chân pin thiết kế phan cứng xe điều khiển. 5 Bảng đặc tả điều khiển cho xe robot.---:- 2:22 ©5+225+2£x++zx++zxzzzei 59 Bảng 4. 6 Thông số kỹ thuật đèn dây RGB WS2812.
7 Thông số đặc ta kỹ thuật Raspberry Pi 4. 1 Mỗi tương quan giữa kích thước khung hình và kết qua FPS. 2 Kiểm tra FPS trong từng điều kiện khác nhau khi nhận diện tay. 3 Kết quả kiểm tra nhận diện cử chỉ bàn tay .----- 2 scz+sz+c+czse2 67 Bang 5.
4 Két qua thir nghiém thiét bi man hinh OLED va Wifi Module Server. 5 Kết quả độ chính xác trung bình cho chức năng OLED. 6 Kết quả thử nghiệm đánh giá thiết bị đèn dây RGB. 7 Độ chính xác trung bình cho chức năng hành vi của chế độ chọn màu.
8 Kết quả độ chính xác trung bình Servo.----- 2-2 2 s+sz+££+se+x+zxz 77 Bang 5. 9 Kết quả độ chính xác trung bình của đèn. 10 Kết quả độ chính xác trung bình của Motor. 11 Kết qua thử nghiệm đánh giá thiết bi xe điều khiển robot.
79 DANH MỤC TU VIET TAT STT | Ký hiệu chữ viết tắt Chữ viết đầy đủ 1 RGB Red Green Blue 2 OLED Organic Light Emitting Diode 3 CPU Central Processing Unit 4 ĐC Inter-Integrated Circuit 5 UART Universal Asynchronous Receiver/Transmitter 6 MQTT Message Queuing Telemetry Transport 7 RTOS Real Time Operating System 8 IoT Internet of Things 9 AI Artificial Intelligence 10 TV Television 11 CNN Convolutional Neural Network 12 ECU Engine (Electronic) Control Unit 13 RMT Remote Control Transciever 14 SSD Single Shot Detector 15 FPS Frame Per Second TÓM TẮT KHÓA LUẬN Dựa trên sô liệu và thực trạng hăng năm, công nghệ luôn thay đôi và phát triên theo thời gian với câp sô nhân nhăm đáp ứng nhu câu cuộc sông của con người sao cho thuận tiện, nhanh chóng và dê dàng cùng với sự phát triên của xã hội, đặc biệt là công nghệ các thiết bị điện tử hay còn được gọi là hệ thống máy tính [1]. Sau một khoảng thời gian dài học tập, nghiên cứu các dự án điện tử, thiết kế thiết bị điều khiển tự động nhóm chúng tôi nhận ra rang một trong những yếu tố mang tính quyết định khả năng hiệu quả của một thiết bị điện tử được quyết định bởi khả năng tương tác giữa con người và hệ thống máy tính đó thông qua phương thức điều khiển. Hiện nay, với vô vàn phương thức điều khiển từ cổ điển đến hiện đại việc lựa chọn phương thức điều khiển sao cho phù hợp, đem lại sự tiện nghi dễ dàng tương tác cho người sử dụng là một vấn đề mà một kỹ sư thiết kế cần phải xem xét. So với các phương thức truyền thống như nút bam và các phương thức công nghệ tiên tiến ngày nay như điều khiên thiết bị bằng giọng nói thì phương thức điều khiển bằng nhận dạng bàn tay [2] nỗi bật hơn cả khi có thê khắc phục các rủi ro về nhiễu, bị ảnh hưởng tác động vì lý do vật lý từ môi trường và cấu tạo chính nó [3], sự đa dạng mẫu giọng nói và ngôn ngữ trong việc xây dựng thiết bị nhà thông minh [4] và mang nhiều ý nghĩa, tiềm năng điều khiến có thê khai thác.
Ngoài ra, như một hệ quả tất yêu của sự phát triển công nghệ đối mặt với 2 vấn đề dễ dàng nhận thấy trong quá trình xây dựng thiết kế một hệ thống máy tính trong thực tế. Thứ nhất, với số lượng thiết bị điều khiển giao tiếp với hệ thống máy tính quá tải dẫn đến việc có thé gây bối rối cho người sử dụng. Thứ hai, các thành phan thiết bị thiếu tính độc lập, khó thay đổi trong việc tái sử dụng gây tốn thời gian, chi phí và tài nguyên phát triển [5]. Do đó, việc thiết kế độc lập các thành phan trong một hệ thống nhúng trở nên vô cùng cấp thiết tại giai đoạn nhu cầu phát triển công nghệ cao với von hóa thị trường hiện tại đã hơn 4 tỉ đô từ năm 2022 [6] nhằm tối ưu giải pháp thiết kế và giới hạn số lượng thiết bị điều khiển dư thừa.