Thiết kế robot mini hỗ trợ trinh sát cho dự án tốt nghiệp

Thiết kế robot mini hỗ trợ trinh sát đang trở thành một xu hướng quan trọng trong… 63 trang · Vietnam National University, Hanoi International School · 2024.

• Tác giả: Hoang Gia Phi
• Người hướng dẫn: Dr. Pham Thi Viet Huong
• Trường học: Vietnam National University, Hanoi International School
• Chuyên ngành: Informatics and Computer Engineering
• Đề tài: Mini Robot Design For Supporting Reconnaissance
• Loại tài liệu: graduation project
• Năm xuất bản: 2024
• Địa điểm: Hanoi

Mục lục chi tiết

• LETTER OF DECLARATION
• ACKNOWLEDGEMENT
• ABSTRACT
• Contents
• 2. CHAPTER 2: HARDWARE
• 2.1. Esp32 Camera
• 2.2. AI-Thinker ESP32-CAM pinout
• 2.3. Built-in RED LED position
• 2.4. GPIO layout
• 2.5. FLASH light position
• 2.6. ESP32-CAM pinout
• 2.7. Feature of ESP32-CAM
• 2.8. EPS32-CAM latency chart
• 2.9. Module control motor L298N
• 2.10. L298N Pinouts
• 2.11. Specifications and features of the L298 module
• 2.12. L298N Layouts
• 2.13. L298N Application
• 2.14. Motor servo SG90S
• 2.15. DC Motor
• 2.16. DHT11
• 4. CHAPTER 4: PRODUCT AND TESTCASE
• 4.1. RESULTS AND DEVELOPMENT DIRECTION

Tóm tắt

I. Tổng quan về thiết kế robot mini hỗ trợ trinh sát

Thiết kế robot mini hỗ trợ trinh sát đang trở thành một xu hướng quan trọng trong lĩnh vực công nghệ hiện đại. Những robot thông minh này không chỉ giúp tăng cường khả năng trinh sát mà còn cải thiện hiệu quả trong các nhiệm vụ cứu hộ và cứu nạn. Việc tích hợp công nghệ IoT và AI vào thiết kế robot giúp nâng cao khả năng nhận diện và xử lý thông tin trong thời gian thực. Dự án này sẽ khám phá các khía cạnh quan trọng của việc thiết kế và triển khai một hệ thống robot mini hỗ trợ trinh sát.

1.1. Lợi ích của robot mini trong trinh sát

Robot mini mang lại nhiều lợi ích trong việc thực hiện các nhiệm vụ trinh sát. Chúng có thể tiếp cận những khu vực khó khăn mà con người không thể vào được, từ đó thu thập thông tin một cách an toàn và hiệu quả. Việc sử dụng robot tự động giúp giảm thiểu rủi ro cho nhân viên cứu hộ trong các tình huống nguy hiểm.

1.2. Công nghệ chính trong thiết kế robot

Các công nghệ chính được sử dụng trong thiết kế robot mini bao gồm cảm biến, camera, và các mô-đun điều khiển từ xa. Những công nghệ này cho phép robot thu thập dữ liệu môi trường và truyền tải thông tin về trung tâm điều khiển một cách nhanh chóng và chính xác.

II. Thách thức trong việc phát triển robot hỗ trợ trinh sát

Mặc dù có nhiều lợi ích, việc phát triển robot hỗ trợ trinh sát cũng gặp phải nhiều thách thức. Các vấn đề như độ ổn định của kết nối mạng, thời gian hoạt động của robot, và khả năng nhận diện đối tượng trong điều kiện ánh sáng yếu là những yếu tố cần được xem xét kỹ lưỡng. Những thách thức này có thể ảnh hưởng đến hiệu quả hoạt động của robot trong các tình huống thực tế.

2.1. Vấn đề kết nối mạng

Kết nối mạng không ổn định có thể gây ra sự gián đoạn trong việc điều khiển robot từ xa. Điều này đặc biệt quan trọng trong các nhiệm vụ trinh sát, nơi mà thông tin cần được truyền tải liên tục và nhanh chóng.

2.2. Thời gian hoạt động của robot

Thời gian hoạt động của robot thường bị giới hạn bởi nguồn năng lượng. Việc sử dụng pin có dung lượng thấp có thể dẫn đến việc robot không thể hoàn thành nhiệm vụ trong thời gian yêu cầu.

III. Phương pháp thiết kế robot mini hỗ trợ trinh sát hiệu quả

Để thiết kế một robot mini hỗ trợ trinh sát hiệu quả, cần áp dụng các phương pháp khoa học và công nghệ tiên tiến. Việc lựa chọn linh kiện phù hợp, lập trình hệ thống điều khiển, và tối ưu hóa thuật toán nhận diện đối tượng là những bước quan trọng trong quá trình phát triển. Dưới đây là một số phương pháp chính được áp dụng.

3.1. Lựa chọn linh kiện phù hợp

Việc lựa chọn linh kiện như ESP32-CAM, mô-đun L298N, và cảm biến DHT11 là rất quan trọng. Những linh kiện này không chỉ đảm bảo hiệu suất mà còn giúp giảm thiểu chi phí sản xuất.

3.2. Lập trình hệ thống điều khiển

Lập trình hệ thống điều khiển cho robot cần được thực hiện một cách cẩn thận. Sử dụng ngôn ngữ lập trình phù hợp và tối ưu hóa mã nguồn sẽ giúp robot hoạt động mượt mà và hiệu quả hơn.

IV. Ứng dụng thực tiễn của robot mini trong trinh sát

Robot mini hỗ trợ trinh sát có thể được ứng dụng trong nhiều lĩnh vực khác nhau như cứu hộ, cứu nạn, và giám sát an ninh. Những ứng dụng này không chỉ giúp nâng cao hiệu quả công việc mà còn đảm bảo an toàn cho con người. Việc triển khai robot trong các tình huống thực tế đã cho thấy những kết quả khả quan.

4.1. Ứng dụng trong cứu hộ và cứu nạn

Trong các tình huống khẩn cấp, robot mini có thể được sử dụng để tìm kiếm và cứu nạn những người bị mắc kẹt. Chúng có khả năng tiếp cận những khu vực nguy hiểm mà con người không thể vào được.

4.2. Giám sát an ninh

Robot mini cũng có thể được sử dụng để giám sát an ninh tại các khu vực nhạy cảm. Chúng có thể thu thập dữ liệu hình ảnh và gửi về trung tâm điều khiển để phân tích và xử lý.

V. Kết luận và tương lai của robot mini hỗ trợ trinh sát

Tương lai của robot mini hỗ trợ trinh sát rất hứa hẹn với sự phát triển không ngừng của công nghệ. Việc tích hợp AI và IoT vào thiết kế robot sẽ mở ra nhiều cơ hội mới trong việc nâng cao khả năng trinh sát và cứu hộ. Các nghiên cứu và phát triển trong lĩnh vực này sẽ tiếp tục được đẩy mạnh để đáp ứng nhu cầu ngày càng cao của xã hội.

5.1. Xu hướng phát triển công nghệ robot

Công nghệ robot đang phát triển nhanh chóng với nhiều cải tiến về hiệu suất và tính năng. Việc áp dụng AI vào robot sẽ giúp chúng trở nên thông minh hơn và có khả năng tự động hóa cao.

5.2. Tầm quan trọng của nghiên cứu và phát triển

Nghiên cứu và phát triển trong lĩnh vực robot hỗ trợ trinh sát là rất cần thiết. Điều này không chỉ giúp nâng cao hiệu quả công việc mà còn đảm bảo an toàn cho con người trong các tình huống nguy hiểm.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh cuộc Cách mạng Công nghiệp lần thứ tư, sự phát triển của công nghệ đã tạo ra mối liên kết chặt chẽ giữa thế giới vật lý, môi trường kỹ thuật số và thế giới sinh học. Các công nghệ nền tảng như Internet vạn vật (IoT), trí tuệ nhân tạo (AI), robot tự hành, in 3D và cảm biến sinh học đang được ứng dụng rộng rãi nhằm nâng cao năng suất, chất lượng và hiệu quả lao động. Trong lĩnh vực điều khiển tự động, các hệ thống điều khiển từ xa không dây truyền thống thường bị giới hạn đáng kể về cự ly hoạt động. Sự phổ cập của mạng Internet toàn cầu đã mở ra giải pháp truyền nhận tín hiệu điều khiển và dữ liệu giám sát mà không bị rào cản bởi khoảng cách địa lý, đảm bảo an toàn cho con người khi phải tiếp cận các khu vực nguy hiểm.

Xuất phát từ yêu cầu thực tiễn đó, đồ án tốt nghiệp "Thiết kế robot mini hỗ trợ trinh sát" (tên tiếng Anh: "Mini robot design for supporting reconnaissance") được thực hiện bởi sinh viên Hoàng Gia Phi (mã số sinh viên: 19071622), ngành Kỹ thuật Tin học và Máy tính (Informatics and Computer Engineering) tại Trường Quốc tế – Đại học Quốc gia Hà Nội, dưới sự hướng dẫn của TS. Phạm Thị Việt Hương vào tháng 6 năm 2024. Đề tài tập trung giải quyết bài toán trinh sát, thăm dò tại các không gian chật hẹp, môi trường hiểm trở phục vụ các nhiệm vụ như cứu hộ, cứu nạn, hỗ trợ chữa cháy và giám sát an ninh từ xa.

Mục tiêu nghiên cứu của đồ án được xác định cụ thể qua các nhiệm vụ:

1. Thiết kế và chế tạo một sản phẩm robot mini hoàn chỉnh có khả năng điều khiển từ xa, truyền phát hình ảnh trực tiếp (live streaming) qua máy chủ web (Web Server), đồng thời thu thập và đẩy dữ liệu nhiệt độ, độ ẩm môi trường lên giao diện web thông qua vi điều khiển ESP32, ESP32-CAM và kết nối WiFi.
2. Xây dựng chương trình điều khiển cho các kit vi điều khiển ESP32, thiết lập Web Server nhúng và thực hiện các giao thức truyền dữ liệu hai chiều.
3. Tích hợp hệ thống nhận diện đối tượng thông minh từ luồng video thu nhận được từ ESP32-CAM phục vụ công tác trinh sát.

Đối tượng nghiên cứu của đề tài là hệ thống phần cứng điều khiển nhúng, cơ chế truyền dẫn luồng dữ liệu thời gian thực qua mạng không dây và thuật toán thị giác máy tính nhận diện đối tượng. Phạm vi nghiên cứu giới hạn ở mô hình robot kích thước nhỏ di chuyển bằng 4 bánh xe gắn động cơ DC, điều khiển góc nhìn camera bằng động cơ servo, hoạt động trong vùng phủ sóng mạng WiFi cục bộ và xử lý nhận diện vật thể thông qua máy tính trung tâm.

Cơ sở lý thuyết và phương pháp

Đồ án xây dựng dựa trên các nền tảng lý thuyết và công nghệ chuyên ngành kỹ thuật máy tính và trí tuệ nhân tạo:

• Kiến trúc Internet of Things (IoT) và giao thức mạng: Ứng dụng giao thức HTTP (Hypertext Transfer Protocol) để khởi tạo Web Server trên vi điều khiển ESP32, sử dụng các yêu cầu HTTP Request và phản hồi HTTP Response định dạng dữ liệu ảnh JPEG liên tục nhằm tạo luồng truyền video (video streaming), kết hợp điều khiển thiết bị phần cứng qua tín hiệu điều chế độ rộng xung (PWM).
• Thị giác máy tính và thuật toán phát hiện đối tượng: Ứng dụng mô hình Single Shot MultiBox Detector (SSD). Về mặt lý thuyết, thuật toán SSD kết hợp mạng trích xuất đặc trưng (như VGG16) với các tầng đặc trưng bổ sung (Extra Feature Layers) ở nhiều tỷ lệ (multi-scale feature maps) để dự đoán nhãn và tọa độ hộp bao (bounding box) cho các đối tượng có kích thước khác nhau. Để tối ưu hóa khả năng xử lý thời gian thực, đồ án ứng dụng mô hình SSD MobileNet V3 Large đã được huấn luyện sẵn trên tập dữ liệu COCO 2017 (Common Objects in Context).
• Giao tiếp phần cứng nhúng: Sử dụng các chuẩn giao tiếp UART (để nạp chương trình qua module FTDI), giao thức 1-Wire (truyền nhận dữ liệu số từ cảm biến DHT11), các kênh ADC, SPI, I2C và hệ thống chân xuất nhập đa năng (GPIO).

Phương pháp nghiên cứu thực nghiệm được triển khai theo các bước:

1. Thu thập dữ liệu và khảo sát quy trình thiết kế hệ thống điều khiển robot hỗ trợ trinh sát.
2. Thiết kế giải pháp kỹ thuật, lựa chọn linh kiện, tính toán mạch nguyên lý và sơ đồ khối chức năng.
3. Lập trình mã nguồn cho vi điều khiển, xây dựng giao diện điều khiển Web Server và tích hợp chương trình nhận diện đối tượng trên máy tính.
4. Chế tạo mô hình thực nghiệm, tiến hành thử nghiệm các ca kiểm thử (test cases), đo lường độ trễ truyền dữ liệu và đánh giá khả năng vận hành của hệ thống.

Nguồn dữ liệu thực nghiệm bao gồm luồng khung hình video trực tiếp từ camera OV2640, dữ liệu nhiệt độ và độ ẩm thu nhận từ cảm biến DHT11, cùng các tệp cấu hình mô hình học máy: frozen_inference_graph.pb (chứa trọng số mạng nơ-ron), ssd_mobilenet_v3_large_coco_2020_01_14.pbtxt (chứa cấu hình kiến trúc mạng, kích thước đầu vào, anchor boxes) và coco.names (chứa danh mục 80 lớp đối tượng nhận diện).

Thiết kế và triển khai

Hệ thống robot trinh sát mini được thiết kế theo cấu trúc module hóa phân tầng, bao gồm cả phần cứng nhúng và phần mềm điều khiển, giám sát.

Kiến trúc phần cứng

Hệ thống phần cứng được phân chia thành 6 khối chức năng chính:

[ Khối Nguồn (3x Pin 18650 12V) ] 
                                          [ Khối Nhận Diện AI (PC) ]

Chi tiết thông số kỹ thuật của các linh kiện phần cứng được sử dụng trong hệ thống:

Tên linh kiện / Module	Vai trò chức năng	Thông số kỹ thuật chính
ESP32-CAM AI-Thinker	Vi điều khiển trung tâm và truyền luồng video	CPU 32-bit LX6 2 nhân (xung nhịp 160 MHz, 600 DMIPS), 4MB PSRAM, tích hợp WiFi 2.4GHz, Bluetooth, hỗ trợ camera OV2640/OV7670, khe cắm thẻ TF micro-SD, đèn Flash LED trên chân GPIO4, LED đỏ tích hợp trên chân GPIO33.
Module L298N	Mạch công suất điều khiển động cơ	Cầu H đôi L298N, tích hợp IC ổn áp 78M05, điện áp hoạt động 5V–35V, điện áp động cơ tối đa 46V, dòng tải 2A/kênh, công suất tối đa 25W, điều khiển tốc độ qua chân ENA/ENB và hướng quay qua IN1, IN2, IN3, IN4.
Động cơ DC giảm tốc (4 chiếc)	Hệ thống truyền động di chuyển của xe	Điện áp hoạt động 3V–9V, tỷ số truyền 1:48, moment xoắn cực đại 800 gf.cm (tại 3V), tốc độ không tải 125 vòng/phút (bánh xe đường kính 66 mm đạt 26 m/phút), tốc độ tối đa 44 m/phút tại 5V, dòng không tải 70 mA (dòng tối đa 250 mA).
Động cơ Servo SG90S	Điều chỉnh góc nghiêng (tilt) của camera	Bánh răng kim loại, điện áp hoạt động 4.8V–6V DC, moment xoắn 1.2 kg/cm (ở 6V), tốc độ phản hồi 0.08 giây/60 độ (ở 6V), góc quay 0° đến 180°, trọng lượng 13.4g.
Cảm biến DHT11	Giám sát nhiệt độ và độ ẩm môi trường	Điện áp 3V–5V DC, dòng tiêu thụ 2.5mA, dải đo độ ẩm 20%–90% RH (sai số ±5% RH), tần số lấy mẫu tối đa 1 Hz (1 mẫu/giây), chuẩn giao tiếp 1-Wire.
Bộ nguồn Pin 18650	Cung cấp năng lượng cho toàn hệ thống	3 cell pin Lithium-Ion 18650 (dung lượng 2600 mAh, xả 5C, kích thước 18x65 mm) mắc nối tiếp tạo điện áp danh định ~11.1V – 12V DC cấp cho L298N và hạ áp 5V cấp cho vi điều khiển.

Thiết kế phần mềm và thuật toán

Hệ thống phần mềm được triển khai trên hai môi trường: phần mềm nhúng trên vi điều khiển và ứng dụng thị giác máy tính trên máy tính giám sát.

1. Thuật toán điều khiển chuyển động và góc quay:

   • Khi nhận tín hiệu từ Web Server thông qua biến giá trị val, ESP32 xử lý và xuất tín hiệu điều khiển tới module L298N. Các giá trị forward, backward, left, right và stop tương ứng với các trạng thái kích hoạt logic trên các chân IN1–IN4 và cấp xung PWM trên chân ENA/ENB để thay đổi tốc độ xe.
   • Thuật toán điều khiển động cơ servo khởi tạo góc quay mặc định ở 90°. Khi nhận lệnh UP, góc quay tăng thêm 90° (giới hạn tối đa 180°); khi nhận lệnh DOWN, góc quay giảm 90° (giới hạn tối thiểu 0°).
   • Đèn flash trên ESP32-CAM được bật/tắt bằng việc điều khiển mức logic trên chân GPIO4 thông qua yêu cầu HTTP gửi từ thanh trượt trên giao diện.

2. Thuật toán truyền phát video và đọc dữ liệu cảm biến:

   • Hệ thống khởi tạo dịch vụ HTTP thông qua hàm httpd_register_uri_handler với đường dẫn /stream.
   • Mỗi khi nhận được yêu cầu từ trình duyệt, hàm stream_handler gọi esp_camera_fb_get() để lấy khung hình JPEG từ bộ đệm camera, gán tiêu đề phản hồi httpd_resp_set_type(req, "image/jpeg") cùng tiêu đề Access-Control-Allow-Origin: *, gửi dữ liệu khung hình qua phản hồi HTTP và giải phóng bộ nhớ đệm bằng hàm esp_camera_fb_return(fb).
   • ESP32 định kỳ thực thi các hàm readTemperature() và readHumidity() để đọc dữ liệu từ chân GPIO kết nối với DHT11, lưu vào biến toàn cục và hiển thị trực tiếp lên giao diện người dùng.

3. Thuật toán nhận diện đối tượng bằng SSD MobileNet V3:

   • Chương trình trên máy tính kết nối tới đường dẫn truyền video của ESP32-CAM thông qua thư viện urllib và khởi tạo hai luồng xử lý (threads) song song: một luồng nhận hiển thị khung hình thô và một luồng đưa khung hình vào mô hình học máy.
   • Về mặt cấu trúc, thuật toán SSD chia ảnh thành các lưới ô và tạo ra tổng cộng 8.732 hộp bao mặc định (default bounding boxes) trên các tầng đặc trưng:
     • Tầng Conv4_3 ($38 \times 38$ lưới, 4 hộp/ô): 5.776 hộp.
     • Tầng Conv7 ($19 \times 19$ lưới, 6 hộp/ô): 2.166 hộp.
     • Tầng Conv8_2 ($10 \times 10$ lưới, 6 hộp/ô): 600 hộp.
     • Tầng Conv9_2 ($5 \times 5$ lưới, 6 hộp/ô): 150 hộp.
     • Tầng Conv10_2 ($3 \times 3$ lưới, 4 hộp/ô): 36 hộp.
     • Tầng Conv11_2 ($1 \times 1$ lưới, 4 hộp/ô): 4 hộp.
   • Tại mỗi ô, mô hình dự đoán vector $y^T = [x, y, w, h, c_1, c_2, ..., c_C]$ chứa tọa độ điều chỉnh của hộp bao và phân phối xác suất của $C$ lớp đối tượng. Các dự đoán có độ tin cậy cao sẽ được trích xuất nhãn từ tệp coco.names, vẽ hộp bao và hiển thị tỷ lệ phần trăm tin cậy trực tiếp lên khung hình video thời gian thực.

Nội dung chính theo từng chương

Bố cục của báo cáo đồ án tốt nghiệp được chia thành 5 chương chính với các nội dung trọng tâm như sau:

Chapter 1: Introduction

Chương mở đầu trình bày tổng quan về xu hướng tích hợp công nghệ trong kỷ nguyên Cách mạng Công nghiệp 4.0, sự phát triển của IoT, AI và robotics. Tác giả phân tích nhu cầu thực tế đối với một thiết bị trinh sát điều khiển từ xa qua Internet nhằm khắc phục nhược điểm giới hạn cự ly của sóng vô tuyến truyền thống. Chương này xác định rõ mục tiêu đề tài, phương pháp thực hiện, các giới hạn kỹ thuật và bố cục tổng thể của đồ án.

Chapter 2: Hardware

Chương 2 đi sâu vào khảo sát chi tiết cấu tạo, sơ đồ chân kết nối, nguyên lý vận hành và thông số kỹ thuật của từng thành phần phần cứng được lựa chọn:

• Phân tích kiến trúc vi điều khiển ESP32-CAM AI-Thinker (bộ nhớ PSRAM 4MB, các cổng giao tiếp ADC, SPI, I2C, UART, bố trí chân nạp GPIO0, LED chỉ báo GPIO33, đèn flash GPIO4).
• Phân tích mạch cầu H L298N (sơ đồ chân IN1–IN4, ENA, ENB, nguyên lý ổn áp 5V từ IC 78M05).
• Khảo sát đặc tính kỹ thuật của động cơ RC Servo SG90S bánh răng kim loại, động cơ giảm tốc DC, cảm biến độ ẩm - nhiệt độ DHT11 và đặc tính xả của khối pin Lithium-Ion 18650.

Chapter 3: System Design

Chương 3 tập trung vào khâu thiết kế tổng thể hệ thống:

• Xây dựng sơ đồ khối chức năng và tính toán thiết kế mạch điện nguyên lý toàn diện (schematic).
• Thiết kế lưu đồ thuật toán điều khiển động cơ DC (5 trạng thái di chuyển), thuật toán điều khiển góc quay động cơ servo SG90S (giới hạn góc từ 0° đến 180°), thuật toán đọc cảm biến DHT11.
• Xây dựng giải pháp truyền phát luồng ảnh JPEG qua giao thức HTTP của ESP32-CAM.
• Trình bày cơ sở toán học và kiến trúc thuật toán nhận diện đối tượng SSD (Single Shot MultiBox Detector), so sánh cơ chế phát hiện 8.732 hộp bao của SSD với 98 hộp bao của mạng YOLO, và cấu hình triển khai mô hình SSD MobileNet V3 Large với các tệp cấu hình .pbtxt, .pb và .names.

Chapter 4: Product and Testcase

Chương 4 mô tả kết quả lắp ráp hoàn thiện mô hình robot vật lý và thiết kế giao diện Web Server:

• Giao diện máy chủ web bao gồm 5 nút bấm điều hướng di chuyển xe, 2 thanh trượt điều chỉnh cường độ sáng đèn flash và tốc độ di chuyển, 1 thanh trượt điều chỉnh góc nghiêng camera, cùng khu vực hiển thị số đo nhiệt độ và độ ẩm môi trường theo thời gian thực.
• Tiến hành thực nghiệm các ca kiểm thử chức năng vận hành, kiểm tra khả năng truyền tín hiệu điều khiển, độ mượt mà của luồng video và khả năng nhận diện đối tượng khi robot di chuyển trong môi trường thực tế.

Chapter 5: Results and Development Direction

Chương tổng kết đánh giá các kết quả kỹ thuật đạt được, phân tích số liệu đo lường độ trễ của hệ thống truyền hình ảnh, chỉ ra các mặt hạn chế còn tồn tại và đề xuất các định hướng nghiên cứu nâng cấp hệ thống trong tương lai.

Kết quả và đóng góp

Kết quả thực nghiệm

Đồ án đã chế tạo thành công mẫu robot mini hỗ trợ trinh sát với đầy đủ các tính năng cơ bản, đạt được các thông số kỹ thuật thực nghiệm sau:

• Độ trễ truyền phát hình ảnh (Latency): Kết quả đo lường độ trễ truyền dữ liệu video qua mạng từ ESP32-CAM tới máy chủ web được thống kê chi tiết:
  • Độ trễ tối thiểu: $17\text{ ms}$
  • Độ trễ tối đa: $23\text{ ms}$
  • Yếu vị (Mode - giá trị xuất hiện nhiều nhất): $17\text{ ms}$
  • Độ trễ trung bình: $20\text{ ms}$
  • Độ lệch chuẩn: $2.34 \times 10^{-5}\text{ ms}$ (cho thấy mức độ ổn định và độ tin cậy rất cao của hệ thống truyền dẫn tín hiệu thời gian thực).
• Khả năng điều khiển và giám sát:
  • Điều khiển chuyển động 4 hướng (tiến, lùi, rẽ trái, rẽ phải) và dừng thông qua giao diện Web Server với tốc độ xe tối đa đạt 44 m/phút ở điện áp 5V.
  • Điều chỉnh góc nghiêng camera linh hoạt trong phạm vi 0° đến 180° bằng động cơ servo SG90S với tốc độ phản hồi 0.08 giây/60 độ.
  • Thu thập và hiển thị chính xác các thông số nhiệt độ, độ ẩm môi trường xung quanh với tần số lấy mẫu 1 Hz từ cảm biến DHT11.
  • Nhận diện thành công các đối tượng trong luồng video trinh sát bằng mô hình SSD MobileNet V3 Large với độ chính xác cao và hiển thị nhãn đối tượng cùng phần trăm độ tin cậy trên màn hình.

Đóng góp của đề tài

• Xây dựng một giải pháp hoàn chỉnh, chi phí thấp cho hệ thống robot trinh sát mini, kết hợp hiệu quả giữa phần cứng nhúng nguồn mở (ESP32-CAM, L298N) và các thuật toán học sâu hiện đại.
• Ứng dụng thành công giao thức truyền phát video qua HTTP kết hợp xử lý song luồng (multithreading) trên máy tính giám sát, giúp duy trì độ trễ truyền dẫn thấp ($20\text{ ms}$) phục vụ điều khiển chính xác.
• Tạo ra một mô hình thực nghiệm trực quan cho việc ứng dụng công nghệ IoT và Computer Vision vào các hoạt động thăm dò môi trường nguy hiểm và cứu hộ cứu nạn.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế kỹ thuật

Tác giả đã chỉ ra 4 hạn chế chính trong quá trình thử nghiệm hệ thống:

1. Phạm vi điều khiển: Robot phụ thuộc vào kết nối sóng WiFi cục bộ, dẫn đến bán kính hoạt động bị giới hạn trong tầm phủ sóng của bộ phát mạng.
2. Độ ổn định đường truyền: Hệ thống dễ phát sinh lỗi hoặc gián đoạn luồng truyền video khi băng thông mạng không ổn định (dưới 3 Mbps).
3. Thời lượng hoạt động: Thời gian vận hành liên tục của robot còn tương đối ngắn do dung lượng của khối pin 18650 bị giới hạn khi phải cung cấp đồng thời cho 4 động cơ DC, 1 động cơ servo, vi điều khiển ESP32, camera và đèn flash.
4. Chất lượng hình ảnh ban đêm: Luồng video chỉ đạt độ sắc nét cao trong môi trường đủ ánh sáng; đèn flash LED tích hợp chỉ hỗ trợ chiếu sáng ở cự ly gần và chưa đáp ứng tốt trong môi trường bóng tối hoàn toàn.

Hướng nghiên cứu phát triển

Dựa trên các hạn chế đã xác định, đồ án đề xuất các hướng nâng cấp:

• Nâng cấp phương thức kết nối không dây tầm xa như mạng di động 4G/5G hoặc mạng diện rộng công suất thấp (LoRa) để mở rộng phạm vi trinh sát.
• Tối ưu hóa thuật toán tiết kiệm năng lượng cho vi điều khiển và tăng dung lượng bộ nguồn pin.
• Trang bị thêm camera hồng ngoại hoặc cảm biến nhìn đêm để nâng cao hiệu quả trinh sát trong điều kiện thiếu sáng.
• Nghiên cứu tối ưu hóa mô hình AI để có thể triển khai nhận diện trực tiếp tại biên (Edge AI) trên các phần cứng nhúng chuyên dụng.

Giá trị tham khảo

Đồ án tốt nghiệp này mang lại giá trị tham khảo thiết thực cho:

• Sinh viên ngành Kỹ thuật Tin học, Kỹ thuật Máy tính, Điện tử – Viễn thông và Tự động hóa: Là tài liệu tham khảo chi tiết về quy trình thiết kế mạch điều khiển nhúng, cách lập trình giao tiếp chân GPIO, PWM, UART và 1-Wire trên dòng vi điều khiển ESP32.
• Người nghiên cứu các đề tài về IoT và Robotics: Cung cấp giải pháp mẫu về việc xây dựng Web Server nhúng để truyền phát luồng dữ liệu video JPEG và xử lý tín hiệu điều khiển phần cứng qua mạng không dây.
• Lập trình viên thị giác máy tính ứng dụng: Phần trình bày về lý thuyết và cách thức cấu hình tệp pbtxt, pb và coco.names của mô hình SSD MobileNet V3 Large là tài liệu tham khảo rõ ràng cho việc tích hợp mô hình phát hiện đối tượng vào luồng video thời gian thực.

Câu hỏi thường gặp

1. Vi điều khiển ESP32-CAM AI-Thinker sử dụng trong đồ án có các thông số phần cứng cơ bản nào?
ESP32-CAM AI-Thinker sử dụng chip xử lý ESP32-S với CPU 32-bit LX6 2 nhân, tần số xung nhịp tối đa 160 MHz cho năng lực tính toán 600 DMIPS, tích hợp bộ nhớ ngoài PSRAM 4MB, hỗ trợ camera OV2640/OV7670, kết nối WiFi 2.4GHz và Bluetooth. Module sử dụng mạch in PCB 7 lớp, tích hợp đèn flash LED trên chân GPIO4 và LED đỏ chỉ báo trên chân GPIO33.

2. Độ trễ truyền phát hình ảnh của ESP32-CAM trong hệ thống thực nghiệm là bao nhiêu?
Kết quả đo kiểm thực nghiệm cho thấy độ trễ truyền dữ liệu video của ESP32-CAM dao động từ tối thiểu 17 ms đến tối đa 23 ms, với giá trị xuất hiện nhiều nhất (mode) là 17 ms, độ trễ trung bình đạt 20 ms và độ lệch chuẩn cực nhỏ là $2.34 \times 10^{-5}\text{ ms}$.

3. Hệ thống nguồn của robot được thiết kế như thế nào để cấp điện cho các khối chức năng?
Hệ thống sử dụng bộ nguồn gồm 3 cell pin Lithium-Ion 18650 (dung lượng 2600 mAh, dòng xả 5C) mắc nối tiếp để tạo ra nguồn điện áp khoảng 11.1V – 12V DC. Nguồn điện này cấp trực tiếp cho module công suất L298N để điều khiển 4 động cơ DC (hoạt động từ 3V–9V). IC ổn áp 78M05 tích hợp trên L298N sẽ hạ áp xuống mức 5V DC để nuôi vi điều khiển ESP32, ESP32-CAM và động cơ Servo SG90S.

4. Mô hình trí tuệ nhân tạo cụ thể nào được triển khai để nhận diện đối tượng trong đồ án?
Đồ án triển khai mô hình SSD MobileNet V3 Large được huấn luyện sẵn trên tập dữ liệu COCO 2017. Hệ thống sử dụng 3 tệp dữ liệu chính gồm: tệp trọng số nơ-ron frozen_inference_graph.pb, tệp cấu hình tham số mạng ssd_mobilenet_v3_large_coco_2020_01_14.pbtxt và tệp nhãn 80 lớp đối tượng coco.names.

5. Giao diện Web Server của robot cung cấp những tính năng điều khiển và giám sát nào?
Giao diện Web Server cung cấp 5 nút bấm điều hướng di chuyển của xe (Tiến, Lùi, Rẽ trái, Rẽ phải, Dừng); 2 thanh trượt điều chỉnh độ sáng đèn flash và tốc độ di chuyển của động cơ; 1 thanh trượt điều chỉnh góc nghiêng của động cơ servo gắn camera (0° đến 180°); đồng thời hiển thị liên tục số đo nhiệt độ (°C) và độ ẩm (% RH) môi trường thu thập từ cảm biến DHT11.

Kết luận

Đồ án tốt nghiệp "Thiết kế robot mini hỗ trợ trinh sát" của sinh viên Hoàng Gia Phi đã giải quyết thành công bài toán tích hợp giữa phần cứng nhúng IoT và phần mềm thị giác máy tính nhận diện đối tượng. Hệ thống đã hiện thực hóa một mô hình robot mini vận hành ổn định, cho phép điều khiển chuyển động, chỉnh góc camera và giám sát môi trường từ xa qua giao diện web với độ trễ truyền phát hình ảnh trung bình chỉ 20 ms. Công trình cung cấp một tài liệu thiết kế kỹ thuật hoàn chỉnh, có giá trị ứng dụng thực tiễn cao cho các nhiệm vụ trinh sát, thăm dò trong môi trường nguy hiểm và là nguồn tham khảo hữu ích cho các nghiên cứu phát triển hệ thống robotics tiếp theo.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERSITY, HANOI INTERNATIONAL SCHOOL GRADUATION PROJECT PROJECT NAME: Mini robot design for supporting reconnaissance Student’s name: Hoang Gia Phi Hanoi - Year 2024 1 VIETNAM NATIONAL UNIVERSITY, HANOI INTERNATIONAL SCHOOL GRADUATION PROJECT PROJECT NAME: Mini robot design for supporting reconnaissance SUPERVISOR: Dr. Pham Thi Viet Huong STUDENT: Hoang Gia Phi STUDENT ID: 19071622 MAJOR: Informatics and Computer Engineering Hanoi - Year 2024 2 LETTER OF DECLARATION I confirm that the graduate project titled " Mini robot design for supporting reconnaissance " is the result of my own research and has not been previously published. All conclusions in the project are derived from my independent research and surveys, and proper citations have been provided for all references. I assume complete responsibility for the graduating project's correctness, including any data, figures, and other written materials.

HaNoi, 8th June 2024 Student HOANG GIA PHI Hanoi - Year 2024 3 ACKNOWLEDGEMENT To begin with, I would like to thank Dr. Pham Thi Viet Huong for her mentorship and advice during the creation of my final project. She gave me the essential tools, direction, and support I needed to do my job quickly. Furthermore, he offered perceptive viewpoints that were helpful.

Still, given my little experience, I realize that mistakes can happen. As a result, I am excited to hear from the academics on how to improve the project and provide a solid knowledge base that will support our future growth. I would want to thank all of my instructors, friends, and family once more for their constant support, which has been essential to my personal development. 4 Contents LETTER OF DECLARATION.

7 TABLE OF FIGURE. Target of the topic. Structure of thesis. Module control motor L298N.

Motor servo SG90S. Calculate and design system. Design block diagram system. Calculation and circuit design.

Schematic diagram of the entire circuit. Function of system. Control motor, servo and flash through webserver. Read DHT11 value.

Algorithm SSD - SINGLE SHOT DETECTOR in Object Detection. 42 5 CHAPTER 4: PRODUCT AND TESTCASE. RESULTS AND DEVELOPMENT DIRECTION. 63 6 ABSTRACT In today's life, integrating technology into work to enhance quality, productivity, and efficiency is becoming increasingly prevalent.

The focus of this project, titled " Mini robot design for supporting reconnaissance " delves deep into developing an intelligence system for reconnaissance using smart technologies to support current exploration methods. The main goal of this project is to design and deploy a reconnaissance system integrating sensors, IoT (Internet of Things), and AI object recognition. Through this, I aim to address the challenges that may arise when exploring narrow, confined areas, paving the way for a more effective approach based on existing technologies. Throughout the entire process, various components of the system are carefully considered.

7 TABLE OF FIGURE Figure 2.2: The AI-Thinker component of ESP32-CAM …………………………….3 AI-Thinker ESP32-CAM pinout ………………………………………….4 Built-in RED LED position ……………………………………………….5 GPIO layout ……………………………………………………………… 18 Figure 2.6 FLASH light position …………………………………………………….7 ESP32-CAM pinout ………………………………………………………19 Figure 2.8 ESP32-CAM feature………………………………………………………20 Figure 2.9: EPS32-CAM latency chart ……………………………………………….12 L298N circuit diagram ……………………………………………………24 Figure 2.16 Pin cell 18650 2600mAh 5C…………………………………………….17 Lithium pin in life …………………………………………………….1 Block diagram of system………………………………………………….7 Configure schematic ………………………………………………………34 8 Figure 3.10 Flow chart of servo motor control algorithm …………………………….11 Flow chart of DC motor control algorithm ……………………………….12 Read sensor value function ……………………………………………….13 Object detective function …………………………………………….14 Simulation of SSD algorithm …………………………………….16 Image of bounding box ……………………………………….17 Object detective flow chart ………………………………….3 Object detective program display ……………………………. Background Technology progress has fostered the connection between the physical world, the digital realm, and the organic world, resulting in the creation of production tools that bridge the gap between the tangible and the virtual. Typical components of Industry 4.0 include the emergence of the Internet of Things (IoT), smart cities, artificial intelligence, autonomous vehicles, robots, 3D printing, new materials, nano-technology, and breakthroughs in biological sensing. Speaking of IoT, which stands for "Internet of Things," it can be easy to translated as "Connecting Everything to the Internet." It is a system where every device is interconnected, and all things are linked through a common protocol, typically the communication network or the Internet.