BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH HỆ THỐNG NHÚNG VÀ IOT XÂY DỰNG HỆ THỐNG GIÁM SÁT VÀ CẢNH BÁO CHO TÀI XẾ ĐƯỜNG DÀI ỨNG DỤNG PHẦN CỨNG JETSON NANO GVHD: ThS. TRƯƠNG QUANG PHÚC SVTH: PHẠM THANH HÀ TRẦN ĐỨC HIẾU SKL013302 Tp. Hồ Chí Minh, tháng 6 năm 2024 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH KHOA ĐIỆN ĐIỆN TỬ BỘ MÔN KỸ THUẬT MÁY TÍNH - VIỄN THÔNG ------------------------------- ĐỒ ÁN TỐT NGHIỆP XÂY DỰNG HỆ THỐNG GIÁM SÁT VÀ CẢNH BÁO CHO TÀI XẾ ĐƯỜNG DÀI ỨNG DỤNG PHẦN CỨNG JETSON NANO NGÀNH HỆ THỐNG NHÚNG & IOT Sinh viên: PHẠM THANH HÀ MSSV: 20139073 TRẦN ĐỨC HIẾU MSSV: 20139074 Hướng dẫn: ThS.
TRƯƠNG QUANG PHÚC TP. HỒ CHÍ MINH – 06/2024 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH KHOA ĐIỆN ĐIỆN TỬ BỘ MÔN KỸ THUẬT MÁY TÍNH - VIỄN THÔNG ------------------------------- ĐỒ ÁN TỐT NGHIỆP XÂY DỰNG HỆ THỐNG GIÁM SÁT VÀ CẢNH BÁO CHO TÀI XẾ ĐƯỜNG DÀI ỨNG DỤNG PHẦN CỨNG JETSON NANO NGÀNH HỆ THỐNG NHÚNG & IOT Sinh viên: PHẠM THANH HÀ MSSV: 20139073 TRẦN ĐỨC HIẾU MSSV: 20139074 Hướng dẫn: ThS. TRƯƠNG QUANG PHÚC TP.
HỒ CHÍ MINH – 06/2024 ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA ĐIỆN – ĐIỆN TỬ Độc lập – Tự do – Hạnh phúc BỘ MÔN KỸ THUẬT MÁY TÍNH – VIỄN THÔNG NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ và tên sinh viên: Phạm Thanh Hà MSSV: 20139073 Trần Đức Hiếu MSSV: 20139074 Chuyên ngành: Hệ thống nhúng & IoT Lớp: 20139B Hệ đào tạo: Đại học chính quy Giảng viên hướng dẫn: ThS. Trương Quang Phúc Ngày nhận đề tài: 15/02/2024 Ngày nộp đề tài: 09/06/2024 1. Tên đề tài: “Xây dựng hệ thống giám sát và cảnh báo cho tài xế đường dài ứng dụng phần cứng jetson nano” 2. Nội dung thực hiện đề tài: Thiết kế và thi công phần cứng mô hình giám sát và cảnh báo.
Tìm hiểu YOLOv8 và bài toán phát hiện đối tượng, mô hình có khả năng nhận diện ba trạng thái của tài xế: ngủ gật, tỉnh táo, ngáp. Thiết kế giao diện website cho người dùng giám sát theo dõi. Sản phẩm: Hệ thống giám sát và cảnh báo cho tài xế đường dài Quyển báo cáo tốt nghiệp Tp HCM, ngày 10 tháng 06 năm 2024 Giảng viên hướng dẫn ThS. Trương Quang Phúc i ii LỜI CẢM ƠN Trong quá trình hoàn thiện đồ án tốt nghiệp với đề tài “XÂY DỰNG HỆ THỐNG GIÁM SÁT VÀ CẢNH BÁO CHO TÀI XẾ ĐƯỜNG DÀI ỨNG DỤNG PHẦN CỨNG JETSON NANO”, chúng tôi xin gửi lời cảm ơn chân thành và sâu sắc nhất đến với ThS.
Trương Quang Phúc, người đã đồng hành, hướng dẫn và định hướng cho chúng tôi trong suốt quá trình thực hiện đồ án. Mặc dù với lượng kiến thức còn hạn chế nhưng nhờ có sự góp ý, giúp đỡ của thầy mà nhóm chúng tôi đã vượt qua được những thách thức để đạt được kết quả tốt. Nhóm chúng tôi cũng xin cảm ơn đến đội ngũ giảng viên khoa Điện – Điện tử đã xây dựng cho chúng tôi nền tảng kiến thức để đi được đến ngày hôm nay và xin cảm ơn ngôi trường đại học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh đã tạo ra môi trường học tập đúng như khẩu hiệu của mình “Nhân bản - Sáng tạo - Hội nhập”. Cuối cùng, chúng tôi xin gửi lời cảm ơn chân thành đến thầy cô, gia đình, bạn bè và những người thân yêu đã đồng hành, động viên và luôn ủng hộ chúng tôi.
Chúng tôi xin gửi lời chúc đến nhà trường, quý thầy cô và người thầy hướng dẫn của chúng tôi ThS. Trương Quang Phúc thật nhiều sức khỏe và gặt hái được nhiều thành công trong công việc và cuộc sống. Chúng tôi xin chân thành cảm ơn! TP. Hồ Chí Minh, tháng 6 năm 2024 Nhóm thực hiện đề tài iii TÓM TẮT Đề tài này tập trung vào việc xây dựng một hệ thống giám sát, cảnh báo cho tài xế đường dài nhằm đảm bảo an toàn giao thông.
Hệ thống sử dụng Jetson Nano để triển khai mô hình YOLOv8 cho việc nhận diện hình ảnh thông một camera nhằm đáp ứng việc xử lý theo thời gian thực. Khi phát hiện tài xế có dấu hiệu buồn ngủ hoặc ngủ gật, nó sẽ kích hoạt đèn tín hiệu và chuông để cảnh báo cho tài xế ngay lập tức. Hệ thống cũng tích hợp cảm biến gia tốc ADXL345 để phát hiện các rung lắc bất thường của xe. Khi có các tín hiệu cảnh báo, hệ thống sử dụng module SIM để gửi tin nhắn cảnh báo chứa nội dung cảnh báo và vị trị của tài xế được thu từ cảm biến định vị GPS đến số điện thoại người theo dõi.
Điều này giúp quản lý giao thông hoặc người giám sát có thể nắm bắt được vị trí của xe và tình trạng của tài xế để có những biện pháp xử lý kịp thời. Dữ liệu từ phần cứng, bao gồm các tín hiệu cảnh báo và dữ liệu GPS, sẽ được gửi lên cơ sở dữ liệu để làm dữ liệu lưu trữ. Từ đây sẽ triển khai Website theo dõi các tín hiệu cảnh báo và dữ liệu được phân tích một cách trực quan, giúp người theo dõi có thể giám sát phương tiện một cách hiệu quả. Cuối cùng, nhóm đã hoàn thành mô hình phần cứng và phần mềm đáp ứng đầy đủ các chức năng đặt ra.
Bên cạnh đó là việc đánh giá kết quả và phân tích hướng phát triển mới của mô hình trong tương lai. iv MỤC LỤC NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP. iv MỤC LỤC. v DANH MỤC HÌNH ẢNH.
viii DANH MỤC BẢNG. xi CÁC TỪ VIẾT TẮT. xii GIỚI THIỆU .2 MỤC TIÊU ĐỀ TÀI .3 TÌNH HÌNH NGHIÊN CỨU HIỆN NAY .1 Các kết quả nghiên cứu trong nước .2 Các kết quả nghiên cứu ở nước ngoài .4 PHƯƠNG PHÁP NGHIÊN CỨU .5 BỐ CỤC ĐỀ TÀI .1 PHÁT HIỆN ĐỐI TƯỢNG .2 GIỚI THIỆU YOLO .2 Hàm tính IOU .4 Non-max suppression .1 Các Tính năng của YOLOv8 .2 Kiến trúc mạng Yolov8 .4 GIAO THỨC TRUYỀN THÔNG UART .1 Cách hoạt động của UART .2 Cấu trúc Frame UART .5 HỆ ĐIỀU HÀNH THỜI GIAN THỰC (RTOS) .6 GIAO THỨC TRUYỀN THÔNG MQTT. 21 THIẾT KẾ VÀ THI CÔNG .1 YÊU CẦU HỆ THỐNG .2 ĐẶC TẢ HỆ THỐNG .1 Chức năng của hệ thống .2 Mô hình tổng quát của hệ thống .3 Hoạt động của hệ thống .3 THIẾT KẾ PHẦN CỨNG .1 Khối đọc ảnh .2 Khối xử lý ảnh .3 Khối xử lý trung tâm .7 Sơ đồ kết nối phần cứng .4 THIẾT KẾ PHẦN MỀM .1 Thiết kế phần mềm cảnh báo ngủ gật .2 Thiết kế phần mềm giám sát phương tiện .3 Triển khai giao diện người dùng bằng website.
60 vi KẾT QUẢ VÀ ĐÁNH GIÁ HỆ THỐNG .1 KẾT QUẢ PHẦN CỨNG .2 KẾT QUẢ PHẦN MỀM .1 Kết quả giám sát và cảnh báo.2 Kết quả của giao diện người dùng Website .3 ĐÁNH GIÁ KẾT QUẢ CỦA MÔ HÌNH .1 Đánh giá phần giám sát tài xế.2 Đánh giá phần giám sát phương tiện. 80 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .2 HƯỚNG PHÁT TRIỂN. 81 PHỤ LỤC A MÃ NGUỒN CHƯƠNG TRÌNH. 83 PHỤ LỤC B HƯỚNG DẪN SỬ DỤNG SẢN PHẨM THI CÔNG.
84 TÀI LIỆU THAM KHẢO. 88 vii DANH MỤC HÌNH ẢNH Hình 2. 1: Phát hiện đối tượng. 2: Sơ đồ kiến trúc mạng YOLO.
4: Phương thức dự đoán. 5: Output Grid Cell. 6: Tính toán Intersection over Union. 7: Chuẩn hóa pixel cho bounding box.
8: Non-max suppression. 9: Kiến trúc mạng của YOLOv8. 10: Truyền thông Uart. 11: Cấu trúc frame Uart.
12: Nguyên tắc hoạt động của RTOS. 13: Cơ chế hoạt động của giao thức MQTT. 1: Mô hình tổng quát hệ thống. 2: Sơ đồ khối hệ thống phần cứng.
3: Hình ảnh Webcam Rapoo XW180. 5: Module Wifi ESP32-WROOM-32. 7: Sơ đồ nối chân còi BUZZER và ESP32. 8: Cảm biến gia tốc ADXL345.
9: Sơ đồ nối chân ADXL345 và ESP32. 11: Sơ đồ nối chân MODULE NEO-6M GPS và ESP32. 13: Sơ đồ nối chân Module Sim 4G A7680C và ESP32. 14: Sơ đồ kết nối phần cứng.
15: Ảnh tài xế ngủ gật. 16: Ảnh tài xế tỉnh táo. 17: Ảnh tài xế ngáp mệt mỏi. 18: Dán nhãn cho tài xế ngủ gật.
19: Dán nhãn cho tài xế tỉnh táo. 20: Dán nhãn cho tài xế ngáp. 21: Thông tin label đã được dán nhãn cho hình ảnh. 22: Phân chia dataset.
24: Resize ảnh về kích thước 640x640. 25: Lật ảnh, thang xám, chèn nhiễu. 26: Xoay, thay đổi độ sáng. 27: So sánh độ chính xác và hiệu suất của các mô hình YOLO.
28: Thông số khởi tạo ban đầu của YOLOv8n. 29: ONNX Runtime tối ưu hóa việc thực hiện mô hình ONNX. 30: Sơ đồ khối mô tả quá trình nhận diện tài xế ngủ gật. 31: Thuật toán cảnh báo cho tài xế.
32: Lưu đồ giải thuật cho cảm biến gia tốc ADXL345. 33: Lưu đồ giải thuật cho cảm biến GPS NEO6M. 34: Lưu đồ giải thuật cho Module SIM A7680C. 35: Lưu đồ giải thuật cho xử lý dữ liệu ở khối xử lý trung tâm.
36: Lưu đồ mô tả Lambda Function. 37: Lưu đồ kết nối dữ liệu với DynamoDB. 38: Lưu đồ và giải thuật cho tính năng đăng nhập. 39: Lưu đồ hiển thị thông số và cảnh báo.
40: Lưu đồ hiển thị vị trí hiện tại của phương tiện. 1: Hộp sản phẩm 2D. 2: Kết quả phần cứng. 3: Sản phẩm hoàn thiện.
4: Trường hợp cảnh báo tài xế. 5: Trường hợp tài xế tỉnh táo. 7: Gửi tin nhắn thông báo. 8: Hình ảnh gói tin nhận được trên AWS IoT Core.
9: Hình ảnh dữ liệu dạng bảng trên DynamoDB. 10: Giao diện tính năng đăng nhập. 11 Giao diện chính của website. 12: Giao diện hiển thị thông số.
13: Giao diện định vị vị trí. 14: Giao diện lịch sử cảnh báo. 16: Đồ thị PR-Curve. 18: Kết quả training.
19: FPS đạt được khi sử dụng GPU. 20: FPS đạt được khi sử dụng CPU. 79 x DANH MỤC BẢNG Bảng 3. 1: Bảng thông số kỹ thuật của Jetson Nano.
2: Bảng thông số kỹ thuật Module Wifi ESP32-WROOM-32. 3: Bảng thông số kỹ thuật còi BUZZER. 4: Sơ đồ nối chân còi BUZZER và ESP32. 5: Bảng thông số kỹ thuật ADXL345.
6: Sơ đồ nối chân ADXL345 và ESP32. 7: Bảng thông số kỹ thuật MODULE NEO-6M GPS. 8: Sơ đồ nối chân MODULE NEO-6M GPS và ESP32. 9: Bảng thông số kỹ thuật Module Sim 4G A7680C .