BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH HỆ THỐNG NHÚNG VÀ IOT XÂY DỰNG HỆ THỐNG GIÁM SÁT VÀ CẢNH BÁO CHO TÀI XẾ ĐƯỜNG DÀI ỨNG DỤNG PHẦN CỨNG JETSON NANO GVHD: ThS. TRƯƠNG QUANG PHÚC SVTH: PHẠM THANH HÀ TRẦN ĐỨC HIẾU SKL013302 Tp. Hồ Chí Minh, tháng 6 năm 2024 TR¯âNG Đ¾I HàC S¯ PH¾M KỸ THU¾T TP. Hà CHÍ MINH KHOA ĐIÞN ĐIÞN Tþ BÞ MÔN KỸ THU¾T MÁY TÍNH - VIÄN THÔNG ------------------------------- Đà ÁN TÞT NGHIÞP XÂY DĀNG HÞ THÞNG GIÁM SÁT VÀ CÀNH BÁO CHO TÀI X¾ Đ¯âNG DÀI ĄNG DĀNG PHÀN CĄNG JETSON NANO NGÀNH HÞ THÞNG NHÚNG & IOT Sinh viên: PH¾M THANH HÀ MSSV: 20139073 TRÀN ĐĄC HI¾U MSSV: 20139074 H°ãng dÅn: ThS.
TR¯¡NG QUANG PHÚC TP. Hâ CHÍ MINH – 06/2024 TR¯âNG Đ¾I HàC S¯ PH¾M KỸ THU¾T TP. Hà CHÍ MINH KHOA ĐIÞN ĐIÞN Tþ BÞ MÔN KỸ THU¾T MÁY TÍNH - VIÄN THÔNG ------------------------------- Đà ÁN TÞT NGHIÞP XÂY DĀNG HÞ THÞNG GIÁM SÁT VÀ CÀNH BÁO CHO TÀI X¾ Đ¯âNG DÀI ĄNG DĀNG PHÀN CĄNG JETSON NANO NGÀNH HÞ THÞNG NHÚNG & IOT Sinh viên: PH¾M THANH HÀ MSSV: 20139073 TRÀN ĐĄC HI¾U MSSV: 20139074 H°ãng dÅn: ThS. TR¯¡NG QUANG PHÚC TP.
Hâ CHÍ MINH – 06/2024 Đ¾I HàC S¯ PH¾M KỸ THU¾T TP HCM CÞNG HÒA Xà HÞI CHĂ NGHĨA VIÞT NAM KHOA ĐIÞN – ĐIÞN Tþ Đßc l¿p – Tā do – H¿nh phúc BÞ MÔN KỸ THU¾T MÁY TÍNH – VIÄN THÔNG NHIÞM VĀ Đà ÁN TÞT NGHIÞP Họ và tên sinh viên: Ph¿m Thanh Hà MSSV: 20139073 TrÁn Đćc HiÁu MSSV: 20139074 Chuyên ngành: Há tháng nhúng & IoT Lãp: 20139B Há đào t¿o: Đ¿i học chính quy GiÁng viên h°ãng dÅn: ThS. Tr°¢ng Quang Phúc Ngày nhÇn đà tài: 15/02/2024 Ngày náp đà tài: 09/06/2024 1. Tên đà tài: <Xây dāng há tháng giám sát và cÁnh báo cho tài xÁ đ°ång dài ćng dăng phÁn cćng jetson nano= 2. Nái dung thāc hián đà tài: ThiÁt kÁ và thi công phÁn cćng mô hình giám sát và cÁnh báo.
Tìm hiÅu YOLOv8 và bài toán phát hián đái t°āng, mô hình có khÁ nng nhÇn dián ba tr¿ng thái cąa tài xÁ: ngą gÇt, tßnh táo, ngáp. ThiÁt kÁ giao dián website cho ng°åi dùng giám sát theo dõi. SÁn phÃm: Há tháng giám sát và cÁnh báo cho tài xÁ đ°ång dài QuyÅn báo cáo tát nghiáp Tp HCM, ngày 10 tháng 06 nm 2024 GiÁng viên h°ãng dÅn ThS. Tr°¢ng Quang Phúc i ii LâI CÀM ¡N Trong quá trình hoàn thián đã án tát nghiáp vãi đà tài <XÂY DĀNG HÞ THÞNG GIÁM SÁT VÀ CÀNH BÁO CHO TÀI X¾ Đ¯âNG DÀI ĄNG DĀNG PHÀN CĄNG JETSON NANO=, chúng tôi xin gċi låi cÁm ¢n chân thành và sâu sÉc nh¿t đÁn vãi ThS.
Tr°¢ng Quang Phúc, ng°åi đã đãng hành, h°ãng dÅn và đánh h°ãng cho chúng tôi trong suát quá trình thāc hián đã án. MÁc dù vãi l°āng kiÁn thćc còn h¿n chÁ nh°ng nhå có sā góp ý, giúp đÿ cąa thÁy mà nhóm chúng tôi đã v°āt qua đ°āc nhÿng thách thćc đÅ đ¿t đ°āc kÁt quÁ tát. Nhóm chúng tôi cũng xin cÁm ¢n đÁn đái ngũ giÁng viên khoa Đián – Đián tċ đã xây dāng cho chúng tôi nÃn tÁng kiÁn thćc đÅ đi đ°āc đÁn ngày hôm nay và xin cÁm ¢n ngôi tr°ång đ¿i học S° Ph¿m Kỹ ThuÇt Thành Phá Hã Chí Minh đã t¿o ra môi tr°ång học tÇp đúng nh° khÃu hiáu cąa mình <Nhân bÁn - Sáng t¿o - Hái nhÇp=. Cuái cùng, chúng tôi xin gċi låi cÁm ¢n chân thành đÁn thÁy cô, gia đình, b¿n bè và nhÿng ng°åi thân yêu đã đãng hành, đáng viên và luôn ąng há chúng tôi.
Chúng tôi xin gċi låi chúc đÁn nhà tr°ång, quý thÁy cô và ng°åi thÁy h°ãng dÅn cąa chúng tôi ThS. Tr°¢ng Quang Phúc thÇt nhiÃu sćc khße và gÁt hái đ°āc nhiÃu thành công trong công viác và cuác sáng. Chúng tôi xin chân thành cÁm ¢n! TP. Hã Chí Minh, tháng 6 nm 2024 Nhóm thāc hián đà tài iii TÓM TÀT Đà tài này tÇp trung vào viác xây dāng mát há tháng giám sát, cÁnh báo cho tài xÁ đ°ång dài nhằm đÁm bÁo an toàn giao thông.
Há tháng sċ dăng Jetson Nano đÅ triÅn khai mô hình YOLOv8 cho viác nhÇn dián hình Ánh thông mát camera nhằm đáp ćng viác xċ lý theo thåi gian thāc. Khi phát hián tài xÁ có d¿u hiáu buãn ngą hoÁc ngą gÇt, nó s¿ kích ho¿t đèn tín hiáu và chuông đÅ cÁnh báo cho tài xÁ ngay lÇp tćc. Há tháng cũng tích hāp cÁm biÁn gia tác ADXL345 đÅ phát hián các rung lÉc b¿t th°ång cąa xe. Khi có các tín hiáu cÁnh báo, há tháng sċ dăng module SIM đÅ gċi tin nhÉn cÁnh báo chća nái dung cÁnh báo và vá trá cąa tài xÁ đ°āc thu tĉ cÁm biÁn đánh vá GPS đÁn sá đián tho¿i ng°åi theo dõi.
ĐiÃu này giúp quÁn lý giao thông hoÁc ng°åi giám sát có thÅ nÉm bÉt đ°āc vá trí cąa xe và tình tr¿ng cąa tài xÁ đÅ có nhÿng bián pháp xċ lý káp thåi. Dÿ liáu tĉ phÁn cćng, bao gãm các tín hiáu cÁnh báo và dÿ liáu GPS, s¿ đ°āc gċi lên c¢ sç dÿ liáu đÅ làm dÿ liáu l°u trÿ. Tĉ đây s¿ triÅn khai Website theo dõi các tín hiáu cÁnh báo và dÿ liáu đ°āc phân tích mát cách trāc quan, giúp ng°åi theo dõi có thÅ giám sát ph°¢ng tián mát cách hiáu quÁ. Cuái cùng, nhóm đã hoàn thành mô hình phÁn cćng và phÁn mÃm đáp ćng đÁy đą các chćc nng đÁt ra.
Bên c¿nh đó là viác đánh giá kÁt quÁ và phân tích h°ãng phát triÅn mãi cąa mô hình trong t°¢ng lai. iv MĀC LĀC NHIàM VĂ Đâ ÁN TàT NGHIàP. v DANH MĂC HÌNH ÀNH. viii DANH MĂC BÀNG.
xi CÁC TĈ VIÀT TÈT. xii GIâI THIàU .3 TÌNH HÌNH NGHIÊN CĆU HIàN NAY .1 Các kÁt quÁ nghiên cću trong n°ãc .2 Các kÁt quÁ nghiên cću ç n°ãc ngoài .4 PH¯¡NG PHÁP NGHIÊN CĆU .1 PHÁT HIàN ĐàI T¯ĀNG .2 GIâI THIàU YOLO .2 Hàm tính IOU .4 Non-max suppression .1 Các Tính nng cąa YOLOv8 .2 KiÁn trúc m¿ng Yolov8 .4 GIAO THĆC TRUYÂN THÔNG UART .1 Cách ho¿t đáng cąa UART .2 C¿u trúc Frame UART .5 Hà ĐIÂU HÀNH THäI GIAN THĀC (RTOS) .6 GIAO THĆC TRUYÂN THÔNG MQTT. 21 THIÀT KÀ VÀ THI CÔNG .1 YÊU CÀU Hà THàNG .2 ĐÀC TÀ Hà THàNG .1 Chćc nng cąa há tháng .2 Mô hình tổng quát cąa há tháng .3 Ho¿t đáng cąa há tháng .3 THIÀT KÀ PHÀN CĆNG .1 Khái đọc Ánh .3 Khái xċ lý trung tâm .4 THIÀT KÀ PHÀN MÂM .1 ThiÁt kÁ phÁn mÃm cÁnh báo ngą gÇt .2 ThiÁt kÁ phÁn mÃm giám sát ph°¢ng tián .3 TriÅn khai giao dián ng°åi dùng bằng website. 60 vi KÀT QUÀ VÀ ĐÁNH GIÁ Hà THàNG .1 KÀT QUÀ PHÀN CĆNG .2 KÀT QUÀ PHÀN MÂM .1 KÁt quÁ giám sát và cÁnh báo.2 KÁt quÁ cąa giao dián ng°åi dùng Website .3 ĐÁNH GIÁ KÀT QUÀ CĄA MÔ HÌNH .1 Đánh giá phÁn giám sát tài xÁ.2 Đánh giá phÁn giám sát ph°¢ng tián.
80 KÀT LUÆN VÀ H¯âNG PHÁT TRIÄN .2 H¯âNG PHÁT TRIÄN. 81 PHĂ LĂC A Mà NGUâN CH¯¡NG TRÌNH. 83 PHĂ LĂC B H¯âNG DÄN SĊ DĂNG SÀN PHÂM THI CÔNG. 84 TÀI LIàU THAM KHÀO.
88 vii DANH MĂC HÌNH ÀNH Hình 2. 1: Phát hián đái t°āng. 2: S¢ đã kiÁn trúc m¿ng YOLO. 4: Ph°¢ng thćc dā đoán.
5: Output Grid Cell. 6: Tính toán Intersection over Union. 7: ChuÃn hóa pixel cho bounding box. 8: Non-max suppression.
9: KiÁn trúc m¿ng cąa YOLOv8. 10: TruyÃn thông Uart. 11: C¿u trúc frame Uart. 12: Nguyên tÉc ho¿t đáng cąa RTOS.
13: C¢ chÁ ho¿t đáng cąa giao thćc MQTT. 1: Mô hình tổng quát há tháng. 2: S¢ đã khái há tháng phÁn cćng. 3: Hình Ánh Webcam Rapoo XW180.
5: Module Wifi ESP32-WROOM-32. 7: S¢ đã nái chân còi BUZZER và ESP32. 8: CÁm biÁn gia tác ADXL345. 9: S¢ đã nái chân ADXL345 và ESP32.
11: S¢ đã nái chân MODULE NEO-6M GPS và ESP32. 13: S¢ đã nái chân Module Sim 4G A7680C và ESP32. 15: Ành tài xÁ ngą gÇt. 16: Ành tài xÁ tßnh táo.
17: Ành tài xÁ ngáp mát mßi. 18: Dán nhãn cho tài xÁ ngą gÇt. 19: Dán nhãn cho tài xÁ tßnh táo. 20: Dán nhãn cho tài xÁ ngáp.
21: Thông tin label đã đ°āc dán nhãn cho hình Ánh. 22: Phân chia dataset. 24: Resize Ánh và kích th°ãc 640x640. 25: LÇt Ánh, thang xám, chèn nhißu.
26: Xoay, thay đổi đá sáng. 27: So sánh đá chính xác và hiáu su¿t cąa các mô hình YOLO. 28: Thông sá khçi t¿o ban đÁu cąa YOLOv8n. 29: ONNX Runtime tái °u hóa viác thāc hián mô hình ONNX.
30: S¢ đã khái mô tÁ quá trình nhÇn dián tài xÁ ngą gÇt. 31: ThuÇt toán cÁnh báo cho tài xÁ. 32: L°u đã giÁi thuÇt cho cÁm biÁn gia tác ADXL345. 33: L°u đã giÁi thuÇt cho cÁm biÁn GPS NEO6M.
34: L°u đã giÁi thuÇt cho Module SIM A7680C. 35: L°u đã giÁi thuÇt cho xċ lý dÿ liáu ç khái xċ lý trung tâm. 36: L°u đã mô tÁ Lambda Function. 37: L°u đã kÁt nái dÿ liáu vãi DynamoDB.
38: L°u đã và giÁi thuÇt cho tính nng đng nhÇp. 39: L°u đã hiÅn thá thông sá và cÁnh báo. 40: L°u đã hiÅn thá vá trí hián t¿i cąa ph°¢ng tián. 2: KÁt quÁ phÁn cćng.
3: SÁn phÃm hoàn thián. 4: Tr°ång hāp cÁnh báo tài xÁ. 5: Tr°ång hāp tài xÁ tßnh táo. 7: Gċi tin nhÉn thông báo.
8: Hình Ánh gói tin nhÇn đ°āc trên AWS IoT Core. 9: Hình Ánh dÿ liáu d¿ng bÁng trên DynamoDB. 10: Giao dián tính nng đng nhÇp. 11 Giao dián chính cąa website.
12: Giao dián hiÅn thá thông sá. 13: Giao dián đánh vá vá trí. 14: Giao dián lách sċ cÁnh báo. 16: Đã thá PR-Curve.
19: FPS đ¿t đ°āc khi sċ dăng GPU. 20: FPS đ¿t đ°āc khi sċ dăng CPU. 79 x DANH MĂC BÀNG BÁng 3. 1: BÁng thông sá kỹ thuÇt cąa Jetson Nano.
2: BÁng thông sá kỹ thuÇt Module Wifi ESP32-WROOM-32. 3: BÁng thông sá kỹ thuÇt còi BUZZER. 4: S¢ đã nái chân còi BUZZER và ESP32. 5: BÁng thông sá kỹ thuÇt ADXL345.
6: S¢ đã nái chân ADXL345 và ESP32. 7: BÁng thông sá kỹ thuÇt MODULE NEO-6M GPS. 8: S¢ đã nái chân MODULE NEO-6M GPS và ESP32. 9: BÁng thông sá kỹ thuÇt Module Sim 4G A7680C.
10: S¢ đã nái chân Module Sim 4G A7680C và ESP32. 11: Công su¿t ho¿t đáng há tháng .