CHƯƠNG 1: MỞ DAU wu. Dat vấn GG. Mục tiêu của đề tai. Đối tượng và phạm Vi nghiên cứu.- -s--vvvv+see+evvvv+xxsesersrsrrrrsssee 20 1.
CHƯƠNG 2: CƠ SỞ LÝ THUYT. 5° ++®©EEEV22++eseeevv2222xesee 21 2. Thư viện TensorFlow 2. Thư viện bổ sung cho TensorFlow.
Model FireÌNet. Mô hình FireNet Lite 2. Tổng quan mô hình FireNet Lite 2. Regularization và Optimization.
Huấn luyện mô hình .--2¿-©2++++22EE+++£EEEE++tEE22121222211212272112 22211 re 34 2. Mô hình Vision Transformer. Huấn luyện mô hình. Tối ưu hóa mô hình .-- 2: ©++++22EE+++£EEES+++£EEEE++tEE2EE+ttEEEErrerrrkrrrrrr 2.
Giới thiệu về ThingsBoard. Các loại tài khoản trong ThingsBoard. Giao thức HTTP. RR we cm.
ĐẶUẾUL HH nhac CHƯƠNG 3: MÔ HINH. Mô hình chung. Mô hình xử lý ở thiết bị. Thiết bị Raspberry Pi 4 3.
Thư viện được sử dụng 3. Chạy mô hình FireNet Lite trên TensorFlow Lite. Gửi hình ảnh từ €am€fa. Mô hình xử lý ở server 3.
Các loại tài khoản. Tạo thiết bị “ 3. Xử lý thông tin từ cÏieTit. Bao mật hệ thống 3.
Hypertext Transfer Protocol Secure. Cài đặt chứng chỉ HTTPS trên S€TV€T.---- 5252 522E+E*‡ESEzkzkerekrkrkrkeree 64 CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIA. Sơ đồ hệ thống thực nghiệm 4. Giao diện người dùng.
So sánh chỉ số dự đoán giữa các mô hình. So sánh tốc độ chạy trên thiết bị khác “ 4. Kết quả dự đoán từ mô hình .----22:++£2222222v2+rttEEEEEEEErrrrrrrrrrrrrrrrrrrrer CHƯƠNG 5: TONG KET VÀ HƯỚNG PHÁT TRIEN. Kết quả dat được.
Hướng phát triễn. «+ +++eEEE++ttEEY+xeetoEAExtrsrvksrterrrkseosrrksseosrrsee 79 TÀI LIEU THAM KHẢO. 2< 22S£ESSeeEEEE+eeeEEEveseEvrxesererresserrrvsee 80 12 DANH MỤC HÌNH VE Hình 1 Mô hình FireNet gỐc .1 23 Hình 2 Quá trình một lớp Conv2D tao OUfPUI.- 5c 51211191 911 11 v1 ng nh 23 Hình 3 Các hình ảnh thuộc lớp fire (CÓ ÏỦa). - --- 5 x11 9 19 ng gi nrkp 25 Hình 4 Các hình ảnh thuộc lớp nofire (không có ÏỬa).- --- 5+5 + ++s£+sx+eesexeersss 25 Hình 5 Code kiến trúc mô hình FireNet Life.---¿- 2-52 ++2£++£x+2zxtzx+zrxerxezrxres 26 Hình 6 Cấu trúc một CNN đơn giản.- -- 2-2252 2EE£EEESEEEEEEEEEEEEEEEEEEkerkrrrkerkrrred 27 Hình 7 Kiến trúc mô họa mô hình FireNet Lite.-c¿--cc+e+vcvvveeerrrrrrkeeeed 27 Hình 8 Tổng quan mô hình FireNet cải tiến cùng với số lượng parameter.
29 Hình 9 Số lượng parameter giảm trước và sau khi thực hiện kỹ thuật pruning. 31 Hình 10 Thông số cho quá trình pruning.---- + + 2 22 £+EE+E++EE+EE+EE+EEeEEzEezEerrerreee 31 Hình 11 Thông số quá trình pruning.---- 5-5 +£+££+E£+S£+£+E£+EE£EE+EEeEEeEEerkezxerrerreee 32 Hình 12 Kiểm tra mô hình trước khi huấn luyện .------ 2 ¿+£++22z+£x+zx+zsezex 32 Hình 13 Kiểm tra layer trong mô hình trước khi train.------22 2 2 £++2£s+zs+zsze: 32 Hình 14 So sánh giữa kiểu dữ liệu bfloat16, float32, float]6.--s- 5 s+s+z+x++se¿ 33 Hình 15 Sử dụng phương pháp dynamic range quanfIZafIOII.-- 55+ s++s+++ss+s+ 33 Hình 16 Biểu đồ thé hiện độ chính xác của mô hình theo từng epoch.--------: 34 Hình 17 Biểu đồ hàm mat mát của mô hình theo epoch.----2- 2 5z 52©522522££25++2 35 Hình 18 Mô hình FireNet đã tối ưu hóa.--c:--555cccttttrkrrtrrtirrtrtirrrrrrrrrrrriie 35 Hình 19 Tổng quan một mô hình Vision TransfOrmmer.- 2-52 sz+ss+zx++z+zzxzzzed 36 Hình 20 Các thành phan của Transformer Encoder .------- + s2 5 s£+s£+s£2z++z++zs£z 37 Hình 21 Optimizer và hàm loss được sử dung cho quá trình huấn luyện .-- 38 Hình 22 Thông số cho quá trình huấn luyện mô hình Vision Transformer. 38 Hình 23 Biéu đồ thé hiện độ chính xác của mô hình theo từng epoch.---- 39 Hình 24 Biéu đồ thể hiện độ mat mát của mô hình theo từng epoch.------- 39 Hình 25 Thư mục của mô hình Vision TransfOrmer-.--- -- -- <5 << ****++++seeexeeses 40 Hình 26 Doan code tối ưu hóa mô hình .-- - + 5s k+E+E+EEEE+E£EE+EeEE+EeEtEeEereexereexee 41 Hình 27 Mô hình Vision Tranformer sau khi hoàn thành các bước tối ưu hóa. Al Hình 28 Mô hình hoạt động của ThingsBOarr.-- - 5 5c 3 3213 E*EEEssrerssereerre 43 Hình 29 Logo của Flask S€TV€T.- --- Gv 9v 99H TH nu HT HH ng nà 45 Hinh 30 Logo cla OpenCV 8.
46 Hình 31 Logo của NuiP y.- -ó- 5 9v TH TH TH HT HT HH ghnH 46 Hình 32 Sơ đồ hệ thống mô hình phát hiện lửa.-- 2-2 2 2+ E££E££E+£E£zzzz£zzzxez 41 Hình 33 Hình ảnh thiết bị Raspberry Pi 4.--- 2: 2¿©+2E+EEt2EEEEEEEEEEEECEEEerkrrkerrrees 48 Hinh 34 Khoi 8i1e8I9s8ìni/90i~: 5101110. 50 Hinh 35 Tao déi tượng đọc hình ảnh từ CaIm€Ta.-- c5 3+3 +*EESEeEeerseerereere 50 Hình 36 Tiền xử lý hình ảnh.-- 2-2 2 SSE£SE£EE£EEEEEEEE2E122122127171217111. Xe, 51 Hình 37 Chay va lấy kết qua từ mô hình. 2-2-2 s+£+E+EE££EEt£EEvEE+zEEvrxerrxrrreer 51 Hình 38 In kết quả lên hình ảnh và gửi đến SerVer.- 2-2-2 + £++£x+£x+zxzxzzxzzzxez 52 Hình 39 URL đích từ cÏI€Tn(.
- -- 2c 2c 1211321115111 111 111 11190111111 HH 52 Hình 40 Khởi tạo một ứng dung Flask cơ bản. - ¿- - + SE +sEEstsereerssereerrse 53 Hình 41 Dinh dang hình anh dé thành định dang jpeg.cccccsscessesssesseessesstessesstesseesseeseee 53 Hình 42 Đường dẫn đến hình anh từ camera.-- 2 2 2+2 ++EE+EE+£E+EEeEEerEerrezrerreee 53 Hình 43 Tạo tiến trình con và server Flask .cccsceccssesssseseeseseseseeseseesesesessessseseseeseeaeaveees 54 Hình 44 Giao diện chính của System AdminISfTAfOT.-- 5 +25 +5 £++EE++vE+ze+eereske 54 Hình 45 Danh sách tài khoản Tenant .- - -- c2 1231113511111 1 331111111111 ng gnrệp 55 Hình 46 Giao diện cua tài khoản Tenant Administrator .----- 5-5555 +++<<+<+s<s+5+ 55 Hình 47 Giao diện tài khoản CuSfOI€T.---- 2 5E 2111882223318 EE£222EEEEEersseeeeeesse 56 Hình 48 Thông tin thiết bi Raspberry Pi 4.-- 2 2©5¿+S2E22EE+EEEEEEEEEEEEEEErErrrrkrrree 56 Hình 49 Thông tin chứng thực của "im. ÐÐ, Tm XS 57 Hình 50 Root Rule Chain của mô inh .- - --- 5 6 3111321 E+2E+EEEEEEEESkkEsrkrrkrerkesee 58 Hình 51 Rule Chain Fire [D€et€CfIOT. - <6 <6 E1 1E21011111 E911 13311 911 911v ng ngư n 59 Hình 52 Script kiểm tra nội dung của gói tỉn.--- 2-22 s2£+x+2z++zx+zxvrxezrxrrxeer 59 Hinh 53 Script tao camh bao CHAY 0.
60 Hình 54 Dashboard dành cho CuSOTTET. G5 1 E1 E118 E93 E91 9 11193 ng ng rkp 61 Hình 55 Nội dung của widget hình ảnh camera. - --- 5 S513 EEEssreeresereerre 61 Hình 56 Danh sách các tài khoản customer dùng được Dashboard. -----‹- 62 Hình 57 Giao diện Dashboard của người dùng .- óc 32+ 3+ vstssreerssererre 62 Hình 58 Giao thức TLS.
«s2 th TH TT TT HH Hà HH HT TT HH 63 Hình 59 Thông tin chứng chi SŠSÌ.- --- G22 2 3312111911311 1 119111111 11 1 1 1v nh nen 64 Hình 60 Thông số SSL của Apache2.-------¿- + ©+£+++EE+EE£EEEEEEEEEEEEEEEEErkrrkrrrree 65 Hình 61 Giao diện trang web HTTPS. TH HH HH Hiệp 65 Hình 62 Các module chuyền gói tin HTTPS sang ThingsBoard.----- 2-5: 66 Hình 63 Trang giao diện ThingsBoard được bao mật bởi HTTPS .- --- -‹- 66 Hình 64 Hình anh thực tế của hệ thống ¬ 67 Hình 65 Giao diện của người Ùng. - ó- s6 k1 19 HT nh ng ngưng nà 68 Hình 66 Giao diện thay đôi khi có cảnh báo cháy.-- 2-2 2 s+++£E+£Ee£EezEzxzzrrrxee 68 Hình 67 Thong báo xác nhận cảnh báo.- --- 5 6 S319 9119 119 2 11v nh ng g nưkp 69 Hình 68 Thông báo đã giải quyết cảnh báo.---2- 2552 £+E£SEE£EEtEEEEEEEEEerErrkerrree 70 Hình 69 Jetson Nano Developer TK1(.- --- 6 2s x9 ng ng gà 74 Hình 70 Kết qua dự đoán cháy từ mô hình.---2¿- 2£ 5¿2+£++2E++£x+2zxzx+zrxzxrzrxres 76 Hình 71 Kết quả với hình ảnh bị nhiễu .-- 22-52 5222S++2E++£EEtEEEvEExzrxrzrxrsrxree 77 15 DANH MỤC BANG Bang 1 So sánh hiệu năng giữa các mô hình Bảng 2 So sánh chỉ số dự đoán giữa các mô HIND oo. Bang 3 So sánh hiệu năng giữa 2 thiết bị TOT .ceccceccccsessessesssesssssesssessecssessessseesecsseeseeees 16 DANH MỤC TỪ VIET TAT Từ Nội dung Diễn giải AI Artificial Intelligence Trí tuệ nhân tạo CNN Convolutional Neutral Network Mang no-ron tich chap FPS Frames per second Số lượng khung hình trong một giây ViT Vision Transformer Mô hình kết hợp của | phần kiến trúc của Transformer và các khối Multilayer Perceptron TPU Tensor Processing Unit Bộ xử lý tensor HTTP Hypertext Transfer Protocol Giao thức truyền dữ liệu HTTPS Hypertext Transfer Protocol Secure Giao thức truyền dữ liệu bảo mật 17 TÓM TẮT KHOÁ LUẬN Trí tuệ nhân tạo hiện nay đang ngày càng được phô biến với nhiều thư viện và hỗ trợ cho nhiều loại thiết bị khác nhau từ siêu máy tính đến các thiết bị nhúng.
Tại đồ án chuyên ngành này em mong muốn ứng dụng thực tiễn được trí tuệ nhân tạo trên các thiết bị nhúng có kha năng xử lý giới hạn như Raspberry Pi, Jetson Nano va Edge TPU. Hiện nay, cháy rừng hay hỏa hoạn nói chung là một mối nguy hại lớn đến môi trường cũng như con người nếu không được phát hiện sớm. Với diện tích rừng lớn như tại Việt Nam, việc giám sát cảnh báo rừng 24/7 là một công việc không đơn giản với nhân lực kiêm lâm hiện tại của nước ta. Hơn nữa trang bị giám sát camera nhiệt bằng hồng ngoại có chỉ phí rất cao, phạm vi hoạt động vẫn còn hạn chế.
Như vậy, mục tiêu của luận văn này là việc ứng dụng trí tuệ nhân tạo dé phat hién đám cháy sớm trên các thiết bị máy tính nhúng nhỏ, giá thành rẻ và có kha năng giám sat với quy mô rộng lớn hơn các thiết bị camera hồng ngoại và có thể giám sát 24/7. 18 CHUONG 1: MỞ DAU 1. Tén dé tai e Tiếng Việt: Hệ thống cảnh báo cháy sử dụng camera ứng dung trí tuệ nhân tạo e_ Tiếng Anh: AI-Based Camera for Fire detection 1. Đặt van đề Hiện nay, cháy rừng hay hỏa hoạn nói chung là một mối nguy hai lớn đến môi trường cũng như con người nếu không được phát hiện sớm.
Với diện tích rừng lớn như tại Việt Nam, việc giám sát cảnh báo rừng 24/7 là một công việc không đơn giản với nhân lực kiểm lâm hiện tại của nước ta. Hơn nữa trang bị giám sát camera nhiệt bằng hồng ngoại có chi phí rất cao, phạm vi hoạt động van còn hạn chế. Gần đây, các thiết bị IoT đang được trang bị nhiều phần cứng có khả năng xử lý mạnh hơn, giúp chúng ta có thể chạy các tác vụ cần tốc độ xử lý cao như ứng dụng trí tuệ nhân tạo. Phát hiện và cảnh báo chảy là một vấn đề rất được quan tâm do hậu quả của hỏa hoạn gây ra là rất lớn với tài sản lẫn tính mạng con người, nhất là trong môi trường như rừng núi, nơi cư trú không có điều kiện lắp các thiết bị báo cháy và chữa cháy.
Nhiều giải pháp được dua ra dé ứng dụng thiết bị IoT vào cảnh báo cháy, trong đó 2 phương pháp chủ yếu. Phương pháp đầu tiên là sử dụng các loại cảm biến như cảm biến nhiệt độ, độâm, khí CO, hồng ngoại, dù có độ chính xác cao nhưng hạn chế của phương pháp này là tầm phát hiện thấp. Phương pháp thứ hai và cũng là phương pháp đề xuất là sử dụng hình ảnh, thiết bị IoT sẽ có nhiệm vụ ghi lại hình ảnh từ camera, sau đó xử lý qua một mô hình trí tuệ nhân tạo dé cho ra kết quả có lửa hay không. Ưu điểm của phương pháp này là có thé giám sát phạm vi lớn hơn nhiều so với sử dụng cảm biến và giá thành rẻ hơn các camera nhiệt hồng ngoại.