Xây Dựng Ứng Dụng Phát Hiện Lửa Dựa Trên Mô Hình Học Sâu Trên Jetson Nano

Khóa luận tốt nghiệp nghiên cứu tốt nghiệp mạng máy tính và truyền thông xây dựng ứng dụng phát hiện lửa dựa trên mô hình học sâu, vận dụng lý thuyết vào thực tế, đề xuất giải

• Đề tài: Ứng Dụng Phát Hiện Lửa Dựa Trên Mô Hình Học Sâu Trên Jetson Nano

Tóm tắt

I. Hướng Dẫn Ứng Dụng Phát Hiện Lửa Bằng Học Sâu Trên Jetson Nano

Sự phát triển của trí tuệ nhân tạo (AI) và các thiết bị nhúng đã mở ra một kỷ nguyên mới cho các hệ thống giám sát an ninh. Một trong những ứng dụng đột phá nhất là ứng dụng phát hiện lửa dựa trên mô hình học sâu trên Jetson Nano. Giải pháp này thay thế các phương pháp cảnh báo cháy truyền thống bằng cách sử dụng thị giác máy tính để phân tích hình ảnh video trong thời gian thực, mang lại độ chính xác cao và phản ứng tức thì. Nền tảng cốt lõi của công nghệ này là học sâu thời gian thực, cho phép các thuật toán phức tạp chạy trực tiếp trên các thiết bị nhỏ gọn như NVIDIA Jetson Nano. Thay vì gửi dữ liệu lên máy chủ đám mây, việc xử lý ảnh tại chỗ giúp giảm độ trễ và tăng cường tính bảo mật, một yếu tố quan trọng trong các hệ thống cảnh báo cháy sớm. Nghiên cứu của Vũ Hà Anh (2021) đã chứng minh tính khả thi và hiệu quả của việc triển khai các mô hình như YOLOv5 trên các hệ thống nhúng cấu hình thấp, mở đường cho các giải pháp giám sát an ninh thông minh giá cả phải chăng và dễ tiếp cận hơn. Việc tích hợp AI vào camera giám sát không chỉ giới hạn ở phát hiện lửa mà còn mở rộng ra nhiều lĩnh vực khác, đánh dấu một bước tiến quan trọng trong công nghệ AI on the Edge.

1.1. Tầm quan trọng của thị giác máy tính trong phát hiện đối tượng

Thị giác máy tính (Computer Vision) là một lĩnh vực của trí tuệ nhân tạo cho phép máy tính "nhìn" và diễn giải thế giới hình ảnh. Một trong những nhiệm vụ cốt lõi của nó là phát hiện đối tượng (Object Detection), tức là xác định và định vị các vật thể trong một hình ảnh hoặc video. Trong bối cảnh phòng cháy chữa cháy, thuật toán phát hiện lửa sử dụng kỹ thuật này để phân biệt ngọn lửa với các vật thể có màu sắc tương tự như bóng đèn hay ánh nắng mặt trời. Không giống như các cảm biến truyền thống, hệ thống dựa trên thị giác máy tính có thể cung cấp thông tin trực quan về vị trí, kích thước và tốc độ lan truyền của đám cháy, giúp lực lượng cứu hỏa đưa ra quyết định nhanh chóng và chính xác hơn. Điều này thể hiện ưu điểm vượt trội so với các phương pháp lỗi thời, vốn dễ bị nhầm lẫn và thiếu thông tin chi tiết.

1.2. Nền tảng NVIDIA Jetson Nano cho điện toán biên Edge Computing

NVIDIA Jetson Nano là một máy tính nhỏ gọn, mạnh mẽ được thiết kế đặc biệt cho các ứng dụng AI tại biên. Với GPU 128 lõi Maxwell, nó có khả năng chạy song song nhiều mạng nơ-ron hiện đại, biến các thiết bị thông thường thành cỗ máy AI. Đây là một nền tảng lý tưởng cho điện toán biên (AI on the Edge), nơi dữ liệu được xử lý ngay tại nguồn thay vì gửi lên đám mây. Việc này giúp giảm đáng kể độ trễ, tiết kiệm băng thông và tăng cường bảo mật. Trong dự án phát hiện lửa, Jetson Nano Developer Kit đóng vai trò là bộ não trung tâm, nhận dữ liệu từ camera, thực thi mô hình học sâu đã được tối ưu hóa và gửi cảnh báo ngay lập tức khi phát hiện nguy cơ. So với các giải pháp khác như Raspberry Pi AI, Jetson Nano cung cấp hiệu năng vượt trội cho các tác vụ suy luận AI nhờ kiến trúc GPU chuyên dụng.

II. Thách Thức Của Các Hệ Thống Cảnh Báo Cháy Sớm Truyền Thống

Các hệ thống phòng cháy chữa cháy truyền thống, mặc dù đã phục vụ con người trong nhiều thập kỷ, đang đối mặt với nhiều thách thức trong bối cảnh hiện đại. Các phương pháp như quan sát thủ công hay sử dụng vệ tinh không thể cung cấp cảnh báo theo thời gian thực. Theo phân tích trong khóa luận của Vũ Hà Anh (2021), các cảm biến khói như MQ-135 thường gây ra báo động giả do nhầm lẫn giữa khói bụi thông thường và khói từ đám cháy. Hơn nữa, việc triển khai một mạng lưới cảm biến dày đặc trên diện rộng, chẳng hạn như trong một khu rừng, là không khả thi về mặt chi phí. Những hạn chế này đặt ra yêu cầu cấp thiết về một giải pháp cảnh báo cháy sớm thông minh hơn, có khả năng phân tích chính xác và hoạt động ổn định. Ứng dụng phát hiện lửa dựa trên học sâu nổi lên như một giải pháp tiềm năng, nhưng việc triển khai nó trên các hệ thống nhúng tài nguyên hạn chế lại đặt ra bài toán về tối ưu hóa mô hình học sâu để đảm bảo hiệu suất thời gian thực.

2.1. Hạn chế của cảm biến khói và phương pháp giám sát thủ công

Các hệ thống cảnh báo dựa trên cảm biến phát hiện khói truyền thống có một nhược điểm lớn: chúng chỉ kích hoạt khi khói đã lan đến vị trí của cảm biến. Điều này có thể quá muộn, đặc biệt trong các không gian rộng lớn. Thêm vào đó, chúng không thể phân biệt được các loại khói khác nhau, dẫn đến tỷ lệ báo động giả cao. Mặt khác, việc giám sát thủ công thông qua nhân viên an ninh hoặc quan sát camera thường tốn kém, thiếu hiệu quả và dễ xảy ra sai sót do yếu tố con người. Một hệ thống camera giám sát AI có thể hoạt động 24/7 mà không mệt mỏi, liên tục phân tích mọi khung hình để tìm kiếm dấu hiệu của lửa, khắc phục hoàn toàn những nhược điểm cố hữu của các phương pháp cũ.

2.2. Yêu cầu xử lý AI on the Edge và học sâu thời gian thực

Để một hệ thống cảnh báo cháy thực sự hiệu quả, nó phải có khả năng phản ứng ngay lập tức. Việc gửi một luồng video liên tục lên đám mây để phân tích sẽ tạo ra độ trễ đáng kể và yêu cầu băng thông mạng rất lớn. Đây là lúc khái niệm AI on the Edge phát huy vai trò. Bằng cách thực hiện các tác vụ suy luận (inference) của mô hình học sâu ngay trên thiết bị nhúng như Jetson Nano, hệ thống có thể phát hiện lửa và gửi cảnh báo chỉ trong vài mili giây. Điều này đòi hỏi các thuật toán phát hiện lửa không chỉ chính xác mà còn phải được tối ưu hóa cao độ để chạy mượt mà trên phần cứng có tài nguyên hạn chế, đạt được khả năng xử lý học sâu thời gian thực.

III. Phương Pháp Xây Dựng Mô Hình Phát Hiện Lửa Với Mạng YOLO

Để xây dựng một ứng dụng phát hiện lửa hiệu quả, việc lựa chọn và huấn luyện mô hình AI là bước quan trọng nhất. Nghiên cứu của Vũ Hà Anh (2021) đã tiến hành phân tích và so sánh hiệu năng của nhiều kiến trúc khác nhau, trong đó họ mạng nơ-ron tích chập (CNN) YOLO (You Only Look Once) nổi bật nhờ sự cân bằng tuyệt vời giữa tốc độ và độ chính xác. Các phiên bản như YOLOv5 và YOLOv8 được xem là lựa chọn hàng đầu cho bài toán phát hiện đối tượng trong thời gian thực. Quá trình xây dựng mô hình bao gồm ba giai đoạn chính: thu thập và gán nhãn bộ dữ liệu phát hiện cháy, cấu hình và huấn luyện mô hình bằng các framework phổ biến như PyTorch hoặc TensorFlow, và cuối cùng là đánh giá hiệu suất trên tập dữ liệu kiểm thử. Chất lượng của dữ liệu đầu vào và quá trình huấn luyện kỹ lưỡng là yếu tố quyết định đến độ chính xác và độ tin cậy của toàn bộ hệ thống cảnh báo cháy sớm.

3.1. Lựa chọn và chuẩn bị bộ dữ liệu phát hiện cháy chất lượng

Chất lượng của mô hình AI phụ thuộc trực tiếp vào chất lượng của bộ dữ liệu phát hiện cháy. Một bộ dữ liệu tốt cần phải đa dạng, bao gồm hình ảnh ngọn lửa ở nhiều điều kiện khác nhau: trong nhà, ngoài trời, ban ngày, ban đêm, lửa nhỏ, đám cháy lớn, và cả những hình ảnh không có lửa nhưng chứa các vật thể dễ gây nhầm lẫn (ánh đèn, hoàng hôn). Quá trình gán nhãn (annotation) phải được thực hiện cẩn thận, vẽ các hộp giới hạn (bounding box) chính xác xung quanh từng ngọn lửa. Việc sử dụng các công cụ gán nhãn và tuân thủ một quy trình nhất quán là rất quan trọng để đảm bảo mô hình có thể học được các đặc trưng chính xác của đối tượng cần phát hiện.

3.2. Quy trình huấn luyện mô hình AI với kiến trúc YOLOv5

Quá trình huấn luyện mô hình AI với YOLOv5 bắt đầu bằng việc cấu hình các tham số như số lớp đối tượng, kích thước ảnh đầu vào, và các siêu tham số (hyperparameters) như tốc độ học (learning rate) và số epoch. Mô hình thường được huấn luyện trên các máy chủ có GPU mạnh để rút ngắn thời gian. Trong quá trình này, mô hình sẽ học cách nhận diện các đặc trưng của ngọn lửa từ bộ dữ liệu đã được gán nhãn. Các framework như PyTorch cung cấp môi trường mạnh mẽ và linh hoạt để thực hiện quá trình này. Kết quả của quá trình huấn luyện là một tệp trọng số (weight file), chứa toàn bộ "kiến thức" mà mô hình đã học được, sẵn sàng cho việc triển khai và suy luận.

IV. Bí Quyết Tối Ưu Hóa Mô Hình Học Sâu Trên Nền Tảng Jetson Nano

Một mô hình học sâu sau khi huấn luyện thường có kích thước lớn và đòi hỏi tài nguyên tính toán cao, không phù hợp để chạy trên các thiết bị như Jetson Nano. Do đó, tối ưu hóa mô hình học sâu là một bước không thể thiếu. Công nghệ cốt lõi để giải quyết bài toán này là NVIDIA TensorRT, một bộ SDK chuyên dụng để tăng tốc suy luận AI trên các GPU của NVIDIA. TensorRT thực hiện một loạt các kỹ thuật tối ưu hóa phức tạp như hợp nhất các lớp (layer fusion), lượng tử hóa (quantization) từ FP32 xuống FP16 hoặc INT8, và lựa chọn kernel tối ưu cho phần cứng cụ thể. Kết quả là một "engine" suy luận có kích thước nhỏ hơn, tiêu thụ ít bộ nhớ hơn và đạt tốc độ xử lý (FPS - Frames Per Second) cao hơn nhiều lần so với mô hình gốc. Nghiên cứu gốc đã chỉ ra rằng, việc chuyển đổi mô hình YOLO sang định dạng TensorRT là phương án hiệu quả nhất để đạt được hiệu suất thời gian thực trên Jetson Nano.

4.1. Vai trò của TensorRT và DeepStream SDK trong tối ưu hóa

TensorRT là một trình tối ưu hóa và thư viện thời gian chạy hiệu suất cao cho các mô hình suy luận học sâu. Nó phân tích mô hình, hợp nhất các node trong đồ thị tính toán, và hiệu chỉnh độ chính xác số học để tận dụng tối đa sức mạnh của GPU NVIDIA. Bên cạnh đó, DeepStream SDK cung cấp một pipeline hoàn chỉnh để xây dựng các ứng dụng xử lý ảnh và video thông minh. Nó cho phép xây dựng các luồng xử lý phức tạp, từ giải mã video, tiền xử lý hình ảnh, thực thi mô hình TensorRT, đến theo dõi đối tượng và xuất kết quả. Việc kết hợp TensorRT và DeepStream giúp các nhà phát triển xây dựng các camera giám sát AI hiệu suất cao một cách nhanh chóng.

4.2. Kỹ thuật chuyển đổi và tăng tốc suy luận trên Jetson Nano

Quá trình chuyển đổi mô hình bắt đầu bằng việc xuất mô hình đã huấn luyện (ví dụ từ PyTorch) sang một định dạng trung gian tiêu chuẩn là ONNX (Open Neural Network Exchange). Sau đó, trình phân tích của TensorRT sẽ đọc tệp ONNX này và xây dựng một "execution engine" được tối ưu hóa riêng cho kiến trúc GPU của Jetson Nano. Trong quá trình này, TensorRT sẽ thử nghiệm nhiều thuật toán và chọn ra kernel nhanh nhất cho mỗi lớp mạng. Kết quả là mô hình có thể đạt được thông lượng cao hơn và độ trễ thấp hơn đáng kể, cho phép hệ thống phân tích luồng video HD hoặc 4K trong thời gian thực, một yêu cầu thiết yếu cho các hệ thống cảnh báo cháy sớm.

V. Triển Khai Thực Tiễn và Đánh Giá Kết Quả Ứng Dụng Phát Hiện Lửa

Việc triển khai thực tiễn ứng dụng phát hiện lửa trên Jetson Nano đòi hỏi sự kết hợp giữa phần cứng và phần mềm. Hệ thống hoàn chỉnh bao gồm một camera IP hoặc USB kết nối với Jetson Nano, nơi mô hình học sâu đã được tối ưu hóa bằng TensorRT liên tục chạy để phân tích video. Khi phát hiện lửa, hệ thống sẽ ngay lập tức gửi cảnh báo thông qua các giao thức như MQTT đến một máy chủ hoặc ứng dụng di động. Việc đánh giá kết quả tập trung vào hai chỉ số chính: tốc độ xử lý (FPS) và độ chính xác (mAP - mean Average Precision). Theo kết quả từ khóa luận tốt nghiệp của Vũ Hà Anh (2021), mô hình được tối ưu hóa không chỉ đạt được tốc độ xử lý thời gian thực mà còn duy trì độ chính xác cao, chứng tỏ đây là một giải pháp giám sát an ninh thông minh đáng tin cậy. Các thư viện như OpenCV cũng được sử dụng để xử lý và hiển thị luồng video đầu ra.

5.1. Xây dựng hệ thống cảnh báo cháy sớm hoàn chỉnh trên thiết bị nhúng

Một hệ thống cảnh báo cháy sớm hoàn chỉnh không chỉ dừng lại ở việc phát hiện. Sau khi mô hình học sâu trên Jetson Nano xác định có lửa, nó cần kích hoạt một chuỗi hành động. Thông thường, thiết bị sẽ gửi một thông điệp chứa thông tin về vị trí và hình ảnh đám cháy qua giao thức MQTT đến một MQTT Broker. Từ đó, một ứng dụng khác (web server, ứng dụng di động) đã đăng ký (subscribe) vào chủ đề (topic) tương ứng sẽ nhận được thông điệp và hiển thị cảnh báo cho người dùng. Hệ thống cũng có thể được tích hợp để kích hoạt còi báo động, hệ thống phun nước tự động, hoặc gửi tin nhắn khẩn cấp, tạo thành một giải pháp phòng cháy chữa cháy tự động và thông minh.

5.2. Phân tích kết quả tốc độ xử lý FPS và độ chính xác mAP

Đánh giá một mô hình phát hiện đối tượng yêu cầu các số liệu định lượng. Tốc độ xử lý, được đo bằng FPS (khung hình trên giây), cho biết khả năng xử lý thời gian thực của hệ thống. Một hệ thống có FPS cao có thể phân tích video mượt mà mà không bị giật lag. Độ chính xác được đo bằng mAP (mean Average Precision), một chỉ số tổng hợp đánh giá cả khả năng xác định đúng đối tượng và định vị chính xác đối tượng đó. Kết quả thực nghiệm cho thấy các mô hình YOLOv4-tiny và YOLOv5s sau khi được tối ưu hóa bằng TensorRT có thể đạt được FPS cao trên Jetson Nano trong khi vẫn giữ mAP ở mức chấp nhận được, khẳng định tính hiệu quả của phương pháp tối ưu hóa mô hình học sâu.

VI. Tương Lai Của Hệ Thống Giám Sát An Ninh Thông Minh Và Phát Hiện Lửa

Thành công của ứng dụng phát hiện lửa dựa trên mô hình học sâu trên Jetson Nano là minh chứng cho tiềm năng to lớn của công nghệ AI on the Edge. Trong tương lai, các hệ thống này sẽ ngày càng trở nên thông minh và đa năng hơn. Các hướng phát triển chính bao gồm việc tích hợp khả năng phát hiện khói cùng với phát hiện lửa để tăng cường độ tin cậy và cảnh báo sớm hơn nữa. Sự ra đời của các kiến trúc mạng nơ-ron mới và hiệu quả hơn như YOLOv8 hứa hẹn sẽ tiếp tục cải thiện độ chính xác và tốc độ. Xa hơn, các hệ thống giám sát an ninh thông minh này có thể được ứng dụng rộng rãi không chỉ trong phòng cháy gia đình mà còn trong quản lý đô thị thông minh, giám sát an toàn công nghiệp, và bảo vệ rừng. Sự kết hợp giữa học sâu và điện toán biên đang định hình lại tương lai của ngành an ninh và an toàn, biến những chiếc camera giám sát đơn thuần thành những người bảo vệ thông minh và không mệt mỏi.

6.1. Hướng phát triển tích hợp phát hiện khói và các mô hình AI tiên tiến

Một hướng phát triển tự nhiên là xây dựng một mô hình đa nhiệm có khả năng phát hiện đồng thời cả lửa và khói. Điều này sẽ tạo ra một hệ thống cảnh báo hai lớp, có thể phát hiện nguy cơ ngay từ giai đoạn đầu khi đám cháy mới bắt đầu và chỉ có khói. Hơn nữa, cộng đồng nghiên cứu AI liên tục cho ra đời các mô hình mới. Việc cập nhật và triển khai các phiên bản YOLO mới hơn như YOLOv8 hoặc các kiến trúc mạng nơ-ron tích chập (CNN) hiệu quả khác sẽ giúp hệ thống ngày càng trở nên chính xác và nhanh nhạy hơn, giảm thiểu tối đa các trường hợp báo động giả và tăng cường khả năng phát hiện các đám cháy nhỏ hoặc ở xa.

6.2. Tiềm năng ứng dụng trong công nghiệp dân dụng và đô thị thông minh

Tiềm năng của công nghệ này là vô cùng rộng lớn. Trong công nghiệp, các camera giám sát AI có thể giám sát các dây chuyền sản xuất dễ cháy nổ. Trong dân dụng, chúng có thể được tích hợp vào hệ thống nhà thông minh để bảo vệ tài sản và tính mạng con người. Đối với đô thị thông minh, một mạng lưới camera được trang bị AI có thể giám sát các khu vực công cộng, bãi đậu xe, và các khu rừng ngoại ô để phát hiện sớm các vụ cháy. Với chi phí phần cứng ngày càng giảm và hiệu năng AI ngày càng tăng, các hệ thống cảnh báo cháy sớm thông minh dựa trên thị giác máy tính sẽ sớm trở thành một tiêu chuẩn an toàn không thể thiếu trong cuộc sống hiện đại.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong công tác phòng cháy chữa cháy và quản lý an toàn, việc phát hiện sớm các đám cháy đóng vai trò quyết định nhằm giảm thiểu thiệt hại về người và tài sản. Theo khảo sát thực tiễn được tác giả trình bày trong tài liệu, các phương pháp phát hiện lửa truyền thống hiện nay bộc lộ nhiều điểm hạn chế:

• Quan sát bằng mắt thường: Phụ thuộc vào yếu tố con người, không mang tính tự động hóa cao và không kịp thời khi sự cố bất ngờ bùng phát trên diện rộng.
• Hệ thống cảnh báo qua vệ tinh: Đòi hỏi chu kỳ quét dài, độ trễ lớn và không thể cung cấp hình ảnh hiện trường theo thời gian thực.
• Cảm biến khí (như cảm biến không khí MQ-135): Dễ xảy ra hiện tượng báo động nhầm giữa khói bụi môi trường thông thường và khói đám cháy; đồng thời chi phí lắp đặt, phân tán số lượng lớn cảm biến ngoài môi trường tự nhiên là không tối ưu.

Xuất phát từ các hạn chế trên, giải pháp xử lý hình ảnh dựa trên thị giác máy tính và học sâu (Deep Learning) nổi lên với nhiều ưu điểm vượt trội: chỉ cần một camera chất lượng cao là có thể giám sát diện tích lớn (như cánh rừng rộng nhiều hecta), đồng thời cho phép phân tích chi tiết các đặc trưng vật lý của ngọn lửa bao gồm màu sắc, chuyển động và kết cấu.

Nhiệm vụ và mục tiêu nghiên cứu của khóa luận được xác định cụ thể:

1. Nghiên cứu, đánh giá và so sánh các mô hình nhận diện vật thể phổ biến thuộc họ YOLO (YOLOv3, YOLOv4, YOLOv5 cùng các phiên bản rút gọn như Tiny).
2. Tối ưu hóa mô hình đã chọn sang các định dạng suy luận nhẹ như TensorRT và TFLite để giải quyết bài toán suy luận thời gian thực trên các máy tính nhúng có tài nguyên hạn chế.
3. Xây dựng hoàn chỉnh ứng dụng phát hiện lửa thời gian thực qua camera và triển khai trên máy tính nhúng NVIDIA Jetson Nano.
4. Tích hợp giao thức truyền thông MQTT và xây dựng giao diện giám sát, phát cảnh báo trên nền tảng ThingsBoard kết hợp Streaming Server qua Flask.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Các kiến trúc mạng học sâu phát hiện vật thể (YOLO), kỹ thuật tối ưu hóa mô hình mạng nơ-ron (TensorRT, TFLite, ONNX, UFF), thiết bị máy tính nhúng NVIDIA Jetson Nano (bản 2GB RAM) và camera quan sát.
• Phạm vi nghiên cứu: Ứng dụng tập trung vào bài toán phát hiện ngọn lửa (Fire Detection) tại biên mạng (Edge Computing); thời gian thực hiện đề tài từ ngày 01/03/2021 đến ngày 03/07/2021 tại Trường Đại học Công nghệ Thông tin – Đại học Quốc gia TP. Hồ Chí Minh.

---

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập hệ thống cơ sở lý luận và công nghệ nền tảng dựa trên các khái niệm chuyên ngành:

• Thị giác máy tính và Học sâu: Sử dụng bài toán nhận diện vật thể (Object Detection) để định vị và phân loại ngọn lửa trong khung hình. Đề tài vận dụng các mô hình học sâu thuộc dòng YOLO (You Only Look Once) – kiến trúc xử lý ảnh một giai đoạn với ưu thế tốc độ cao trong thời gian thực.
• Kỹ thuật tối ưu hóa và tăng tốc phần cứng:
  • TensorRT SDK: Bộ công cụ tối ưu hóa suy luận học sâu của NVIDIA, hỗ trợ chuyển đổi các lớp mạng, lượng tử hóa và hợp nhất các tầng tính toán nhằm tối đa hóa hiệu năng GPU Maxwell.
  • ONNX (Open Neural Network Exchange) và UFF: Các định dạng đồ thị tính toán trung gian phục vụ quá trình chuyển đổi mô hình từ framework huấn luyện sang TensorRT Engine.
  • TensorFlow / TensorFlow Lite: Nền tảng học máy mã nguồn mở và định dạng rút gọn phục vụ suy luận trên thiết bị nhúng.
• Điện toán biên (Edge Computing): Mô hình tính toán phân tán gồm 3 lớp:
  1. Lớp trung tâm dữ liệu đám mây (Cloud Data Center): Xử lý các tác vụ phức tạp, huấn luyện dữ liệu lớn.
  2. Lớp điện toán biên (Edge Computing): Đặt tại các trạm biên (Jetson Nano) để xử lý dữ liệu cục bộ, giảm thiểu độ trễ và tiết kiệm băng thông truyền tải.
  3. Lớp thiết bị IoT: Camera, cảm biến và cơ cấu chấp hành.
• Giao thức truyền thông MQTT (Message Queuing Telemetry Transport): Giao thức truyền tin gọn nhẹ theo mô hình Publish/Subscribe qua nền tảng TCP/IP, hỗ trợ 3 mức dịch vụ (QoS 0, QoS 1, QoS 2), thích hợp cho đường truyền băng thông thấp và các thiết bị IoT bị giới hạn bộ nhớ.

Phương pháp nghiên cứu thực nghiệm được triển khai tuần tự:

1. Thu thập và tiền xử lý dữ liệu: Tập hợp các bộ dữ liệu hình ảnh về ngọn lửa từ các nguồn tin cậy; tiến hành gán nhãn thủ công (bằng công cụ gán nhãn hình ảnh) và tạo tệp cấu hình tọa độ bounding box.
2. Huấn luyện mô hình: Tiến hành đào tạo các biến thể YOLO (v3-tiny, v4-tiny, v5) trên máy tính cá nhân (Laptop) có GPU hỗ trợ CUDA, theo dõi hàm mất mát (Loss) và các chỉ số đánh giá như mAP, IoU.
3. Tối ưu hóa mô hình: Chuyển đổi mô hình đã huấn luyện sang ONNX/UFF, sau đó sử dụng TensorRT Builder trên Jetson Nano để biên dịch thành file .engine / .plan.
4. Triển khai và tích hợp hệ thống: Kết nối phần cứng Jetson Nano với Camera, cài đặt hệ điều hành JetPack 4.5, xây dựng Streaming Server bằng Flask và đẩy dữ liệu cảnh báo qua MQTT Broker lên máy chủ ThingsBoard.

---

Thiết kế và triển khai

Hệ thống được thiết kế theo mô hình xử lý phân tán tại biên, đảm bảo khả năng phát hiện sự cố cục bộ và cảnh báo từ xa:

1. Cấu hình phần cứng triển khai

Khóa luận sử dụng phiên bản bo mạch phát triển nhúng của NVIDIA với các thông số chi tiết:

• Bo mạch: NVIDIA Jetson Nano Developer Kit Carrier Board A02 (1 cổng kết nối camera CSI/USB).
• Bộ xử lý đồ họa (GPU): Kiến trúc Maxwell với 128 nhân tính toán.
• Bộ xử lý trung tâm (CPU): Quad-core ARM Cortex-A57 @ 1.43 GHz.
• Bộ nhớ hệ thống (RAM): 2 GB 64-bit LPDDR4, băng thông 25.6 GB/s.
• Lưu trữ: Thẻ nhớ microSD tích hợp hệ điều hành JetPack 4.5.
• Khả năng giải mã/mã hóa video: H.264/H.265 (hỗ trợ 4K @ 30fps, 4 kênh 1080p @ 30fps).

2. Quy trình chuyển đổi và tối ưu hóa TensorRT

Nhằm vượt qua rào cản giới hạn 2GB RAM trên Jetson Nano, quy trình chuyển đổi mô hình được thực hiện qua 5 giai đoạn:

1. Huấn luyện: Đào tạo mạng YOLO trên nền tảng framework Deep Learning chuẩn.
2. Xuất đồ thị mạng trung gian: Chuyển đổi trọng số và cấu trúc mạng sang định dạng ONNX hoặc UFF (.uff).
3. Biên dịch Engine: Sử dụng TensorRT SDK để thực hiện tối ưu hóa cấu trúc mạng (Layer Fusion, Kernel Tuning, tối ưu hóa bộ nhớ RAM/GPU).
4. Tạo tệp thực thi: Xuất ra file mô hình nhị phân định dạng TensorRT (.engine hoặc .plan).
5. Nạp và suy luận: Sử dụng hàm load_model từ thư viện TensorRT trên môi trường Python để nạp trực tiếp mô hình vào bộ nhớ GPU và xử lý luồng khung hình từ camera.

3. Triển khai phần mềm và hệ thống cảnh báo

• Video Streaming Server: Ứng dụng thư viện Flask của Python để tạo máy chủ cục bộ phát trực tiếp luồng video kèm khung nhận diện (bounding box) ngọn lửa.
• Nền tảng ThingsBoard & MQTT: Thiết bị Jetson Nano đóng vai trò là MQTT Client (Publisher), liên tục đẩy dữ liệu trạng thái và xác suất phát hiện lửa qua chuỗi tin nhắn có định dạng chuẩn đến MQTT Broker của ThingsBoard.
• Rule Chain cảnh báo: Trên giao diện ThingsBoard, một chuỗi quy tắc (Rule chain) được thiết lập để bắt các điều kiện ngưỡng (threshold). Khi phát hiện tín hiệu lửa đạt độ tin cậy theo quy định, hệ thống tự động kích hoạt cảnh báo trên Dashboard quản trị.

---

Nội dung chính theo từng chương

Bố cục khóa luận gồm 5 chương chính với các nội dung trọng tâm sau:

Chương 1: Mở đầu

Trình bày tổng quan về thực trạng hỏa hoạn và sự cần thiết của các hệ thống cảnh báo tự động. Chương này phân tích chi tiết ưu nhược điểm của các giải pháp quan sát mắt thường, vệ tinh và cảm biến khói khí. Tác giả đặt ra mục tiêu nghiên cứu, xác định đối tượng là mô hình học sâu kết hợp phần cứng Jetson Nano, đồng thời lập kế hoạch thực hiện đề tài gồm 4 giai đoạn cụ thể từ tháng 03/2021 đến tháng 07/2021.

Chương 2: Cơ sở lý thuyết

Cung cấp toàn bộ nền tảng lý thuyết học thuật:

• Khái niệm về thị giác máy tính, phân biệt Machine Learning và Deep Learning.
• Bài toán Object Detection, các chỉ số đánh giá (IoU, Localization Loss, mAP).
• Lịch sử phát triển và cấu trúc mạng nơ-ron YOLO.
• Tổng quan về framework TensorFlow, TensorRT và chu trình chuyển đổi mạng qua ONNX/UFF.
• Giới thiệu phần cứng NVIDIA Jetson Nano, giao thức MQTT với các cơ chế QoS, Session, Subscription, Topic, và kiến trúc Điện toán biên (Edge Computing).

Chương 3: Mô hình ứng dụng

Chi tiết hóa quá trình kỹ thuật xây dựng hệ thống:

• Thiết lập môi trường, tệp Makefile và cài đặt các thư viện tiên quyết trên hệ điều hành JetPack.
• Quy trình chuẩn bị dữ liệu: thu thập ảnh ngọn lửa, xử lý lọc nhiễu, sử dụng phần mềm gán nhãn dữ liệu và phân chia tập Train/Test.
• Cấu hình các tham số huấn luyện mô hình (batch size, subdivisions, learning rate, filters).
• Các bước chuyển đổi sang TensorRT nhằm giải phóng tài nguyên bộ nhớ cho Jetson Nano 2GB.
• Khởi tạo và thiết lập giao diện quản lý trên nền tảng ThingsBoard.

Chương 4: Triển khai thực nghiệm và đánh giá kết quả

Trình bày kết quả thử nghiệm thực tế:

• Sơ đồ tích hợp toàn diện giữa Jetson Nano, Camera, Flask Streaming Server và ThingsBoard Dashboard.
• Cấu hình các nút xử lý trong Rule chain để tự động phát hiện sự kiện bất thường.
• So sánh hiệu năng thực nghiệm giữa các mô hình: YOLOv3-tiny, YOLOv4-tiny, YOLOv5 và phiên bản tối ưu TensorRT trên hai môi trường phần cứng: Laptop và Jetson Nano.
• Đánh giá khả năng xử lý khung hình (FPS), độ ổn định của luồng dữ liệu và mức tiêu thụ tài nguyên (RAM, CPU, GPU).

Chương 5: Tổng kết quá trình và hướng phát triển đề tài

Tổng hợp toàn bộ các kết quả đạt được về mặt mô hình, tốc độ xử lý thời gian thực và hệ thống cảnh báo; đồng thời chỉ rõ những điểm hạn chế về phần cứng và đề xuất phương hướng phát triển tiếp theo của đề tài.

---

Kết quả và đóng góp

1. Kết quả thực nghiệm và so sánh hiệu năng

Khóa luận đã tiến hành đánh giá thực nghiệm toàn diện các mô hình nhận diện vật thể trên hai môi trường tính toán khác nhau.

Tiêu chí / Mô hình	YOLOv3-tiny	YOLOv4-tiny	YOLOv5	Bản tối ưu TensorRT (trên Jetson Nano)
Môi trường thử nghiệm	Laptop / Jetson Nano	Laptop / Jetson Nano	Laptop / Jetson Nano	NVIDIA Jetson Nano (2GB)
Mức tiêu tốn tài nguyên	Trung bình	Tương đối thấp	Cao	Rất thấp (đã tối ưu hóa bộ nhớ)
Khả năng chạy Real-time	Có thể chạy	Khá mượt mà	Hạn chế trên Nano 2GB	Hoạt động mượt mà, ổn định
Xử lý ngọn lửa nhỏ	Hạn chế	Được cải thiện	Tốt	Đạt độ chính xác ổn định

2. Đóng góp kỹ thuật chính của khóa luận

• Giải quyết bài toán tài nguyên hạn chế: Ứng dụng thành công TensorRT trên nền tảng JetPack 4.5, giúp vận hành trơn tru mô hình học sâu nhận diện lửa trên bo mạch Jetson Nano bản 2GB RAM – vốn thường xuyên gặp lỗi tràn bộ nhớ (Out of Memory) khi chạy các framework thông thường.
• Cải thiện độ chính xác đối với vật thể nhỏ: Khắc phục nhược điểm nhận diện kém của YOLO đối với các mục tiêu kích thước nhỏ bằng cách chủ động bổ sung tập dữ liệu ngọn lửa nhỏ từ xa và tinh chỉnh các bộ lọc (filter) cùng kích thước đầu vào trong tệp cấu hình.
• Giảm thiểu báo động giả: Lựa chọn kỹ lưỡng tập dữ liệu đầu vào nhằm loại bỏ sự nhầm lẫn giữa ánh sáng đèn điện nhân tạo với ngọn lửa thật.
• Xây dựng hệ thống IoT hoàn chỉnh: Tích hợp trọn vẹn chuỗi liên kết từ khâu thu nhận hình ảnh biên (Camera + Jetson Nano) $\rightarrow$ suy luận cục bộ $\rightarrow$ phát luồng video (Flask) $\rightarrow$ truyền tin tức thời (MQTT) $\rightarrow$ hiển thị và cảnh báo tập trung (ThingsBoard Dashboard).

---

Hạn chế và hướng nghiên cứu tiếp

1. Hạn chế được ghi nhận

• Bộ nhớ RAM vật lý của thiết bị Jetson Nano chỉ có 2GB, dẫn đến việc thiết bị dễ rơi vào trạng thái quá tải bộ nhớ nếu cấu hình mô hình chưa được tinh giản triệt để.
• Trong một số môi trường có nguồn sáng phức tạp, các bóng đèn điện có màu sắc và cường độ tương đồng với ngọn lửa vẫn có nguy cơ gây nhầm lẫn cho mô hình nếu góc quay không thuận lợi.
• Ứng dụng mới tập trung vào nhận diện ngọn lửa, chưa kết hợp nhận diện khói hoặc phân tích nhiệt độ đa cảm biến trên cùng một hệ thống.

2. Hướng nghiên cứu tiếp

• Nâng cấp và thử nghiệm trên các phần cứng có cấu hình cao hơn (như các dòng Jetson dung lượng RAM lớn hơn hoặc dòng vi xử lý mới) để tăng tốc độ khung hình và nâng cao độ phân giải đầu vào.
• Tiếp tục mở rộng tập dữ liệu huấn luyện trong các điều kiện thời tiết, ánh sáng ban đêm và góc quay phức tạp nhằm tăng cường độ chính xác tổng thể.
• Mở rộng hệ thống cảnh báo đa kênh (gửi tin nhắn, email cảnh báo tự động) và tích hợp thêm mô hình nhận diện khói đồng thời để tăng độ tin cậy khi phát hiện cháy rừng hoặc hỏa hoạn công nghiệp.

---

Giá trị tham khảo

Tài liệu khóa luận mang lại giá trị học thuật và ứng dụng thực tiễn cho nhiều nhóm đối tượng:

• Sinh viên và nghiên cứu sinh ngành Mạng máy tính, CNTT và IoT: Nguồn tài liệu tham khảo chi tiết về quy trình triển khai mô hình học sâu thực tế từ máy tính huấn luyện xuống thiết bị tính toán biên.
• Kỹ sư phát triển hệ thống nhúng và AIoT: Cung cấp hướng dẫn từng bước về việc chuyển đổi đồ thị mạng nơ-ron qua ONNX/UFF và tối ưu hóa bằng NVIDIA TensorRT trên hệ điều hành JetPack.
• Nhà phát triển giải pháp an toàn thông minh: Cung cấp mô hình kiến trúc mẫu tích hợp giữa suy luận AI biên, máy chủ Streaming Flask, giao thức MQTT và giao diện điều khiển trung tâm ThingsBoard.

---

Câu hỏi thường gặp

1. Phần cứng chính được sử dụng để thực thi mô hình phát hiện lửa là gì và có thông số ra sao?

Khóa luận sử dụng thiết bị máy tính nhúng NVIDIA Jetson Nano Developer Kit Carrier Board A02 (phiên bản 2GB RAM). Thiết bị được trang bị vi xử lý CPU Quad-core ARM A57 tốc độ 1.43 GHz, GPU 128-core kiến trúc Maxwell, bộ nhớ 2 GB 64-bit LPDDR4 băng thông 25.6 GB/s, sử dụng thẻ nhớ microSD để lưu trữ hệ điều hành JetPack 4.5.

2. Quy trình chuyển đổi mô hình học sâu sang định dạng TensorRT được tác giả thực hiện như thế nào?

Quy trình chuyển đổi gồm các bước:

1. Đào tạo mô hình nhận diện lửa trên framework học sâu (Darknet/TensorFlow).
2. Chuyển đổi mô hình sang định dạng trung gian là .onnx hoặc .uff.
3. Sử dụng TensorRT SDK để tối ưu hóa và biên dịch đồ thị mạng thành file định dạng TensorRT (.engine hoặc .plan).
4. Sử dụng hàm load_model từ thư viện TensorRT để nạp mô hình vào bộ nhớ GPU của Jetson Nano và thực thi suy luận.

3. Giao thức MQTT đóng vai trò gì trong kiến trúc của hệ thống?

MQTT được sử dụng để truyền tải các thông điệp cảnh báo và dữ liệu trạng thái từ Jetson Nano (Publisher) đến máy chủ ThingsBoard (Broker/Subscriber). Nhờ đặc tính chiếm ít băng thông, độ trễ thấp và có các mức dịch vụ tin cậy (QoS 0, 1, 2), MQTT đảm bảo việc truyền tin ổn định ngay cả trong điều kiện mạng chập chờn.

4. Tác giả đã xử lý những khó khăn nào liên quan đến dữ liệu và hiện tượng nhận diện nhầm?

Tác giả đã chọn lọc kỹ lưỡng tập dữ liệu đầu vào, bổ sung các hình ảnh ngọn lửa có kích thước nhỏ ở khoảng cách xa, tinh chỉnh các bộ lọc và kích thước ảnh để mô hình nhận diện tốt đám cháy nhỏ. Đồng thời, các hình ảnh có nguồn sáng gây nhiễu (như ánh đèn điện) được đưa vào đối chiếu để tránh việc mô hình nhận dạng nhầm bóng đèn thành ngọn lửa.

5. Nền tảng nào được sử dụng để xây dựng Dashboard quản trị và cơ chế cảnh báo?

Tác giả sử dụng nền tảng mã nguồn mở ThingsBoard. Trên ThingsBoard, giao diện Dashboard hiển thị trạng thái hoạt động của hệ thống theo thời gian thực và tích hợp Rule chain (chuỗi quy tắc) để thiết lập điều kiện phát tín hiệu cảnh báo tự động khi phát hiện đám cháy.

---

Kết luận

Khóa luận tốt nghiệp của tác giả Vũ Hà Anh đã nghiên cứu và triển khai thành công ứng dụng phát hiện ngọn lửa thời gian thực dựa trên các mô hình học sâu họ YOLO và kỹ thuật tối ưu hóa TensorRT trên thiết bị nhúng NVIDIA Jetson Nano 2GB. Công trình giải quyết tốt bài toán thiếu hụt tài nguyên phần cứng tại biên mạng, đồng thời thiết lập một luồng kiến trúc hoàn chỉnh từ thu nhận video, suy luận AI cục bộ đến truyền thông cảnh báo qua MQTT và quản trị tập trung trên ThingsBoard. Kết quả nghiên cứu có giá trị thực tiễn cao, đóng vai trò là tài liệu tham khảo kỹ thuật hữu ích cho việc xây dựng các giải pháp giám sát an toàn và phòng cháy chữa cháy thông minh.

Trích đoạn nội dung tài liệu

MỞ ĐẦU .2 Mục tiêu của đề tài.3 Đối tượng nghiên cứu và kết quả mong muốn .4 Các đề tài liên quan đến nghiến cứu. 4 CHƯƠNG 2 : CƠ SỞ LÝ THUYẾT .1 Các khái niệm về thị giác máy tính và máy học .1 Bài toán phát hiện vật thể (Object Detection) .1 Giới thiệu về thị giác máy tính .2 Định nghĩa Object Detection .2 Khái niệm về Deep Learning và Machine Learning .2 Các thuật ngữ cơ bản trong đề tài. 11 69b235 50a5 c3c862be85 c992 c8a9 d31 cc7 8eb5 4cfda56e 5e9a28 26f8fcf74 565 4bb45 0f2 178 f0e02 f11 f3 f858 dd7 e448a6 231fe65db2a88 2044 c48 1c3 5a24df6 bc9 b0bcf6 4689 7071a2 696e7 f15 1a28a c446 11fbd8 db86 80ef6b9 8cc9b6 74dc1 2.3 Mô hình Yolo. 13 df3a6 b9d39e60 7c3 09863 4a0f18e f8e90e f5 f54e 4fe0e e17fc36 91491 3481e 6e 688f0 1fc5a0 f29fe 01a1 f12bc58 e905 f3 c73b1d0e 18686 7c9 5c8 533 ccdd31 d8d 2.1 Giới thiệu về mạng Yolo ( Yolo Network ).

13 5ac1c03e9 7c0 9d11a 1e51fcb6a1e21 f59a 46c9796 d3ad0 16f5a324 85d6 6092 0b 85cbfd0 b14 f24 f71ee 04fbcfdd5 ed71 5fb4642 584d703 b0754 31c9d59 8785 e42 05bb4 6d10 f6a1 0a49fc87 4f4 ef7ff3 9e845fb 99d8 98157 b65 4c10 7b6 6e5e0 857 2.2 Lịch sử phát triển của Yolo. 13 203076 c61 1f4 9f0 bca c3e09 e51 c452fb8 e3c6 26d5db4b01 0a9c3f7 752e7 b46e 3 d9d2e cb4 2640a 78d3 1c7 88be 3195e d06 f227a 0a55e6 3c9 5c6 e5bdc8 493b45233 2.3 Các đánh giá về Yolo. 14 6241c8cf19 f4fe 18aca c143 58ed f87 5118 5b19 39fdd99 4c7 e0b6 5e9fca936 474 d600 f8f5a5205 f30 0647 0eaa75fb c03a6 cd1 296a7 baff2fde4fc88 c5d8 0e7e8 0 2.4 Kiến trúc mạng Yolo. 15 05c20 445 f057 6fba59ac8c4e 9bdf4e 2d37a 6e52e 4d1 fc0 d97e 52033 2486 b108 b 6ac85e 6b36 36b4 1df49 c267 c062 235bd48 0e9ed f9 dbd175b8eb7a 87444 0fa0 7 1dfe7 d7f7cf90a6 f92 74c81be 6be3 cbf7ee2 0416 0b53 5f5 7d8 c76 f1e6e 17e9 fe 2.5 Nguyên lý hoạt động Yolo.

18 f3a8e f7a276 b2a0 4f9 2b17a 67137 b8a2 b5c136efb1e 7eaf7 81d1f4 316c593 d2c 0a2f44 210d1bfbcc3a7 35d5 1d13 f37 7b1 72d0 079b6dc0dfc35 e5ac1d8a5 f07 b5 2.1 Các công thức tính toán trong Yolo. 19 ab5a5c1d67 622e0 44fd9c038a98 b3 f82 f5a071 7f5 9adefb04 4eeafe be3 c4c40e 54813e1 1a2e6a 6638e 29b2 0b7 c7e8a 1f7 92736 b1e8 c7ee ba292 7f7 2950 b4a90 b 87d180a 6f6 794a2 2d3 bb70a 4e2d2289aa8 df113fa 96d4 dd6 0d1 555e5 50f50086 2. 23 24f6fb cc2 c3e2 d82a 7f4 2dc11d3 f7a8 4c9 d529 044 b7cfa91b4143 0b68 8aca f29 c5eac84c3f6 c86 c63 6c6 9f5ae 9f2 1f1 94c4b94 d1 c92e f3b8 8c4 e9b9a 3b5 cb2 8e b4a4b4 8b05 3489 bfa88 9d0 2057a9 3d2fb dd52 510 c0571 74e5 b5d0 9708 eb22 f03 2.1 Giới thiệu về Tensorflow. 23 1be6b6b5 d865 d19a15 7c0 c61 287d53f3bbef7 b31 c9b2 6f7 1494 f5a9 52c6be3 c9 9f937 3257 f26 5f9 43b5 6a1771 9851 f86 54481 0935 c52 003e be480 8c5 d5fba3e7 2.

24 df50 b161 db0 3291ea f55 69f0537a9 e320 25a6bfdb6a95a68 c4 df2 df6e38a9 623 2b77ae3 f85 3222 3db95346 d300 0d8 68e6ddad9 20a7ba 014 ce7d06ee8 95a2fa e1 2.1 Định nghĩa TensorRT. 24 ab38e52 7a1f04aa55 bce 221d5ac4 2f1 4f8 b883 b9c08a42 99f2488 c61 c615 f54 f 9a4dfb005aa 1c4 96bfb25 b1e0 d760 7750 67084 0577 2254fb1 58f03b2 d6b49817 080f1 60e2 d78 c3f57a67a b43d1d4 9e5d1 7ed5 3e3b57ad1 6592 cc4d62 b9aa8 7e3 2.2 Chu trình chuyển đổi sang TensorRT. 25 d22c57008 165 f64e 080b2350 cf37f2d7a0 6aa0164 4b4aaa b383ae 0d92a cab8b5 f8d2 e7f0b0d5d0 c7b2466 32074 e7d5 dee c289 77f33ed0 b62 c2abcf2417 1c5 5ab 79a5e77a d2d6 c3 bc8e 88b1bde 442fe00d6c2 8da41 da9d0585 dc8aa 9f0 c70 f60 4 447b14 faea0 d730 d286 87a0ee 3e82 c349 609d215 f8355a d21 7fd8 774e8 99bf88 d54395a c02 c16 b196 cc74e0 c79 d3a2a7 c15aa 5b71 b9aa86 8194 7ac88 281e 8d76 b48182 8e6b398 c7a71a 5ee1 f02 Downloaded by Nguynhavy Ha Vy (Ntkphuong205@gmail.5 Thiết bị Jetson Nano .1 Giới thiệu chung .2 Cấu hình chi tiết .6 Giao thức MQTT ( Message Queuing Telnhómetry) .1 Khái niệm về MQTT .2 Tính năng và đặc điểm nổi bật .3 Mô hình hoạt động của MQTT .1 Thành phần và cơ chế hoạt động .2 Kiến trúc MQTT .7 Điện toán biên (Edge Computing).1 Giới thiệu về Edge Computing .2 Nguyên lý hoạt động. 33 CHƯƠNG 3 : MÔ HÌNH ỨNG DỤNG .1 Mô tả mô hình .1 Cách thành phần chính .2 Nguyên lý hoạt động.

36 6b4090 276 f85e 7e79a2 7b4 f9d31306 2ff9828 5326 33d3 1409 b83a2 1eabae5 c78 69b235 50a5 c3c862be85 c992 c8a9 d31 cc7 8eb5 4cfda56e 5e9a28 26f8fcf74 565 3.3 Lý do thực hiện ứng dụng trên thiết bị nhúng. 37 4bb45 0f2 178 f0e02 f11 f3 f858 dd7 e448a6 231fe65db2a88 2044 c48 1c3 5a24df6 bc9 b0bcf6 4689 7071a2 696e7 f15 1a28a c446 11fbd8 db86 80ef6b9 8cc9b6 74dc1 df3a6 b9d39e60 7c3 09863 4a0f18e f8e90e f5 f54e 4fe0e e17fc36 91491 3481e 6e 3.2 Cài đặt các thư viện và môi trường cần thiết. 38 688f0 1fc5a0 f29fe 01a1 f12bc58 e905 f3 c73b1d0e 18686 7c9 5c8 533 ccdd31 d8d 5ac1c03e9 7c0 9d11a 1e51fcb6a1e21 f59a 46c9796 d3ad0 16f5a324 85d6 6092 0b 3.1 Cài đặt các thư viện tiên quyết. 38 85cbfd0 b14 f24 f71ee 04fbcfdd5 ed71 5fb4642 584d703 b0754 31c9d59 8785 e42 05bb4 6d10 f6a1 0a49fc87 4f4 ef7ff3 9e845fb 99d8 98157 b65 4c10 7b6 6e5e0 857 203076 c61 1f4 9f0 bca c3e09 e51 c452fb8 e3c6 26d5db4b01 0a9c3f7 752e7 b46e 3 3.

39 d9d2e cb4 2640a 78d3 1c7 88be 3195e d06 f227a 0a55e6 3c9 5c6 e5bdc8 493b45233 6241c8cf19 f4fe 18aca c143 58ed f87 5118 5b19 39fdd99 4c7 e0b6 5e9fca936 474 d600 f8f5a5205 f30 0647 0eaa75fb c03a6 cd1 296a7 baff2fde4fc88 c5d8 0e7e8 0 3.3 Chuẩn bị và gán nhãn dữ liệu đầu vào. 40 05c20 445 f057 6fba59ac8c4e 9bdf4e 2d37a 6e52e 4d1 fc0 d97e 52033 2486 b108 b 6ac85e 6b36 36b4 1df49 c267 c062 235bd48 0e9ed f9 dbd175b8eb7a 87444 0fa0 7 3.1 Gán nhãn dữ liệu. 41 1dfe7 d7f7cf90a6 f92 74c81be 6be3 cbf7ee2 0416 0b53 5f5 7d8 c76 f1e6e 17e9 fe f3a8e f7a276 b2a0 4f9 2b17a 67137 b8a2 b5c136efb1e 7eaf7 81d1f4 316c593 d2c 0a2f44 210d1bfbcc3a7 35d5 1d13 f37 7b1 72d0 079b6dc0dfc35 e5ac1d8a5 f07 b5 3.4 Cấu hình và huấn luyện mô hình. 41 ab5a5c1d67 622e0 44fd9c038a98 b3 f82 f5a071 7f5 9adefb04 4eeafe be3 c4c40e 54813e1 1a2e6a 6638e 29b2 0b7 c7e8a 1f7 92736 b1e8 c7ee ba292 7f7 2950 b4a90 b 87d180a 6f6 794a2 2d3 bb70a 4e2d2289aa8 df113fa 96d4 dd6 0d1 555e5 50f50086 3.1 Nguyên lý hoạt động của quá trình huấn luyện mô hình.

41 24f6fb cc2 c3e2 d82a 7f4 2dc11d3 f7a8 4c9 d529 044 b7cfa91b4143 0b68 8aca f29 c5eac84c3f6 c86 c63 6c6 9f5ae 9f2 1f1 94c4b94 d1 c92e f3b8 8c4 e9b9a 3b5 cb2 8e 3.2 Cấu hình mô hình huấn luyện. 42 b4a4b4 8b05 3489 bfa88 9d0 2057a9 3d2fb dd52 510 c0571 74e5 b5d0 9708 eb22 f03 1be6b6b5 d865 d19a15 7c0 c61 287d53f3bbef7 b31 c9b2 6f7 1494 f5a9 52c6be3 c9 9f937 3257 f26 5f9 43b5 6a1771 9851 f86 54481 0935 c52 003e be480 8c5 d5fba3e7 3.3 Kiểm thử mô hình. 45 df50 b161 db0 3291ea f55 69f0537a9 e320 25a6bfdb6a95a68 c4 df2 df6e38a9 623 2b77ae3 f85 3222 3db95346 d300 0d8 68e6ddad9 20a7ba 014 ce7d06ee8 95a2fa e1 ab38e52 7a1f04aa55 bce 221d5ac4 2f1 4f8 b883 b9c08a42 99f2488 c61 c615 f54 f 3.5 Thiết lập cho Jetson Nano. 46 9a4dfb005aa 1c4 96bfb25 b1e0 d760 7750 67084 0577 2254fb1 58f03b2 d6b49817 080f1 60e2 d78 c3f57a67a b43d1d4 9e5d1 7ed5 3e3b57ad1 6592 cc4d62 b9aa8 7e3 3.1 Cài đặt hệ điều hành.

46 d22c57008 165 f64e 080b2350 cf37f2d7a0 6aa0164 4b4aaa b383ae 0d92a cab8b5 f8d2 e7f0b0d5d0 c7b2466 32074 e7d5 dee c289 77f33ed0 b62 c2abcf2417 1c5 5ab 79a5e77a d2d6 c3 bc8e 88b1bde 442fe00d6c2 8da41 da9d0585 dc8aa 9f0 c70 f60 4 447b14 faea0 d730 d286 87a0ee 3e82 c349 609d215 f8355a d21 7fd8 774e8 99bf88 d54395a c02 c16 b196 cc74e0 c79 d3a2a7 c15aa 5b71 b9aa86 8194 7ac88 281e 8d76 b48182 8e6b398 c7a71a 5ee1 f02 Downloaded by Nguynhavy Ha Vy (Ntkphuong205@gmail.6 Tối ưu hóa mô hình .1 Các bước thực hiện tối ưu hóa mô hình .2 Kết quả đạt được sau khi tối ưu .7 Cài đặt Dashboard dựa trên nền tảng Thingsboard. 52 CHƯƠNG 4 : TRIỂN KHAI THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ.1 Sơ đồ triển khai ứng dụng trên thiết bị .2 Thiết lập Streaming Server .3 Thiết lập trên Thingsboard.4 Thiết lập Rule chain ( điều kiện để phát cảnh báo ) .5 Đánh giá kết quả các mô hình .1 Chạy thử nghiệm các mô hình .2 Thông số chi tiết các mô hình thử nghiệm .6 Chạy thực nghiệm. 70 CHƯƠNG 5 : TỔNG KẾT QUÁ TRÌNH VÀ HƯỚNG PHÁT TRIỂN ĐỀ TÀI .1 Kết quả đạt được .2 Hướng phát triển. 73 69b235 50a5 c3c862be85 c992 c8a9 d31 cc7 8eb5 4cfda56e 5e9a28 26f8fcf74 565 4bb45 0f2 178 f0e02 f11 f3 f858 dd7 e448a6 231fe65db2a88 2044 c48 1c3 5a24df6 bc9 b0bcf6 4689 7071a2 696e7 f15 1a28a c446 11fbd8 db86 80ef6b9 8cc9b6 74dc1 TÀI LIỆU THAM KHẢO.

75 df3a6 b9d39e60 7c3 09863 4a0f18e f8e90e f5 f54e 4fe0e e17fc36 91491 3481e 6e 688f0 1fc5a0 f29fe 01a1 f12bc58 e905 f3 c73b1d0e 18686 7c9 5c8 533 ccdd31 d8d 5ac1c03e9 7c0 9d11a 1e51fcb6a1e21 f59a 46c9796 d3ad0 16f5a324 85d6 6092 0b 85cbfd0 b14 f24 f71ee 04fbcfdd5 ed71 5fb4642 584d703 b0754 31c9d59 8785 e42 05bb4 6d10 f6a1 0a49fc87 4f4 ef7ff3 9e845fb 99d8 98157 b65 4c10 7b6 6e5e0 857 203076 c61 1f4 9f0 bca c3e09 e51 c452fb8 e3c6 26d5db4b01 0a9c3f7 752e7 b46e 3 d9d2e cb4 2640a 78d3 1c7 88be 3195e d06 f227a 0a55e6 3c9 5c6 e5bdc8 493b45233 6241c8cf19 f4fe 18aca c143 58ed f87 5118 5b19 39fdd99 4c7 e0b6 5e9fca936 474 d600 f8f5a5205 f30 0647 0eaa75fb c03a6 cd1 296a7 baff2fde4fc88 c5d8 0e7e8 0 05c20 445 f057 6fba59ac8c4e 9bdf4e 2d37a 6e52e 4d1 fc0 d97e 52033 2486 b108 b 6ac85e 6b36 36b4 1df49 c267 c062 235bd48 0e9ed f9 dbd175b8eb7a 87444 0fa0 7 1dfe7 d7f7cf90a6 f92 74c81be 6be3 cbf7ee2 0416 0b53 5f5 7d8 c76 f1e6e 17e9 fe f3a8e f7a276 b2a0 4f9 2b17a 67137 b8a2 b5c136efb1e 7eaf7 81d1f4 316c593 d2c 0a2f44 210d1bfbcc3a7 35d5 1d13 f37 7b1 72d0 079b6dc0dfc35 e5ac1d8a5 f07 b5 ab5a5c1d67 622e0 44fd9c038a98 b3 f82 f5a071 7f5 9adefb04 4eeafe be3 c4c40e 54813e1 1a2e6a 6638e 29b2 0b7 c7e8a 1f7 92736 b1e8 c7ee ba292 7f7 2950 b4a90 b 87d180a 6f6 794a2 2d3 bb70a 4e2d2289aa8 df113fa 96d4 dd6 0d1 555e5 50f50086 24f6fb cc2 c3e2 d82a 7f4 2dc11d3 f7a8 4c9 d529 044 b7cfa91b4143 0b68 8aca f29 c5eac84c3f6 c86 c63 6c6 9f5ae 9f2 1f1 94c4b94 d1 c92e f3b8 8c4 e9b9a 3b5 cb2 8e b4a4b4 8b05 3489 bfa88 9d0 2057a9 3d2fb dd52 510 c0571 74e5 b5d0 9708 eb22 f03 1be6b6b5 d865 d19a15 7c0 c61 287d53f3bbef7 b31 c9b2 6f7 1494 f5a9 52c6be3 c9 9f937 3257 f26 5f9 43b5 6a1771 9851 f86 54481 0935 c52 003e be480 8c5 d5fba3e7 df50 b161 db0 3291ea f55 69f0537a9 e320 25a6bfdb6a95a68 c4 df2 df6e38a9 623 2b77ae3 f85 3222 3db95346 d300 0d8 68e6ddad9 20a7ba 014 ce7d06ee8 95a2fa e1 ab38e52 7a1f04aa55 bce 221d5ac4 2f1 4f8 b883 b9c08a42 99f2488 c61 c615 f54 f 9a4dfb005aa 1c4 96bfb25 b1e0 d760 7750 67084 0577 2254fb1 58f03b2 d6b49817 080f1 60e2 d78 c3f57a67a b43d1d4 9e5d1 7ed5 3e3b57ad1 6592 cc4d62 b9aa8 7e3 d22c57008 165 f64e 080b2350 cf37f2d7a0 6aa0164 4b4aaa b383ae 0d92a cab8b5 f8d2 e7f0b0d5d0 c7b2466 32074 e7d5 dee c289 77f33ed0 b62 c2abcf2417 1c5 5ab 79a5e77a d2d6 c3 bc8e 88b1bde 442fe00d6c2 8da41 da9d0585 dc8aa 9f0 c70 f60 4 447b14 faea0 d730 d286 87a0ee 3e82 c349 609d215 f8355a d21 7fd8 774e8 99bf88 d54395a c02 c16 b196 cc74e0 c79 d3a2a7 c15aa 5b71 b9aa86 8194 7ac88 281e 8d76 b48182 8e6b398 c7a71a 5ee1 f02 Downloaded by Nguynhavy Ha Vy ([e-mail]) lOMoARcPSD|16911414 Danh mục hình ảnh Hình 2.1 Sơ đồ tác vụ thị giác máy tính .2 Luồng hoạt động của Machine Learning .3 Biểu diễn mạng neural của Deep Learning .4 Biểu đồ đánh giá các mô hình phổ biến .5 Kiến trúc mạng Yolo .6 Biểu diễn mô hình hoạt dộng của Yolo .7 Mô phỏng các tham số của đầu ra và đầu vào .8 Công thức tính IoU .