ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN HOÀNG PHI LONG HUẤN LUYỆN, TỐI ƯU VÀ TRIỂN KHAI MÔ HÌNH NHẬN DIỆN NGƯỜI TRÊN HỆ THỐNG GIÁM SÁT CỦA TRẠM BIẾN ÁP TRAINING, OPTIMIZING, AND DEPLOYING PERSON DETECTION MODEL FOR POWER SUBSTATION’S SURVEILLANCE SYSTEM Chuyên ngành: Kỹ Thuật Điều Khiển và Tự Động Hoá Mã số: 8520216 LUẬN VĂN THẠC SĨ TP. Hồ Chí Minh, tháng 6 năm 2022 Công trình được hoàn thành tại: Trường Đại học Bách Khoa – ĐHQG-HCM Cán bộ hướng dẫn khoa học : TS. Phạm Việt Cường Cán bộ chấm nhận xét 1 : TS.
Nguyễn Trọng Tài Cán bộ chấm nhận xét 2 : PGS. Lê Mỹ Hà Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG Tp. HCM ngày 24 tháng 06 năm 2022. Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: 1.
Hồ Phạm Huy Ánh - Chủ tịch 2. Nguyễn Vĩnh Hảo - Thư ký 3. Nguyễn Trọng Tài - Phản biện 1 4. Lê Mỹ Hà - Phản biện 2 5.
Nguyễn Ngọc Sơn - Uỷ viên Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nếu có). CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA ĐIỆN-ĐIỆN TỬ ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự do - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Nguyễn Hoàng Phi Long MSHV: 1970437 Ngày, tháng, năm sinh: 12/01/1997 Nơi sinh: TP. Hồ Chí Minh Chuyên ngành: Kỹ Thuật Điều Khiển và Tự Động Hoá Mã số : 8520216 I. TÊN ĐỀ TÀI: HUẤN LUYỆN, TỐI ƯU VÀ TRIỂN KHAI MÔ HÌNH NHẬN DIỆN NGƯỜI TRÊN HỆ THỐNG GIÁM SÁT CỦA TRẠM BIẾN ÁP TRAINING, OPTIMIZING, AND DEPLOYING PERSON DETECTION MODEL FOR POWER SUBSTATION’S SURVEILLANCE SYSTEM NHIỆM VỤ VÀ NỘI DUNG: - Nhiệm vụ: Giải quyết các bài toán thực tế trong trạm biến áp như phát hiện người đột nhập vào trạm biến áp, người vi phạm phạm vi làm việc cho phép và người không đội mũ bảo hộ.
- Nội dung: Huấn luyện mô hình nhận diện người, tối ưu hoá và triển khai mô hình. Xây dựng hệ thống giám sát thông minh trong trạm biến áp. NGÀY GIAO NHIỆM VỤ: 14/02/2022 III. NGÀY HOÀN THÀNH NHIỆM VỤ: 06/06/2022 IV.CÁN BỘ HƯỚNG DẪN: TS.
Phạm Việt Cường TP. HCM, ngày 24 tháng 06 năm 2022 CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO TRƯỞNG KHOA ĐIỆN - ĐIỆN TỬ i LỜI CẢM ƠN Lời đầu tiên, tôi xin gửi lời cảm ơn đến gia đình đã luôn là động lực, là điểm tựa vững chắc để tôi có thêm sự quyết tâm vượt qua những khó khăn trong suốt quá trình học tập, rèn luyện. Tiếp theo, tôi xin chân thành gửi lời cảm ơn sâu sắc đến thầy Phạm Việt Cường đã tận tình hướng dẫn, giúp đỡ tôi về mặt kiến thức chuyên ngành trong toàn bộ quá trình thực hiện luận văn Thạc sĩ. Thầy đã tạo mọi điều kiện thuận lợi nhất giúp tôi có thể thu thập tư liệu, nghiên cứu và thực hành để có thể hoàn thành tốt những mục tiêu mà luận văn đã đề ra.
Ngoài ra, tôi cũng thật sự biết ơn những thầy cô trong khoa Điện - Điện Tử, đặc biệt là các thầy cô trong bộ môn Kỹ Thuật Điều Khiển và Tự Động Hoá đã tận tình giảng dạy, cung cấp những kiến thức nền tảng và chuyên sâu góp phần quan trọng giúp tôi hoàn thành luận văn. Sau cùng tôi xin cảm ơn các bạn học viên Cao học đồng chuyên ngành đã nhiệt tình giúp đỡ và đóng góp ý kiến để luận văn Thạc sĩ của tôi được hoàn thiện. Hồ Chí Minh, ngày 07 tháng 06 năm 2022 Học viên Nguyễn Hoàng Phi Long ii TÓM TẮT LUẬN VĂN THẠC SĨ Trạm biến áp là nơi đóng vai trò cực kỳ quan trọng để đảm bảo tính ổn định trong việc cung cấp điện năng cho sinh hoạt cũng như sản xuất. Vì đóng vai trò quan trọng nên đây cũng là nơi cực kỳ nhạy cảm và cần đảm bảo sự an toàn cao cho con người và tài sản.
Do đó, triển khai hệ thống giám sát trong trạm biến áp là vô cùng cần thiết, tuy nhiên việc vận hành cần tốn nhiều nhân lực và thường gặp sai sót vì các lý do chủ quan lẫn khách quan. Từ những vấn đề này, cần có một hệ thống giám sát thông minh tích hợp những mô hình Deep Learning có độ chính xác cao để suy luận và phát hiện những bất thường hay sai sót trong quá trình vận hành có ảnh hưởng đến sức khoẻ của con người và quá trình hoạt động của trạm biến áp. Dựa vào những vấn đề thực tiễn đó, đề tài luận văn trình bày một giải pháp trong việc xây dựng một hệ thống giám sát thông minh để phân tích hình ảnh từ các camera và gửi cảnh báo. Đầu tiên là huấn luyện các mô hình Deep Learning để giải quyết các bài toán thực tế trong trạm biến áp.
Thứ hai là tối ưu hoá mô hình Deep Learning đã huấn luyện để có thể tương thích với phần cứng cũng như tăng tốc cho quá trình xử lý nhiều luồng. Cuối cùng là xây dựng một hệ thống giám sát trạm biến áp kết hợp giữa các thiết bị biên (Edge Devices) và máy chủ để có thể trích xuất, suy luận bằng mô hình Deep Learning và gửi cảnh báo từ các luồng dữ liệu của tất cả các camera trong Trạm Biến Áp với tốc độ thời gian thực. Kết quả thu được là mô hình nhận diện người có độ chính xác của AP@50 là 79.43 % trong môi trường trạm biến áp, tốc độ suy luận AI của hệ thống đạt 441 FPS khi thực thi trên máy chủ và 168 FPS khi gửi yêu cầu từ Edge Device. Từ các kết quả trên, hệ thống giám sát thông mình mà luận văn xây dựng có thể hoạt động ổn định với 16 camera đạt tốc độ xử lý 25 FPS mỗi camera.
iii ABSTRACT The Substation is an extremely vital place to ensure stability in the supply of electricity for living as well as production. Because it plays an important role, it is also a sensitive place and needs to ensure high safety for people and property. That is the reason why the Surveillance System in Substation is essential, but the operation requires a lot of labor and often encounters many errors for both subjective and objective reasons. From these problems, it is necessary to have a Smart Surveillance System that integrates high-precision Deep Learning models.
This system can infer and detect abnormalities or errors that affect human health and the operation of the Substation. Based on those practical problems, the Master thesis presents a solution that building an intelligent monitoring system to analyze images from cameras and send alarms thanks to the Artificial Intelligence (AI) platform. The first stage is training Deep Learning models to solve real problems in the Substation. The second stage is optimizing these models for hardware compatibility as well as to accelerating multi- threading processing.
The last stage is building a Substation Surveillance System that combines edge devices and servers to extract, infer by Deep Learning model, and send alerts from the data stream of cameras with real-time speed. The result is that the human detection model has 79,43% AP@50 accuracy in the Substation environment and the system’s AI inference speed reaches 441 FPS when executing on the server and 168 FPS when sending the request from edge devices. From the above results, the Intelligent Surveillance System built by the thesis can operate stably with 16 cameras with a processing speed of 25 FPS. iv LỜI CAM ĐOAN CỦA TÁC GIẢ Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi, dưới sự hướng dẫn của TS.
Phạm Việt Cường. Các số liệu, những kết quả nêu trong luận văn là hoàn toàn trung thực và chưa được công bố trong bất kỳ công trình nào. Tôi xin hoàn toàn chịu trách nhiệm về lời cam đoan này. Tác giả luận văn Nguyễn Hoàng Phi Long v MỤC LỤC LỜI CẢM ƠN.
i TÓM TẮT LUẬN VĂN THẠC SĨ. iii LỜI CAM ĐOAN CỦA TÁC GIẢ. iv MỤC LỤC. v DANH MỤC HÌNH.
viii DANH MỤC BẢNG. xi DANH MỤC TỪ VIẾT TẮT. GIỚI THIỆU ĐỀ TÀI. Tổng quan đề tài.
Tình hình nghiên cứu hiện nay. Mục tiêu và nhiệm vụ. Mô hình Deep Learning. Mô hình EfficientDet.
Mô hình YOLOv5. Mô hình ResNet-50. Phương pháp đánh giá mô hình Deep Learning. Đánh giá Object Detection Model.
Đánh giá Classification Model. Phương pháp đánh giá hiệu năng. Giải mã luồng camera. Real Time Streaming Protocol (RTSP).
NVIDIA DeepStream SDK. Tối ưu hoá mô hình Deep Learning bằng TensorRT. Giới thiệu về TensorRT. Layer Tensor Fusion.
Reduce Mixed Precision. Nền tảng triển khai mô hình Deep Learning trên Server. DALI Triton Backend. QUÁ TRÌNH THỰC HIỆN.
Ý tưởng thực hiện đề tài. Giải quyết các bài toán trong trạm biến áp. Giải quyết bài toán tốc độ xử lý. Huấn luyện mô hình Deep Learning.
Chuẩn bị dữ liệu. Huấn luyện mô hình. Kết quả huấn luyện mô hình Deep Learning. Mô hình phát hiện chuyển động.
Tối ưu mô hình Deep Learning. Tối ưu hoá model EfficientDet. Tối ưu hoá model YOLOv5. Tối ưu hoá model ResNet-50.
Triển khai hệ thống xử lý AI. Xây dựng hệ thống xử lý AI. Triển khai hệ thống Cloud Computing. Triển khai hệ thống Edge Computing.
Triển khai hệ thống giám sát. Xây dựng hệ thống giám sát. KẾT QUẢ VÀ ĐÁNH GIÁ. Kết quả thuật toán nhận diện chuyển động.
Đánh giá độ chính xác. Đánh giá hiệu năng. Kết quả huấn luyện mô hình Deep Learning. Mô hình Object Detection.
Mô hình Classification. Kết quả tối ưu mô hình Deep Learning. Phương pháp đánh giá. Kết quả hiệu năng tính toán trên Triton Serving.
Phương pháp đánh giá. Kết quả hiệu năng tính toán thực thi tại Edge Device. Phương pháp đánh giá. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN.
Hướng phát triển. TÀI LIỆU THAM KHẢO. 94 viii DANH MỤC HÌNH Hình 2. So sánh hiệu năng và độ chính xác của mô hình EfficientDet với các mô hình khác Hình 2.
Cấu trúc mạng của mô hình EfficientDet Hình 2. Cấu trúc mạng của mô hình YOLOv5 Hình 2. Cấu trúc mạng của mô hình ResNet-50 Hình 2. Công thức tính IoU Hình 2.
Đồ thị biểu diễn mối quan hệ giữa Precision-Recall Hình 2. Confusion Matrix Hình 2. Cách tính Precision-Recall trên Confusion Matrix Hình 2. Cách tính Sensitivity và Specificity trên Confusion Matrix Hình 2.
Đồ thị biểu diễn đường cong ROC Hình 2. Cách tính hiệu năng của mô hình Hình 2. Giao thức RTSP để lấy dữ liệu từ IP camera Hình 2. Quá trình xử lý dữ liệu streaming của DeepStream SDK Hình 2.
Tối ưu hoá model bằng TensorRT Hình 2. Cấu trúc mạng trước và sau khi tối ưu bằng Layer và Tensor Fusion Hình 2.