Ứng dụng thuật toán YOLO phát hiện cháy rừng trên thiết bị bay không người lái DJI Tello

Khóa luận ứng dụng thuật toán YOLO phát hiện cháy rừng trên flycam DJI Tello - Đại học Huế 2024

• Tác giả: Trương Thế Nhật Huy
• Người hướng dẫn: TS. Hoàng Hữu Trung
• Trường học: Trường Đại học Kinh tế - Đại học Huế
• Chuyên ngành: Hệ thống thông tin quản lý
• Đề tài: Ứng dụng thuật toán YOLO phát hiện cháy rừng trên thiết bị bay không người lái DJI Tello
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2024
• Địa điểm: Huế

Tóm tắt

I. Tổng quan mô hình YOLO phát hiện cháy rừng trên DJI Tello

Cháy rừng gây thiệt hại nghiêm trọng đến hệ sinh thái và tài nguyên thiên nhiên. Việc phát hiện sớm đốm lửa đóng vai trò quyết định trong việc giảm thiểu rủi ro. Phương pháp tuần tra truyền thống tốn nhiều thời gian và nhân lực. Thiết bị bay không người lái DJI Tello mang lại giải pháp quan sát trên không linh hoạt. Thiết bị có kích thước nhỏ gọn và chi phí đầu tư thấp. Trọng lượng nhẹ cho phép máy bay vận hành an toàn trong các khu vực hiểm trở. Mô hình học sâu YOLO cung cấp khả năng xử lý hình ảnh với tốc độ vượt trội. Thuật toán phân tích trực tiếp dữ liệu từ camera gắn trên drone. Hệ thống xác định vị trí đám cháy theo thời gian thực với độ chính xác cao. Đề tài nghiên cứu tại Đại học Huế đã xây dựng thành công quy trình kết hợp này. Sự liên kết giữa phần cứng DJI Tello và thuật toán YOLO mở ra hướng tiếp cận mới trong lâm nghiệp hiện đại. Mô hình đáp ứng tốt yêu cầu giám sát cơ động ở quy mô vừa và nhỏ. Hệ thống góp phần bảo vệ môi trường tự nhiên một cách bền vững.

1.1. Khái niệm và đặc điểm thuật toán YOLO

Thuật toán YOLO viết tắt từ You Only Look Once. Đây là kiến trúc mạng nơ-ron tích chập dùng để phát hiện vật thể. Khác với các thuật toán truyền thống, YOLO xử lý toàn bộ khung hình trong một lần quét duy nhất. Mạng dự đoán đồng thời tọa độ hộp bao và xác suất lớp đối tượng. Tốc độ suy luận đạt mức khung hình cao trên giây. Đặc điểm này phù hợp với các ứng dụng đòi hỏi tính thời gian thực. Mô hình học các đặc trưng tổng quát của khói và lửa rừng. Nhờ vậy, YOLO hạn chế việc nhận diện nhầm các vật thể có màu sắc tương đồng. Thuật toán có nhiều phiên bản tối ưu cho thiết bị phần cứng giới hạn.

1.2. Vai trò của thiết bị bay DJI Tello trong giám sát

DJI Tello là dòng máy bay không người lái cỡ nhỏ do Ryze Robotics và DJI phát triển. Thiết bị trang bị camera độ phân giải HD 720p cùng bộ xử lý hình ảnh Intel 14 nhân. Trọng lượng máy bay chỉ khoảng 80 gram, thuận tiện cho việc mang theo hiện trường. Drone hỗ trợ giao tiếp qua sóng Wi-Fi và cho phép lập trình qua bộ công cụ Tello SDK. Nhà nghiên cứu có thể điều khiển bay tự động và thu nhận luồng video bằng mã nguồn Python. Chi phí của DJI Tello rất cạnh tranh so với các dòng drone công nghiệp. Thiết bị là nền tảng thử nghiệm lý tưởng cho các giải pháp thị giác máy tính tại phòng thí nghiệm. Việc ứng dụng DJI Tello mở ra triển vọng thử nghiệm giám sát cháy quy mô thực nghiệm.

II. Vấn đề thực tiễn khi ứng dụng YOLO phát hiện cháy rừng DJI Tello

Quá trình giám sát cháy rừng trong thực tế đối mặt với nhiều rào cản kỹ thuật. Môi trường tự nhiên thường có địa hình phức tạp và tán cây rậm rạp. Khói và lửa thay đổi hình dạng liên tục theo hướng gió. Điều kiện ánh sáng mặt trời dễ gây ra hiện tượng lóa quang học. Các luồng sáng gắt khiến camera thu nhận hình ảnh thiếu chân thực. Ngoài ra, việc triển khai học sâu trên thiết bị bay cỡ nhỏ gặp hạn chế về phần cứng. Drone DJI Tello không sở hữu chip đồ họa chuyên dụng trên bo mạch. Thiết bị không thể tự chạy trực tiếp các mô hình nơ-ron nặng nề. Toàn bộ dữ liệu video phải truyền về máy tính trạm qua mạng Wi-Fi không dây. Băng thông truyền tải dễ bị ảnh hưởng bởi khoảng cách bay và vật cản môi trường. Hiện tượng trễ khung hình hoặc mất gói tin có thể làm gián đoạn việc phát hiện. Tập dữ liệu huấn luyện hình ảnh cháy rừng cũng còn nhiều thiếu sót về nhãn. Việc gán nhãn thủ công đòi hỏi chi phí lớn và nguồn nhân lực chuyên môn. Những yếu tố này đặt ra thách thức lớn cho việc xây dựng một hệ thống cảnh báo tin cậy.

2.1. Hạn chế về phần cứng và thời lượng pin thiết bị

DJI Tello được thiết kế cho mục đích học tập và giải trí cá nhân. Dung lượng pin tiêu chuẩn của máy bay đạt 1100 mAh. Thời gian bay thực tế chỉ duy trì khoảng 10 đến 13 phút. Khoảng thời gian này gây khó khăn cho các nhiệm vụ tuần tra diện rộng. Phạm vi truyền sóng Wi-Fi giới hạn trong bán kính khoảng 100 mét. Khi gặp thời tiết gió lớn, máy bay dễ mất thăng bằng do trọng lượng quá nhẹ. Độ phân giải camera 720p hạn chế khả năng phóng to các đám khói ở cự ly xa. Hệ thống tản nhiệt thụ động khiến máy nhanh nóng khi hoạt động liên tục ngoài trời. Những yếu tố này đòi hỏi chiến lược điều phối bay hợp lý.

2.2. Khó khăn trong thu thập và gán nhãn dữ liệu cháy

Việc xây dựng bộ dữ liệu huấn luyện hình ảnh cháy rừng gặp nhiều trở ngại. Hình ảnh thực tế từ các vụ hỏa hoạn tự nhiên rất hiếm và nguy hiểm để thu thập. Dữ liệu trên mạng thường không đồng nhất về góc nhìn và chất lượng phân giải. Màu sắc của ngọn lửa dễ nhầm lẫn với ánh hoàng hôn, đèn xe hoặc mái tôn màu cam. Khói trắng từ đám cháy thường bị nhầm với mây mù vùng núi hoặc sương sớm. Việc gán nhãn từng khung hình thủ công tiêu tốn rất nhiều thời gian nghiên cứu. Nếu dữ liệu gán nhãn sai lệch, mô hình YOLO sẽ sinh ra cảnh báo giả thường xuyên. Do đó, kỹ thuật học bán giám sát hoặc tự tạo nhãn giả cần được cân nhắc áp dụng.

III. Giải pháp tích hợp thuật toán YOLO phát hiện cháy rừng DJI Tello

Đề tài nghiên cứu tại Đại học Huế đề xuất mô hình tích hợp đồng bộ giữa phần cứng và phần mềm. Kiến trúc hệ thống bao gồm thiết bị bay DJI Tello kết nối trạm máy tính xử lý trung tâm. Trạm điều khiển trang bị bộ xử lý đồ họa mạnh mẽ để thực thi thuật toán YOLO. Luồng dữ liệu video được truyền tải liên tục qua giao thức mạng không dây UDP. Thư viện chuyên dụng DJITelloPy đóng vai trò cầu nối điều khiển và giải mã tín hiệu hình ảnh. Khung hình nhận về lập tức đưa vào mạng nơ-ron để tiến hành suy luận. Quá trình xử lý áp dụng mô hình YOLOv5 hoặc phiên bản nén để rút ngắn thời gian phản hồi. Để tăng độ chính xác, quy trình tiền xử lý ảnh sử dụng các bộ lọc cân bằng ánh sáng. Dữ liệu huấn luyện bổ sung kỹ thuật tăng cường như xoay lật và điều chỉnh độ tương phản. Kỹ thuật tạo nhãn giả hỗ trợ mở rộng tập mẫu huấn luyện nhanh chóng. Hệ thống lập trình giao diện trực quan hiển thị tọa độ đám cháy cùng mức độ tin cậy. Khi phát hiện ngọn lửa, phần mềm kích hoạt chuông cảnh báo và lưu lại hình ảnh vi phạm. Kiến trúc này tối ưu hóa tài nguyên phần cứng sẵn có.

3.1. Thiết lập thư viện DJITelloPy và kết nối trạm máy tính

DJITelloPy là thư viện mã nguồn mở viết bằng ngôn ngữ Python dành cho drone Tello. Công cụ này tận dụng giao thức Tello SDK để gửi lệnh điều khiển bay và cấu hình thiết bị. Nhà phát triển có thể thiết lập các lệnh cất cánh, hạ cánh hoặc chuyển hướng tự động. Thư viện cho phép trích xuất luồng video thời gian thực từ camera của drone về máy tính. Luồng video được chuyển đổi thành các mảng ma trận thông qua thư viện xử lý ảnh OpenCV. Trạm máy tính tiếp nhận khung hình và điều phối tác vụ tính toán đến GPU chuyên dụng. Bên cạnh đó, thư viện còn giám sát các thông số bay quan trọng như dung lượng pin và độ cao. Điều này đảm bảo chuyến bay diễn ra ổn định và an toàn.

3.2. Huấn luyện mô hình YOLO với kỹ thuật gán nhãn giả

Quá trình huấn luyện mô hình YOLO được cải tiến nhờ phương pháp học bán giám sát. Mô hình ban đầu được đào tạo trên một tập dữ liệu nhỏ có nhãn chuẩn xác. Sau đó, mạng dự đoán nhãn cho kho dữ liệu hình ảnh cháy rừng chưa gán nhãn. Các dự đoán đạt độ tin cậy vượt ngưỡng quy định sẽ được tự động tạo nhãn giả. Dữ liệu mới này tiếp tục đưa vào vòng lặp tái huấn luyện mạng nơ-ron. Phương pháp này giúp tiết kiệm thời gian và nguồn nhân lực đáng kể cho dự án. Kích thước mô hình được tinh chỉnh để đảm bảo tốc độ suy luận trên ba mươi khung hình mỗi giây. Kết quả thử nghiệm cho thấy độ chính xác nhận diện ngọn lửa tăng rõ rệt mà không tốn nhiều chi phí gán nhãn.

IV. Kết luận về ứng dụng YOLO phát hiện cháy rừng trên DJI Tello

Nghiên cứu ứng dụng thuật toán YOLO trên drone DJI Tello tại Đại học Huế mang giá trị thực tiễn cao. Đề tài chứng minh khả năng phát hiện ngọn lửa và khói nhanh chóng với chi phí đầu tư thấp. Mô hình thực nghiệm khẳng định tiềm năng to lớn của thị giác máy tính trong bảo vệ tài nguyên thiên nhiên. Giải pháp giúp giảm thiểu sự phụ thuộc vào phương thức tuần tra thủ công truyền thống. Dữ liệu truyền tải tức thời hỗ trợ lực lượng kiểm lâm đưa ra phương án dập lửa kịp thời. Tuy drone DJI Tello còn hạn chế về thời lượng pin, mô hình vẫn cung cấp nền tảng học thuật vững chắc. Kết quả mở đường cho việc ứng dụng trên các dòng thiết bị bay không người lái công nghiệp. Các hệ thống máy bay lớn hơn có thể mang tải cảm biến nhiệt và hoạt động bền bỉ hơn. Sự kết hợp giữa trí tuệ nhân tạo và thiết bị bay tự hành là xu thế tất yếu trong chuyển đổi số lâm nghiệp. Giải pháp này hứa hẹn nâng cao năng lực ứng phó thảm họa thiên tai tại Việt Nam.

4.1. Khả năng ứng dụng thực tế trong quản lý lâm nghiệp

Mô hình phát hiện cháy rừng bằng YOLO có thể triển khai tại các ban quản lý rừng phòng hộ. Thiết bị hỗ trợ lực lượng kiểm lâm giám sát các khu vực có nguy cơ hỏa hoạn cao trong mùa khô hạn. Drone thực hiện bay tuần tra tự động theo các tuyến đường lập trình sẵn. Hình ảnh ngọn lửa hoặc cột khói được phát hiện và khoanh vùng trên màn hình trung tâm chỉ huy. Nhờ đó, ban quản lý nhanh chóng xác định tọa độ và điều động lực lượng ứng cứu trước khi lửa lan rộng. Phương pháp này giảm thiểu đáng kể chi phí nhiên liệu và nhân sự so với cách tuần tra bộ truyền thống.

4.2. Định hướng mở rộng với các dòng drone công nghiệp

Từ nền tảng thử nghiệm trên DJI Tello, hệ thống có thể nâng cấp lên các dòng máy bay công nghiệp chuyên dụng. Các thiết bị bay cỡ lớn sở hữu thời gian bay kéo dài trên bốn mươi phút và tầm phủ sóng rộng hàng chục cây số. Việc tích hợp thêm camera tầm nhiệt hồng ngoại giúp phát hiện các điểm cháy ngầm dưới lớp lá mục. Nhúng thuật toán YOLO trực tiếp lên máy tính biên như NVIDIA Jetson sẽ giảm độ trễ truyền dữ liệu. Ngoài ra, khả năng điều khiển đàn drone bay đồng thời cho phép quét sạch một diện tích rừng rộng lớn trong thời gian ngắn. Hướng phát triển này đem lại bước tiến vượt bậc trong công nghệ quản lý tài nguyên môi trường.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Biến đổi khí hậu toàn cầu đang làm gia tăng tần suất và mức độ khốc liệt của các hiện tượng thiên tai cực đoan như bão lũ, hạn hán và đặc biệt là cháy rừng. Cháy rừng là quá trình thiêu rụi thành phần và cấu trúc thảm thực vật, có tốc độ lan truyền nhanh phụ thuộc vào loại cây rừng và vận tốc gió. Khi không được can thiệp kịp thời, ngọn lửa nhanh chóng quét qua diện tích lớn, gây thiệt hại nghiêm trọng về sinh mạng và hệ sinh thái. Tác giả dẫn chứng thảm họa cháy rừng xảy ra ngày 08/08/2023 tại Hawaii đã cướp đi sinh mạng của gần 100 người và phá hủy các khu dân cư chỉ trong vài giờ đồng hồ.

Trong công tác quản lý và bảo vệ rừng, việc phát hiện sớm đám cháy đóng vai trò quyết định. Các phương thức truyền thống như tuần tra thủ công, sử dụng cảm biến nhiệt, tháp canh camera giám sát hay ảnh viễn thám vệ tinh (GIS) còn bộc lộ nhiều điểm nghẽn: đòi hỏi nhân sự kiểm lâm phải theo dõi màn hình liên tục nhiều giờ, tầm bao quát hạn chế, hoặc ảnh vệ tinh chỉ phát hiện khi ngọn lửa đã bùng phát lớn. Sự phát triển của trí tuệ nhân tạo (AI), thị giác máy tính và mạng thần kinh tích chập (CNN) mở ra giải pháp tự động hóa trích xuất đặc trưng hình ảnh với tốc độ thời gian thực. Việc kết hợp thuật toán phát hiện đối tượng thuộc dòng YOLO (You Only Look Once) với thiết bị bay không người lái (UAV/Drone) cung cấp góc quan sát linh hoạt từ trên cao, hỗ trợ phát hiện sớm ngọn lửa và khói từ khoảng cách xa, giảm thiểu áp lực giám sát cho lực lượng kiểm lâm.

Mục tiêu nghiên cứu của khóa luận được phân định rõ:

• Mục tiêu tổng quát: Xây dựng mô hình nhận diện cháy rừng sử dụng thiết bị bay không người lái DJI Tello trên cơ sở ứng dụng thuật toán YOLO.
• Mục tiêu cụ thể:
  1. Nghiên cứu thông tin liên quan về sự cháy.
  2. Nắm bắt cách sử dụng drone DJI Tello.
  3. Nghiên cứu lý thuyết về học máy, học sâu, mạng thần kinh tích chập.
  4. Vận dụng lý thuyết và ứng dụng phát hiện đối tượng và phân đoạn hình ảnh.
  5. Vận dụng lý thuyết, cách thức hoạt động của thuật toán YOLO.
  6. Xây dựng bộ dữ liệu về phát hiện cháy rừng dựa trên phương pháp thu thập thủ công thông qua Internet và phương pháp gán nhãn giả.
  7. Ứng dụng thuật toán YOLO để xây dựng mô hình phát hiện cháy rừng dựa trên bộ dữ liệu đã được xây dựng thông qua phân đoạn hình ảnh.
  8. Áp dụng mô hình phát hiện đối tượng và phân đoạn hình ảnh cháy rừng vào bài toán sử dụng thiết bị bay không người lái DJI Tello phát hiện cháy rừng.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Các biểu hiện khác nhau của ngọn lửa và khói trên hình ảnh; lý thuyết và ứng dụng của học máy, học sâu, mạng thần kinh tích chập; bài toán phát hiện đối tượng và phân đoạn hình ảnh; phương pháp xây dựng bộ dữ liệu thủ công; lý thuyết và cơ chế hoạt động của thuật toán YOLO; cách thức điều khiển thiết bị bay không người lái DJI Tello bằng ngôn ngữ lập trình Python.
• Phạm vi không gian: Thực hiện nghiên cứu và thử nghiệm thực tế tại Thành phố Huế.
• Phạm vi thời gian: Quá trình nghiên cứu kéo dài từ ngày 01/10/2023 đến ngày 07/03/2024.
• Điều kiện lý tưởng xác định: Hình ảnh ngọn lửa và khói thu được từ Drone DJI Tello phải có kích thước vừa đủ, rõ nét và hạn chế sự gây nhiễu từ điều kiện chiếu sáng tự nhiên.

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng lý thuyết xoay quanh các khái niệm và mô hình chuyên ngành:

• Học máy và Học sâu: Phân chia thành học có giám sát, học không giám sát và học bán giám sát (Semi-Supervised Learning). Trong đó, kỹ thuật gán nhãn giả (Pseudo Labeling) thuộc học bán giám sát được áp dụng nhằm tận dụng lượng lớn dữ liệu chưa gán nhãn để mở rộng tập huấn luyện dựa trên dự đoán từ mô hình đào tạo trước (pre-trained model).
• Thị giác máy tính: Phân định rõ bốn cấp độ bài toán gồm Phân loại hình ảnh (Image Classification), Định vị vật thể (Object Localization), Phát hiện đối tượng (Object Detection), và Phân đoạn hình ảnh (Image Segmentation) gồm phân đoạn phiên bản (Instance Segmentation) và phân đoạn ngữ nghĩa (Semantic Segmentation). Đề tài tập trung vào bài toán phát hiện đối tượng kết hợp phân đoạn hình ảnh để khoanh vùng chính xác biên dạng pixel của ngọn lửa và khói.
• Mạng thần kinh tích chập (CNN): Cấu trúc gồm ba khối lớp chính:
  • Lớp tích chập (Convolutional Layer): Sử dụng các bộ lọc (kernel) quét qua hình ảnh để tính tích số chấm, trích xuất đặc trưng với các tham số độ sâu (depth), kích thước bộ lọc (filter size $f$), bước nhảy (stride $s$), và phần đệm (padding $p$). Theo sau là hàm kích hoạt phi tuyến ReLU.
  • Lớp tổng hợp (Pooling Layer): Giảm chiều dữ liệu và tham số tính toán nhưng bảo toàn đặc trưng nổi bật, sử dụng hai cơ chế phổ biến là Max Pooling và Average Pooling (cùng Sum Pooling).
  • Lớp kết nối đầy đủ (Fully Connected Layer): Nằm ở tầng cuối mạng, liên kết mọi nơ-ron để đưa ra dự đoán phân loại.
• Mô hình YOLO (YOLOv7 và YOLOv8): Thuật toán phát hiện đối tượng one-stage xử lý toàn bộ khung hình trong một lần truyền qua mạng:
  • Phân chia ảnh thành lưới ô vuông kích thước $S \times S$. Dự đoán đầu ra là một ma trận kích thước $S \times S \times (5 \times B + C)$, trong đó $B$ là số hộp giới hạn (tọa độ $x, y$, kích thước $w, h$, và độ tin cậy confidence), $C$ là phân bố xác suất các lớp.
  • Cơ chế tính toán độ tương quan dựa trên chỉ số Intersection over Union (IoU) giữa hộp dự đoán và hộp nhãn thực tế (Ground-truth).
  • Khác biệt cấu trúc: YOLOv7 áp dụng cơ chế 9 hộp neo (Anchor Boxes) và độ phân giải đầu vào $608 \times 608$; trong khi YOLOv8 của nhóm Ultralytics chuyển sang kiến trúc không dùng hộp neo (Anchor-free), tích hợp khối tích chập C3 và kỹ thuật tăng cường dữ liệu ghép ảnh (Mosaic Augmentation) tắt ở 10 chu kỳ huấn luyện cuối.
  • Hàm mất mát tổng hợp: Tổng hợp từ ba hàm lỗi thành phần gồm lỗi phân lớp (Classification Loss), lỗi định vị tọa độ (Localization Loss), và lỗi độ tin cậy (Confidence Loss).
• Các thông số đánh giá hiệu năng: Instance, Precision ($P$), Recall ($R$), F1-score, đường cong Precision-Recall (PR Curve), Average Precision (AP), mAP50, và mAP50-95.

Phương pháp nghiên cứu thực nghiệm được triển khai đồng bộ qua 4 bước:

1. Thu thập dữ liệu thứ cấp: Tìm kiếm và chọn lọc nguồn hình ảnh về các vụ cháy rừng từ Internet.
2. Tiền xử lý và chuẩn hóa dữ liệu: Sàng lọc kích thước ảnh, loại bỏ ảnh mờ nhiễu; gán nhãn thủ công thông qua công cụ Makesense; áp dụng kỹ thuật gán nhãn giả (Pseudo Labeling) để mở rộng tập mẫu; định dạng và phân chia tập dữ liệu bằng nền tảng Roboflow.
3. Huấn luyện và tối ưu mô hình: Sử dụng nền tảng Google Colab kết nối Google Drive, môi trường tính toán PyTorch, thư viện ultralytics huấn luyện kiến trúc YOLOv8 (phiên bản YOLOv8m-seg) và đối chiếu với YOLOv7.
4. Kiểm định và tích hợp hệ thống: Đánh giá qua video kiểm thử và kết nối điều khiển camera của Drone DJI Tello trong môi trường phát triển PyCharm bằng thư viện DjiTelloPy.

Thiết kế và triển khai

Hệ thống phát hiện cháy rừng được xây dựng trên cơ sở kết hợp giữa mô hình phân đoạn hình ảnh học sâu và thiết bị bay không người lái:

• Phần cứng triển khai:
  • Thiết bị bay không người lái: DJI Tello do DJI sản xuất.
  • Trọng lượng: 80g; kích thước thân máy: 9.1 cm.
  • Cảm biến quang học: Camera độ phân giải ảnh 5MP, quay video định dạng 720p.
  • Khả năng vận hành: Độ cao bay tối đa 100m, thời gian hoạt động liên tục tối đa 13 phút.
  • Kết nối truyền thông: Điểm phát sóng Wi-Fi cục bộ trực tiếp từ thiết bị với định danh mặc định có dạng TELLO-xxxxxx.
• Ngăn xếp công nghệ phần mềm (Tech Stack):
  • Ngôn ngữ lập trình: Python (phiên bản $\ge 3.6$).
  • Môi trường huấn luyện mô hình: Dịch vụ Google Colaboratory (Google Colab) hỗ trợ tăng tốc GPU/TPU, kết nối lưu trữ Google Drive.
  • Khung làm việc thị giác máy tính và học sâu: PyTorch, OpenCV-Python (cv2), framework Ultralytics (cho YOLOv8).
  • Môi trường lập trình tích hợp (IDE): JetBrains PyCharm phục vụ chạy chương trình nhận diện thời gian thực.
  • Thư viện điều khiển UAV: DjiTelloPy tương thích Tello SDK và Tello EDU SDK của DJI. Thư viện cung cấp các giao diện lập trình ứng dụng (API) để gửi lệnh cất cánh, hạ cánh, điều hướng, đọc gói tin trạng thái telemetry (nhiệt độ, mức pin, độ cao) và trích xuất luồng video trực tiếp từ camera.
• Quy trình chuẩn bị dữ liệu và huấn luyện:
  • Gán nhãn ban đầu: Đưa tập ảnh vào công cụ web makesense.ai để khoanh vùng đối tượng theo định dạng phân đoạn hình ảnh (mask polygon) và hộp giới hạn, xuất kết quả dưới dạng tệp JSON.
  • Xử lý tập dữ liệu: Chuyển đổi nhãn sang định dạng tệp văn bản .txt tương thích chuẩn YOLO, tải lên hệ thống Roboflow để cấu hình các thuộc tính tăng cường và phân tách tỷ lệ dữ liệu huấn luyện, kiểm định. Cấu hình tệp data.yaml chỉ định đường dẫn dữ liệu và danh mục lớp đối tượng.
  • Huấn luyện bán giám sát (Pseudo Labeling): Sử dụng trọng số mạng nơ-ron YOLOv8m-seg huấn luyện trên tập dữ liệu ban đầu để thu được mô hình sơ bộ (pre-trained model). Dùng mô hình này chạy suy luận (predict) trên tập ảnh chưa gán nhãn lớn hơn để tạo ra nhãn giả (pseudo labels). Kết hợp toàn bộ dữ liệu ban đầu và dữ liệu nhãn giả để tái huấn luyện mô hình cuối cùng.
• Tích hợp kiểm thử:
  • Máy tính kết nối trực tiếp vào mạng Wi-Fi do DJI Tello phát ra.
  • Đoạn mã nguồn Python sử dụng DjiTelloPy khởi tạo đối tượng drone, kết nối socket, kích hoạt luồng camera streamon().
  • OpenCV đọc từng khung hình video theo thời gian thực và chuyển tiếp vào mô hình YOLO đã huấn luyện để dự đoán bounding box, nhãn lớp và lớp mặt nạ (mask), hiển thị trực tiếp lên giao diện người dùng trên máy tính.

Nội dung chính theo từng chương

Chương 1: Cơ sở lý thuyết

Chương 1 hệ thống hóa toàn diện các lý thuyết nền tảng phục vụ cho đề tài:

• Phân tích hiện tượng cháy rừng, các nguyên nhân tự nhiên và nhân tạo, nhấn mạnh sự cấp thiết của việc nhận diện hai thành phần đặc trưng là ngọn lửa và cột khói.
• Giới thiệu chi tiết thông số kỹ thuật của thiết bị bay DJI Tello (kích thước, trọng lượng, camera 5MP/720p, trần bay 100m, thời lượng pin 13 phút).
• Trình bày tổng quan về AI, học máy, các nhánh học máy (có giám sát, không giám sát, bán giám sát) và nguyên lý của kỹ thuật Pseudo Labeling trong việc mở rộng tập dữ liệu tiết kiệm tài nguyên.
• Phân tích cấu trúc mạng CNN qua 3 lớp chính: lớp tích chập với các phép tính trích xuất đặc trưng bằng kernel, bước nhảy stride, phần đệm padding; lớp tổng hợp (Max Pooling, Average Pooling) nhằm giảm chiều dữ liệu; và lớp kết nối đầy đủ kết hợp hàm kích hoạt ReLU.
• So sánh chi tiết kiến trúc giữa YOLOv7 và YOLOv8. Nêu rõ YOLOv7 cải tiến dựa trên tập dữ liệu COCO với 9 hộp neo và độ phân giải $608 \times 608$; trong khi YOLOv8 loại bỏ hoàn toàn anchor boxes, ứng dụng khối C3, kỹ thuật Mosaic Augmentation để nâng cao hiệu suất trên bài toán phân đoạn hình ảnh (Segmentation).
• Định nghĩa các độ đo toán học: chỉ số IoU, ngưỡng IoU, độ tin cậy (confidence), các chỉ số Precision, Recall, F1-score, đường cong PR, AP, mAP50, mAP50-95 và chi tiết ba thành phần của hàm mất mát (loss function).
• Giới thiệu các công cụ hỗ trợ lập trình gồm Python, các thư viện PyTorch, OpenCV, DjiTelloPy, giao diện lập trình SDK của DJI Tello và nền tảng đám mây Google Colab.

Chương 2: Xây dựng mô hình phát hiện cháy rừng trên thiết bị bay không người lái DJI Tello ứng dụng thuật toán YOLO

Chương 2 mô tả chi tiết quy trình thực nghiệm gồm 8 giai đoạn tuần tự:

• Giai đoạn 1 - Thu thập dữ liệu: Tìm kiếm và thu thập ảnh cháy rừng thực tế trên Internet, chuẩn hóa tên tệp và loại bỏ ảnh lỗi.
• Giai đoạn 2 - Định nghĩa nhãn đối tượng: Thiết lập 3 lớp đối tượng cụ thể gồm: Fire (ngọn lửa rõ ràng), Smoke (khói), và Vật giống lửa (các nguồn phát sáng hoặc phản xạ như mặt trời, đèn chiếu nhằm hạn chế nhận diện sai).
• Giai đoạn 3 - Gán nhãn thủ công: Sử dụng công cụ makesense.ai, tiến hành vẽ vùng chọn bao quanh đối tượng và xuất dữ liệu nhãn dưới dạng cấu trúc JSON.
• Giai đoạn 4 - Chuẩn hóa trên Roboflow: Nhập nhãn JSON, chuyển đổi sang định dạng .txt theo chuẩn YOLO, tổ chức phân bổ tập dữ liệu train/validation/test và tạo tệp cấu hình .yaml.
• Giai đoạn 5 - Huấn luyện mô hình ban đầu: Kết nối Google Colab với Google Drive, cài đặt gói thư viện ultralytics, tải mô hình trọng số YOLOv8m-seg và tiến hành huấn luyện để tạo pre-trained model.
• Giai đoạn 6 - Áp dụng kỹ thuật gán nhãn giả: Sử dụng pre-trained model chạy dự đoán trên tập dữ liệu ảnh chưa gán nhãn, tự động tạo các tệp nhãn .txt dự đoán (pseudo labels).
• Giai đoạn 7 - Huấn luyện mô hình mở rộng: Gộp tập dữ liệu gán nhãn ban đầu cùng tập dữ liệu nhãn giả để tái huấn luyện mô hình, kiểm tra qua video thực nghiệm để đánh giá khả năng nhận diện ngọn lửa, khói và vật giống lửa.
• Giai đoạn 8 - Kết hợp mô hình với Drone DJI Tello: Thiết lập kết nối Wi-Fi giữa máy tính và drone, sử dụng mã nguồn Python điều khiển thiết bị nhận diện đối tượng trực tiếp qua luồng dữ liệu camera và hiển thị trên giao diện PyCharm.

Chương 3: Kết quả thực nghiệm và kiểm định độ hiệu quả của mô hình

Chương 3 công bố các dữ liệu định lượng và đồ thị thu được sau quá trình huấn luyện và kiểm thử:

• Đồ thị quá trình huấn luyện qua các chu kỳ (epochs) của YOLOv8 và YOLOv7 phản ánh sự hội tụ của các hàm tổn thất: hàm lỗi phân lớp, hàm lỗi định vị tọa độ và hàm lỗi độ tin cậy giảm dần theo thời gian huấn luyện.
• Đồ thị hàm mất mát và đường cong tương quan giữa chỉ số F1 và ngưỡng tin cậy (Confidence) đối với hai dạng kiểm định: kiểm định hộp giới hạn (Bounding Box) và kiểm định mặt nạ (Mask).
• Đánh giá thông qua Ma trận nhầm lẫn (Confusion Matrix) của hai mô hình, làm rõ tỷ lệ dự đoán chính xác và mức độ nhầm lẫn giữa các nhãn Fire, Smoke, và vật giống lửa.
• Kết quả kiểm thử trực quan trên ảnh tĩnh và video: cả hai mô hình đều phát hiện tốt khói, vùng lửa lớn, ngọn lửa đan xen khói và nhận diện chính xác các vật thể giống lửa (như hình ảnh mặt trời) mà không bị kích hoạt nhầm thành đám cháy.
• Kết quả thực nghiệm bay thực tế: Drone DJI Tello truyền tín hiệu video về máy tính ổn định; mô hình YOLOv8 cài đặt tại PyCharm nhận diện thành công hình ảnh ngọn lửa, khói và vật giống lửa theo thời gian thực từ camera của thiết bị.

Kết quả và đóng góp

Khóa luận đã hoàn thành việc xây dựng và kiểm thử mô hình nhận diện cháy rừng kết hợp drone DJI Tello. Dưới đây là bảng số liệu so sánh hiệu suất giữa hai thuật toán YOLOv8 và YOLOv7 được trích xuất từ văn bản:

Thuật toán	Chỉ số kiểm định Mặt nạ (Mask)	Chỉ số kiểm định Hộp giới hạn (Box)	Mức độ chính xác trung bình (Precision, Recall, F1-score)
YOLOv8	72,0%	73,3%	Khoảng 70%
YOLOv7	75,1%	76,8%	Khoảng 70%

Các đóng góp khoa học và thực tiễn do tác giả tự nêu bao gồm:

• Xây dựng thành công quy trình thu thập và chuẩn bị bộ dữ liệu đặc thù cho bài toán cháy rừng thông qua sự kết hợp giữa gán nhãn thủ công và kỹ thuật gán nhãn giả (Pseudo Labeling), giúp giảm bớt chi phí nhân lực mà vẫn đảm bảo khối lượng dữ liệu huấn luyện.
• Đưa lớp nhãn "vật giống lửa" (như mặt trời, ánh sáng chói) vào tập huấn luyện, giúp mô hình học được các đặc trưng phân biệt, làm giảm thiểu tỷ lệ báo động giả trong các ứng dụng thực tế.
• Tích hợp thành công mô hình học sâu phân đoạn hình ảnh với luồng điều khiển camera của thiết bị bay không người lái DJI Tello bằng ngôn ngữ Python, chứng minh tính khả thi của giải pháp trinh sát đám cháy tự động từ trên không.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận chỉ ra một số hạn chế gắn liền với phạm vi và thiết bị nghiên cứu:

• Thiết bị bay DJI Tello là dòng drone nhỏ gọn phục vụ học tập, do đó thời gian bay bị giới hạn trong khoảng 13 phút và trần bay tối đa chỉ đạt 100m, phụ thuộc vào tầm phủ sóng Wi-Fi phát từ drone nên chưa thể áp dụng trực tiếp cho các vùng rừng tự nhiên rộng lớn.
• Độ phân giải camera (5MP, quay video 720p) ở mức cơ bản; việc nhận diện phụ thuộc nhiều vào điều kiện ánh sáng thực tế và kích thước ngọn lửa thu nhận trong khung hình.
• Hiệu quả của phương pháp bán giám sát (Pseudo Labeling) phụ thuộc chặt chẽ vào độ chính xác của mô hình huấn luyện sơ bộ; các nhãn giả bị dự đoán sai có nguy cơ gây nhiễu cho mô hình huấn luyện cuối cùng.

Hướng phát triển tiếp theo được tác giả xác định:

• Nâng cấp và mở rộng bộ dữ liệu hình ảnh với nhiều kịch bản thực tế đa dạng hơn về góc chụp, điều kiện thời tiết và mức độ che khuất của tán cây rừng.
• Thử nghiệm tích hợp mô hình trên các dòng thiết bị bay không người lái chuyên dụng có tầm bay xa hơn, sức cản gió tốt hơn và thời lượng pin dài hơn.
• Kết hợp thêm các loại cảm biến phụ trợ hoặc camera hồng ngoại/cảm biến nhiệt để tăng cường độ chính xác nhận diện vào ban đêm hoặc trong điều kiện khói dày đặc.

Giá trị tham khảo

Đề tài là tài liệu tham khảo phù hợp cho sinh viên, học viên thuộc các ngành Hệ thống thông tin quản lý, Công nghệ thông tin, Khoa học dữ liệu, và Kỹ thuật điều khiển - Tự động hóa đang nghiên cứu về thị giác máy tính và ứng dụng IoT/UAV.

Các nội dung có giá trị tham khảo ứng dụng cao gồm:

• Quy trình ứng dụng kỹ thuật bán giám sát Pseudo Labeling để xử lý bài toán thiếu dữ liệu gán nhãn ban đầu.
• Phương pháp gán nhãn và cấu hình bộ dữ liệu phân đoạn hình ảnh (Segmentation) thông qua Makesense và Roboflow tương thích định dạng YOLOv8.
• Cấu trúc mã nguồn điều khiển thiết bị bay không người lái DJI Tello thông qua thư viện DjiTelloPy và tích hợp mô hình phát hiện đối tượng thời gian thực qua giao diện OpenCV trên môi trường PyCharm.

Câu hỏi thường gặp

1. Khóa luận sử dụng các lớp nhãn (classes) nào để huấn luyện cho mô hình phát hiện cháy rừng?
Tác giả định nghĩa 3 lớp nhãn chính để gán cho các đối tượng trong tập dữ liệu: Fire (ngọn lửa rõ ràng), Smoke (khói), và Vật giống lửa (các đối tượng dễ gây nhầm lẫn như ánh sáng mặt trời để hạn chế cảnh báo sai).

2. Kỹ thuật gán nhãn giả (Pseudo Labeling) được triển khai như thế nào trong khóa luận?
Tác giả sử dụng tập dữ liệu được gán nhãn ban đầu để huấn luyện mô hình YOLOv8m-seg thu được một mô hình tiền huấn luyện (pre-trained model). Sau đó, mô hình này được dùng để dự đoán nhãn cho tập dữ liệu ảnh chưa gán nhãn lớn hơn. Các nhãn dự đoán này trở thành "nhãn giả" và được gộp chung với tập nhãn ban đầu để tiến hành tái huấn luyện mô hình hoàn chỉnh.

3. Hiệu suất của hai mô hình YOLOv8 và YOLOv7 đạt các con số cụ thể nào trên tập kiểm định?
Kết quả chỉ số đánh giá của mô hình YOLOv8 và YOLOv7 lần lượt đạt 72,0% và 75,1% đối với kiểm định mặt nạ (Mask); đạt 73,3% và 76,8% đối với kiểm định hộp giới hạn (Bounding Box). Các chỉ số Precision, Recall và F1-score đạt mức trung bình khoảng 70%.

4. Thiết bị bay DJI Tello được kết nối và điều khiển bằng công cụ nào?
Máy tính kết nối trực tiếp với drone qua mạng Wi-Fi cục bộ phát từ thiết bị (có tên dạng TELLO-số hiệu). Việc gửi lệnh bay và thu nhận luồng video camera thời gian thực được thực hiện thông qua ngôn ngữ lập trình Python với thư viện mã nguồn mở DjiTelloPy tương thích với bộ công cụ Tello SDK của DJI.

5. Các thông số phần cứng cơ bản của Drone DJI Tello được nêu trong đề tài là gì?
Thiết bị bay DJI Tello có kích thước 9.1 cm, trọng lượng 80g, camera chụp ảnh 5MP và quay video 720p. Thiết bị có khả năng bay cao tối đa 100m và thời gian bay duy trì tối đa khoảng 13 phút.

Kết luận

Khóa luận của sinh viên Trương Thế Nhật Huy đã nghiên cứu và ứng dụng thành công thuật toán học sâu YOLO (phiên bản YOLOv7 và YOLOv8m-seg) vào bài toán phát hiện ngọn lửa, khói và vật giống lửa từ hình ảnh camera. Đề tài xây dựng được quy trình xử lý dữ liệu hiệu quả kết hợp giữa gán nhãn thủ công và kỹ thuật bán giám sát Pseudo Labeling. Toàn bộ giải pháp đã được tích hợp thử nghiệm thành công với thiết bị bay không người lái DJI Tello thông qua thư viện DjiTelloPy trên nền tảng Python, mở ra hướng tiếp cận khả thi trong việc tự động hóa công tác trinh sát và cảnh báo cháy rừng từ trên không.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: CƠ SỞ LÝ THUYẾT 1. Giới thiệu về hiện tượng cháy rừng Hình 1. Hình ảnh cháy rừng – thảm họa của tự nhiên Nguồn: [38] Cháy rừng là một quá trình chủ yếu ảnh hưởng đến thành phần và cấu trúc thảm thực vật ở bất kỳ vị trí nào, khi có ngọn lửa bắt đầu xuất hiện đốt cháy tán lá, thân cây trong khu vực rừng, ngọn lửa sẽ lan rộng ra thông qua sự bắt lửa của những tán lá từ cây này sang cây khác và tốc độ lan ra sẽ tăng nhanh hơn tùy vào loại cây của khu rừng và tốc độ gió. Cháy rừng thường là những vụ cháy không có kế hoạch và không mong muốn xảy ra do một số nguyên nhân như: Cháy bởi sấm sét, bời nhiệt độ tăng cao do biến đổi khí hậu, cháy bởi hoạt động trái phép và bất cẩn của con người.

[21] Những vụ cháy rừng một khi xảy ra mà không có sự phát hiện và can thiệp kịp thời có thể nhanh chóng quét qua một vùng đất rộng lớn, để lại những thiệt hại to lớn về người và môi trường xung quanh. Để phát hiện cháy rừng, con người sử dụng các biện pháp, công cụ và cả STVH: TRƯƠNG THẾ NHẬT HUY 5 Khóa Luận tốt nghiệp GVHD: TS. Hoàng Hữu Trung con người để có thể giám sát, theo dõi tổng quan khu rừng hằng ngày như: cảm biến nhiệt, camera vệ tinh (lửa lớn và lan nhanh), camera thường và hồng ngoại được lắp đặt ở các vị trí cao trong rừng, công nghệ viễn thám Geographic Information System (GIS) - Hệ thống thông tin địa lý [3],. Thông qua hình ảnh từ camera giám sát, để phát hiện cháy rừng cần nhận biết được 2 đối tượng là lửa và khói.

Giới thiệu về DJI Tello Drone Hình 1. Hình ảnh thiết bị bay không người lái DJI Tello Nguồn: https://dji-vietnam.vn/san-pham/tello/ DJI Tello là một trong những mẫu drone nhỏ gọn và phổ biến nhất hiện nay. Được sản xuất bởi hãng DJI - nhà sản xuất drone hàng đầu thế giới, Tello có kích thước chỉ 9.1 cm và nặng 80g nên rất thuận tiện để mang theo bất cứ đâu để thực hiện các nhiệm vụ như chụp ảnh, quay phim hoặc khảo sát.[17] Tello được trang bị máy ảnh với độ phân giải 5MP, cho phép chụp ảnh và quay phim với độ phân giải 720p. Nó có thể bay lên đến độ cao 100 mét và thời gian bay lên đến 13 phút.

Một trong những ưu điểm của Tello là giá thành phải chăng so với một số mẫu drone khác của DJI, nhưng vẫn cung cấp các tính năng và chất lượng ảnh tốt. Ngoài ra, Tello cũng có thể được kết nối với điện thoại thông minh để kiểm soát bay và chụp ảnh. Với kích thước nhỏ gọn, khả năng bay linh hoạt và chất lượng ảnh tốt, DJI Tello là một lựa chọn tuyệt vời cho những người mới bắt đầu với việc sử dụng drone nhưng vẫn đảm bảo hiệu suất và trải nghiệm tốt. STVH: TRƯƠNG THẾ NHẬT HUY 6 Khóa Luận tốt nghiệp GVHD: TS.

Hoàng Hữu Trung 1. Tổng quan về học máy 1. Giới thiệu về học máy Trí tuệ nhân tạo - Artificial Intelligence (viết tắt là AI) là lĩnh vực nghiên cứu trí thông minh được thể hiện bằng máy móc, khác với trí thông minh của con người, lĩnh vực này được ra đời vào năm 1956. Hiện nay, trí tuệ nhân tạo và các ứng dụng của nó ngày càng phát triển khi nó là một trong những hướng nghiên cứu được quan tâm nhiều nhất trong những năm gần đây, đồng thời cũng là xu hướng ứng dụng vào các hoạt động trong cuộc sống.

[4] Học máy - Machine Learning (ML) là một lĩnh vực con của AI, ra đời vào những năm 1980s.