Chương 1. Giới thiệu để tài. Phát hiện đối tượng — giới thiệu, thách thức, tiêu chí. Phát hiện đối tượng trên không ảnh.
Công trình liên quan. Mục tiêu và đóng góp. Câu trúc khóa luận. Các mô hình máy học liên quan.
Mạng nơ-ron tích chập (Convolutional Neural Network — CNN). LA, ResÌNet. HH rước W co o. Encoder và DecOd€r.
Các độ đo đánh giá và độ lỗi. Mean Absolute Error — MAI. Intersection over Union — IoU. Generalized Intersection over Union — GIoU.
Distance-loU — Dio. | Complete-IoU — CioU. PHƯƠNG PHAP THUC NGHIỆM. You Only Look Once — YOLO.
Backbone của YOLOV4 0. Neck cua YOLOV4. Tổng hop đặc tung. Mô dun cải thiện vùng tiếp nhận (receptive field).
Head của YOLOv4. Hàm mục tiêu của YOIOv4. ¿55c +c xe s+ese+eseeeeeeeeseee 27 3. Các cải tiến khác.
Hàm kích hoạt Mish. Tăng cường dit liệu kham - mosaic augmentation. DEtection TRansformer — DETR. Sơ lược kiến trúc.
Backbone của DETR. Khái quát hóa positional encoding cho dữ liệu ảnh. Mạng truyền thang (Feed Forward Network — FEN). Độ lỗi dự đoán bộ/tập (set prediction loss) cho bài toán phát hiện đối trợng 33 3.
Thuật toán Hungary (Hungarian algorithm). Hàm chi phí cho thuật toán Hungary. Chỉ tiết quá trình truyền thang của dữ liệu. Dữ liệu sử dụng.
Quá trình thực nghiệm. Huấn luyện mô hình YOLOv4. _ Huấn luyện mô hình DETR. Các thí nghiệm nhỏ.
Thí nghiệm mô hình chính. Kết quả thực nghiệm. Kết quả trên tập validation. Kết quả trên tập test-dev.
Kết quả định tính.--222-ccccccrkererrkrerrrrrrrerrrr 53 Chương5. Kết quả dat được. Hướng phát triển.---cccccc+ccccvvvvvrrrrrrrrrrrrrrrerrrrei 60 DANH MỤC HÌNH VE Hình 1.1: Ví dụ về phương pháp cắt ảnh dé phát hiện (nguồn: [29)).1: Kiến trúc mạng AlexNet (nguồn: [15]).3: Biểu diễn một khối bình thường và khối residual (nguồn: [34)).4: Biểu diễn một skip connection trong mạng ResNet (nguồn: [14J).5: Biểu diễn phần phạt của độ đo GIOU .----cccc5555cczcc5s+ l§ Hình 2.6: Biểu diễn phần phạt của độ đo DIoU.1: Tổng quan kiến trúc của YOLOv4, với backbone là CSPDarknet-53, neck gồm PAN và mô đun SPP Hình 3.2: Ví dụ về các giá trị của một anchor (nguôn: [39]) Hình 3.3: Đồ thị của hàm kích hoạt Mish và các hàm khác (nguồn: [40]).4: Ví dụ về mosaie augmentation trên dữ liệu COCO [33].5: Kiến trúc mạng DETR. DETR sử dụng một CNN thông thường đề học biểu diễn hai chiều của một ảnh.
Sau đó nó được thu lại thành biểu diễn một chiều và được bổ sung thêm một positional encoding trước khi truyền vào encoder của transformer. Decoder của transformer sử dụng đầu ra của encoder và một số lượng cố định các positional embedding, gọi là object queries dé đưa ra các embedding đầu ra. Cac embedding đầu ra này được đưa vào FEN dé dự đoán hộp giới hạn và Hình 3.6: Kiến trúc transformer trong DETR. Mỗi lớp trong encoder va decoder có cơ chế attention và một FFN cùng với kết nối residual, dropout và layer normalization.
Encoder với cơ chế self-attention và decoder với hai cơ chế self- attention và encoder-decoder attention. Đầu vào của encoder được học bởi một CNN còn đầu vào của decoder gồm có dau ra của encoder và các object query được học chung với transformer đại diện cho các đối tượng dự đoán. Dự đoán bằng một perceptron 3 lớp và một lớp FC (nguồn: [1]) .7: Phân bố của các lớp trong tập training của VisDrone DET.8: Phân bố của các lớp trong tập validation của VisDrone DET.9: Phân bố của các lớp trong tap test-dev của VisDrone DET.10: Một vài ví du mô phỏng sự da dang của dữ liệu. Mỗi hàng gồm hai hình ảnh về sự khác biệt về các đặc điểm có trong bộ VisDrone DET: vị trí, môi trường (hàng 1); nhiều loại đối tượng (hàng 2); độ dày đặc (hàng 3); điều kiện ánh SAng (HANG 4) Tố.1: Đồ thị mAP@50 của các mô hình DETR ResNet50 sử dụng các loại positional encoding khác nhau.
Kết quả mAP@50 cao nhất của các mô hình lần lượt là 0.2: Đồ thị mAP@50 của các mô hình DETR ResNet50 khi áp dung DIoU vào quá trình huấn luyện. Kết quả mAP@50 cao nhất của các mô hình lần lượt 0,1225 và 0,1101.3: Đồ thị mAP@50 của các mô hình DETR ResNet101 khi sử dụng 1000 và 500 object query. Kết quả mAP@50 cao nhất của các mô hình lần lượt 0,3095 và 0.4: Dé thị mAP@50 của hai mô hình DETR với khi sử dụng hai backbone ResNet-50 và ResNet-101 vào quá trình huấn luyện. Kết quả mAP@50 cao nhất của các mô hình lần lượt 0,1225 và 0,1613.5: Đồ thị mAP@50 của mô hình DETR ResNet-101 trong quá trình huấn luyện đài với 500 epoch.
Kết quả mAP@50 cao nhất của các mô hình lần lượt 01613; 0,2947 và 0,30095. LH HH HH HT HH HH 50 Hình 4.6: Kết quả dự đoán của YOLO: trắng (lớp ignored region va others), xanh lá (hộp dự đoán của mô hình), đỏ (hộp xác thực).7: Kết quả dự đoán của DETR: trắng (lớp ignored region và others), xanh lá (hộp dự đoán của mô hình), đỏ (hộp xác thực).- -¿¿+5+c+<+<cccrexecee 58 DANH MỤC BANG Bang 1.1: Thống kê sơ bộ so sánh các bộ dữ liệu.-------ccccz++ccccvvvce2 4 Bảng 4.1: Kết quả mô hình YOLOV4 trên tap test.2: Kết quả của phương pháp được chọn và các phương pháp hướng cắt ảnh [28], [29] trên validatiOII. 6 << kề 1E HH it52 Bảng 4.3: Kết quả của phương pháp được chọn và phương pháp tốt nhất từ [9] bì ốc ố ố ố ốằ.52 DANH MỤC TU VIET TAT UAV Unmanned Aerial Vehicle NLP Natural Language Processing TTA Test Time Augmentation NNL Negative Log-Likelihood NMS Non-Maximum Suppression mAP Mean Average Precision AR Average Recall FPS Frames Per Second FPN Feature Pyramid Network R-CNN Region based Convolutional Neural Network RNN Recurrent Neural Network LSTM Long Short-Term Memory TÓM TÁT KHÓA LUẬN Phát hiện đối tượng là bài toán định vị và phân loại các vật thể có trong ảnh, mang nhiều ứng dụng trong thực tế. Các mô hình phát hiện đối tượng thường được xây dựng và kiểm chứng dựa trên dữ liệu ảnh thông thường.
Trong khi đó, các ứng dụng thực tế như giám sát giao thông cần phải xử lí dữ liệu ảnh với nhiều thách thức hơn, ví dụ như ảnh chụp từ các thiết bị bay không người lái, vật thể có kích thước nhỏ và tỉ lệ vùng nền lớn. Các phương pháp phát hiện đối tượng trên không ảnh hiện nay gặp phải vấn đề về tốc độ xử lí. Trong nội dung bài khóa luận này, chúng tôi huấn luyện và đánh giá các mô hình YOLOv4 và DETR - các mô hình phát hiện vật thể đã được kiểm chứng hiệu năng trên dữ liệu thông thường - trên dữ liệu ngữ cảnh không ảnh, cụ thé là bộ dữ liệu VisDrone. Kết qua đạt được của YOLOv4 cho độ chính xác cạnh tranh cùng tốc độ vượt trội so với các phương pháp hiện có, gia tăng khả năng ứng dụng và mở rộng các hướng phát triển về sau.
Giới thiệu đề tài May bay không người lái (drone hay UAV) trang bi camera ngày càng được phổ biến do giá thành rẻ dần và có khả năng ứng dụng trong nhiều lĩnh vực, ví dụ như nông nghiệp, chuyển phát nhanh và đặc biệt là giám sát. Việc sử dụng drone cho khả năng giám sát linh hoạt hơn, tiếp cận được những vùng không có camera cố định hay gặp nhiều giới hạn tầm nhìn từ dưới đất. Cũng vì thế, nhu cầu tự động xử lí hình ảnh thu nhập được từ drone dan gia tăng, trong đó bước xử lí nền tảng là phát hiện đối tượng trong ảnh. Phát hiện đối tượng - giới thiệu, thách thức, tiêu chí Phát hiện đối tượng (object detection) là một trong những bài toán tiêu biểu của thị giác máy tính: cho đầu vào là một ảnh cùng với tập các lớp đối tượng được định nghĩa sẵn (ví dụ như người, xe hơi, xe máy.
đầu ra của bài toán là xác định được tất cả các đối tượng có lớp thuộc tập ở trong ảnh. Việc xác định các đối tượng được cụ thê hóa bằng việc tìm hộp giới hạn (bounding box) của từng đối tượng cùng với lớp mà đối tượng thuộc về. Phát hiện đối tượng là bài toán nền tang, làm tiền đề cho những bài toán phức tạp ơn như theo dõi đối tượng (object tracking), phân đoạn hình anh (image segmentation), chú thích hóa hình ảnh (image captioning). với nhiều ứng dụng thực tế, ví du như trong các hệ thống giám sát, lái xe tự động, thị giác robot, truy 6i ảnh và thực tế tăng cường (augmented reality).
Với con người, việc xác định được vật thé trong một khung cảnh là một tác vụ đơn giản, dễ dàng thực hiện được bởi một đứa trẻ. Tuy nhiên, để máy tính có thể phát hiện được như con người gặp nhiều khó khăn và thách thức. Với máy tính một bức ảnh chỉ là một tập hợp của nhiều con SỐ, các điểm ảnh trong nó đều được biểu thị và hiểu với một vai trò như nhau. Các hướng tiếp cận của các nhà nghiên cứu, từ dùng kiến thức con người tạo ra các đặc trưng thủ công (handcrafted feature) hay cho máy tính tự tạo ra đặc trưng dựa trên xác suất và thống kê thông tin của các bộ dữ liệu, nhằm mục đích tăng khả năng hiểu biết của máy tính gần với khả năng hiểu ngữ nghĩa (semantic understanding) của con người, đều gặp những thách thức như sau: - Sự khác biệt của vật thé trong cùng một lớp: xe hơi có thé có nhiều mau son, hình dáng, xuất hiện trong ảnh với nhiều góc chụp (nhìn trực diện, bên hông hay đằng sau.), nhiều kích cỡ so với toàn ảnh tùy theo khoảng cách.
Con người có thể xuất hiện với nhiều dáng đứng, nằm, ngồi khác nhau. Ngoài ra, vật thé bị che khuất cũng gây ra nhiều khó khăn. - Môi trường, cảnh nền đa dang: ảnh có thể được chụp với nhiều góc nhìn, tại những môi trường ngoại cảnh khác biệt (ở trong nhà, sa mạc, đồng cỏ.), với ánh sáng đa dang (sáng, chiều, đêm) hay trong nhiều thời tiết (mưa, nắng.) - Nhiều lớp vật thê khác nhau, ké cả loại có câu trúc có định hay không (như mây, lửa). - Mat mát trong tao anh va thé hiện dữ liệu: chất lượng camera, ảnh bị mờ nhòe, nhiễu anh, mat mát thông tin sau khi nén anh.
Hướng đến máy tính đạt được khả năng phát hiện như con người, một thuật toán phát hiện đối tượng lí tưởng được đánh giá trên hai mục tiêu: độ chính xác và hiệu năng. Phương pháp phải phân lớp và định vị chính xác các đối tượng trong ảnh, xác định qua độ đo AP (Average Precision). Phương pháp cũng phải có hiệu năng cao, cho tốc độ nhanh và tiêu tốn ít chỉ phí tính toán nhằm phục vụ cho các bài toán kế thừa hay đáp ứng hoạt động dưới thời gian thực, xác định qua số ảnh xử lí được trong một giây (FPS). Phát hiện đối tượng trên không ảnh Các bộ dữ liệu ảnh thông thường (PASCAL-VOC [12], MS-COCO [13]) thường được sử dụng dé đánh giá các phương pháp phát hiện đối tượng.