Chương 1: Tổng quan đề tài. o Giới thiệu về nội dung đề tài bao gồm động lực nghiên cứu, phát biéu bài toán, mục tiêu, phạm vi của nghiên cứu và những đóng góp chính trong khóa luận. Chương 2: Các công trình nghiên cứu liên quan. o Trình bày tổng quan về Thị giác máy tính, khảo sát các hướng nghiên cứu trên thế giới, hướng tiếp cận bài toán phát hiện và theo dõi đối tượng dựa trên học sâu.
Chương 3: Bộ dữ liệu UIT-DroneMOT. o Trình bày về tổng quan về bộ dit liệu UIT-DroneMOT, phân tích bộ dữ liệu xây dựng được, khảo sát các bộ dt liệu tương tự. Chương 4: Thực nghiệm và đánh giá. o Trình bày quá trình cài đặt thực nghiệm, các thông số chỉ tiết, phương pháp đánh giá, phân tích và so sánh kết quả.
Chương 5: Kết luận và hướng phát triển. o Tổng kết các kết quả quan trọng đã đạt được trong đề tai, hạn chế và hướng phát triên của đê tài trong tương lai cho các nghiên cứu cải tiên hơn. CÁC NGHIÊN CỨU LIÊN QUAN Trong chương này, chúng tôi sẽ trình bày hướng tiếp cận đối với bài toán Phát hiện và theo dõi đối tượng trong không ảnh. Thông qua quá trình nghiên cứu, chúng tôi nhận thấy các phương pháp Phát hiện và theo dõi đối tượng trong ảnh dựa trên học sâu có khả năng được áp dụng cho bài toán “Phát hiện và theo dõi đối tượng trong không ảnh”.
Vì vậy, chương 2 sẽ giới thiệu các phương pháp phát hiện và theo đối tượng trong ảnh dựa trên học sâu. Object Tracking Theo dõi đối tượng (Object tracking) là bài toán theo dõi một hoặc nhiều đối tượng chuyên động theo thời gian trong một video. Hiểu một cách đơn giản nhất, nó là bài toán ở mức độ cao hơn so với phát hiện đối tượng, khi đối tượng được xử lí không đơn giản là một hình ảnh mà là một chuỗi các hình ảnh hoặc video. Single Object Tracking (SOT) Single Object Tracking tập trung vào việc theo dõi một đối tượng duy nhất trong toàn bộ video.
Và tất nhiên, dé biết được cần theo dõi đối tượng nào, việc cung cấp một hộp giới hạn từ ban đầu là việc bắt buộc phải có. Hình 2-1Minh họa Single Object Tracking. Mutiple Object Tracking (MOT) Mutliple Object Tracking hướng tới các ứng dụng có tính mở rộng cao hơn. Bài toán cô gắng phát hiện đồng thời theo dõi tất cả các đối tượng trong tầm nhìn, kê ? https://viblo.asia/p/sort-deep-sort-mot-goc-nhin-ve-object-tracking-phan-1-Az45bPooZxY cả các đối tượng mới xuất hiện trong video.
Vì điều này, MOT thường là những bài toán khó hơn SOT và nhận được rât nhiêu sự quan tâm của giới nghiên cứu. Online-Offline Multi-Object Tracking Online Tracking: Khi xử li video, chỉ sử dung khung hình hiện tai và khung hình ngay trước đó dé theo dõi. Cách xử lí này có thé sẽ làm giảm độ chính xác của thuật toán, tuy nhiên nó lại phản ảnh đúng cách vấn đề được xử lí trong thực tế, khi mà tính real-time là cần thiết. Offline Tracking: Các phương pháp offline sử dung các phát hiện từ toàn bộ chuỗi khung, sau đó tiến hành tối ưu hóa toàn cục, chứa các phương pháp dựa trên đô thị và phương pháp phân cấp.
Các phương pháp trước đây sây dựng MOT như một mô hình đồ thị, có thể tối ưu hóa bằng cách sử dụng đường đi ngắn nhất, dòng chi phí tối thiểu và phân tích bảng phụ, trong khi các phương pháp sau này xây dựng quỹ đạo dựa trên hierarchical manner. Theo dõi dựa trên phát hiện và không dựa trên phát hiện đối tượng e Loại thuật toán theo dõi trong đó trình phát hiện đối tượng phát hiện các đối tượng trong khung và sau đó thực hiện liên kết dữ liệu giữa các khung để tạo quỹ đạo từ đó theo dõi đối tượng. e Các loại thuật toán này giúp theo dõi nhiều đối tượng và theo dõi các đối tượng mới được giới thiệu trong khung. Quan trọng nhất, chúng giúp theo dõi các đối tượng ngay cả khi phát hiện đối tượng không thành công.
e Loại thuật toán theo dõi trong đó tọa độ của đối tượng được khởi tạo thủ công và sau đó đối tượng được theo dõi trong các khung tiếp theo. Loại này chủ yêu được sử dụng trong các thuật toán thị giác máy tính truyền thống như BOOSTING, MIL, KCF, CSRT, GOTURN,. Các phương pháp phát hiện đối tượng 2. YOLOv3 YOLOv3 là một trong những công cụ dò tìm được sử dụng rộng rãi nhất trong ngành do hạn chế về tài nguyên tính toán và không đủ phần mềm hỗ trợ trong các ứng dụng thực tế khác nhau.
Một số điểm mạnh của YOLOv3 như: YOLOv3 bao gôm những cải tiên so với các phiên bản trước về toc độ, độ chính xác và các lớp tính năng. Type Filters Size Output Convolutional 32 3x3 256 x 256 Convolutional 64 3x3/2 128 x 128 Convolutional 32 1x1 1x Convolutional 64 3x3 Residual 128 x 128 Convolutional 128 3x3/2 64x64 Convolutional 64 1x1 2x Convolutional 128 3x3 Residual 64 x 64 Convolutional 256 3x3/2 32x32 [Convolutional 128 1 x1 8x Convolutional 256 3x3 Residual 32 x 32 Convolutional 512 3x3/2 16x16 Convolutional 256 1x1 8x Convolutional 512 3x3 Residual 16 x 16 Convolutional 1024 3x3/2 8x8 Convolutional 512 1x1 4x Convolutional 1024 3x3 Residual 8x8 Avgpool Global Connected 1000 Softmax Hình 2-3: Kiến trúc mạng Darknet-53 [3]. Xương sống mới Darknet-53 là một mô hình mạng Neural Convolution sử dụng 53 lớp phức hợp dé rút trích đặc trưng (feature extractor backbone) Hình 2.com/understanding-multiple-object-tracking-using-deepsort/ Với câu trúc mạnh mẽ đó, DarkNet53 có tôc độ cao hơn nhiêu so với các xương sông khác như ResNet-101 hay ResNet-152. YOLOv3 dự đoán độ tin cậy của hộp giới han (có chứa vật hay không) sử dụng Logistic Regression.
YOLOv3 cho phép gan nhiều lớp cho một đối tượng so với một lớp cho một đối tượng ở các phiên bản trước YOLO trước (sử dụng softmax cho logistic classify). Dự đoán ở nhiều kích thước: YOLOv3 sử dụng kiến trúc Feature Pyramid Networks (FPN) dé đưa ra các dự đoán từ nhiều kích thước khác nhau của bản đồ đặc trưng. Việc này giúp giải quyết van dé trong việc nhận diện các vật thé có kích thước nhỏ, điều mà YOLOv2 chưa thé làm tot. Hình 2-4: Minh hoa hộp giới hạn được dự đoán ở 3 kích thước khác nhau trong YOLOv3.
YOLOX Những năm gan đây, đã có nhiều tiến bộ trong nghiên cứu bai toán phát hiện đối tượng. Một số kỹ thuật đã được đưa ra trước đó như anchor based được sử dụng từ YOLOv2, coupled head thậm chí đã được sử dụng tất cả trong các phiên bản tiền nhiệm. Tuy nhiên, khi nhìn nhận lại các vấn đề này tác giả đã có góc nhìn khác khi 10 sử dụng anchor free, coupled head thay cho lần lượt anchor based và decoupled head đã cho hiệu suất đáng kể. Anchor free Kỹ thuật sử dụng anchor based được áp dụng từ YOLOv2 đến YOLOR.
Kỹ thuật này yêu cầu quá trình xác định những anchor tối ưu cho việc huấn luyện. Những anchor này tùy thuộc vào miền của dif liệu và thiếu tính tổng quát. Anchor Free YOLOX giúp giảm dự đoán cho từng vị trí từ 3 xuống 1 và dự đoán trực tiếp bốn giá trị của hộp giới hạn. Phiên bản không có neo chỉ chọn MỘT mẫu dương tính, là vị trí trung tâm của từng đối tượng và nó làm giảm đáng kề số lượng tham số thiết kế.
Decoupled head Một van đề với coupled head là sự xung đột giữa việc phân loại và hồi quy, việc su dụng đầu ghép có thể làm ảnh hưởng đến độ chính xác cũng như hiệu suất của mô hình. Do đó trong phương pháp YOLOX, các tác giả đã đề xuất kiến trúc đầu tách rời (decoupled head) với các hoạt động phân loại và hồi quy được tách biệt nhau. Điều này làm tăng tốc độ hội tụ trong YOLOX. Feature ! YOLOv3~v5 ! [_] 1x1 conv i Coupled Head #anchorxC Cis.
h + 1 HM 3x3 conv!I HxWX ` #anchorx4 Reg. —¡ 1 + L số) ' #anchorx1 Obj. lãi Đối với mối cấp của tính năng tính ăng FPN [30], trước tiên áp dụng lớp chuyền đổi (conv layer) 1x1 dé giảm kênh tính năng xuống 256 va sau đó thêm hai nhánh song song với hai lớp chuyên đồi (conv layer) 3x3 cho mỗi nhiệm vụ phân loại và hồi quy riêng biệt. Nhánh IoU được thêm vào nhánh hồi quy.
Multiple positive Dé phù hợp với quy tac gán của YOLOv3, phiên ban không có mỏ neo của YOLOX chỉ chọn một mẫu tích cực ở vị trí trung tâm cho mỗi đối tượng, có nghĩa là bỏ qua các dự đoán chất lượng cao khác. Tuy nhiên, tối ưu hóa các dự đoán chất lượng cao đó cũng có thể mang lại các gradient có lợi và có khả năng làm giảm bớt sự mat cân bang cực độ của việc lây mẫu tích cực hay tiêu cực trong quá trình huấn luyện. Các tác giả đề xuất chỉ định khu vực 3x3 ở trung tâm là các vị trí tích cực, chiến lược này còn gọi là “Center sampling” trong FCOS. Single postitive Multiple positives Hình 2-6: Minh hoa su khác nhau giữa Single positive va Multiple Positives 2.
PP-YOLOE Mô hình phát hiện đối tượng một giai đoạn rat phô biến trong các ứng dụng thời gian thực do sự cân bằng giữa tốc độ và độ chính xác tuyét voi. Kiến trúc nỗi bật nhất trong số các mô hình một giai đoạn là chuỗi bài YOLO. Ké từ các mô hình phát hiện đối tượng thuộc dòng YOLO đã trải qua những thay đổi to lớn về cấu trúc mạng, 12 gán nhãn,. Hiện tại, YOLOX đang đạt được sự cân bằng tối ưu giữa tốc độ và độ chính xác.
YOLOX giới thiệu phương pháp không neo tiên tiến được trang bị gán nhãn động dé cải thiện hiệu suất của trình phát hiện, vượt trội đáng ké so với YOLOv5 [5] về độ chính xác. Lấy cảm hứng từ YOLOX, Xin Huang cùng các cộng sự đã tối ưu hóa và đưa ra phương pháp PP-YOLOv2 [6]. PP-YOLOv2 là máy dò một tang hiệu suất cao. Dựa trên PP-YOLOv2, tác giả tiếp tục đề xuất một phiên ban cải tiến của YOLO có tên là PP-YOLOE.
PP-YOLOE vượt trội so với YOLOv5 và YOLOX về tốc độ và sự đánh đổi về độ chính xác. PP-YOLOE tránh sử dụng các toán tử như Deformable Convolutional Networks [7, 8] và Matrix NMS [9] để được hỗ trợ tốt trên các phần cứng khác nhau. Hơn nữa, PP-YOLOE có thé dé dàng mở rộng thành một loạt các mô hình cho các phần cứng khác nhau với sức mạnh tính toán khác nhau. Những đặc điểm này thúc đây hơn nữa việc áp dụng PP-YOLOE trong nhiều tình huống thực tế hơn.
Sigmoid At a am| w ! (x |Conv & Integral | |W Regression e 1 ! ESE block rest W x —®“Ï re Classification ¡ © Con | W j : ' : @ : Element-wise add \ ® : Element-wise product Hình 2-7: Kiến trúc mô hình của PP-YOLOE. Neo miễn phí (Anchor free).