Chương 1 trình bày tổng quan về bài toán phát hiện, nhận dạng các mục tiêu bay trong hình ảnh và tầm quan trọng của nó trong các ứng dụng khác nhau, đặc biệt là trong lĩnh vực quân sự. Ưu nhược điểm của phương pháp học sâu so với các phương pháp truyền thống trong bài toán phát hiện mục tiêu, giải thích lý do lựa chọn mạng học sâu YOLO để triển khai, và sự cần thiết của việc triển khai bộ tăng tốc phần cứng trên FPGA. Cung cấp tổng quan ngắn gọn về nền tảng phần cứng FPGA Zynq UltraScale+ MPSoC của Xilinx, nền tảng phát triển Vitis AI và kit phát triển ZCU104, đồng thời giải thích tại sao lại triển khai mô hình học sâu trên nền tảng này và đề ra mục tiêu thiết kế cần đạt được.1 Tổng quan về bài toán phát hiện các mục tiêu bay trong hình ảnh Trong những năm gần đây, những thuật toán xử lý và phân tích dựa trên hình ảnh là một chủ đề nóng và nhận được nhiều sự quan tâm. Xử lý ảnh không chỉ được áp dụng trong các lĩnh vực dân sự mà còn được áp dụng rộng rãi trong lĩnh vực quân sự.
Trong lĩnh vực quân sự, ảnh hàng không và ảnh viễn thám được sử dụng để phát hiện các mục tiêu là máy bay trong các căn cứ quân sự và sân bay, có ý nghĩa to lớn đối với việc triển khai tình báo và triển khai chiến lược. Qua hình ảnh thu được, người chỉ huy có thể nắm được nhanh chóng, chính xác số lượng máy bay địch trên chiến trường và tình hình cất, hạ cánh. Cung cấp thông tin cần thiết cho quyết định tiếp theo, đóng vai trò thiết yếu trong chiến thắng [1]. Do đó, phát hiện máy bay hay các mục tiêu bay khác trong hình ảnh rất phổ biến trong lĩnh vực nghiên cứu quân sự.
Ngoài ra, việc nhận dạng, phân loại các mục tiêu bay quân sự cũng rất quan trọng, giúp đem lại nhiều thông tin có ích hơn. Vì vậy, làm thế nào để phát hiện và nhận dạng chính xác các mục tiêu bay trong ảnh chụp trên không có giá trị nghiên cứu cao. Đặc biệt là trong thời gian gần đây, UAV hay drone được sử dụng rộng rãi với nhiều mục đích khác nhau. Với công nghệ ngày càng hiện đại, được trang bị nhiều chức năng cao cấp, linh hoạt với thiết kế nhỏ gọn mà giá thành lại không quá đắt.
UAV được sử dụng trong nhiều lĩnh vực với nhiều mục đích khác nhau, đặc biệt là trong lĩnh vực quân sự, các thế lực thù địch sử dụng nó để thăm dò địa hình, mang vật liệu nổ trái phép, có thể đe dọa đến an ninh. UAV lại thường hoạt động ở các địa hình phức tạp như trong thành phố có nhiều toà nhà cao tầng. Do đó việc phát hiện UAV bất hợp pháp trong nhiều điều kiện khác nhau và với các kích thước đa dạng là rất cần thiết. Việc phát hiện các mục tiêu bay nói chung cũng như phát hiện UAV có thể được chia thành các phương pháp: các phương pháp phát hiện dựa trên sóng âm, các phương pháp phát hiện dựa trên Radar, các phương pháp phát hiện dựa trên sóng RF, các phương pháp phát hiện dựa trên hình ảnh và video.
Trong [2], [3] chỉ ra rằng các phương pháp phát hiện dựa trên hình ảnh ít nhạy cảm với nhiễu môi trường so với các phương pháp khác. Các phương pháp Radar cần thiết bị đắt tiền và có một nhược điểm là điểm mù qua đó máy bay nhỏ có thể bay gần mặt đất mà không bị phát hiện. Điều này có thể bị khai thác cho các hoạt động bất hợp pháp 1 và có khả năng được sử dụng cho các cuộc tấn công khủng bố, gián điệp. Các phương pháp phát hiện dựa trên sóng âm thì dễ bị ảnh hưởng bởi tiếng ồn môi trường.
Hơn nữa, các giải pháp phát hiện dựa trên hình ảnh sử dụng học máy hoặc học sâu đã thu hút sự chú ý ngày càng tăng do sự phổ biến của AI. Phương pháp phát hiện dựa vào hình ảnh có 2 nhược điểm lớn là là phụ thuộc vào điều kiện tầm nhìn và yêu cầu tính toán cao của các thuật toán xử lý. Đối với UAV, việc phát hiện và nhận dạng các mục tiêu bay khác có thể làm cơ sở cho hệ thống phát hiện và né tránh (DAA – Detect and Avoid), nhằm tránh va chạm với các phương tiện bay cũng như vật cản trong không phận [4]. Có thể được áp dụng với UAV bầy đàn để bay một cách an toàn như ở môi trường trong nhà hoặc UAV trinh thám, do thám quân sự.
Ngoài ứng dụng đặc biệt cho UAV thì phát hiện và nhận dạng các mục tiêu bay còn có thể được tích hợp trong các hệ thống chống UAV và được triển khai trong các cơ sở hạ tầng quan trọng (các cơ quan chính phủ, nhà máy điện hạt nhân…) hoặc bất cứ nơi nào cần thiết, chúng có thể được sử dụng để phát hiện các cuộc tấn công bằng UAV nhằm vô hiệu hóa chúng (Hình 1. a, Hệ thống phát hiện và né tránh b, UAV bầy đàn c, Hệ thống chống UAV d, Ứng dụng viễn thám Hình 1.1 Một số ứng dụng của phát hiện các mục tiêu bay [5] Phát hiện các mục tiêu bay trong hình ảnh có một số yêu cầu đặc biệt cụ thể so với phát hiện mục tiêu, đối tượng nói chung là [5]: Khả năng phát hiện các mục tiêu nhỏ trong ảnh. Khả năng xử lý trong thời gian thực. Có thể tích hợp trên các phương tiện bay nhỏ như UAV.
Khả năng phân biệt với các vật thể bay khác như chim. Khả năng hoạt động liên tục. Những yêu cầu này có thể thay đổi với các ứng dụng cụ thể, ví dụ như nếu triển khai tích hợp trên các phương tiện bay nhỏ như UAV để làm hệ thống DAA 2 hoặc phục vụ mục đích do thám, trinh sát thì có yêu cầu cao nhất vì nhiều lý do như chúng là các hệ thống thời gian thực, trọng lượng, kích thước và mức điện năng tiêu thụ bị hạn chế. Những ứng dụng khác như hệ thống chống UAV hoặc các mục tiêu bay khác thì yêu cầu thấp hơn vì không bị hạn chế về trọng lượng, kích thước và mức điện năng tiêu thụ.
Tất nhiên những hệ thống trong thực tế không chỉ dựa vào một công nghệ phát hiện duy nhất nào cho tất cả các yêu cầu và ứng dụng khác nhau vì mỗi công nghệ có một ưu nhược điểm riêng mà thường là kết hợp nhiều công nghệ như là Radar và cả camera thường lẫn camera hồng ngoại để khắc phục nhược điểm của các phương pháp và hỗ trợ cho nhau, trong đồ án này em chỉ tập trung vào các phương pháp phát hiện mục tiêu dựa vào hình ảnh.2 Các phương pháp phát hiện mục tiêu dựa trên học sâu và giới thiệu về mô hình mạng YOLO Trước khi đi vào các phương pháp phát hiện mục tiêu trong ảnh thì cần phải làm rõ một số khái niệm về bài toán phát hiện hay nhận dạng mục tiêu, đối tượng trong lĩnh vực thị giác máy tính. Nhận dạng đối tượng là một thuật ngữ chung để mô tả một tập hợp các nhiệm vụ thị giác máy tính có liên quan liên quan đến việc xác định các đối tượng trong ảnh kỹ thuật số. Phân loại hình ảnh liên quan đến việc dự đoán lớp của một đối tượng trong một hình ảnh. Định vị vật thể đề cập đến việc xác định vị trí của một hoặc nhiều đối tượng trong một hình ảnh và vẽ bounding box (hình chữ nhật được vẽ bao quanh đối tượng nhằm xác định đối tượng) xung quanh chúng.
Phát hiện đối tượng kết hợp hai nhiệm vụ trên và thực hiện cho một hoặc nhiều đối tượng trong hình ảnh. Chúng ta có thể phân biệt giữa ba nhiệm vụ thị giác máy tính cơ bản trên thông qua input và output của chúng như sau: Phân loại hình ảnh: Dự đoán nhãn của một đối tượng trong một ảnh. o Input: Một hình ảnh với một đối tượng. o Output: Nhãn lớp (ví dụ: một hoặc nhiều số nguyên được ánh xạ tới nhãn lớp).
Định vị đối tượng: Xác định vị trí hiện diện của các đối tượng trong ảnh và cho biết vị trí của chúng bằng bounding box. o Input: Một hình ảnh có một hoặc nhiều đối tượng. o Output: Một hoặc nhiều bounding box được xác định bởi tọa độ tâm, chiều rộng và chiều cao. Phát hiện đối tượng: Xác định vị trí hiện diện của các đối tượng trong bounding box và nhãn của các đối tượng nằm trong một hình ảnh.
o Input: Một hình ảnh có một hoặc nhiều đối tượng. o Output: Một hoặc nhiều bounding box và nhãn cho mỗi bounding box. Một số định nghĩa khác cũng rất quan trọng trong computer vision là phân đoạn đối tượng (object segmentation), trong đó các đối tượng được nhận dạng bằng cách làm nổi bật các pixel cụ thể của đối tượng thay vì bounding box. Và image 3 captioning kết hợp giữa các kiến trúc mạng CNN và LSTM để đưa ra các lý giải về hành động hoặc nội dung của một bức ảnh.2 Các mối liên hệ giữa các tác vụ trong thị giác máy tính [6] Có rất nhiều các phương pháp, thuật toán được dùng trong bài toán phát hiện mục tiêu, đối tượng trong hình ảnh.
Đặc biệt là trong thời gian gần đây với sự phát triển bùng nổ của AI và sự ra đời của học sâu (DL), một nhánh con của học máy (ML). Từ đó có sự phân chia các phương pháp, thuật toán phát hiện đối tượng thành các phương pháp truyền thống và các phương pháp hiện đại được phát triển trong thời gian gần đây. Sự xuất hiện của học sâu có thể giải quyết một số nhược điểm của các phương pháp truyền thống. Các kiến trúc học sâu có thể học các đặc trưng phức tạp hơn từ hình ảnh.
Ở những thời kì đầu tiên trong lĩnh vực này, các phương pháp phát hiện đối tượng truyền thống như SIFT [7], HOG [8] nghiên cứu tập trung vào việc sử dụng các hand-crafted feature (đặc điểm nhận dạng do con người nghĩ ra) yêu cầu trích xuất đặc trưng thủ công và các bộ phân loại (classifier) được thiết kế và huấn luyện cho các đối tượng phát hiện cụ thể. Cách tiếp cận phát hiện đối tượng truyền thống thường có ba giai đoạn là: lựa chọn vùng thông tin, trích xuất đặc trưng và phân loại đối tượng.