Chương 1: Tổng quan đề tài. Giới thiệu về nội dung đề tài bao gồm động lực nghiên cứu, phát biểu bài toán, thách thức bài toán, mục tiêu, phạm vi nghiên cứu và đóng góp của khoá luận. • Chương 2: Nghiên cứu liên quan. Trình bày phần tìm hiểu, khảo sát các hướng nghiên cứu, hướng tiếp cận bài toán.
• Chương 3: Bộ dữ liệu không ảnh. Giới thiệu bộ dữ liệu không ảnh DOTA và các bộ dữ liệu được dùng cho những bài toán tương tự. • Chương 4: Thực nghiệm và đánh giá. Trình bày quá trình cài đặt thực nghiệm, các thông số, phương pháp đánh giá và đánh giá kết quả.
• Chương 5: Ứng dụng phát hiện đối tượng. Giới thiệu, phân tích thiết kế ứng dụng phát hiện đối tượng. • Chương 6: Kết luận và hướng phát triển. Tổng kết các kết quả đã đạt được trong đề tài và hướng phát triển của đề tài trong tương lai.
CÁC NGHIÊN CỨU LIÊN QUAN Trong chương này, tôi sẽ trình bày hướng tiếp cận đối với bài toán Phát hiện đối tượng trong không ảnh. Thông qua quá trình nghiên cứu, tôi nhận thấy các phương pháp Phát hiện đối tượng trong ảnh dựa trên học sâu có khả năng được áp dụng cho bài toán “Phát hiện đối tượng trong không ảnh”. Vì vậy, chương 2 sẽ giới thiệu các phương pháp phát hiện đối tượng trong ảnh dựa trên học sâu. Phát hiện đối tượng 2.
Giới thiệu Phát hiện đối tượng (Object Detection) là một thuật ngữ dùng để mô tả một tập hợp các nhiệm vụ thị giác máy tính có liên quan đến việc xác định các đối tượng trong ảnh kỹ thuật số. Phát hiện đối tượng kết hợp hai nhiệm vụ bao gồm Phân loại hình ảnh (Classifier) và Định vị đối tượng (Object Localization). Ta có thể phân loại các kỹ thuật trên như sau: Hình 2.1 Các kỹ thuật trong Phát hiện đối tượng1.com/2020/05/01/a-gentle-introduction-to-yolo-v4-for-object-detection-in-ubuntu-20- 04/” 7 • Phân loại hình ảnh (Object Classification): Dự đoán nhãn của một đối tượng (ô tô, chó, mèo, …) trong một hình ảnh. Về cơ bản, kỹ thuật này trả lời cho câu hỏi “Cái gì ở trong hình?” o Input: Một hình ảnh với một đối tượng.
o Output: Nhãn lớp (ví dụ: một hoặc nhiều số nguyên được ánh xạ tới nhãn lớp). • Định vị đối tượng (Object Localization): Xác định vị trí xuất hiện của các đối tượng trong ảnh và cho biết vị trí của chúng bằng Bounding box. Kỹ thuật này trả lời cho câu hỏi “Vật thể nằm ở vị trí nào trong ảnh?” o Input: Một hình ảnh có một hoặc nhiều đối tượng. o Output: Một hoặc nhiều Bounding box được xác định bởi tọa độ tâm, chiều rộng và chiều cao.
• Phát hiện đối tượng (Object Detection): Xác định vị trí hiện diện của các đối tượng trong ảnh bằng Bounding box và nhãn của các đối tượng nằm trong một hình ảnh. o Input: Một hình ảnh có một hoặc nhiều đối tượng. o Output: Một hoặc nhiều Bounding box và nhãn đối tượng tương ứng với Bounding box đó. • Phân đoạn thực thể (Instance Segmentation): Thay vì sử dụng Bounding box để xác định các đối tượng bên trong ảnh, kỹ thuật này cho phép các thuật toán phân đoạn có thể trích xuất chính xác hình dạng của đối tượng từ chính bức ảnh và thể hiện bằng cách làm nổi bật các pixel cụ thể của từng đối tượng bằng màu sắc khác nhau.
Phân loại thuật toán phát hiện đối tượng Thuật toán Phát hiện đối tượng được chia thành 2 nhóm chính: Hình 2.2 So sánh sự mô hình two-stage (a) và one-stage (b) • Two-stage: bao gồm các phương pháp thuộc họ R-CNN (Region-Based Convolutional Neural Networks) như Fast R-CNN [3], Faster R-CNN [4], Mask R-CNN [5]… Các mô hình two-stage bao gồm có 2 giai đoạn bắt đầu bằng việc trích chọn (extract) các vùng trên ảnh có khả năng chứa đối tượng dựa vào các anchor box. Sau đó, ở giai đoạn 2, mô hình thực hiện phân loại đối tượng và xác định vị trí bằng cách chia làm 2 nhánh gồm hồi quy Bounding box (Bounding box Regression) và hồi quy phân loại (Classifier Regression) tại phần cuối trong kiến trúc của mô hình. Với khả năng dự đoán có độ chính xác cao, các mô hình two-stage thường được sử dụng trong các bài toán định vị và nhận diện vật thể tĩnh (hình ảnh) có yêu cầu không quá cao về tốc độ xử lý. 9 • One-stage (hay còn gọi là single-stage): Bao gồm các mô hình thuộc họ YOLO, SSD (Single Shot Detection), Retina.
Các mô hình one-stage không có phần trích chọn các vùng đặc trưng như two-stage. Thay vào đó, các mô hình này sẽ coi việc Phát hiện đối tượng như một bài toán regression và dựa trên pre-defined box hay còn gọi là anchor box để phát hiện đối tượng. Mặc dù sở hữu tốc độ nhanh hơn các mô hình two-stage, độ chính xác của mô hình single-stage thường kém hơn và chúng được sử dụng trong các trường hợp nhận dạng đối tượng, đặc biệt là các đối tượng real-time – tác vụ vốn yêu cầu cao về tốc độ xử lý hơn là độ chính xác. Phát hiện đối tượng đã được ứng dụng rộng rãi để phát hiện khuôn mặt, phát hiện xe, đếm số người đi bộ, hệ thống bảo mật và xe không người lái.
Sự phát triển của các phương pháp phát hiện đối tượng không chỉ đem lại lợi ích cho ngành Công nghệ thông tin mà còn cho rất nhiều ngành nghề lĩnh vực khác như quân sự, y tế, hàng không, … 2. Phương pháp rút trích đặc trưng ảnh dựa trên học sâu Rút trích đặc trưng (Feature Extraction) là một trong những bước cốt lõi trong quá trình Phát hiện đối tượng, trực tiếp ảnh hưởng đến hiệu quả của các mô hình. Một số phương pháp rút trích đặc trưng học sâu sẽ được trình bày trong các phần sau đây bao gồm: • Mạng học sâu – DNN • Convolutional Neural Network – CNN 10 2. Mạng học sâu – DNN Hình 2.3 Ý tưởng mô phỏng hoạt động của não bộ con người của mạng ANN2.
Mạng nơ-ron nhân tạo (Artificial Neural Networks) hay gọi tắt Neural Networks (NNs) là mạng lưới thần kinh được liên kết đầy đủ giữa các lớp với nhau. ANN xuất phát từ ý tưởng mô phỏng hoạt động của não bộ con người, cụ thể là nơ- ron thần kinh. Mạng nơ-ron sâu – mạng học sâu (Deep Neural Network – DNN) là một mạng nơ-ron nhân tạo (Artificial Neural Networks – ANNs) với một kiến trúc phức tạp và “sâu” hơn so với mạng nơ-ron nông. Kiến trúc của mạng nơ-ron sâu tương tự như mạng nơ-ron nhân tạo với 3 thành phần: lớp đầu vào, các lớp ẩn (số lượng các lớp và số lượng nơ-ron trên mỗi lớp không giới hạn) và lớp đầu ra.
Kiến trúc của một mạng học sâu 3 lớp được minh họa.io/neural-networks-1/.4 Minh họa kiến trúc mạng nơ-ron sâu Đối với từng node trong các lớp của mạng, độ lớn trọng số của node hiện tại đang xem xét sẽ là tổng các độ lớn trong số của các node thuộc lớp đầu vào trước đó và chuyển sang hàm kích hoạt phi tuyến tính để tính toán trọng số. Các node này là đầu ra của lớp trước đó và là đầu vào của lớp tiếp theo. Mạng sẽ tính toán và tối ưu hóa các trọng số đối với từng nốt trong mạng xuyên suốt quá trình huấn luyện. Trong các bài toán liên quan đến xử lý ảnh, DNN sử dụng nhiều lớp để lần lượt rút trích các đặc trưng từ thấp tới cao.
Những lớp thấp sẽ phát hiện góc cạnh của ảnh, sau đó những đặc trưng này sẽ được truyền tới những lớp cao hơn (sâu hơn) để phân biệt đối tượng rõ ràng hơn. Mặc dù DNN có khả năng xử lý bài toán phát hiện đối tượng trong ảnh, nhưng kiến trúc này cũng gặp nhiều trở ngại trong thời đại hiện nay. Convolutional Neural Network – CNN Mạng nơ-ron tích chập (còn gọi là ConvNet/CNN) là một thuật toán Deep Learning có thể lấy hình ảnh đầu vào, gán độ quan trọng cho các đặc trưng/đối tượng khác nhau trong hình ảnh và có thể phân biệt được từng đặc trưng/đối tượng này với nhau. Công việc tiền xử lý được yêu cầu cho mạng nơ-ron tích chập thì ít hơn nhiều so với các thuật toán phân loại khác.
Trong các phương thức sơ khai, các bộ lọc được thiết kế thủ công, với một quá trình huấn luyện để chọn ra các bộ lọc phù hợp thì mạng nơ-ron tích chập lại có khả năng tự học để chọn ra các bộ lọc tối ưu nhất. Kiến trúc của nơ-ron tích chập tương tự như mô hình kết nối của các nơ-ron trong bộ não con người và được lấy cảm hứng từ hệ thống vỏ thị giác trong bộ não (Visual cortex). Các nơ-ron riêng lẻ chỉ phản ứng với các kích thích trong một khu vực hạn chế của trường thị giác được gọi là Trường tiếp nhận (Receptive Field). Một tập hợp các trường như vậy chồng lên nhau bao phủ toàn bộ khu vực thị giác.5 Kiến trúc tổng quan của mô hình CNN3 3 https://medium0.com/@RaghavPrabhu/understanding-of-convolutional-neural-network-cnn-deep-learning- 99760835f148 13 Mạng nơ-ron tích chập là một trong những phương pháp được áp dụng nhiều nhất trong lĩnh vực xử lý ảnh (Computer vision) để giải quyết các bài toán như nhận dạng hình ảnh, phân loại hình ảnh, phát hiện đối tượng, nhận diện khuôn mặt.
Mô hình CNN sẽ có kiến trúc gồm các tầng như sau: tầng tích chập (Convolution), tầng tổng hợp (pooling) dùng để trích xuất đặc trưng và tầng liên kết đầy đủ (fully connected) dùng để phân lớp đối tượng. Tầng tích chập (Convolution layer) Hình 2.6 Minh họa Convolution Layer4. Mục đích của tầng này là trích xuất đặc trưng tương ứng với đầu vào. Mô hình sẽ tiến hành chọn 1 bộ lọc để tìm và trích xuất những thông tin quan trọng từ dữ liệu đầu vào, đồng thời giảm số chiều cho các lớp ẩn tiếp theo.
Các giá trị đầu ra cho vùng lọc sẽ được tính toán bằng các hàm kích hoạt (Activated Function). Một số hàm kích hoạt nổi tiếng thường dùng có thể kể đến như ReLU, Sigmoid… Hiện nay, hàm ReLU được sử dụng nhiều hơn các hàm còn lại. Đây là lớp quan trọng nhất của CNN, lớp này có nhiệm vụ thực hiện mọi công việc tính toán. Những yếu tố quan trọng của một tầng tích chập là: stride, padding, filter map, feature map.
CNN sử dụng các bộ lọc để áp dụng vào vùng của 4 https://www.com/topics/mathematics/convolutional-layer 14 hình ảnh. Những filter map này được gọi là ma trận 3 chiều, mà bên trong nó là các con số và chúng là trọng số. Tầng tổng hợp (Pooling layer) Sau tầng tích chập, tầng tổng hợp trích chọn đặc trưng và giảm số chiều cho dữ liệu đầu vào. Khi giảm số chiều, mô hình giảm số lượng tham số, rút ngắn được thời gian huấn luyện và hạn chế overfitting.