I. Tổng Quan về Kiến Trúc Mô Hình Transformer và Ứng Dụng
Bài toán phát hiện đối tượng là một nhiệm vụ cơ bản và đầy thách thức trong lĩnh vực xử lý hình ảnh và thị giác máy tính. Đây là một chủ đề nghiên cứu quan trọng trong nhiều thập kỷ. Sự phát triển mạnh mẽ trong hai thập kỷ gần đây có thể được xem là một sự bùng nổ trong lịch sử thị giác máy tính. Các phương pháp này đóng vai trò chính trong việc giúp máy tính hiểu được ngữ nghĩa của bối cảnh trong hình ảnh. Nhờ đó, máy tính có thể phát hiện các đối tượng khác nhau. Phát hiện đối tượng có nhiều ứng dụng trong thị giác như: robot, lái xe tự động, tương tác giữa người và máy tính, giám sát video thông minh. Công nghệ học sâu đã mang lại những đột phá đáng kể trong những năm gần đây. Đặc biệt, các kỹ thuật này đã góp phần tạo thêm sự phát triển đáng kể cho việc phát hiện đối tượng.
1.1. Bài Toán Phát Hiện Đối Tượng và Các Ứng Dụng
Bài toán phát hiện đối tượng hiện nay được sử dụng rộng rãi trong nhiều tình huống thực tế. Tùy vào từng mục đích cụ thể mà ứng dụng phát hiện đối tượng khác nhau, từ bảo vệ an ninh cá nhân đến nâng cao năng suất tại nơi làm việc. Một số nghiên cứu đáng chú ý về phát hiện đối tượng cụ thể như phát hiện khuôn mặt, phát hiện người đi bộ và phát hiện phương tiện giao thông. Gần đây, cộng đồng nghiên cứu đã tập trung nhiều vào lĩnh vực học sâu và các ứng dụng của nó đối với các nhiệm vụ nhận dạng và truy vết đối tượng.
1.2. Thách Thức trong Phát Hiện Đối Tượng từ Không Ảnh
Một số thách thức phổ biến khi áp dụng phương pháp phát hiện đối tượng trong không ảnh bao gồm: góc nhìn, độ chiếu sáng, biến thể tỷ lệ, phối cảnh, biến thể lớp đối tượng, độ phân giải thấp và hiện tượng đối tượng bị chia cắt. Bài toán phát hiện đối tượng ngày càng nhận được sự quan tâm đáng kể từ cộng đồng nên sự cạnh tranh, thách thức đối với bài toán phát hiện đối tượng ngày càng tăng. Việc nhận dạng và phân loại đối tượng được thể hiện rõ ràng trong ảnh, cho tới những đối tượng bị che, thiếu ánh sáng, phát hiện đối tượng vào ban đêm và cho đến những đối tượng nhỏ được chụp từ trên cao như phát hiện người đi bộ hay phương tiện giao thông từ những cảnh đông đúc với nhiều lớp chồng chéo, tắc nghẽn và hình ảnh có độ phân giải thấp.
II. Tổng Quan Các Phương Pháp Phát Hiện Đối Tượng Hiện Đại
Trong những năm gần đây, ngày càng có nhiều sự quan tâm đến máy bay không người lái và các ứng dụng của chúng trong giám sát video, tìm kiếm và cứu nạn. Máy bay không người lái hiện là thiết bị phổ biến cho phép ghi lại hoặc chụp nhiều cảnh từ trên cao. Trong vài năm qua, mạng nơ-ron tích chập (Convolutional Neural Network - CNN) đã mang lại những đột phá trong lĩnh vực AI như xử lý giọng nói, âm thanh, hình ảnh và video. CNN đã thúc đẩy tiến bộ đáng chú ý trong nhận dạng hình ảnh và phát hiện đối tượng. Nhiều kiến trúc CNN thành công, ví dụ: R-CNN, Fast R-CNN, Faster R-CNN và họ các mô hình YOLO đã thực hiện tốt nhiệm vụ phát hiện đối tượng.
2.1. Ứng Dụng Học Sâu Deep Learning Trong Phát Hiện Đối Tượng
Công nghệ học sâu đã mang lại những đột phá đáng kê trong những năm gan đây. Các kỹ thuật này đã góp phần tạo thêm sự phát triển đáng kể cho việc phát hiện đối tượng. Trước đây, các phương pháp chủ yếu hướng vào việc phát hiện đối tượng trong những danh mục phổ biến, tính năng phát hiện đối tượng có thể phát hiện một đối tượng cụ thể được định nghĩa một cách rõ ràng, ví dụ như là khuôn mặt của diễn viên nổi tiếng, tháp nghiêng Pisa, Cầu Cổng Vàng Chicago; hoặc các đối tượng thuộc các danh mục cụ thể như con người, ô tô, xe đạp.
2.2. Các Mô Hình Phát Hiện Đối Tượng Tiên Tiến YOLO SSD Faster R CNN
Các mô hình như YOLOv4 là các mô hình tiên tiến nhất, đạt được nhiều kết quả tốt trên các tập dữ liệu phổ biến như PASCAL-VOC, ImageNet Large Scale Visual Recognition Challenge - ILSVRC, MS-COCO. Các mô hình phát hiện đối tượng một giai đoạn như YOLO và SSD có ưu điểm về tốc độ so với các mô hình hai giai đoạn như Faster R-CNN. Tuy nhiên, Faster R-CNN thường đạt độ chính xác cao hơn, đặc biệt là với các đối tượng nhỏ.
III. Kiến Trúc Mô Hình Transformer và Cơ Chế Self Attention
Kiến trúc Transformer là một kiến trúc mạng nơ-ron dựa trên cơ chế self-attention, cho phép mô hình tập trung vào các phần khác nhau của dữ liệu đầu vào khi thực hiện các dự đoán. Kiến trúc Transformer được giới thiệu lần đầu tiên trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP) và đã đạt được những thành công đáng kể. Cơ chế self-attention cho phép mô hình xác định mối quan hệ giữa các từ trong một câu, giúp cải thiện khả năng hiểu và tạo ra ngôn ngữ tự nhiên.
3.1. Cơ Chế Self Attention và Multi Head Attention
Cơ chế self-attention là trái tim của kiến trúc Transformer. Nó cho phép mô hình tính toán trọng số cho mỗi vị trí trong chuỗi đầu vào, thể hiện mức độ liên quan của vị trí đó đến các vị trí khác. Multi-Head Attention là một cải tiến của self-attention, sử dụng nhiều "đầu" attention song song để học các mối quan hệ khác nhau giữa các vị trí. Điều này giúp mô hình nắm bắt thông tin phong phú hơn.
3.2. Encoder Decoder trong Kiến Trúc Transformer
Kiến trúc Transformer thường bao gồm một encoder và một decoder. Encoder xử lý dữ liệu đầu vào và tạo ra một biểu diễn trung gian. Decoder sử dụng biểu diễn này để tạo ra dữ liệu đầu ra. Trong bài toán phát hiện đối tượng, encoder có thể được sử dụng để trích xuất các đặc trưng hình ảnh, và decoder có thể được sử dụng để dự đoán các bounding box và nhãn lớp của các đối tượng.
IV. Ứng Dụng Kiến Trúc Transformer Trong Phát Hiện Đối Tượng DETR
Năm 2020, Nicolas và các cộng sự đưa ra kiến trúc hoàn toàn khác biệt so với những mô hình đã đề cập. Tác giả đã dựa trên kiến trúc Transformer trong lĩnh vực xử lý ngôn ngữ tự nhiên vào trong bài toán phát hiện đối tượng trong ảnh và đã đạt được kết quả tốt hơn khi so sánh với phương pháp hai giai đoạn Faster-RCNN. Detection Transformer (DETR) là phương pháp một giai đoạn nên có ưu điểm vượt trội hơn về mặt thời gian khi so với Faster-RCNN và hiệu suất phát hiện đối tượng. Ngoài ra, DETR không sử dụng các vùng đề xuất (Region Proposals), các hộp neo (Anchor Box) và thuật toán Non Maximum Suppression.
4.1. DETR Giải Pháp Phát Hiện Đối Tượng Dựa Trên Transformer
DETR (DEtection TRansformer) là một mô hình phát hiện đối tượng dựa trên kiến trúc Transformer. DETR loại bỏ nhu cầu về các thành phần thủ công như anchor box và Non-Maximum Suppression (NMS), thay vào đó, sử dụng kiến trúc Transformer để dự đoán trực tiếp một tập hợp các đối tượng. Điều này giúp đơn giản hóa quy trình phát hiện đối tượng và có thể đạt được hiệu suất cạnh tranh với các phương pháp truyền thống.
4.2. Ưu Điểm Của DETR So Với Các Phương Pháp Truyền Thống
DETR có một số ưu điểm so với các phương pháp phát hiện đối tượng truyền thống. Thứ nhất, nó đơn giản hóa quy trình đào tạo và suy luận bằng cách loại bỏ các thành phần thủ công. Thứ hai, nó có thể xử lý các mối quan hệ toàn cục giữa các đối tượng trong một hình ảnh, cho phép nó dự đoán các đối tượng bị che khuất hoặc chồng chéo lên nhau tốt hơn. Thứ ba, nó có tiềm năng mở rộng quy mô để xử lý các nhiệm vụ phức tạp hơn như panoptic segmentation.
V. Thực Nghiệm và Đánh Giá Mô Hình DETR trên Dữ Liệu Không Ảnh
Nghiên cứu này tiến hành khảo sát hiệu quả của các hàm chi phí IoU và LI trên cùng phương pháp DETR được huấn luyện trên hai bộ dữ liệu VisDrone2019 và XDUAV để quan sát sự cải thiện của mô hình. Thực nghiệm thu được kết quả cao nhất là AP@50 = 94.9% khi sử dụng hàm mất mát GIoU và Balanced L1 trên bộ dữ liệu XDUAV.
5.1. Bộ Dữ Liệu VisDrone và XDUAV Cho Phát Hiện Đối Tượng
Luận văn sử dụng hai bộ dữ liệu không ảnh, VisDrone2019 và XDUAV, để đánh giá hiệu suất của mô hình DETR. VisDrone2019 là một bộ dữ liệu lớn bao gồm hình ảnh và video được thu thập từ máy bay không người lái, trong khi XDUAV là một bộ dữ liệu nhỏ hơn tập trung vào phát hiện phương tiện giao thông trong không ảnh.
5.2. Các Hàm Mất Mát IoU và LI Cho Bài Toán Phát Hiện Đối Tượng
Các hàm mất mát IoU (Intersection over Union) và LI (L1 loss) được sử dụng để tối ưu hóa mô hình DETR. IoU đo lường sự chồng chéo giữa các bounding box được dự đoán và bounding box thực tế, trong khi L1 loss đo lường khoảng cách giữa các tọa độ của các bounding box.
5.3. Đánh Giá Kết Quả Thực Nghiệm và Phân Tích
Kết quả thực nghiệm cho thấy rằng mô hình DETR có thể đạt được hiệu suất cạnh tranh trên cả hai bộ dữ liệu VisDrone2019 và XDUAV. Các hàm mất mát GIoU và Balanced L1 đã cải thiện hiệu suất của mô hình, đặc biệt là trong việc phát hiện các đối tượng nhỏ và bị che khuất.
VI. Kết Luận và Hướng Phát Triển Cho Kiến Trúc Transformer
Nội dung luận văn đã tóm tắt và hệ thống lại một số phương pháp rút trích đặc trưng hình ảnh, giới thiệu và phân tích xu hướng phát triển của các phương pháp phát hiện đối tượng trong ảnh sử dụng phương pháp học sâu. Trình bày kiến thức liên quan đến kiến trúc Transformer là một kiến trúc mới đang được áp dụng trong các mô hình dịch thuật và đã đạt nhiều kết quả tốt trong lĩnh vực xử lý ngôn ngữ tự nhiên. Mô hình DETR áp dụng kiến trúc Transformer vào lĩnh vực xử lý ảnh và thị giác máy tính cho bài toán phát hiện đối tượng đã được kết quả khả quan so sánh với các mô hình tiên tiến hiện nay.
6.1. Tổng Kết Về Ưu Điểm Của Mô Hình Transformer Trong Phát Hiện
Kiến trúc Transformer đã chứng minh được tiềm năng của nó trong lĩnh vực phát hiện đối tượng. Khả năng xử lý các mối quan hệ toàn cục và loại bỏ các thành phần thủ công giúp đơn giản hóa quy trình đào tạo và suy luận. DETR là một ví dụ điển hình về cách kiến trúc Transformer có thể được sử dụng để xây dựng các mô hình phát hiện đối tượng hiệu quả.
6.2. Các Hướng Nghiên Cứu và Phát Triển Tiềm Năng Trong Tương Lai
Có nhiều hướng nghiên cứu và phát triển tiềm năng cho kiến trúc Transformer trong lĩnh vực phát hiện đối tượng. Một hướng đi là cải thiện hiệu suất của mô hình trên các bộ dữ liệu lớn và phức tạp hơn. Một hướng khác là khám phá các kiến trúc Transformer mới và các kỹ thuật đào tạo để tăng cường độ chính xác và hiệu quả của mô hình. Cuối cùng, việc áp dụng kiến trúc Transformer cho các nhiệm vụ liên quan như segmentation và tracking cũng là một lĩnh vực hứa hẹn.
