ĐẠI HỌC QUOC GIA TP. HO CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA KHOA HỌC MÁY TÍNH NGUYÊN ĐỨC ANH PHÚC - 20520276 HUYNH VIET TUẦN KIỆT - 20521494 KHÓA LUẬN TÓT NGHIỆP PHAT HIỆN DOI TƯỢNG TRONG KHÔNG ANH SỬ DỤNG KIÊN TRÚC RPN NHẠY CẢM VỚI HUONG Object Detection in aerial image using Orientation-sensitivity RPN CU NHAN NGANH KHOA HOC MAY TINH GIANG VIEN HUONG DAN THS. VO DUY NGUYEN TP. HO CHÍ MINH, 2023 LỜI CẢM ƠN Lời đầu tiên, chúng tôi xin gửi đến hai thầy Th§.
Võ Duy Nguyên và TS. Nguyễn Tan Tran Minh Khang hai chữ “cảm ơn” chân thành nhất. Trong suốt quá trình thực hiện khóa luận, chúng tôi đã được sự quan tâm, giúp đỡ và hướng dẫn rất tận tình và tâm huyết từ hai thầy, những người đã luôn sẵn lòng trả lời mọi câu hỏi, hỗ trợ chúng tôi vượt qua những khó khăn và khám phá tiềm năng bản thân. Sự chỉ bảo của các thầy không chỉ giới hạn ở mặt chuyên môn, mà còn truyền đạt cho chúng tôi nhiều kỹ năng và kiến thức khác, giúp chúng tôi có cái nhìn sâu sắc hơn về cuộc sống, học tập và xã hội.
Từ những kiến thức mà thay truyền đạt, chúng tôi đã nhận ra ý nghĩa và cách thực hiện nghiên cứu khoa học một cách đúng đắn. Thầy đã giúp tôi nhận thức rõ ràng về tầm quan trọng của việc nghiên cứu khoa học, cũng như cách truyền tải nội dung nghiên cứu của mình một cách rõ ràng và hiệu quả đến người đọc và người nghe. Sự quan tâm và hướng dẫn tận tình cùng với những kiến thức các thầy truyền đạt đã trở thành động lực mạnh mẽ giúp tôi hoàn thành khóa luận này. Bên cạnh đó, tôi muốn gửi lời cảm ơn sâu sắc tới nhóm nghiên cứu UIT- Together vì những đóng góp và thảo luận tích cực của các thành viên.
Nhờ sự hỗ trợ và đóng góp ý kiến của các thầy cô, anh chị va bạn bẻ trong nhóm, tôi đã nhận được nhiều ý tưởng mới dé thử nghiệm trong khóa luận của mình. Khoảng thời gian làm việc cùng nhóm này có thé coi là một kỷ niệm đẹp nhất trong cuộc sống sinh viên của tôi, và cũng sẽ là một mốc thời gian đáng nhớ trong cuộc đời cá nhân mỗi chúng tôi. Và cuối cùng, tôi muốn bày tỏ lòng biết ơn đến gia đình, bạn bè và các bạn cùng trang lứa lớp KHMT2020 khóa K15 trường Đại học Công Nghệ Thông Tin. Sự chia sẻ và sự giúp đỡ mà các bạn đã dành cho tôi trong quá trình học tập và cuộc sống thật sự quý giá.
Tôi hy vọng rằng chúng ta sẽ mãi mãi duy trì mối quan hệ đáng quý này. Hy vọng rằng những điều tốt đẹp nhất sẽ luôn tiếp tục đồng hành với tất cả mọi người. ĐẠI HỌC QUOC GIA TP. HO CHÍMINH CONG HÒA XÃ HỘI CHỦ NGHĨA VIET NAM TRƯỜNG ĐẠI HỌC Độc Lập - Tự Do - Hạnh Phúc CÔNG NGHỆ THÔNG TIN ĐÈ CƯƠNG CHI TIẾT TEN DE TAI: PHÁT HIỆN DOI TƯỢNG TRONG KHÔNG ANH SỬ DỤNG KIÊN TRÚC RPN NHẠY CẢM VỚI HƯỚNG TEN DE TÀI TIENG ANH: OBJECT DETECTION IN AERIAL IMAGE USING ORIENTATION-SENSITIVITY RPN Cán bộ hướng dẫn: ThS.
VÕ DUY NGUYEN Thời gian thực hiện: Từ ngày 20/02/2023 đến ngày 26/06/2023. Sinh viên thực hiện: 1. Sinh viên 1 NGUYEN ĐỨC ANH PHÚC - 20520276 Lớp: KHMT2020 Email: 20520276@gm.vn Điện thoại: 0911592002 2. Sinh viên 2 HUYNH VIET TUAN KIỆT - 20521494 Lớp: KHMT2020 Email: 20521494@gm.vn Điện thoại: 0796616454 Nội dung đề tài: 1.
Giới thiệu Phát hiện đối tượng có hướng trong không anh (Oriented Object Detection in Aerial images) dé cập đến tác vụ phát hiện đối tượng trong ảnh chụp từ một vị trí trên cao đồng thời ước lượng hình dạng và hướng của các đối tượng đó trong không gian. Không ảnh thường được chụp từ máy bay, drone, vệ tinh hoặc các nền tảng bay khác và những hình ảnh này cung câp chê độ xem toàn cảnh bê mặt Trái đât, ghi lại nhiêu cảnh quan, khu đô thị, đặc điểm tự nhiên và cấu trúc nhân tạo. Các phương pháp tiếp cận cho bài toán này dựa vào Deep Learning, mục tiêu trích xuất các đặc trưng được căn chỉnh hiệu quả và ước lượng chính xác về hướng của đối tượng trong không ảnh. Thông tin kết quả có thể được sử dụng trong nhiều ứng dụng thực tế, đặc biệt trong lĩnh vực Thị giác Máy Tính (Computer Vision) như giám sát, dự báo thảm họa, cứu hộ khẩn cấp và quản lý đô thị.
Khác với cách biểu diễn đối tượng sử dụng các hộp giới hạn ngang (Horizontal Bounding Boxes), các hộp giới hạn có hướng (Oriented Bounding Boxes) bé sung thêm tham số góc liên quan đến hướng của đối tượng trong quá trình tính toán. Do đó, các mô hình phát hiện đối tượng cho bài toán này yêu cầu có nhiều tham số dé mã hóa thông tin về hướng, điều này dư thừa và cực kì không hiệu quả. Những nghiên cứu về phát hiện đối tượng trong không ảnh trước đây đối mặt với những khó khăn do các đối tượng được chụp từ góc nhìn chim bay thường xuất hiện với hướng tùy ý khác với các đối tượng trong ảnh chụp tự nhiên [1]. Tổng quan, bài toán phát hiện đối tượng trong không ảnh phải đối mặt với một số các thách thức sau: ¢ Hướng tùy ý (Arbitrary orientations): Đối với hình ảnh được chụp từ góc nhìn trên cao, các đối tượng xuất hiện với hướng tùy ý, dẫn đến nhiều thách thức ảnh hưởng đến hiệu suất phát hiện đối tượng chính xác của mô hình.
© Da tilé (Scale variations): Khoảng cách đề lấy mẫu/ thu thập dữ liệu của các thiết bị như Drone/ vệ tinh có thé thay đổi từ vài centimet đến hàng trăm mét, do đó hình ảnh được chụp bởi các cảm biến khác nhau có thể có các biến thể quy mô lớn, đặt ra nhiều thách thức hơn yêu cầu mô hình thích ứng chính xác với kích thước đối tượng. e _ Nền ngoại cánh phức tap (Complex background): Bởi vì sự đa dạng và phức tạp của bề mặt trái đất, các hình ảnh có thể chứa đa dạng các yếu tố ngoại cảnh (background) phức tap, dẫn đến đáng kể các đối tượng nhiễu sẽ can thiệp trong quá trình phát hiện. Nói cách khác, nhiều đối tượng không liên quan sẽ được phát hiện đôi với hình ảnh có nên ngoại cảnh phức tạp, yêu câu mô hình phải phân biệt tôt những đối tượng cần quan tâm và phần còn lại của hình ảnh. Ngoài ra còn rất nhiều thách thức phải đối mặt trong bài toán phát hiện đối tượng có hướng trong không ảnh dé xây dựng được một mô hình hoàn chỉnh có thé phát hiện chính xác và thích ứng hoàn hảo với hướng của đối tượng [2].
Nắm bắt được xu hướng nghiên cứu và giá trị thực tiễn mà bài toán mang lại, chúng tôi quyết định lựa chọn bài toán này để tìm hiểu, nghiên cứu và thực hiện khóa luận tốt nghiỆp. Trong nghiên cứu này, chúng tôi đề xuất một mô hình chất lượng cao có tính nhạy cảm về hướng thực hiện cho bài toán phát hiện đối tượng có hướng trong không ảnh, với mục tiêu sẽ giải quyết được các thách thức mà bài toán phải đối mặt, đồng thời cải thiện độ chính xác của mô hình dé xuất trên các bộ dữ liệu không ảnh tiêu chuẩn. Phát biểu bài toán Bài toán phát hiện đối tượng có hướng trong không ảnh biểu diễn các đối tượng xuất hiện trong hình ảnh sứ dụng các hộp giới hạn có hướng (Oriented Bounding Box) và đồng thời cho biết nhãn lớp (class) cũng như độ tin cậy (confidence score) của đối tượng đã được biểu diễn. ¢ Input: Hình ảnh được chụp từ góc nhìn trên cao với một hay nhiều đối tượng (hoặc không có đối tượng).
Không ảnh là ảnh được thu thập từ các ứng dụng hỗ trợ theo dõi từ trên cao (Drone, vệ tỉnh, flycam,. Trong đó các đối tượng được quan tâm sẽ được phát hiện đồng thời ước lượng chính xác hướng của chúng. ¢ Output: Đầu ra của bài toán bao gồm tập các hộp giới hạn có hướng (Oriented Bounding Boxes) xác định vị trí và hướng mỗi đối tượng xuất hiện trong hình ảnh đầu vào. Ngoài ra, đầu ra cũng bao gồm nhãn/ lớp (class) của đối tượng và điểm tin cậy (confidence score) cho biết xác suất tin cậy đối tượng hiện diện ở vị trí và hướng đã cho.
Có thé thấy ngoài việc phát hiện và xác định chính xác hướng của đối tượng trong hình ảnh. Các mô hình trong bài toán phát hiện đối tượng có hướng trong không ảnh còn phải xác định được chính xác nhãn/ lớp thuộc về đối tượng đó trong điều kiện ảnh chụp từ trên cao và kích thước của các đối tượng là cực kì nhỏ. Đối tượng, phạm vi nghiên cứu ¢ = Miền dữ liệu: Ảnh chụp từ các thiết bị hỗ trợ thu thập từ trên không như Drone, vệ tinh,. e Dé liệu thực nghiệm: + Bộ dữ liệu DOTA-vI [3]: DOTA-v1 là bộ dữ liệu quy mô lớn cung cấp cho bài toán phát hiện đối tượng trong không ảnh, bao gồm 15 lớp đối tượng, 2806 hình ảnh và 188282 trường hợp được gán nhãn.
+ Bộ dữ liệu dự kiến: HRSC2016, DIOR-R 4. Mục tiêu của đề tài Mục tiêu đề tài hướng tới bao gồm: — Nghiên cứu và khảo sát các mô hình Deep Learning hiện có áp dụng cho bài toán phát hiện đối tượng có hướng trong không ảnh. Phân tích chỉ tiết các module có thé tận dụng để nâng cao hiệu suất phát hiện. Đề xuất phương pháp xử lí nhạy cảm với những đặc trưng có hướng và sinh ra các đề xuất chất lượng cao cho bài toán phát hiện đối tượng có hướng trong không ảnh.
Thực nghiệm đánh giá hiệu suất của mô hình đề xuất trên các bộ dữ liệu tiêu chuẩn cho bài toán phát hiện đối tượng có hướng trong không ảnh. Triển khai chương trình ứng dụng thực tế cho mô hình đã được đề xuất. Nội dung nghiên cứu cúa đề tài Nội dung nghiên cứu của đề tài chia làm bốn phần: Tim hiéu tổng quan về các cách tiếp cận cho bài toán phát hiện đối tượng có hướng trong không ảnh. Nghiên cứu các kiến trúc rời Tạc (backbones, necks, heads) có thể tận dụng để nâng cao hiệu suất bài toán áp dụng trên các đối tượng có hướng trong các mô hình Deep Learning tiền nhiệm.
"Thực hiện cài đặt các phương pháp phát hiện đối tượng có hướng với các cách tiếp cận khác nhau như One-stage, Two-stage hay Transformer-based đề so sánh và đối chiếu kết quả. Tổng hợp kết quả khảo sát, phân tích cụ thể các kiến trúc bên trong mô hình để tìm ra những ưu, nhược điềm cho từng thành phần.