ĐẠI HỌC QUOC GIA TP. HO CHÍ MINH TRUONG DAI HOC CONG NGHE THONG TIN KHOA KHOA HOC MAY TiNH NGO VAN TAN LƯU - 20521591 TRUONG THANH THANG- 20521907 KHOA LUAN TOT NGHIEP HUAN LUYEN DONG TREN CAC PHUONG PHAP PHAT HIEN DOI TUONG CO HUONG HAI GIAI DOAN Dynamic Training on Two-state Oriented Object Detection CỬ NHÂN NGANH KHOA HỌC MAY TÍNH GIẢNG VIÊN HƯỚNG DAN ThS. VÕ DUY NGUYÊN TP. HÒ CHÍ MINH, 2023 LỜI CẢM ƠN Lời đầu tiên, tôi xin gửi lời cảm ơn chân thành nhất đến Thầy TS.
Nguyễn Tấn Trần Minh Khang và Thay ThS. Trong quá trình thực hiện khóa luận, tôi đã nhận được sự quan tâm giúp đỡ, hướng dẫn rất tận tình và tâm huyết của hai Thay. Không chỉ có kiến thức chuyên môn, các Thay truyền đạt cho tôi rất nhiều kỹ năng, kiến thức khác giúp tôi có cái nhìn sâu sắc hơn về sự nghiệp, học tập và xã hội. Từ những kiến thức các Thay truyền đạt, tôi nhận ra thế nào mới là nghiên cứu khoa học đúng cách, tầm quan trọng của nghiên cứu khoa học, cũng như cách truyền tải nội dung nghiên cứu của mình đến người đọc, người nghe.
Sự quan tâm hướng dẫn tận tình và các kiến thức hai Thầy truyền đạt là động lực mạnh mẽ giúp tôi hoàn thành khóa luận này. Bên cạnh đó, tôi xin gửi lời cảm ơn đến nhóm nghiên cứu UIT-Together. Nhờ những thảo luận, đóng góp rất tích cực của các Thầy, các anh chị, các bạn trong nhóm đã giúp tôi có nhiều ý tưởng dé thử nghiệm. Khoảng thời gian thực hiện khóa luận cùng với nhóm có lẽ là khoảng thời gian đẹp nhất quãng đời sinh viên, cũng như là một trong những khoảng thời gian đẹp nhất trong cuộc đời.
Và cuối cùng, tôi xin gửi lời cảm ơn đến gia đình, bạn bè và tập thể lớp KHMT2020, những người luôn sẵn sàng sẻ chia và giúp đỡ tôi trong học tập và cuộc sống. Mong rằng, sau này chúng ta sẽ mãi mãi gắn bó với nhau. Xin chúc những điều tốt đẹp nhất sẽ luôn đồng hành cùng mọi người. ĐẠI HỌC QUOC GIA TP.
HO CHÍMINH CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC Độc Lập - Tự Do - Hạnh Phúc CÔNG NGHỆ THÔNG TIN ĐÈ CƯƠNG CHI TIẾT TÊN ĐÈ TÀI: HUAN LUYEN DONG TREN CÁC PHƯƠNG PHAP PHAT HIỆN ĐÓI TƯỢNG CÓ HƯỚNG HAI GIAI ĐOẠN TÊN DE TÀI TIENG ANH: DYNAMIC TRAINING ON TWO-STAGE ORIENTED OBJECT DETECTION Can bộ hướng dẫn: ThS. VÕ DUY NGUYEN Thời gian thực hiện: Từ ngày 20/02/2023 đến ngay26/06/2023. Sinh viên thực hiện: NGÔ VĂN TẤN LƯU - 20521591 Lớp: KHMT2020 Email: 20521591@gm.vn Điện thoại: 0344550403 TRƯƠNG THÀNH THANG - 20521907 Lớp: KHMT2020 Email: 205210907@gm.vn Điện thoại: 0979297634 Nội dung đề tài: 1. Giới thiệu Phát hiện đối tượng có hướng là một bài toán quan trọng trong lĩnh vực máy học hiện đại.
Trong đó, các phương pháp phải trải qua quá trình huấn luyện dé đưa ra các dự đoán chính xác, và phương pháp phát hiện đối tượng có hướng hai giai đoạn cũng không phải là ngoại lệ. Các phương pháp phát hiện đối tượng có hướng hai giai đoạn phụ thuộc rất nhiều vào sự chính xác của việc đề xuất các vị trí của các đối tượng. Tuy nhiên, việc huấn luyện mô hình một cách cứng nhắc có thể khiến cho mô hình không thể tận dụng tôi đa kêt quả của các vùng đê xuât trong quá trình huân luyện. Do đó, độ hiệu quả của quá trình huấn luyện chưa đạt được tôi ưu.
Với nhận thức về vấn đề này, chúng tôi đã lựa chọn bài toán phát hiện đối tượng có hướng dé tìm hiểu, nghiên cứu và thực hiện khóa luận tốt nghiệp. Mục tiêu của chúng tôi là khảo sát và tìm ra các cách huấn luyện tốt hơn về độ hiệu quả, và đạt được kết quả state-of-the-art trên bài toán phát hiện đối tượng hai giai đoạn. Đề đạt được mục tiêu này, chúng tôi tiếp cận vấn đề bằng cách áp dụng các phương pháp huấn luyện động và hàm loss phù hợp trên các phương pháp phát hiện đối tượng có hướng hai giai đoạn mới nhất và thực hiện các thí nghiệm toàn diện đê đánh giá hiệu quả cách tiệp cận của chúng tôi. Phát biêu bài toán Đâu vào của bai toán là một bức ảnh, dau ra cua bài toán là các hộp giới hạn có hướng tối tiêu chứa đối tượng được phát hiện và phân lớp.
UN Zs l> Ne “` ` NES2`-= a = _i\ *| +i ` 2N SI NS ZS š SS \ ZS = NEX = VAN oa ZC: 7s INPUT MODEL OUTPUT Hình 0-1 Mô hình bài toán 3. Mục tiêu của đề tài Mục tiêu đề tài là khảo sát hiệu quả của việc áp dụng huấn luyện động vào trong quá trình huấn luyện phương pháp phát hiện đối tượng có hướng hai giai đoạn. Qua đó phân tích ảnh hưởng của các mô-đun động đến các phương pháp đó. Nội dung nghiên cứu của đề tài Nội dung nghiên cứu đề tài chia làm bốn phần: — Tìm hiểu về cách tiếp cận của các phương pháp hai giai đoạn cho bài toán phát hiện đối tượng có hướng Rol Transformer [1], Oriented R-CNN [2], ReDet [3].
Nghiên cứu các phương pháp huấn luyện động Dynamic R-CNN [4], Adaptive Training Sample Selection [5]. Nghiên cứu các các ham loss trên bài toán phát hiện đối tượng có hướng GWD [6], KFIoU [7], SmoothL1 [8]. Phân tích tác động các tổ hop huấn luyện động và ham loss trên mô hình phát hiện đối tượng có hướng hai giai đoạn trên bộ dữ liệu DOTA [9] và HRSC2016 [10]. Phuong phap thuc hién Doc va tóm tat các cách tiếp cận cho bài toán phat hiện đối tượng có hướng của các phương pháp hai giai đoạn.
Đọc, tìm hiểu các phương pháp huấn luyện động và các hàm loss được phát triển cho bài toán phát hiện đối tượng có hướng. Cài đặt source code Dynamic Rol Head phù hợp cho việc huấn luyện động cho các mô hình phát hiện đối tượng có hướng hai giai đoạn. Thực nghiệm tổ hợp các mô-đun huấn luyện động va hàm loss trên các phương pháp phát hiện đối tượng có hướng hai giai đoạn. Phân tích ưu điểm, hạn chế của các mô-đun huấn luyện động và hàm loss dựa trên kết quả thực nghiệm đạt được.
Kết quả dự kiến Báo cáo chỉ tiết các tim hiéu/ khảo sát về các phương pháp hai giai đoạn sử dụng cho bài toán phát hiện đối tượng có hướng, các phương pháp huấn luyện động, các hàm loss có sẵn và kết quả các tổ hợp thử nghiệm sử dụng các kiểu huấn luyện động và hàm loss khác nhau. Cung cấp source code cài đặt thử nghiệm. Xây dung demo dé trực quan kết quả nghiên cứu. Tổng hợp toàn bộ kết quả nghiên cứu, báo cáo tổng kết và công bố 01 bài báo khoa học tại hội nghi/tap chí được đánh chỉ mục SCOPUS Tài liệu tham khảo Kế hoạch thực hiện: Thực hiện: SV.
Ngô Văn Tan Luu, SV. Trương Thành Thang Thời gian Công việc Thực hiện Tuần 1-3 | Tìm hiểu, nghiên cứu phương pháp phát hiện đối tượng Ngô Văn Tấn Lưu có hướng hai giai đoạn: Oriented RCNN. Tìm hiểu phương pháp huấn luyện động trên mô hình phát hiện đối tượng: Dynamic RCNN, Adaptive Training Sample Selection. Tìm hiểu, nghiên cứu phương pháp phát hiện đối tượng | Truong Thanh Thắng có hướng hai giai đoạn: RoI Transformer, ReDet.
Tuần4-6 | Tìm hiểu, nghiên cứu phương pháp huấn luyện động Ngô Văn Tan Lưu trên mô hình phát hiện đối trong: Dynamic IoU. Tìm hiểu, nghiên cứu phương pháp tính loss động cho | Truong Thanh Thắng bài toán phát hiện đối tượng có hướng: Dynamic SmoothL1 Loss. Tuan 7-10 | Cài đặt mô-đun Dynamic RoI Head cho mô hình phát Ngô Văn Tan Lưu hiện đối tượng có hướng. Tìm hiểu, cài đặt các hàm loss hiệu quả cho bài toán | Trương Thành Thắng phát hiện đối tượng có hướng: KFIoU, GWD, SmoothL1.
Tuan 11-16 | Thuc nghiém, phan tich, danh gia toan dién cac t6 hop Ngo Van Tan Lưu, mô-đun huân luyện động trên các phương pháp phát Trương Thành Thắng hiện đôi tượng có hướng: Oriented R-CNN, Rol Transformer, ReDet. Tuần 16-18 | Hoàn thiện kết quả nghiên cứu để thực hiện công bố Ngô Văn Tan Lưu, khoa học Trương Thành Thăng Tuần 18— | Xây dựng Demo. Ngô Văn Tan Lưu, Phân còn lại Trương Thành Thăng TP. HCM, ngày | thang | nam 2023 Xác nhận của CBHD Sinh viên (Ký tên và ghi rõ họ tên) (Ký tên và ghi rõ họ tên) Võ Duy Nguyên Ngô Văn Tan Lưu Trương Thành Thang MỤC LỤC 30uxIc9rieiin.
5 TÓM TAT KHÓA LUẬN. Dong lực nghiên CỨU. Phát biểu bài toán. Các thách thức.
Mục tiêu và phạm vi nghiÊn CỨU. Đóng góp của nghiÊn CỨU.-ss-ss-+x++ExxtEEkktrkktrkrktrriktririeirrieriirkerrrkerrire 4 1. Bố cục của luận VĂN .kkkkkkkkkLEEErrtrrrrrrrrrre 5 Chương 2. CAC NGHIÊN CỨU LIÊN QUAN.
Phát hiện đối tượng có hướng hai giai đoạn. Rotation-Equivariant Feature EXffaCẦOT. Rotation-Invariant Rol A ÍIg1. Midpoint Offset RepresenfatIOn.
Oriented R-CNN Head.--cccceieriiriiiiiiiiiiiiriiie 12 "No cố ẽ ẽẽẽẻẻẽẻ. Gaussian Wasserstein [DIstance. Kalman Filter-based Skew Intersection over n1on. Huan luyén dO can.
Dynamic Label ÀssIgnmeI.--cs-c«cxs+xxeeeeerteererxeerterrkerrerreererre 19 2. — Self-Adjusting Smooth L1 LLOSS. Adaptive Training Sample Selection. HH rà 23 Chương 3.
DE XUẤT TINH CHỈNH. Hướng giải quyét. _ Vấn đề ngưỡng IoU. Vấn đề lựa chọn hàm lỗi.
Rol Transformer & ReDet + ÏyñAITIC. Oriented R-CNN + DynamIC.--cs-csccteeExekketkrtkrrtrrrtkrirrrrirrrrrrrie 30 Chương 4. Bộ dữ QU. ec eecsctesssessssntescsseccnteessuteessseeesueessnseessueessseeesaeessneeesaueessneeesaueeesaeeesaneeesaseeten 33 AVL.
ch HH HH He 33 4. cà Hy hy nghiệt 36 4. AP và mAP. Cài đặt chỉ tiẾt.
ch HH HH re 40 4. Các kết quả chính. Phân tích kết quả trực quan hóa. Nghiên cứu tác động của từng mô-đun huấn luyện động.
Tac động của mô-đun DLA và DSÌ. Tac động của mô-đun DLA với các hàm lỗi khác. Huấn luyện động với số epoch khác nhau. Oriented R-CNN + DLA và các hàm lỗi khác.
KET LUẬN VÀ HƯỚNG PHÁT TRIỂN. Hướng phát triỂn.-----«ccesreeetrteeerrtertrtrrrtrtrrvrrrrrtrrrrrrrrrrrre 59 DANH MỤC CÔNG TRÌNH TÁC GIẢ.cccccccc++++ece2SSSEEEEEEEEEEEireeevvvvrrrrrrrirreee 60 DANH MỤC HÌNH Hình 0-1 Mô hình bài toán .----scc+LkHHHHHH HH HH HH hà 6 Hình 1-1 Đầu vào và đầu ra của bài toán.----ccccccrirceccerrrririerrrrrtrrrrrrrrrrrrrrrree 2 Hình 1-2 Các đối tượng xe đỗ với nhiều góc xoay khác nhau.-- 3 Hình 1-3 Ảnh với phông nền phức tạp (cây cối, bóng ram, đồi núi). 3 Hình 1-4 Bãi xe với nhiêu loại xe có hình dạng, kích thước, màu sắc khác nhau xuât hiện dày đặc. -- HH HH HH HH HH HH1 1111111 4 Hình 2-1 Mô hình Rol Transformer [ Ï ].-----<--e<5eeeccssrvserxetxrterrktkrerrkrrkrerrrk 6 Hình 2-2 Mô hình ReDet [3] .----c-seecrcxesrrrrrirrrrrrirttrrrirrrrrirrrriiirriirriiree 8 Hình 2-3 Mô hình Oriented R-CNN [2] .--cccsccccceerseeeeereersetrrrtrrerrrrrerreee 10 Hình 2-4 Minh hoa midpoint offset representation [2] .----‹-----«scccseecxeecrrs 12 Hình 2-5 KFIOU Loss [7].eecscceccccccceeecrrrerterrtirtrttrirtrtrirrtrrirririirrrrirrrrirrrrrek 16 Hình 2-6 Minh họa tác động cua Dynamic Label Assignment va Dynamic SmoothL1 trong quá trình huấn luyện [4].
Cac vùng dé xuất hợp lệ ban đầu sẽ được loại bỏ khi ngưỡng IoU tăng cao đo các vùng đề xuất được cải thiện. Các vùng đề xuất nếu giữ nguyên chất lượng sẽ bi phạt nặng hơn trong quá trình huấn luyện.