VIETNAM NATIONAL UNIVERSITY HO CHI MINH CITY UNIVERSITY OF INFORMATION TECHNOLOGY FALCUTY OF COMPUTER SCIENCE PHAM NHAT HOANG NGUYEN TRAN TIEN BACHELOR OF SCIENCE IN COMPUTER SCIENCE HONOR PROGRAM HO CHI MINH CITY, 2024 VIETNAM NATIONAL UNIVERSITY HO CHI MINH CITY UNIVERSITY OF INFORMATION TECHNOLOGY FALCUTY OF COMPUTER SCIENCE PHAM NHAT HOANG - 20520052 NGUYEN TRAN TIEN - 20521011 BACHELOR OF SCIENCE IN COMPUTER SCIENCE HONOR PROGRAM THESIS ADVISOR Dr. NGUYEN VINH TIEP HO CHI MINH CITY, 2024 COMMITTEE The Assessment Committee is established under the Decision President of the University of Information Technology: 1. ĐẠI HỌC QUOC GIA TP. HO CHÍMINH CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC Độc Lập - Tự Do - Hạnh Phúc CÔNG NGHỆ THÔNG TIN re TP.
NHAN XET KHOA LUAN TOT NGHIEP (CUA CAN BO HUONG DAN) Tên khóa luận: KHAI THÁC MÔ HÌNH NGÔN NGỮ TRONG BÀI TOÁN PHÁT HIỆN ĐÓI TƯỢNG VỚI ÍT MẪU DỮ LIỆU Nhóm SV thực hiện: Cán bộ hướng dẫn: Phạm Nhật Hoàng 20520052 TS. Nguyễn Vinh Tiệp Nguyễn Trần Tiến 20521011 Đánh giá Khóa luận 1. Về cuốn báo cáo: Số trang - _ Só chương Sô bảng sô liệu So hình vẽ Sô tải liệu tham khảo Sản phâm Một sô nhận xét về hình thức cuôn báo cáo: 3. Về chương trình ứng dụng: Người nhận xét (Ký tên và ghi rõ họ tên) ĐẠI HỌC QUỐC GIA TP.
HO CHÍMINH CỘNG HOA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC Độc Lập - Tự Do - Hạnh Phúc CÔNG NGHỆ THÔNG TIN TP. NHAN XET KHOA LUAN TOT NGHIEP (CUA CAN BO PHAN BIEN) Tên khóa luận: KHAI THÁC MÔ HÌNH NGÔN NGỮ TRONG BÀI TOÁN PHÁT HIỆN ĐÓI TƯỢNG VỚI ÍT MẪU DỮ LIỆU Nhóm SV thực hiện: Cán bô phản biên: Phạm Nhật Hoàng 20520052 Nguyễn Trần Tiến 20521011 Đánh gia Khóa luận 5. Về cuốn báo cáo: Số trang - Số chương So bảng sô liệu SỐ hình vẽ Sô tài liệu tham khảo Sản phâm Một sô nhận xét vê hình thức cuôn báo cáo: 7. Về chương trình ứng dụng: Người nhận xét (Ký tên và ghi rõ họ tên) ĐẠI HỌC QUỐC GIA TP.
HO CHÍMINH CONG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC Độc Lập - Tự Do - Hạnh Phúc CÔNG NGHỆ THÔNG TIN DE CƯƠNG CHI TIẾT Tên dé tài: KHAI THÁC MÔ HÌNH NGÔN NGỮ TRONG BÀI TOÁN PHÁT HIỆN ĐÓI TƯỢNG VỚI ÍT MẪU DỮ LIỆU Tên đề tài tiếng anh: EXPLOITING LANGUAGE MODELS FOR FEW-SHOT OBJECT DETECTION Ngôn ngữ thực hiện: Tiếng Anh Cán bộ hướng dẫn: Nguyễn Vinh Tiệp Thời gian thực hiện:Từ ngày L5/09/2023 đến ngày 15/12/2023 Sinh viên thực hiện: Phạm Nhật Hoàng - 20520052 Lớp: KHTN2020 Email: 20520052@gm.vn Điện thoại: 0837890278 Nguyễn Trần Tiến - 20521011 Lớp: KHTN2020 Email: 20521011@gm.vn Điện thoại: 0963690428 Nội dung đề tai:(M6 ta chỉ tiết mục tiêu, phạm vi, doi tượng, phương pháp thực hiện, kết quả mong đợi của đề tài) Phát hiện đối tượng trong tình huống ít mẫu (few-shot object detection) nhằm xác định vị trí và lớp của các đối tượng trong một hình ảnh trong bối cảnh của một số mẫu huấn luyện còn ít. Hầu hết các phương pháp phát hiện đối tượng ít mẫu hiện có tập trung vào việc trích xuất đặc trưng hình ảnh mà bỏ qua thông tin mối quan hệ giữa các lớp và sự hỗ trợ của thông tin bổ sung như thông tin ngữ nghĩa. Ngoài ra, các kỹ thuật phát hiện đối tượng ít mẫu có một vấn đề tích cực bởi vì đữ liệu huấn luyện không đủ, giới hạn khả năng khám phá thông tin ngữ nghĩa một cách đầy đủ. Để giải quyết vấn đề này, chúng tôi đề xuất việc sử dụng kỹ thuật truyền thụ kiến thức (knowledge distillation) trong phương pháp học phát hiện đối tượng ít mẫu, kết hợp thông tin ngữ nghĩa bồ sung và mối quan hệ giữa các lớp dé hướng dẫn mô hình phát hiện tốt các trường hợp mới.
Các thử nghiệm mở rộng trên tập dit liệu đánh giá phát hiện đối tượng ít mẫu PASCAL VOC cho thấy phương pháp của chúng tôi đạt được kết quả cạnh tranh so với các phương pháp phát hiện đối tượng ít mẫu tiên tiến nhất. Stage |: Base training Stage II: Few-shot fine-tuning Fixed Feature Extractor vey Base Images Novel Shots (Abundant) (Few) Hình 1. Bài toán phat hiện đối tượng ít mẫu dữ liệu Các phương pháp hiện đại dựa trên học sâu đã đạt được kết quả ấn tượng trên các nhiệm vụ thị giác máy tính. Tuy nhiên, các mô hình này chủ yếu phụ thuộc vào đữ liệu huấn luyện có nhãn quy mô lớn, điều này tốn kém và không luôn có sẵn trong thực tế.
Các phương pháp như vậy gặp sự giảm hiệu suất mạnh mẽ khi giảm dt liệu huấn luyện. Ngược lại, con người có khả năng học thông tin mới dựa trên một vài mẫu thông tin nhờ vào kiến thức trước đó của chúng ta. Khả năng mong muốn này được mô phỏng thành một dang học ít mẫu (few-shot learning) trong máy tinh dé giải quyết van đề trên. Học ít mẫu được giới thiệu dé hiệu quả huấn luyện các mô hình học sâu trong bối cảnh có hạn chế về đữ liệu và được áp dụng vào các nhiệm vụ thị giác máy tính bao gồm phân loại, phát hiện đối tượng và phân đoạn.
Gần đây, đã có nhiều nghiên cứu trong lĩnh vực phát hiện đối tượng ít mẫu (FSOD). Các phương pháp FSOD huấn luyện bộ phát hiện dé xác định vùng tiềm năng chứa các đối tượng mới và phân loại chúng trong hình ảnh với dữ liệu khan hiếm. Thông thường, có hai tập dữ liệu: dữ liệu cơ sở với nhiều nhãn trên mỗi lớp và dữ liệu mới chứa một số mẫu có nhãn (ít hơn 10). Do đó, các bộ phát hiện ít mẫu được huấn luyện trên các lớp cơ sở dé học khái niệm của nhiệm vụ thị giác va fine-tune trên tập dit liệu mới dé có khả năng phát hiện các đối tượng mới trong tập kiểm tra.
Một số phương pháp FSOD áp dụng mạng Siamese dé điều chỉnh lại đặc trưng cho mỗi lớp dé bắt được các đối tượng mới. Các phương pháp FSOD khác tận dụng biến đổi dit liệu hoặc tăng cường dữ liệu dé bổ sung dit liệu huấn luyện cho các lớp mới. Gần đây, DeFRCN đã điều chỉnh độ dốc giữa các mô-đun trong Faster R-CNN đề phân tách học đa nhiệm. Các phương pháp khác khám phá cơ chế chú ý trong kiến trúc transformer đề tạo ra các đặc trưng phân biệt.
Tuy nhiên, các phương pháp trên ít quan tâm đến việc tận dụng các tín hiệu b6 sung được trích xuất từ một tập đữ liệu quy mô lớn hoặc được định nghĩa rõ ràng như thông tin ngữ nghĩa. Hơn nữa, các mối quan hệ giữa các lớp hoặc giữa các lớp cơ sở và các lớp mới trong dữ liệu như vậy cũng được biểu diễn rõ ràng, điều này quan trọng dé cải thiện hiệu suất của các hệ thống phát hiện đối tượng. Trong công việc này, chúng tôi trình bày một phương pháp mới dé trích xuất các tín hiệu bỗ sung và tận dụng mối quan hệ trong chúng dé cải thiện các bộ phát hiện ít mẫu. Cụ thé, chúng tôi đề xuất một mô hình đa modal làm đầu vào, hỗ trợ việc phân loại hiệu quả các đối tượng mới nhờ vào các định nghĩa rõ ràng trong dữ liệu bồ sung của chúng.
Sau đó, mô hình được truyền thụ kiến thức để chuyền giao kiến thức và giải phóng các đầu vào bô sung. Đóng góp của chúng tôi được tông kết như sau: e Ching tôi đề xuất một phương pháp mới áp dung học truyền thu dé hiệu quả tận dụng dữ liệu huấn luyện bồ sung dé cải thiện các bộ phát hiện ít mau. e_ Chúng tôi trình bày một phương pháp FSOD trích xuất các mối quan hệ ngữ nghĩa giữa các lớp cơ sở và các lớp mới dé tận dụng các đặc trưng chung. e Ching tôi cung cấp bằng chứng thực nghiệm rằng mô hình của chúng tôi vượt trội so với các phương pháp cơ bản một cách đáng kể.
Nội dung và phương pháp thực hiện: - Nội dung 1: Khảo sát và thiết kế * Khao sát các công trình nghiên cứu liên quan đến bài toán phát hiện, các phương pháp Phát hiện đối tượng trong tình huống it mẫu nói chung và các phương pháp kết hợp thông tin ngữ nghĩa giữa hình anh và ngôn ngữ (Vision-langueage model) * - Dựa trên kết quả khảo sát, lựa chọn mô hình tìm kiếm kiến trúc mạng nơ-ron phù hợp nhất, thiết kế mạng mô hình học sâu, thiết kế nhiều cách kết hợp thông tin ngữ nghĩa giữa hình ảnh và ngôn ngữ, lựa chọn/ thiết kê phương pháp huấn luyện phù hợp với mô hình Phát hiện đối tượng trong tình huống it mẫu dữ liệu - Nội dung 2: Tìm hiểu dữ liệu. Dữ liệu được sử dụng cho bài toán phát hiện đối tượng Ít mẫu (Few-shot object detection) là các tap dữ liệu thường bao gồm hai phan chính: dit liệu cơ sé (base data) va đữ liệu mới (novel data). e - Dữ liệu co sở (Base data): Đây là tập dữ liệu chứa các hình anh với đối tượng đã được gắn nhãn chỉ tiết và có số lượng mau đủ lớn cho mỗi lớp. Dữ liệu cơ sở này được sử dụng dé huấn luyện mô hình cơ bản, giúp mô hình hiểu khái niệm về các đối tượng cơ bản.
e - Dữ liệu mới (Novel data): Day là tập dữ liệu chứa các hình ảnh với các đối tượng mới mà mô hình chưa từng thấy trong quá trình huấn luyện trên dit liệu cơ sở. Tập dữ liệu mới này thường có số lượng mẫu rất ít (ít hơn 10 mẫu) cho mỗi đối tượng mới. Dữ liệu này được sử dụng dé fine-tune mô hình, dé mô hình có khả năng phát hiện các đối tượng mới trong tập đữ liệu kiểm tra. Dữ liệu cơ sở làm nền tảng để mô hình học cách phát hiện và phân loại các đối tượng cơ bản, trong khi dữ liệu mới giúp mô hình thích nghi với các đối tượng mới mà nó chưa biết trước đó.
Sự kết hợp giữa hai loại dữ liệu này giúp mô hình có khả năng tự động hóa trong việc phát hiện đối tượng ít mẫu. Một số tập đữ liệu thường được sử dụng cho bài toán phát hiện đối tượng ít mẫu (Few-shot object detection). Dưới đây là một số ví đụ tiêu biểu: e PASCAL VOC: Tập dữ liệu PASCAL VOC là một trong những tập dữ liệu phổ biến và được sử dụng rộng rãi. Nó bao gồm nhiều loại đối tượng và hình ảnh đã được gan nhan chỉ tiết về vị tri của các đối tượng trong hình ảnh.
se COCO: Tập dit liệu COCO (Common Objects in Context) là một tập dữ liệu lớn với nhiều loại đối tượng và hình ảnh có độ phân giải cao. Nó cung cấp dữ liệu đa dạng cho việc phát hiện đối tượng và phân đoạn đối tượng. - Nội dung 3: Huấn luyện mô hình » .