Nghiên Cứu Benchmark Phát Hiện Đối Tượng Cross Domain (Few Shot)

• Tác giả: Hồ Sỹ Trọng Kiên
• Người hướng dẫn: GS.TS Anissa Mokraoui
• Trường học: Paris-Saclay University
• Chuyên ngành: Điện Tử, Năng Lượng Điện, Tự Động Hóa
• Đề tài: Cross Domain (Few Shot) Object Detection Benchmark
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: Gif-sur-Yvette

• LỜI MỞ ĐẦU
• 1. CHƯƠNG 1: INTRODUCTION
• 2. CHƯƠNG 2: BACKGROUND AND RELATED WORKS
• 2.1. Related works
• 2.1. Two-stage detectors
• 2.1. Two-stage detectors R-CNN family architecture
• 2.3. RetinaNet
• 3. CHƯƠNG 3: CROSS DOMAIN (FEW SHOT) BENCHMARK FOR FCOS
• 4. CHƯƠNG 4: EXPERIMENTAL SETUP AND RESULTS
• 5. CHƯƠNG 5: CONCLUSION AND FUTURE WORKS
• 5.1. FCOS Architecture Details
• PHỤ LỤC
• TÀI LIỆU THAM KHẢO

I. Tổng Quan Nghiên Cứu Benchmark Phát Hiện Đối Tượng Cross Domain

Phát hiện đối tượng là một nhiệm vụ quan trọng trong computer vision. Nó bao gồm hai bước: xác định vị trí các đối tượng trong ảnh bằng bounding box và phân loại chúng vào các danh mục định trước. Các mô hình như Faster R-CNN, YOLO và RetinaNet đã chứng minh giá trị trong việc giải quyết các thách thức thực tế. Tuy nhiên, hiệu quả của một object detector trong một môi trường nhất định không đảm bảo độ chính xác tương đương trong các điều kiện khác. Để đạt hiệu quả tối ưu, mô hình cần học từ các tập dữ liệu lớn với nhiều kịch bản khác nhau. Trong thực tế, những hạn chế này có thể phát sinh khi dữ liệu khan hiếm hoặc chi phí gán nhãn quá cao. Các phương pháp cross-domain giúp cải thiện khả năng khái quát hóa trên các miền khác nhau. Mục tiêu là đảm bảo mô hình được huấn luyện tốt trên một miền nguồn (source domain) sẽ hoạt động tốt trên một miền đích (target domain), ngay cả khi có sự khác biệt về đặc điểm.

1.1. Giới Thiệu Bài Toán Phát Hiện Đối Tượng Object Detection

Object detection là bài toán cốt lõi của Computer Vision, bao gồm việc xác định vị trí và phân loại các đối tượng trong ảnh hoặc video. Từ những ứng dụng cơ bản như đếm số lượng sản phẩm trên dây chuyền sản xuất đến các ứng dụng phức tạp hơn như xe tự lái, object detection đóng vai trò quan trọng. Các phương pháp truyền thống dựa trên đặc trưng được thiết kế thủ công, nhưng hiện nay, các phương pháp dựa trên deep learning đã đạt được những tiến bộ vượt bậc. Một trong những thách thức lớn nhất là làm thế nào để mô hình có thể khái quát hóa tốt trên các domain khác nhau. Điều này đặc biệt quan trọng khi dữ liệu được gán nhãn cho miền đích là khan hiếm.

1.2. Tầm Quan Trọng Của Nghiên Cứu Cross Domain Object Detection

Nghiên cứu về cross-domain object detection trở nên quan trọng khi mô hình được huấn luyện trên một tập dữ liệu (miền nguồn) không hoạt động tốt trên một tập dữ liệu khác (miền đích) do sự khác biệt về phân phối dữ liệu. Điều này có thể do sự khác biệt về điều kiện ánh sáng, góc nhìn, hoặc thậm chí là phong cách của hình ảnh. Ví dụ, một mô hình được huấn luyện trên ảnh chụp các loại xe trên đường phố có thể hoạt động kém khi áp dụng cho ảnh vệ tinh. Do đó, việc phát triển các phương pháp có thể chuyển giao kiến thức từ miền nguồn sang miền đích là rất cần thiết. Điều này giúp giảm đáng kể chi phí và công sức cần thiết để gán nhãn dữ liệu cho miền đích.

II. Thách Thức Lớn Trong Cross Domain Few Shot Object Detection

Các tập dữ liệu lớn được gán nhãn như MS-COCO, ImageNet hoặc PascalVOC đã trở thành nền tảng cho nhiều kiến trúc nổi tiếng. Transfer learning là một phương pháp để giải quyết các vấn đề liên quan đến thích ứng giữa các domain. Phương pháp này sử dụng kiến thức từ mô hình đã được huấn luyện trước trên một tập dữ liệu lớn để cải thiện hiệu suất trên các target domain. Fine-tuning lớp cuối cùng (last layer), một chiến lược cụ thể trong transfer learning, tinh chỉnh quá trình này bằng cách duy trì các tham số cố định đã học từ các lớp trước đó, đồng thời chỉ huấn luyện trọng số của lớp cuối cùng trên một tập hợp con của target dataset. Cách tiếp cận này cho phép mô hình điều chỉnh sự hiểu biết của nó với các đặc điểm riêng của miền đích mới.

2.1. Khó Khăn Do Domain Shift Sự Thay Đổi Miền Dữ Liệu

Domain shift là một trong những thách thức lớn nhất trong cross-domain object detection. Nó đề cập đến sự khác biệt trong phân phối dữ liệu giữa miền nguồn và miền đích. Ví dụ, hình ảnh trong miền nguồn có thể có độ phân giải cao hơn hoặc chứa nhiều đối tượng hơn so với hình ảnh trong miền đích. Domain shift có thể dẫn đến sự suy giảm đáng kể trong hiệu suất của mô hình, đặc biệt là khi dữ liệu ở miền đích là khan hiếm. Do đó, cần có các phương pháp mạnh mẽ để giảm thiểu ảnh hưởng của domain shift.

2.2. Vấn Đề Dữ Liệu Ít ỏi trong Few Shot Object Detection

Few-shot object detection là một bài toán đặc biệt khó khăn, trong đó mô hình chỉ được cung cấp một số lượng rất nhỏ các ví dụ được gán nhãn từ miền đích. Điều này có nghĩa là mô hình phải học cách nhận diện các đối tượng mới chỉ từ một vài ví dụ, làm tăng thêm sự khó khăn so với cross-domain object detection thông thường. Các kỹ thuật như meta-learning và transfer learning được sử dụng rộng rãi để giải quyết vấn đề này. Tuy nhiên, vẫn còn nhiều thách thức cần vượt qua để đạt được hiệu suất chấp nhận được trong các kịch bản few-shot cross-domain.

2.3. Giải quyết sự khác biệt dữ liệu giữa các miền trong bài toán

Giải quyết sự khác biệt dữ liệu giữa các miền trong bài toán là rất quan trọng, nhất là khi phải đối mặt với sự khan hiếm dữ liệu ở miền đích. Sự khác biệt này có thể đến từ nhiều yếu tố như độ phân giải ảnh, điều kiện ánh sáng, góc chụp, hoặc thậm chí là phong cách nghệ thuật của hình ảnh. Để giải quyết vấn đề này, một số phương pháp đã được đề xuất, bao gồm việc sử dụng các kỹ thuật tạo dữ liệu tổng hợp (data augmentation) để tăng cường sự đa dạng của dữ liệu ở miền đích, hoặc sử dụng các phương pháp thích ứng miền (domain adaptation) để giảm thiểu sự khác biệt giữa hai miền.

III. Phương Pháp Transfer Learning Cho Phát Hiện Đối Tượng Cross Domain

Nghiên cứu này sử dụng mô hình FCOS (Full Convolution One Stage), được giới thiệu bởi Zhi Tian và các đồng nghiệp vào năm 2019. FCOS là một phiên bản nâng cấp của Retinanet với một số sửa đổi để cải thiện mAP. FCOS coi mỗi vị trí không gian trên ảnh là một mẫu huấn luyện thay vì anchor box như RetinaNet, biến nó thành một mô hình không anchor. Sửa đổi này cho thấy khả năng thích ứng cao hơn với các kích thước đối tượng khác nhau trên các domain khác nhau. Ngoài ra, FCOS cũng kế thừa việc triển khai focal loss từ RetinaNet, một chiến lược đã được chứng minh là hiệu quả trong việc xử lý các tập dữ liệu không cân bằng. Bằng cách kết hợp phương pháp fine-tuning lớp cuối cùng, nghiên cứu này tìm cách kiểm tra hiệu suất của FCOS trên các tập dữ liệu từ các domain khác nhau.

3.1. Sử Dụng Mô Hình FCOS Full Convolution One Stage

FCOS là một mô hình phát hiện đối tượng không anchor, có nghĩa là nó không sử dụng các anchor box được định nghĩa trước để xác định vị trí các đối tượng. Thay vào đó, FCOS dự đoán trực tiếp tọa độ của bounding box từ mỗi điểm ảnh trên feature map. Điều này giúp giảm số lượng siêu tham số cần điều chỉnh và làm cho mô hình dễ dàng thích ứng hơn với các hình dạng và kích thước khác nhau của đối tượng. FCOS cũng sử dụng Feature Pyramid Network (FPN) để xử lý các đối tượng ở các quy mô khác nhau. Với thiết kế đơn giản và hiệu quả, FCOS đã đạt được kết quả cạnh tranh so với các mô hình phát hiện đối tượng khác.

3.2. Fine Tuning Lớp Cuối Cùng Để Thích Ứng Miền Đích

Fine-tuning lớp cuối cùng là một kỹ thuật transfer learning đơn giản nhưng hiệu quả. Nó bao gồm việc giữ cố định các trọng số của các lớp trước đó trong mô hình được huấn luyện trước và chỉ huấn luyện các trọng số của lớp cuối cùng trên tập dữ liệu miền đích. Điều này cho phép mô hình nhanh chóng thích ứng với các đặc điểm riêng của miền đích mà không làm mất đi kiến thức đã học được từ miền nguồn. Fine-tuning lớp cuối cùng đặc biệt hữu ích khi dữ liệu ở miền đích là khan hiếm, vì nó giúp giảm nguy cơ overfitting.

3.3. Áp Dụng Focal Loss để Xử Lý Dữ Liệu Không Cân Bằng

Focal Loss là một hàm mất mát được thiết kế để giải quyết vấn đề dữ liệu không cân bằng trong object detection. Nó làm giảm trọng số của các mẫu dễ phân loại (thường là background) và tập trung vào các mẫu khó phân loại (thường là foreground). Điều này giúp mô hình học cách nhận diện các đối tượng hiếm gặp một cách hiệu quả hơn. Focal Loss đã được chứng minh là có hiệu quả trong nhiều bài toán object detection, đặc biệt là trong các kịch bản mà số lượng đối tượng foreground ít hơn nhiều so với số lượng background.

IV. Đánh Giá Hiệu Quả Phát Hiện Đối Tượng Cross Domain Bằng Benchmark

Nghiên cứu này sử dụng một mô hình đã được huấn luyện trước trên tập dữ liệu lớn: MS-COCO 2017 làm miền nguồn, sau đó sử dụng phương pháp transfer learning: tinh chỉnh lớp cuối cùng của mô hình bằng dữ liệu của miền đích. Transfer learning là một phương pháp để giải quyết các vấn đề liên quan đến thích ứng giữa các domain. Dựa trên khái niệm sử dụng kiến thức thu được từ một mô hình đã được huấn luyện trước trên một tập dữ liệu lớn được gán nhãn (cụ thể là MS-COCO trong nghiên cứu này), phương pháp này tìm cách nâng cao hiệu suất mô hình khi áp dụng cho các target domain.

4.1. Các Bộ Dữ Liệu Benchmark Phổ Biến Cho Cross Domain Detection

Việc sử dụng các bộ dữ liệu benchmark là rất quan trọng để đánh giá và so sánh hiệu suất của các phương pháp cross-domain object detection. Các bộ dữ liệu phổ biến bao gồm: MS-COCO, Pascal VOC, ImageNet, và các bộ dữ liệu chuyên biệt hơn cho các lĩnh vực cụ thể như y tế, nông nghiệp, hoặc sản xuất. Việc lựa chọn bộ dữ liệu phù hợp phụ thuộc vào mục tiêu nghiên cứu và ứng dụng cụ thể. Điều quan trọng là các bộ dữ liệu này phải có sự khác biệt đáng kể về phân phối dữ liệu để mô phỏng các kịch bản cross-domain thực tế.

4.2. Sử Dụng mAP mean Average Precision Để Đánh Giá

mAP (mean Average Precision) là một chỉ số đánh giá phổ biến trong object detection. Nó đo lường độ chính xác của mô hình trong việc xác định vị trí và phân loại các đối tượng. mAP được tính bằng cách tính trung bình AP (Average Precision) trên tất cả các lớp đối tượng. AP đo lường sự cân bằng giữa Precision (độ chính xác) và Recall (khả năng thu hồi) của mô hình. mAP cao cho thấy mô hình có khả năng phát hiện các đối tượng một cách chính xác và đầy đủ.

4.3. So Sánh Với Các Phương Pháp Hiện Đại Khác State of the Art

Để chứng minh tính hiệu quả của phương pháp đề xuất, cần so sánh nó với các phương pháp hiện đại khác (state-of-the-art) trên các bộ dữ liệu benchmark. Điều này giúp xác định xem phương pháp mới có thực sự cải thiện hiệu suất so với các phương pháp hiện có hay không. Việc so sánh phải được thực hiện một cách công bằng và khách quan, sử dụng cùng các chỉ số đánh giá và các điều kiện thí nghiệm. Kết quả so sánh sẽ cung cấp bằng chứng thuyết phục về giá trị của phương pháp đề xuất.

V. Kết Quả Nghiên Cứu và Ứng Dụng Thực Tế Phát Hiện Cross Domain

Bằng cách kết hợp phương pháp fine-tuning lớp cuối cùng, nghiên cứu này tìm cách kiểm tra hiệu suất của FCOS trên các tập dữ liệu từ các domain khác nhau. Đặc biệt, nghiên cứu này nhằm mục đích hiểu cách các biến thể trong đặc điểm giữa source domain và target domain ảnh hưởng đến hiệu suất tổng thể. Kết quả nghiên cứu này có thể được áp dụng để cải thiện hiệu suất của các hệ thống phát hiện đối tượng trong các ứng dụng thực tế, nơi dữ liệu gán nhãn khan hiếm hoặc chi phí gán nhãn quá cao.

5.1. Phân Tích Kết Quả Thực Nghiệm Trên Các Bộ Dữ Liệu

Việc phân tích kỹ lưỡng kết quả thực nghiệm trên các bộ dữ liệu khác nhau là rất quan trọng để hiểu rõ điểm mạnh và điểm yếu của phương pháp đề xuất. Cần phân tích hiệu suất của mô hình trên từng lớp đối tượng, cũng như trên các nhóm đối tượng khác nhau (ví dụ: đối tượng nhỏ, đối tượng lớn). Việc phân tích này sẽ giúp xác định các yếu tố nào ảnh hưởng đến hiệu suất của mô hình và đề xuất các cải tiến trong tương lai.

5.2. Ứng Dụng Trong Y Tế Nông Nghiệp và An Ninh

Cross-domain object detection có nhiều ứng dụng thực tế trong các lĩnh vực như y tế (phát hiện các tế bào ung thư trong ảnh y tế), nông nghiệp (phát hiện sâu bệnh trên cây trồng), và an ninh (phát hiện các vật thể nguy hiểm trong video giám sát). Trong các lĩnh vực này, dữ liệu gán nhãn thường khan hiếm và đắt đỏ, làm cho các phương pháp cross-domain object detection trở nên đặc biệt hữu ích. Việc phát triển các phương pháp hiệu quả trong các lĩnh vực này có thể mang lại những lợi ích to lớn cho xã hội.

5.3. Ví dụ cụ thể về các mô hình thành công

Các mô hình thành công trong việc phát hiện đối tượng cross domain (few shot) đã được ứng dụng trong nhiều lĩnh vực thực tế. Trong y tế, các mô hình này có thể giúp phát hiện các bất thường trong ảnh chụp y tế, chẳng hạn như tìm kiếm các khối u hoặc các dấu hiệu bệnh lý khác. Trong nông nghiệp, chúng có thể được sử dụng để theo dõi sức khỏe cây trồng, xác định sâu bệnh, hoặc ước tính năng suất. Trong lĩnh vực an ninh, các mô hình này có thể giúp phát hiện các vật thể nghi ngờ trong các môi trường đông người, tăng cường khả năng giám sát và bảo vệ.

VI. Tương Lai Nghiên Cứu Phát Hiện Đối Tượng Cross Domain Few Shot

Nghiên cứu về cross-domain few-shot object detection vẫn còn nhiều hướng phát triển tiềm năng. Cần có thêm các nghiên cứu về các phương pháp meta-learning và transfer learning hiệu quả hơn, cũng như các phương pháp để giảm thiểu ảnh hưởng của domain shift. Ngoài ra, cần có thêm các bộ dữ liệu benchmark lớn hơn và đa dạng hơn để đánh giá và so sánh các phương pháp khác nhau. Với những tiến bộ trong lĩnh vực này, chúng ta có thể mong đợi các hệ thống phát hiện đối tượng thông minh và hiệu quả hơn trong tương lai.

6.1. Hướng Nghiên Cứu Meta Learning và Self Supervised Learning

Meta-learning và self-supervised learning là hai hướng nghiên cứu đầy hứa hẹn trong cross-domain few-shot object detection. Meta-learning giúp mô hình học cách học, cho phép nó nhanh chóng thích ứng với các nhiệm vụ mới chỉ từ một vài ví dụ. Self-supervised learning giúp mô hình học các đặc trưng hữu ích từ dữ liệu không gán nhãn, giảm sự phụ thuộc vào dữ liệu gán nhãn đắt đỏ. Kết hợp hai phương pháp này có thể mang lại những cải tiến đáng kể trong hiệu suất của các mô hình cross-domain few-shot object detection.

6.2. Phát Triển Các Phương Pháp Thích Ứng Miền Dữ Liệu Mới

Việc phát triển các phương pháp thích ứng miền dữ liệu mới là rất quan trọng để giảm thiểu ảnh hưởng của domain shift trong cross-domain object detection. Các phương pháp này có thể dựa trên việc học các biểu diễn invariant, hoặc việc tạo ra các dữ liệu tổng hợp để lấp đầy khoảng trống giữa miền nguồn và miền đích. Các phương pháp thích ứng miền dữ liệu hiệu quả sẽ giúp mô hình khái quát hóa tốt hơn trên các miền khác nhau.

6.3. Xây Dựng Các Benchmark Dataset Phức Tạp Hơn

Việc xây dựng các bộ dữ liệu benchmark phức tạp hơn là rất cần thiết để thúc đẩy sự phát triển của lĩnh vực cross-domain few-shot object detection. Các bộ dữ liệu này cần có sự đa dạng về các lớp đối tượng, các điều kiện môi trường, và các loại nhiễu khác nhau. Chúng cũng cần phải mô phỏng các kịch bản thực tế một cách chính xác hơn. Các bộ dữ liệu benchmark tốt sẽ giúp các nhà nghiên cứu đánh giá và so sánh các phương pháp khác nhau một cách công bằng và khách quan.

Tổng quan nghiên cứu

Phát hiện đối tượng (object detection) là một nhiệm vụ quan trọng trong lĩnh vực thị giác máy tính, bao gồm việc xác định vị trí và phân loại các đối tượng trong ảnh. Với sự phát triển nhanh chóng của các mô hình học sâu như Faster R-CNN, YOLO, RetinaNet, việc áp dụng các mô hình này vào các lĩnh vực thực tế ngày càng phổ biến. Tuy nhiên, hiệu quả của các mô hình này thường bị hạn chế khi áp dụng vào các miền dữ liệu khác nhau do sự khác biệt về đặc điểm hình ảnh như ánh sáng, góc nhìn hay điều kiện thời tiết. Đặc biệt, trong các trường hợp dữ liệu nhãn bị khan hiếm hoặc chi phí gán nhãn cao, việc huấn luyện mô hình chính xác trở nên khó khăn.

Luận văn này tập trung nghiên cứu khả năng thích ứng chéo miền (cross-domain) của mô hình phát hiện đối tượng FCOS (Full Convolution One Stage) thông qua phương pháp học chuyển giao (transfer learning) bằng cách tinh chỉnh (fine-tune) lớp cuối cùng của mô hình. Nghiên cứu sử dụng bộ dữ liệu nguồn MS-COCO 2017 với hơn 115.000 ảnh làm miền nguồn, và thử nghiệm trên nhiều bộ dữ liệu mục tiêu đa dạng như DeepFruits (nông nghiệp), DIOR (ảnh viễn thám), Oktoberfest (đồ ăn thức uống), Clipart1k (ảnh hoạt hình), ImageNet và IWildCam (động vật hoang dã). Mục tiêu là đánh giá khả năng tổng quát hóa của FCOS khi chuyển từ miền nguồn sang các miền mục tiêu khác nhau, đặc biệt trong điều kiện học ít mẫu (few-shot learning).

Nghiên cứu được thực hiện trong năm 2023 tại Đại học Paris-Saclay và Đại học Bách Khoa Hà Nội, với ý nghĩa quan trọng trong việc phát triển các hệ thống phát hiện đối tượng hiệu quả trong các ứng dụng thực tế đa dạng, từ nông nghiệp, giám sát môi trường đến xử lý ảnh viễn thám.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình sau:

• Mô hình phát hiện đối tượng hai giai đoạn (Two-stage detectors): Bao gồm R-CNN, Fast R-CNN, Faster R-CNN, trong đó giai đoạn đầu tạo ra các vùng đề xuất (region proposals), giai đoạn hai thực hiện phân loại và điều chỉnh hộp giới hạn (bounding box regression).

• Mô hình phát hiện đối tượng một giai đoạn (One-stage detectors): Như YOLO, SSD, RetinaNet, FCOS, thực hiện trực tiếp phân loại và định vị đối tượng trên toàn bộ ảnh mà không cần bước đề xuất vùng.

• Mạng Kim tự tháp đặc trưng (Feature Pyramid Network - FPN): Kỹ thuật kết hợp các bản đồ đặc trưng ở nhiều độ phân giải khác nhau để xử lý hiệu quả các đối tượng có kích thước đa dạng.

• Hàm mất mát Focal Loss: Giải quyết vấn đề mất cân bằng giữa các mẫu nền (background) và mẫu đối tượng (foreground) bằng cách giảm trọng số các mẫu dễ phân loại, tập trung vào các mẫu khó.

• Mô hình FCOS: Là mô hình phát hiện đối tượng không sử dụng anchor box, lấy mỗi điểm ảnh trên bản đồ đặc trưng làm mẫu huấn luyện, kết hợp FPN và focal loss để cải thiện độ chính xác.

Các khái niệm chính bao gồm: Intersection over Union (IoU), Precision, Recall, F1-score, Average Precision (AP), mean Average Precision (mAP), và các chỉ số mAP50, mAP75, mAP theo kích thước đối tượng (nhỏ, trung bình, lớn).

Phương pháp nghiên cứu

• Nguồn dữ liệu: Sử dụng bộ dữ liệu MS-COCO 2017 làm miền nguồn với 115.000 ảnh huấn luyện và 5.000 ảnh xác thực. Các bộ dữ liệu mục tiêu gồm DeepFruits (602 ảnh), DIOR (23.463 ảnh), Oktoberfest (1.110 ảnh), Clipart1k (1.000 ảnh), ImageNet (subset 10 lớp, 499 ảnh), IWildCam (3 lớp, 300 ảnh huấn luyện).

• Phương pháp phân tích: Áp dụng học chuyển giao bằng cách giữ cố định các tham số của backbone ResNet-50 và FPN, chỉ tinh chỉnh lớp cuối cùng của FCOS head trên dữ liệu mục tiêu (fine-tune last layer). Các tham số học (learning rate, số vòng lặp) được điều chỉnh phù hợp từng bộ dữ liệu để tránh overfitting.

• Timeline nghiên cứu: Quá trình huấn luyện và đánh giá được thực hiện theo từng bộ dữ liệu mục tiêu, với việc theo dõi đường cong mất mát trên tập huấn luyện và xác thực để lựa chọn mô hình tốt nhất. Mỗi bộ dữ liệu được huấn luyện trong khoảng 500 đến 8.000 vòng lặp tùy theo kích thước và độ phức tạp.

• Đánh giá hiệu quả: Sử dụng các chỉ số mAP, F1-score ở các ngưỡng IoU khác nhau để so sánh hiệu suất của FCOS trên các miền dữ liệu khác nhau, đồng thời so sánh với mô hình Faster R-CNN trong một số trường hợp.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả trên bộ dữ liệu DeepFruits (nông nghiệp):

   • Mô hình FCOS đạt mAP trung bình khoảng 65-73% cho các loại quả như táo (72.73%), cam (72.87%), xoài (69.94%), bơ (64%).
   • F1-score của FCOS vượt trội so với Faster R-CNN ở một số loại quả như xoài, nhưng thấp hơn ở các loại khác.
   • Kết quả cho thấy FCOS có khả năng thích ứng tốt với các đối tượng có đặc điểm tương đồng với miền nguồn MS-COCO.

2. Hiệu quả trên bộ dữ liệu DIOR (ảnh viễn thám):

   • Mặc dù có lượng dữ liệu lớn (12.340 ảnh huấn luyện), mAP tổng thể chỉ đạt khoảng 17.7%, trong đó lớp "máy bay" đạt AP cao nhất (45.46%) do trùng với lớp trong MS-COCO.
   • Các lớp khác có AP thấp, phản ánh sự khác biệt lớn về đặc điểm ảnh và mật độ đối tượng (8.3 đối tượng/ảnh so với 7.7 của COCO).
   • Việc huấn luyện thêm vòng lặp không cải thiện đáng kể hiệu suất, cho thấy cần phương pháp xử lý đặc thù hơn.

3. Hiệu quả trên bộ dữ liệu Oktoberfest (đồ ăn thức uống):

   • Mô hình đạt mAP khoảng 35%, với AP của lớp "bia" là 22.11%.
   • Các đối tượng nhỏ có mAP bằng 0, cho thấy hạn chế trong phát hiện đối tượng kích thước nhỏ.
   • Việc giảm learning rate giúp ổn định quá trình huấn luyện.

4. Hiệu quả trên bộ dữ liệu Clipart1k (ảnh hoạt hình):

   • Mô hình đạt mAP khoảng 21%, thấp hơn nhiều so với các miền khác.
   • Việc chỉ tinh chỉnh lớp cuối cùng chưa đủ để mô hình thích ứng với đặc điểm đồ họa hoạt hình khác biệt.
   • Cần xem xét mở khóa thêm các lớp hoặc phương pháp huấn luyện khác.

5. Hiệu quả trên bộ dữ liệu ImageNet (10 lớp, few-shot):

   • Mô hình đạt mAP trung bình 48%, với AP các lớp trùng với COCO đạt trên 64%.
   • Các lớp chưa từng xuất hiện trong COCO cũng có AP chấp nhận được, chứng tỏ khả năng tổng quát hóa của FCOS khi học ít mẫu.

6. Hiệu quả trên bộ dữ liệu IWildCam (động vật hoang dã, few-shot):

   • Mô hình đạt mAP tổng thể 11%, AP lớp "động vật" là 27%.
   • Hiệu suất thấp do số lượng ảnh huấn luyện hạn chế (300 ảnh) và đặc điểm miền khác biệt.

Thảo luận kết quả

• Việc sử dụng phương pháp fine-tune lớp cuối cùng giúp FCOS duy trì được kiến thức từ miền nguồn, đồng thời thích ứng với đặc điểm miền mục tiêu, đặc biệt hiệu quả với các miền có sự tương đồng cao như DeepFruits và ImageNet.

• Hiệu suất giảm rõ rệt ở các miền có đặc điểm khác biệt lớn như DIOR và Clipart1k cho thấy việc chỉ tinh chỉnh lớp cuối chưa đủ, cần mở rộng huấn luyện các lớp sâu hơn hoặc áp dụng các kỹ thuật tiền xử lý như chia nhỏ ảnh.

• Các biểu đồ đường cong mất mát cho thấy việc lựa chọn learning rate và số vòng lặp phù hợp là rất quan trọng để tránh overfitting hoặc underfitting.

• So sánh với Faster R-CNN cho thấy FCOS có ưu thế về tốc độ và khả năng thích ứng trong một số trường hợp, nhưng cũng có hạn chế về độ chính xác với các đối tượng nhỏ hoặc miền dữ liệu phức tạp.

• Các chỉ số mAP theo kích thước đối tượng cho thấy FCOS gặp khó khăn trong phát hiện các đối tượng nhỏ, cần nghiên cứu thêm các kỹ thuật cải thiện như tăng cường dữ liệu hoặc kiến trúc mạng chuyên biệt.

Đề xuất và khuyến nghị

1. Mở khóa và huấn luyện thêm các lớp trong FCOS head:

   • Mục tiêu: Tăng khả năng thích ứng với miền dữ liệu mục tiêu có đặc điểm khác biệt lớn.
   • Thời gian: 2-4 tuần thử nghiệm và đánh giá.
   • Chủ thể: Nhóm nghiên cứu phát triển mô hình.

2. Tiền xử lý ảnh bằng cách chia nhỏ ảnh (image tiling) cho các miền có mật độ đối tượng cao như DIOR:

   • Mục tiêu: Giảm độ phức tạp và cải thiện phát hiện đối tượng nhỏ.
   • Thời gian: 1-2 tuần triển khai và thử nghiệm.
   • Chủ thể: Kỹ sư dữ liệu và nhà phát triển mô hình.

3. Kết hợp dữ liệu miền nguồn và miền mục tiêu trong huấn luyện:

   • Mục tiêu: Tăng cường dữ liệu huấn luyện, cải thiện khả năng tổng quát hóa.
   • Thời gian: 3 tuần xây dựng bộ dữ liệu kết hợp và huấn luyện.
   • Chủ thể: Nhóm thu thập và xử lý dữ liệu.

4. Áp dụng kỹ thuật tăng cường dữ liệu (data augmentation) và học sâu nâng cao (meta-learning) cho few-shot learning:

   • Mục tiêu: Nâng cao hiệu quả học với dữ liệu hạn chế.
   • Thời gian: 4-6 tuần nghiên cứu và thử nghiệm.
   • Chủ thể: Nhà nghiên cứu và kỹ sư học máy.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành học máy và thị giác máy tính:

   • Lợi ích: Hiểu rõ về phương pháp cross-domain và few-shot learning trong phát hiện đối tượng.
   • Use case: Phát triển các mô hình phát hiện đối tượng đa miền.

2. Kỹ sư phát triển hệ thống giám sát và nhận dạng hình ảnh:

   • Lợi ích: Áp dụng mô hình FCOS và kỹ thuật fine-tuning để triển khai hệ thống thực tế.
   • Use case: Giám sát nông nghiệp, an ninh, giao thông.

3. Chuyên gia xử lý ảnh viễn thám và phân tích dữ liệu địa lý:

   • Lợi ích: Nắm bắt các thách thức và giải pháp khi áp dụng mô hình học sâu trên ảnh viễn thám.
   • Use case: Phân loại và phát hiện đối tượng trên ảnh vệ tinh.

4. Nhà phát triển ứng dụng trong lĩnh vực động vật hoang dã và bảo tồn:

   • Lợi ích: Áp dụng kỹ thuật few-shot learning để phát hiện và phân loại động vật trong môi trường tự nhiên.
   • Use case: Giám sát quần thể động vật, nghiên cứu sinh thái.

Câu hỏi thường gặp

1. Tại sao chỉ tinh chỉnh lớp cuối cùng của mô hình FCOS?
   Việc này giúp giữ lại kiến thức chung đã học từ bộ dữ liệu lớn MS-COCO, đồng thời giảm chi phí tính toán và tránh overfitting khi dữ liệu mục tiêu hạn chế. Ví dụ, trên bộ DeepFruits, fine-tune lớp cuối giúp đạt mAP trên 70%.

2. Phương pháp đánh giá hiệu quả mô hình được sử dụng là gì?
   Sử dụng các chỉ số mAP, F1-score ở các ngưỡng IoU khác nhau (0.5, 0.75), cùng với phân tích theo kích thước đối tượng (nhỏ, trung bình, lớn). Ví dụ, mAP50 là mAP tại ngưỡng IoU 0.5.

3. Tại sao hiệu suất trên bộ dữ liệu DIOR thấp hơn nhiều so với DeepFruits?
   Do đặc điểm ảnh viễn thám có mật độ đối tượng cao, kích thước nhỏ và khác biệt lớn so với ảnh trong MS-COCO, khiến mô hình khó tổng quát hóa chỉ với fine-tune lớp cuối.

4. Có thể cải thiện hiệu suất phát hiện đối tượng nhỏ như thế nào?
   Có thể áp dụng kỹ thuật chia nhỏ ảnh, tăng cường dữ liệu, hoặc huấn luyện thêm các lớp sâu hơn trong mạng để tăng khả năng nhận diện chi tiết.

5. Phương pháp few-shot learning được áp dụng như thế nào trong nghiên cứu?
   Chọn ngẫu nhiên một số lượng nhỏ ảnh (ví dụ 100-300 ảnh) từ bộ dữ liệu mục tiêu, chỉ fine-tune lớp cuối cùng của FCOS, đánh giá khả năng mô hình học hiệu quả với dữ liệu hạn chế.

Kết luận

• Luận văn đã đánh giá hiệu quả của mô hình FCOS trong bài toán phát hiện đối tượng đa miền sử dụng kỹ thuật fine-tune lớp cuối cùng.
• FCOS thể hiện khả năng thích ứng tốt với các miền có đặc điểm tương đồng như DeepFruits và ImageNet, đạt mAP trên 65%.
• Hiệu suất giảm rõ rệt với các miền có đặc điểm khác biệt lớn như DIOR và Clipart, đặc biệt với đối tượng nhỏ.
• Các đề xuất cải tiến bao gồm mở khóa thêm lớp huấn luyện, chia nhỏ ảnh, kết hợp dữ liệu và áp dụng kỹ thuật tăng cường dữ liệu.
• Nghiên cứu mở ra hướng phát triển các hệ thống phát hiện đối tượng hiệu quả trong điều kiện dữ liệu hạn chế và đa dạng miền thực tế.

Hành động tiếp theo: Triển khai các đề xuất cải tiến, mở rộng thử nghiệm trên các bộ dữ liệu khác, và phát triển các kỹ thuật học sâu nâng cao để nâng cao khả năng tổng quát hóa của mô hình.