Phân đoạn hình ảnh ngữ nghĩa trong điều kiện tối với phương pháp thích ứng miền

• Tác giả: Nguyen Thanh Danh
• Người hướng dẫn: PhD. Nguyen Vinh Tiep
• Trường học: Vietnam National University Ho Chi Minh City University of Information Technology
• Chuyên ngành: Computer Science
• Đề tài: Semantic Image Segmentation In The Dark With Domain Adaptation Method
• Loại tài liệu: Thesis
• Năm xuất bản: 2021
• Địa điểm: Ho Chi Minh City

• Acknowledgement
• ABSTRACT
• 1. CHƯƠNG 1: INTRODUCTION
• 1.1. Practical Context
• 1.2. Problem Definition
• 2. CHƯƠNG 2: RELATED WORK
• 2.1. Fundamental Knowledge in Convolutional Neural Network
• 2.2. Semantic Image Segmentation
• 2.2.1. Overview of Semantic Image Segmentation
• 2.2.2. Fully Convolutional Networks
• 2.2.3. Pyramid Scene Parsing Network
• 2.2.4. Google DeepLab Family
• 2.3. Generative Adversarial Network
• 2.3.1. Overview of Generative Adversarial Network
• 2.3.2. Conditional Generative Adversarial Network
• 2.3.3. Pix2Pix
• 2.3.4. CycleGAN
• 2.3.5. Image Domain Adaptation
• 3. CHƯƠNG 3: PROPOSED FRAMEWORK
• 3.1. GAN-based Image Translation Component
• 3.1.1. Variational Autoencoders-GAN
• 3.1.2. Perceptual loss maintains the semantic features
• 3.2. Semantic Image Segmentation with Self-training Strategy
• 3.2.1. Panoptic Feature Pyramid Networks
• 3.2.2. Proposed Loss Function
• 3.2.3. Our Self-training Method
• 4. CHƯƠNG 4: EXPERIMENTS
• 4.1. Datasets for Image Domain Translation
• 4.2. Datasets for Semantic Image Segmentation
• 4.2.1. Nighttime Driving Testset
• 4.2.2. Extra Unlabeled Data Selection
• 4.3. Day2Night Image Domain Translation Component
• 4.3.1. With Perceptual Loss Refinement Results
• 4.4. Semantic Image Segmentation Component
• 4.4.1. Daytime Cityscapes Images Training
• 4.4.2. Daytime and Nighttime Images Training
• 4.4.3. Daytime and Nighttime Images Training with Perceptual Loss for Image Translation Module
• 4.4.4. Only-night Images Training with Perceptual Loss for Image Translation Module
• 4.4.5. Daytime and Nighttime Images Training with Focal Loss
• 4.4.6. Daytime and Nighttime Images Training with FID-based Method for Extra Unlabeled Data
• 4.5. Lessons from Series of Experiments
• 4.5.1. Improving GAN-based Method
• 4.5.2. Improving Semantic Image Segmentation Component
• Publication
• References

I. Tổng quan về phân đoạn hình ảnh ngữ nghĩa trong điều kiện tối

Phân đoạn hình ảnh ngữ nghĩa là một nhiệm vụ quan trọng trong lĩnh vực thị giác máy tính. Nhiệm vụ này giúp máy tính hiểu và phân loại các đối tượng trong hình ảnh. Trong điều kiện tối, việc thực hiện phân đoạn này trở nên khó khăn hơn do thiếu ánh sáng và độ tương phản thấp. Nghiên cứu gần đây đã chỉ ra rằng các phương pháp truyền thống không đạt hiệu suất cao trong điều kiện này. Do đó, việc áp dụng các phương pháp mới như thích ứng miền là cần thiết để cải thiện kết quả.

1.1. Định nghĩa phân đoạn hình ảnh ngữ nghĩa

Phân đoạn hình ảnh ngữ nghĩa là quá trình phân chia hình ảnh thành các vùng có ý nghĩa khác nhau. Mỗi pixel trong hình ảnh được gán một nhãn tương ứng với đối tượng mà nó thuộc về. Điều này rất quan trọng trong nhiều ứng dụng như xe tự lái và y tế.

1.2. Tầm quan trọng của phân đoạn hình ảnh trong điều kiện tối

Trong điều kiện tối, việc phân đoạn hình ảnh trở nên khó khăn hơn do ánh sáng yếu. Điều này ảnh hưởng đến khả năng nhận diện và phân loại đối tượng. Các nghiên cứu đã chỉ ra rằng hiệu suất của các mô hình phân đoạn hình ảnh giảm đáng kể trong điều kiện này.

II. Thách thức trong phân đoạn hình ảnh ngữ nghĩa vào ban đêm

Một trong những thách thức lớn nhất trong phân đoạn hình ảnh ngữ nghĩa vào ban đêm là sự thiếu hụt dữ liệu hình ảnh đã được chú thích. Hầu hết các bộ dữ liệu hiện có chủ yếu tập trung vào hình ảnh ban ngày. Điều này dẫn đến việc các mô hình học được không thể hoạt động hiệu quả trong điều kiện tối. Ngoài ra, sự khác biệt về ánh sáng và màu sắc giữa hai miền cũng gây khó khăn cho việc áp dụng các mô hình đã được huấn luyện.

2.1. Thiếu hụt dữ liệu hình ảnh đã chú thích

Việc thiếu hụt dữ liệu hình ảnh đã chú thích cho điều kiện tối là một vấn đề lớn. Các bộ dữ liệu hiện có thường không đủ để huấn luyện các mô hình phân đoạn hình ảnh hiệu quả. Điều này dẫn đến việc các mô hình không thể nhận diện chính xác các đối tượng trong hình ảnh tối.

2.2. Sự khác biệt giữa hình ảnh ban ngày và ban đêm

Hình ảnh ban đêm thường có độ tương phản thấp và màu sắc không rõ ràng. Điều này làm cho các mô hình phân đoạn hình ảnh gặp khó khăn trong việc phân loại chính xác các đối tượng. Sự khác biệt này cần được xem xét khi phát triển các phương pháp mới.

III. Phương pháp thích ứng miền cho phân đoạn hình ảnh ngữ nghĩa

Phương pháp thích ứng miền là một giải pháp tiềm năng để cải thiện hiệu suất phân đoạn hình ảnh trong điều kiện tối. Bằng cách sử dụng mạng đối kháng sinh điều kiện (GAN), có thể chuyển đổi hình ảnh từ miền ban ngày sang miền ban đêm. Điều này giúp tạo ra dữ liệu hình ảnh đã chú thích cho điều kiện tối, từ đó cải thiện khả năng phân đoạn của mô hình.

3.1. Giới thiệu về mạng đối kháng sinh điều kiện GAN

Mạng đối kháng sinh điều kiện (GAN) là một phương pháp mạnh mẽ trong việc tạo ra hình ảnh mới từ dữ liệu đã có. GAN có thể được sử dụng để chuyển đổi hình ảnh ban ngày thành hình ảnh ban đêm, giúp tạo ra dữ liệu cho việc huấn luyện mô hình phân đoạn.

3.2. Ứng dụng của GAN trong phân đoạn hình ảnh

GAN có thể được áp dụng để tạo ra hình ảnh ban đêm từ hình ảnh ban ngày, từ đó cung cấp dữ liệu cho mô hình phân đoạn. Việc này giúp cải thiện độ chính xác của mô hình trong điều kiện tối, nơi mà dữ liệu thực tế rất hạn chế.

IV. Kết quả nghiên cứu và ứng dụng thực tiễn

Nghiên cứu đã chỉ ra rằng việc áp dụng phương pháp thích ứng miền có thể cải thiện đáng kể hiệu suất phân đoạn hình ảnh trong điều kiện tối. Các thử nghiệm cho thấy mô hình có thể phân loại chính xác hơn các đối tượng trong hình ảnh ban đêm. Điều này mở ra nhiều cơ hội ứng dụng trong các lĩnh vực như xe tự lái và giám sát an ninh.

4.1. Kết quả thử nghiệm với mô hình phân đoạn

Các thử nghiệm cho thấy mô hình phân đoạn sử dụng phương pháp thích ứng miền đạt được độ chính xác cao hơn so với các mô hình truyền thống. Điều này chứng tỏ rằng phương pháp này có thể giải quyết hiệu quả vấn đề phân đoạn hình ảnh trong điều kiện tối.

4.2. Ứng dụng trong xe tự lái

Phân đoạn hình ảnh ngữ nghĩa trong điều kiện tối có thể cải thiện khả năng nhận diện của xe tự lái. Điều này giúp xe tự lái hoạt động an toàn hơn trong môi trường tối, giảm thiểu rủi ro tai nạn.

V. Kết luận và triển vọng tương lai

Phân đoạn hình ảnh ngữ nghĩa trong điều kiện tối với phương pháp thích ứng miền là một lĩnh vực nghiên cứu đầy tiềm năng. Các kết quả đạt được cho thấy rằng có thể cải thiện đáng kể hiệu suất phân đoạn trong điều kiện tối. Tương lai, cần tiếp tục nghiên cứu để phát triển các phương pháp mới và tối ưu hóa các mô hình hiện có.

5.1. Tương lai của phân đoạn hình ảnh ngữ nghĩa

Nghiên cứu trong lĩnh vực phân đoạn hình ảnh ngữ nghĩa sẽ tiếp tục phát triển, đặc biệt là trong điều kiện tối. Các phương pháp mới sẽ được phát triển để cải thiện độ chính xác và hiệu suất của các mô hình.

5.2. Hướng nghiên cứu tiếp theo

Hướng nghiên cứu tiếp theo có thể tập trung vào việc cải thiện các phương pháp thích ứng miền và phát triển các bộ dữ liệu hình ảnh đã chú thích cho điều kiện tối. Điều này sẽ giúp nâng cao khả năng phân đoạn hình ảnh trong các ứng dụng thực tiễn.