Nghiên cứu Luận văn Thạc sĩ: LCCycleGAN trong điều chỉnh độ sáng ảnh để tăng cường dữ liệu

• Tác giả: Phan Tấn Phúc
• Người hướng dẫn: Tiến Sĩ Nguyễn Đức Dũng
• Trường học: Trường Đại Học Bách Khoa Tp.Hồ Chí Minh
• Chuyên ngành: Khoa Khoa Học và Kỹ Thuật Máy Tính
• Đề tài: Tăng cường Dữ Liệu Ảnh Với LCCycleGAN: Nghiên Cứu Thạc Sĩ Khoa Học Máy Tính
• Loại tài liệu: thesis
• Năm xuất bản: 2021
• Địa điểm: Hồ Chí Minh

• Lời cảm ơn
• Lời cam đoan
• 1. Chương 1: Giới thiệu
• 1.1. Giới thiệu đề tài
• 1.2. Lý do chọn đề tài
• 1.3. Phạm vi đề tài
• 1.4. Quá trình thực hiện
• 2. Chương 2: Công trình liên quan
• 2.1. Hệ thống mạng GAN
• 2.2. Chuyển kiểu ảnh với tập dữ liệu huấn luyện theo cặp - Pix2pix
• 2.3. Chuyển kiểu ảnh với tập dữ liệu huấn luyện không theo cặp - CycleGAN
• 2.4. Chuyển kiểu ảnh sử dụng mạng học sâu
• 3. Chương 3: Mô hình đề xuất
• 3.1. Tổng quan
• 3.2. Cấu trúc của hệ thống LCcycleGAN
• 3.2.1. Thành phần cơ sở từ CycleGAN
• 3.2.2. Thành phần cải tiến
• 3.2.3. Luồng chạy của LCcycleGAN
• 4. Chương 4: Hiện thực
• 4.1. Chuẩn bị dữ liệu
• 5. Chương 5: Đánh giá
• 5.1. Đánh giá định tính
• 5.2. Đánh giá định lượng
• 6. Chương 6: Tổng kết
• 6.1. Kết luận
• 6.2. Đánh giá ưu, nhược điểm
• 6.2.1. Nhược điểm
• 6.3. Hướng phát triển trong tương lai
• Tài liệu

I. Giới thiệu

Luận văn này nghiên cứu về tăng cường dữ liệu ảnh thông qua mô hình LCCycleGAN, một hệ thống mạng học sâu. Mục tiêu chính của nghiên cứu là tạo ra khả năng chuyển đổi ảnh từ ban ngày sang ban đêm và ngược lại, nhằm tăng cường dữ liệu hình ảnh cho các bài toán phát hiện vật thể. Trong bối cảnh công nghệ học sâu và trí tuệ nhân tạo ngày càng phát triển, việc tối ưu hóa dữ liệu huấn luyện trong các điều kiện khắc nghiệt là rất quan trọng. Nghiên cứu này không chỉ cung cấp giải pháp cho bài toán cụ thể mà còn mở ra hướng đi mới trong việc ứng dụng CycleGAN cho các bài toán khác nhau trong lĩnh vực khoa học máy tính.

1.1. Lý do chọn đề tài

Sự phát triển của thị giác máy tính đã cho phép giải quyết nhiều vấn đề trong cuộc sống hàng ngày. Tuy nhiên, việc thiếu dữ liệu trong các điều kiện khắc nghiệt, như ánh sáng yếu vào ban đêm, đã tạo ra thách thức lớn cho các mô hình học máy. Nghiên cứu này được khởi nguồn từ nhu cầu thực tế trong việc nhận diện biển báo giao thông vào ban đêm tại Việt Nam, nơi mà dữ liệu huấn luyện cho các tình huống này rất hạn chế. Mục tiêu là xây dựng một hệ thống có khả năng tăng cường hình ảnh, từ đó giúp các mô hình hoạt động hiệu quả hơn trong mọi điều kiện ánh sáng.

II. Công trình liên quan

Chương này tổng hợp các nghiên cứu trước đây liên quan đến CycleGAN và các mô hình học sâu khác. CycleGAN đã cho thấy khả năng chuyển đổi giữa các kiểu ảnh mà không cần dữ liệu huấn luyện theo cặp. Điều này có nghĩa là mô hình có thể học từ hai tập dữ liệu không liên quan, giúp giảm thiểu chi phí trong việc thu thập và gán nhãn dữ liệu. Nghiên cứu cũng chỉ ra rằng các mô hình như Pix2pix yêu cầu dữ liệu theo cặp, điều này làm cho việc thu thập dữ liệu trở nên khó khăn hơn. Sự phát triển của các mô hình như LCCycleGAN không chỉ cải thiện khả năng chuyển đổi kiểu ảnh mà còn giúp tăng cường dữ liệu hình ảnh trong các tình huống thực tế, mở ra nhiều ứng dụng mới trong khoa học máy tính.

2.1. Hệ thống mạng GAN

Hệ thống GAN (Generative Adversarial Network) đã trở thành một trong những phương pháp chủ đạo trong việc tạo ra hình ảnh mới. GAN hoạt động dựa trên cơ chế đối kháng giữa hai mạng: một mạng sinh và một mạng phân biệt. Mạng sinh tạo ra hình ảnh mới, trong khi mạng phân biệt đánh giá tính chân thực của hình ảnh đó. Thông qua quá trình huấn luyện, hai mạng này cải thiện lẫn nhau, giúp tạo ra hình ảnh có chất lượng cao hơn. Tuy nhiên, việc huấn luyện GAN có thể gặp nhiều khó khăn, đặc biệt trong việc hội tụ và duy trì chất lượng hình ảnh. Những thách thức này đã dẫn đến sự phát triển của các mô hình cải tiến như CycleGAN, giúp giải quyết vấn đề chuyển đổi kiểu ảnh mà không cần dữ liệu theo cặp.

III. Mô hình đề xuất LCCycleGAN

Mô hình LCCycleGAN được đề xuất trong nghiên cứu này nhằm cải thiện khả năng chuyển đổi giữa các kiểu ảnh. Mô hình này không chỉ kế thừa những ưu điểm của CycleGAN mà còn tích hợp các cải tiến để tối ưu hóa quá trình chuyển đổi. Cụ thể, LCCycleGAN sử dụng hai hàm ánh xạ để đảm bảo rằng hình ảnh sau khi chuyển đổi từ kiểu này sang kiểu khác vẫn giữ được cấu trúc nguyên bản. Điều này giúp giảm thiểu độ sai lệch giữa ảnh đầu vào và đầu ra, đồng thời tăng cường khả năng nhận diện cho các bài toán phát hiện vật thể trong điều kiện ánh sáng yếu. Mô hình này đã chứng minh được hiệu quả qua các thử nghiệm thực tế, cho thấy khả năng tăng cường dữ liệu hình ảnh một cách hiệu quả.

3.1. Cấu trúc của LCCycleGAN

Cấu trúc của LCCycleGAN bao gồm hai mạng sinh và hai mạng phân biệt, tương tự như CycleGAN. Tuy nhiên, mô hình này đã được cải tiến để tối ưu hóa quá trình ánh xạ giữa các kiểu ảnh. Các thành phần của mô hình được thiết kế để tối ưu hóa hàm mất mát, từ đó nâng cao chất lượng hình ảnh sinh ra. Qua các thí nghiệm, mô hình đã cho thấy khả năng chuyển đổi hình ảnh giữa ban ngày và ban đêm với độ chân thực cao, mở ra hướng đi mới cho việc ứng dụng trong lĩnh vực thị giác máy tính.

IV. Đánh giá và thực nghiệm

Chương này trình bày các kết quả đánh giá mô hình LCCycleGAN thông qua các phương pháp định tính và định lượng. Qua các thử nghiệm thực tế, mô hình đã cho thấy khả năng sinh ra hình ảnh có chất lượng cao, gần giống với ảnh gốc. Đặc biệt, khả năng nhận diện biển báo giao thông trong điều kiện ánh sáng yếu đã được cải thiện rõ rệt nhờ vào việc sử dụng LCCycleGAN. Điều này chứng minh rằng mô hình không chỉ có giá trị lý thuyết mà còn có ứng dụng thực tiễn trong việc phát triển các hệ thống thị giác máy tính hiện đại.

4.1. Kết quả thực nghiệm

Kết quả thực nghiệm cho thấy rằng LCCycleGAN có khả năng tạo ra hình ảnh với độ chân thực cao, đồng thời cải thiện khả năng nhận diện trong điều kiện ánh sáng yếu. Các chỉ số đánh giá cho thấy mô hình hoạt động hiệu quả hơn so với các phương pháp trước đây như Pix2pix và CycleGAN. Điều này không chỉ giúp giảm thiểu chi phí thu thập dữ liệu mà còn nâng cao độ chính xác trong các bài toán nhận diện, mở ra nhiều cơ hội ứng dụng trong thực tế.

Tổng quan nghiên cứu

Trong bối cảnh phát triển mạnh mẽ của trí tuệ nhân tạo và thị giác máy tính thế kỷ 21, việc xây dựng các hệ thống nhận diện vật thể trong điều kiện ánh sáng khắc nghiệt như ban đêm vẫn còn nhiều thách thức. Theo ước tính, các hệ thống nhận diện hiện tại thường hoạt động hiệu quả trong điều kiện ánh sáng ban ngày nhưng giảm mạnh hiệu suất khi gặp ảnh chụp vào ban đêm hoặc trong điều kiện thiếu sáng. Vấn đề này đặc biệt nghiêm trọng trong các ứng dụng như xe tự hành, nơi mà sự sai sót có thể dẫn đến hậu quả nghiêm trọng. Mục tiêu nghiên cứu của luận văn là phát triển một hệ thống tăng cường dữ liệu bằng cách chuyển đổi ảnh ban ngày sang ban đêm và ngược lại, nhằm cải thiện khả năng nhận diện vật thể trong điều kiện ánh sáng đa dạng. Phạm vi nghiên cứu tập trung vào ảnh thu thập từ camera hành trình trên các tuyến đường phố Việt Nam trong khoảng thời gian gần đây, với dữ liệu bao gồm hơn 38.000 ảnh ban ngày và ban đêm. Ý nghĩa của nghiên cứu được thể hiện qua việc nâng cao độ chính xác của các mô hình phát hiện vật thể, đặc biệt là trong điều kiện ánh sáng yếu, góp phần thúc đẩy ứng dụng trí tuệ nhân tạo trong giao thông thông minh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết chính: mạng đối kháng sinh (GAN) và chuyển đổi kiểu ảnh không theo cặp (CycleGAN). GAN là mô hình học sâu gồm hai mạng sinh và phân biệt đối đầu nhau nhằm tạo ra ảnh giả có phân phối gần với ảnh thật. CycleGAN mở rộng GAN bằng cách sử dụng hai hàm ánh xạ ngược chiều, đảm bảo tính nhất quán chu trình, giúp chuyển đổi ảnh giữa hai miền mà không cần dữ liệu huấn luyện theo cặp. Ba khái niệm trọng tâm bao gồm:

• Mạng sinh (Generator): tạo ảnh mới dựa trên ảnh đầu vào và điều kiện mức sáng.
• Mạng phân biệt (Discriminator): phân biệt ảnh thật và ảnh giả để cải thiện chất lượng ảnh sinh.
• Vector histogram mức sáng: đại diện phân phối mức sáng của ảnh, được sử dụng làm điều kiện đầu vào cho mạng sinh nhằm điều chỉnh độ sáng ảnh đầu ra.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là tập VNstreetcam1 gồm 38.917 ảnh thu thập từ 42 video camera hành trình tại các tuyến đường phố Việt Nam, chia thành 18.946 ảnh ban ngày và 19.971 ảnh ban đêm. Tập VNstreetcam2 gồm khoảng 10.000 ảnh được gắn nhãn bounding box cho các phương tiện giao thông lớn như ô tô, xe tải, xe bus, dùng để đánh giá mô hình phát hiện vật thể. Phương pháp phân tích bao gồm xây dựng mô hình LCcycleGAN - sự kết hợp giữa CycleGAN và GAN có điều kiện, cho phép điều chỉnh mức sáng ảnh đầu ra thông qua vector histogram. Quá trình huấn luyện sử dụng thuật toán Adam với hệ số học 0, tối ưu bộ nhớ bằng cách tận dụng ảnh đầu vào làm điều kiện cho nhánh huấn luyện đối nghịch. Timeline nghiên cứu trải dài từ thu thập dữ liệu, xây dựng mô hình, huấn luyện đến đánh giá định tính và định lượng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Khả năng điều chỉnh mức sáng ảnh đầu ra: LCcycleGAN cho phép sinh ảnh với nhiều mức sáng khác nhau dựa trên vector histogram điều kiện, thể hiện qua các ảnh đầu ra có độ sáng biến đổi rõ rệt, trong khi các mô hình chuyển kiểu ảnh học sâu khác chỉ tạo ra ảnh nhợt nhạt hoặc không rõ ràng về thời điểm trong ngày.
2. Tăng cường dữ liệu hiệu quả: Khi huấn luyện mạng YoloV3 với tập dữ liệu tăng cường bằng LCcycleGAN, độ chính xác trung bình (AP) trong phát hiện phương tiện giao thông tăng từ 0.1375 lên 0.3844 trong trường hợp chỉ có ảnh ban ngày ban đầu, vượt trội hơn so với tăng cường bằng CycleGAN nguyên gốc.
3. Hiệu suất phát hiện vật thể ổn định: LCcycleGAN không làm giảm độ chính xác phát hiện vật thể trong ảnh ban ngày, ngược lại còn cải thiện đáng kể so với mô hình không tăng cường hoặc tăng cường bằng CycleGAN.
4. Tốc độ sinh ảnh nhanh: LCcycleGAN có thể sinh khoảng 13 ảnh mỗi giây trên cấu hình máy tính tiêu chuẩn, nhanh hơn nhiều so với các phương pháp chuyển kiểu ảnh học sâu truyền thống mất khoảng 40 giây cho một ảnh.

Thảo luận kết quả

Nguyên nhân chính của sự cải thiện là do LCcycleGAN kết hợp thành công ưu điểm của CycleGAN và GAN có điều kiện, cho phép huấn luyện trên dữ liệu không theo cặp đồng thời điều chỉnh được mức sáng ảnh đầu ra. So với các nghiên cứu trước đây, LCcycleGAN khắc phục được hạn chế về yêu cầu dữ liệu theo cặp và khả năng điều chỉnh ánh sáng linh hoạt. Việc sử dụng vector histogram mức sáng làm điều kiện đầu vào giúp mô hình học được phân phối ánh sáng đặc trưng của từng thời điểm trong ngày, từ đó tạo ra ảnh sinh có tính chân thực cao hơn. Kết quả có thể được trình bày qua biểu đồ so sánh độ chính xác AP của YoloV3 trên các tập dữ liệu khác nhau, cũng như bảng thống kê tốc độ sinh ảnh và chất lượng ảnh đầu ra. Tuy nhiên, ảnh sinh ra vẫn còn hiện tượng nhòe và một số vật thể bị mờ, cần cải tiến thêm trong tương lai.

Đề xuất và khuyến nghị

1. Mở rộng hàm trích xuất đặc trưng điều kiện: Thử nghiệm thêm các hàm trích xuất đặc trưng khác ngoài histogram mức sáng như histogram kênh màu khác, phân bố màu sắc hoặc đặc trưng vật thể để tăng tính đa dạng và chính xác của ảnh sinh.
2. Phát triển cơ chế kiểm tra chất lượng ảnh sinh: Xây dựng hệ thống kiểm tra tự động để đảm bảo vật thể gốc vẫn được giữ nguyên trong ảnh tăng cường, giảm thiểu nhiễu và ảnh mờ gây ảnh hưởng đến quá trình huấn luyện mạng phát hiện vật thể.
3. Cải thiện chuyển đổi ảnh từ tối sang sáng: Tập trung nghiên cứu và tối ưu hóa mô hình để nâng cao chất lượng ảnh sinh trong điều kiện ánh sáng yếu, khắc phục hiện tượng nhòe và mất chi tiết vật thể.
4. Triển khai ứng dụng thực tế và mở rộng dữ liệu: Áp dụng LCcycleGAN vào các hệ thống nhận diện vật thể trong giao thông thông minh tại Việt Nam và các khu vực có điều kiện ánh sáng phức tạp, đồng thời mở rộng tập dữ liệu với các điều kiện thời tiết khác nhau để nâng cao tính ứng dụng.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và phát triển AI trong thị giác máy tính: Có thể áp dụng mô hình LCcycleGAN để cải thiện chất lượng dữ liệu huấn luyện, đặc biệt trong các bài toán nhận diện vật thể dưới điều kiện ánh sáng đa dạng.
2. Chuyên gia phát triển hệ thống xe tự hành: Nghiên cứu giải pháp tăng cường dữ liệu nhằm nâng cao độ chính xác nhận diện vật thể trong điều kiện ban đêm hoặc thiếu sáng, giảm thiểu rủi ro tai nạn.
3. Nhà quản lý dự án công nghệ giao thông thông minh: Tham khảo phương pháp tăng cường dữ liệu hiệu quả, tiết kiệm chi phí thu thập và gắn nhãn dữ liệu thực tế trong các dự án phát triển hệ thống giám sát và điều khiển giao thông.
4. Sinh viên và học viên cao học chuyên ngành khoa học máy tính, trí tuệ nhân tạo: Học tập mô hình kết hợp GAN và CycleGAN có điều kiện, phương pháp huấn luyện và đánh giá mô hình trong thực tế, từ đó phát triển các đề tài nghiên cứu liên quan.

Câu hỏi thường gặp

1. LCcycleGAN khác gì so với CycleGAN truyền thống?
   LCcycleGAN bổ sung điều kiện mức sáng dưới dạng vector histogram vào mạng sinh, cho phép điều chỉnh độ sáng ảnh đầu ra linh hoạt, trong khi CycleGAN chỉ tạo ảnh với mức sáng cố định và không thể tùy chỉnh.

2. Tại sao cần tăng cường dữ liệu bằng chuyển đổi ảnh ngày - đêm?
   Dữ liệu ban đêm thường rất hạn chế và khó thu thập, việc chuyển đổi ảnh ngày sang đêm giúp tạo thêm dữ liệu huấn luyện đa dạng, cải thiện khả năng nhận diện vật thể trong điều kiện ánh sáng yếu.

3. Phương pháp huấn luyện LCcycleGAN có yêu cầu dữ liệu theo cặp không?
   Không, LCcycleGAN được thiết kế để huấn luyện trên dữ liệu không theo cặp, phù hợp với thực tế khi dữ liệu ảnh ngày và đêm không có ảnh tương ứng chính xác.

4. Hiệu quả của LCcycleGAN được đánh giá như thế nào?
   Hiệu quả được đánh giá qua độ chính xác trung bình (AP) của mạng YoloV3 trong phát hiện phương tiện giao thông, với kết quả tăng từ 0.1375 lên 0.3844 khi sử dụng dữ liệu tăng cường bằng LCcycleGAN.

5. LCcycleGAN có thể áp dụng cho các bài toán chuyển đổi kiểu ảnh khác không?
   Có, với việc mở rộng các hàm trích xuất đặc trưng điều kiện, LCcycleGAN có thể được điều chỉnh để chuyển đổi giữa nhiều kiểu ảnh khác nhau, không chỉ giới hạn ở chuyển đổi ngày - đêm.

Kết luận

• Đã đề xuất thành công mô hình LCcycleGAN, kết hợp CycleGAN và GAN có điều kiện, cho phép chuyển đổi ảnh ngày - đêm với điều chỉnh mức sáng linh hoạt.
• Xây dựng và sử dụng tập dữ liệu VNstreetcam gồm gần 39.000 ảnh ban ngày và ban đêm, phục vụ huấn luyện và đánh giá mô hình.
• LCcycleGAN giúp tăng đáng kể độ chính xác phát hiện vật thể của mạng YoloV3, vượt trội hơn so với các phương pháp tăng cường dữ liệu truyền thống.
• Mô hình có tốc độ sinh ảnh nhanh, phù hợp với ứng dụng thực tế và không đòi hỏi hạ tầng máy tính quá mạnh.
• Hướng phát triển tiếp theo bao gồm mở rộng hàm trích xuất đặc trưng, cải thiện chất lượng ảnh sinh và phát triển cơ chế kiểm tra ảnh tăng cường.

Next steps: Tiếp tục thử nghiệm các đặc trưng điều kiện mới, hoàn thiện mô hình để giảm hiện tượng nhòe ảnh, triển khai ứng dụng thực tế trong hệ thống xe tự hành và giao thông thông minh.

Call-to-action: Các nhà nghiên cứu và phát triển công nghệ thị giác máy tính được khuyến khích áp dụng và mở rộng mô hình LCcycleGAN trong các dự án tăng cường dữ liệu và chuyển đổi kiểu ảnh đa dạng.