Phát hiện đối tượng trong ảnh không mờ dựa trên học sâu

Luận văn: Phát hiện đối tượng trong ảnh không gian sương mù bằng học sâu. Nghiên cứu ứng dụng học sâu để cải thiện độ chính xác nhận diện trong điều kiện thời tiết xấu.

• Tác giả: Trần Tuấn Minh
• Người hướng dẫn: TS. Nguyễn Tấn Trần Minh Khang
• Trường học: Trường Đại học Công nghệ Thông tin
• Chuyên ngành: Công Nghệ Phần Mềm
• Đề tài: Phát hiện đối tượng trong không ảnh chứa sương mờ dựa trên học sâu
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2022
• Địa điểm: Tp. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT KHÓA LUẬN
• DANH MỤC HÌNH
• DANH MỤC BẢNG
• DANH MỤC TỪ VIẾT TẮT
• 1. CHƯƠNG 1: TỔNG QUAN ĐỀ TÀI
• 1.1. Động lực nghiên cứu
• 1.2. Phát biểu bài toán
• 1.3. Các thách thức
• 1.4. Mục tiêu và phạm vi nghiên cứu
• 1.5. Đóng góp khóa luận
• 1.6. Cấu trúc báo cáo khóa luận
• 2. CHƯƠNG 2: CÁC NGHIÊN CỨU LIÊN QUAN
• 2.1. Phát hiện đối tượng
• 2.2. Phân loại thuật toán phát hiện đối tượng
• 2.3. Phương pháp rút trích đặc trưng ảnh dựa trên học sâu
• 2.3.1. Mạng học sâu – DNN
• 2.3.2. Convolutional Neural Network - CNN
• 2.3.2.1. Tầng tích chập (Convolution layer)
• 2.3.2.2. Tầng tổng hợp (Pooling layer)
• 2.3.2.3. Tầng liên kết đầy đủ (Fully connected layer)
• 2.4. Các phương pháp phát hiện đối tượng liên quan
• 2.5. Phương pháp khử sương mờ
• 2.5.1. Khử sương mờ đơn ảnh
• 2.5.2. Feature Fusion Attention Network (FFA-Net)
• 2.5.2.1. Basic Block Structure
• 2.5.2.2. Feature Fusion Attention
• 3. CHƯƠNG 3: XÂY DỰNG BỘ DỮ LIỆU PHÁT HIỆN ĐỐI TƯỢNG TRONG KHÔNG ẢNH CHỨA SƯƠNG MỜ
• 3.1. Khảo sát bộ dữ liệu
• 3.2. Lý do xây dựng bộ dữ liệu
• 3.3. Bộ dữ liệu UIT-Drone21
• 3.3.1. Tổng quan về bộ dữ liệu UIT-Drone21
• 3.3.2. Định dạng nhãn dữ liệu của bộ dữ liệu UIT-Drone21
• 3.4. Quy trình tạo sương mờ cho ảnh
• 3.5. Phân tích bộ dữ liệu
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. Dữ liệu thực nghiệm
• 4.1.1. Mô tả cơ bản
• 4.1.2. Mô tả chi tiết
• 4.2. Mô tả thực nghiệm
• 4.2.1. Mô tả quy trình thực nghiệm
• 4.2.2. Cấu hình thực nghiệm
• 4.3. Phương pháp đánh giá
• 4.3.1. Intersection over Union (IoU)
• 4.3.2. Mean Average Precision (mAP)
• 4.4. Kết quả thực nghiệm và đánh giá
• 4.4.1. Kết quả thực nghiệm
• 4.4.2. Trực quan hóa kết quả
• 4.4.3. Đánh giá kết quả
• 5. CHƯƠNG 5: ĐỀ XUẤT CẢI TIẾN VÀ ĐÁNH GIÁ KẾT QUẢ
• 5.1. Đề xuất cải tiến kết quả phát hiện đối tượng trong không chứa sương mờ
• 5.1.1. Cross Entropy Loss
• 5.2. Đánh giá kết quả đề xuất
• 5.2.1. Kết quả đề xuất
• 5.2.2. Trực quan hóa kết quả
• 5.2.3. Đánh giá kết quả
• 5.3. Ứng dụng Phát hiện đối tượng trong không ảnh chứa sương mờ
• 5.3.1. Phân tích thiết kế
• 5.3.1.1. Thiết kế usecase
• 5.3.1.2. Thiết kế user-flow
• 5.3.1.3. Thiết kế kiến trúc
• 5.3.1.4. Thiết kế giao diện
• 5.3.2. Cài đặt và kiểm thử
• 6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 6.1. Hướng phát triển
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC A – BÀI BÁO
• PHỤ LỤC B – HƯỚNG DẪN CÀI ĐẶT

Tóm tắt

I. Khám phá Phát hiện đối tượng ảnh mờ bằng học sâu Tổng quan toàn diện

Trong bối cảnh công nghệ thị giác máy tính phát triển vượt bậc, phát hiện đối tượng ảnh mờ bằng học sâu nổi lên như một lĩnh vực nghiên cứu đầy tiềm năng và mang tính ứng dụng cao. Đây là một bài toán phức tạp, đòi hỏi khả năng nhận diện chính xác các vật thể ngay cả khi hình ảnh đầu vào bị suy giảm chất lượng nghiêm trọng do các yếu tố môi trường. Các ứng dụng thực tế của nhận dạng đối tượng ảnh mờ rất đa dạng, từ giám sát an ninh, theo dõi giao thông đến hỗ trợ xe tự lái, cứu hộ thiên tai, nơi mà điều kiện thu thập ảnh thường không lý tưởng. Việc học sâu phát hiện đối tượng đã cách mạng hóa cách tiếp cận vấn đề này, thay thế các phương pháp truyền thống bằng các mô hình mạnh mẽ hơn, có khả năng học hỏi và trích xuất đặc trưng hiệu quả từ dữ liệu hình ảnh phức tạp. Nhu cầu về một hệ thống có thể hoạt động ổn định trong mọi điều kiện thời tiết khắc nghiệt như sương mù, khói bụi, hoặc ánh sáng yếu là động lực chính thúc đẩy sự phát triển của công nghệ này. Sự hiện diện của sương mờ, khói bụi trực tiếp làm giảm độ nét, độ tương phản và sai lệch màu sắc của hình ảnh, gây ra những thách thức đáng kể cho các thuật toán phát hiện đối tượng thông thường. Khóa luận của Trần Tuấn Minh (2022) tại Đại học Công nghệ Thông tin, Đại học Quốc gia TP.HCM, đã làm nổi bật tầm quan trọng của việc giải quyết bài toán phát hiện đối tượng trong không ảnh chứa sương mờ dựa trên học sâu, đặc biệt trong bối cảnh không ảnh từ UAV. Nghiên cứu này nhấn mạnh sự cần thiết của các phương pháp tiên tiến để xử lý dữ liệu ảnh kém chất lượng, nơi các vật thể có thể bị che khuất hoặc biến dạng, dẫn đến kết quả phát hiện thấp. Từ đó, vai trò của Deep Learning cho ảnh mờ được khẳng định, không chỉ trong việc cải thiện độ chính xác mà còn mở ra những khả năng mới cho các ứng dụng thông minh trong cuộc sống hàng ngày. Các mô hình học máy trong xử lý ảnh mờ liên tục được nghiên cứu và tối ưu, hướng tới việc tạo ra các giải pháp robust, đáp ứng yêu cầu khắt khe của môi trường thực tế. Đây không chỉ là một vấn đề kỹ thuật mà còn là một cơ hội lớn để tạo ra những giá trị mới cho cộng đồng và xã hội.

1.1. Tầm quan trọng của nhận dạng đối tượng ảnh mờ trong kỷ nguyên AI

Nhận dạng đối tượng ảnh mờ đóng vai trò then chốt trong nhiều lĩnh vực công nghệ hiện đại. Trong kỷ nguyên trí tuệ nhân tạo (AI), khả năng hiểu và phân tích hình ảnh không chỉ dừng lại ở các bức ảnh rõ nét. Thực tế, dữ liệu hình ảnh thường xuyên bị ảnh hưởng bởi các yếu tố như thời tiết xấu, chuyển động nhanh, hoặc chất lượng camera kém. Do đó, các hệ thống cần có khả năng xử lý ảnh mờ bằng AI để duy trì hiệu suất. Theo Trần Tuấn Minh (2022), các ứng dụng như giám sát giao thông hay tự động hóa phương tiện giao thông rất cần khả năng này. Việc bỏ qua các thách thức từ ảnh mờ sẽ giới hạn đáng kể phạm vi ứng dụng của AI trong các kịch bản thực tế.

1.2. Học sâu phát hiện đối tượng và khả năng vượt trội

Học sâu phát hiện đối tượng đã chứng minh khả năng vượt trội so với các phương pháp truyền thống. Các mạng nơ-ron sâu có thể tự động học hỏi và trích xuất các đặc trưng phức tạp từ dữ liệu hình ảnh mà không cần sự can thiệp thủ công. Điều này đặc biệt quan trọng khi đối phó với phát hiện vật thể trong ảnh kém chất lượng, nơi các đặc trưng truyền thống dễ bị suy yếu. Các mô hình Deep Learning cho ảnh mờ có thể được huấn luyện trên lượng lớn dữ liệu để tăng cường khả năng chống chịu với nhiễu và mờ. Sự linh hoạt và khả năng thích nghi của học sâu giúp mở rộng đáng kể phạm vi ứng dụng của thị giác máy tính.

II. Các thách thức cốt lõi khi phát hiện vật thể trong ảnh kém chất lượng

Việc phát hiện vật thể trong ảnh kém chất lượng, đặc biệt là trong các điều kiện môi trường bất lợi, đặt ra nhiều thách thức đáng kể cho lĩnh vực thị giác máy tính. Ảnh mờ có thể xuất phát từ nhiều nguyên nhân như sương mù, khói, bụi, mưa, tuyết, rung lắc của thiết bị thu nhận, hoặc ánh sáng yếu. Các yếu tố này làm giảm nghiêm trọng độ nét, độ tương phản và sai lệch màu sắc, khiến cho các đặc trưng của đối tượng trở nên khó nhận diện. Theo khóa luận của Trần Tuấn Minh (2022), "sương mờ ảnh hưởng trực tiếp đến chất lượng của hình ảnh đầu vào, vì độ nét, độ tương phản, màu sắc… đều ảnh hưởng rất nhiều. Điều này làm cho các không ảnh đầu vào có chất lượng thấp và trong một vài trường hợp sương mờ còn che khuất các đối tượng trong ảnh và dẫn đến kết quả phát hiện thấp." Thách thức không chỉ đến từ chất lượng ảnh suy giảm mà còn từ sự đa dạng trong bối cảnh, phân bố đối tượng không đồng đều, và sự che khuất lẫn nhau của các vật thể. Điều này đòi hỏi các thuật toán học sâu phát hiện đối tượng phải có khả năng mạnh mẽ để xử lý các biến thể này. Việc phát hiện đối tượng trong điều kiện ánh sáng yếu cũng là một khía cạnh khó khăn khác, thường đi kèm với hiện tượng nhiễu và mờ. Các phương pháp truyền thống thường kém hiệu quả trong việc duy trì độ chính xác trong những môi trường này. Hơn nữa, việc xây dựng bộ dữ liệu phù hợp cho bài toán nhận dạng đối tượng ảnh mờ cũng là một rào cản. Dữ liệu thực tế bị mờ thường thiếu nhãn chính xác, trong khi việc tạo dữ liệu tổng hợp lại đòi hỏi các mô hình mô phỏng sương mờ chính xác. Mặc dù học máy trong xử lý ảnh mờ đã có những tiến bộ, việc tìm ra một thuật toán phát hiện đối tượng mạnh mẽ có thể hoạt động hiệu quả trong mọi tình huống vẫn là một mục tiêu nghiên cứu quan trọng. Các nghiên cứu hiện tại tập trung vào việc phát triển các kiến trúc mạng nơ-ron có khả năng phục hồi tốt hơn trước các nhiễu từ môi trường, nhằm nâng cao độ tin cậy của các hệ thống tự động.

2.1. Ảnh hưởng của sương mờ khói bụi đến chất lượng ảnh đầu vào

Sương mờ, khói, và bụi là những nguyên nhân chính làm giảm chất lượng ảnh đầu vào, gây ra hiện tượng mờ và làm mất đi chi tiết. Chúng tán xạ ánh sáng, làm mờ đường viền đối tượng, giảm độ tương phản và làm sai lệch màu sắc. Điều này làm cho các mô hình phát hiện đối tượng ảnh mờ bằng học sâu gặp khó khăn trong việc trích xuất các đặc trưng quan trọng. Đối tượng có thể bị che khuất một phần hoặc hoàn toàn, đặc biệt là các đối tượng nhỏ hoặc ở xa. Các thuật toán cần có cơ chế đặc biệt để xử lý sự suy giảm này, thường thông qua các bước tiền xử lý hoặc tích hợp trực tiếp khả năng chịu mờ vào kiến trúc mạng.

2.2. Khó khăn khi xử lý ảnh mờ bằng AI và dữ liệu thực tế

Khó khăn khi xử lý ảnh mờ bằng AI không chỉ nằm ở thuật toán mà còn ở khía cạnh dữ liệu. Các mô hình học sâu phát hiện đối tượng yêu cầu lượng lớn dữ liệu được gán nhãn chính xác để huấn luyện. Tuy nhiên, việc thu thập và gán nhãn cho ảnh mờ thực tế rất tốn kém và khó khăn. Dữ liệu thực tế thường không đồng nhất về mức độ mờ, điều kiện ánh sáng và góc quay, làm tăng tính phức tạp của bài toán. Thách thức cốt lõi là làm thế nào để tăng độ chính xác khi nhận dạng đối tượng ảnh mờ bị ảnh hưởng nặng nề bởi các yếu tố ngoại cảnh, như nhấn mạnh trong nghiên cứu của Trần Tuấn Minh (2022).

III. Giải pháp Deep Learning cho ảnh mờ Kiến trúc đột phá và hiệu quả

Deep Learning cho ảnh mờ đã mở ra những giải pháp đột phá, vượt qua các giới hạn của phương pháp truyền thống trong việc phát hiện đối tượng ảnh mờ bằng học sâu. Các kiến trúc mạng nơ-ron sâu có khả năng học hỏi các đặc trưng phức tạp từ dữ liệu hình ảnh bị suy giảm chất lượng, giúp cải thiện đáng kể độ chính xác của việc nhận dạng đối tượng ảnh mờ. Trong số các phương pháp tiên tiến, các mô hình như YOLO (You Only Look Once) và Faster R-CNN (Region-based Convolutional Neural Network) đóng vai trò trung tâm. YOLO nổi bật với khả năng phát hiện đối tượng thời gian thực ảnh mờ, nhờ vào cách tiếp cận single-stage, xử lý toàn bộ hình ảnh trong một lần duy nhất. Điều này làm cho nó trở thành lựa chọn ưu tiên cho các ứng dụng đòi hỏi tốc độ cao. Ngược lại, Faster R-CNN, một mô hình two-stage, thường mang lại độ chính xác cao hơn thông qua việc sử dụng Region Proposal Network (RPN) để đề xuất các vùng có khả năng chứa đối tượng trước khi phân loại. Cả hai mô hình này, cùng với SSD (Single Shot Detection) và các kiến trúc dựa trên Transformer, đều được nghiên cứu và tinh chỉnh để hoạt động hiệu quả trên dữ liệu ảnh kém chất lượng. Theo Trần Tuấn Minh (2022), việc nghiên cứu các phương pháp học sâu phát hiện đối tượng tiên tiến như Guided Anchoring, Cascade R-CNN, và Double-Head là rất quan trọng để giải quyết bài toán trong không ảnh chứa sương mờ. Mạng nơ-ron tích chập (CNN) phát hiện mờ là xương sống của hầu hết các kiến trúc Deep Learning này. Các tầng tích chập có nhiệm vụ trích xuất các đặc trưng từ thấp đến cao, từ các đường nét cơ bản đến các hình dạng phức tạp của đối tượng. Khả năng tự học các bộ lọc tối ưu của CNN là yếu tố quyết định giúp nó vượt trội trong việc xử lý ảnh mờ bằng AI. Tầng tổng hợp (Pooling layer) giúp giảm chiều dữ liệu và tăng cường khả năng chịu biến đổi, trong khi tầng liên kết đầy đủ (Fully connected layer) thực hiện phân loại cuối cùng. Việc kết hợp các tầng này một cách thông minh tạo ra một thuật toán phát hiện đối tượng mạnh mẽ, có thể đối phó với những thách thức từ ảnh mờ. Các nhà nghiên cứu tiếp tục tìm kiếm những cải tiến trong kiến trúc, hàm mất mát và kỹ thuật huấn luyện để tối ưu hiệu suất của các mô hình học sâu cho ảnh không rõ nét.

3.1. Các phương pháp học sâu phát hiện đối tượng tiên tiến YOLO Faster R CNN

Trong lĩnh vực học sâu phát hiện đối tượng, YOLO và Faster R-CNN là hai đại diện tiêu biểu. YOLO (You Only Look Once) được biết đến với tốc độ xử lý nhanh, làm cho nó lý tưởng cho các ứng dụng phát hiện đối tượng thời gian thực ảnh mờ. Nó coi bài toán phát hiện là một bài toán hồi quy duy nhất. Ngược lại, Faster R-CNN thuộc nhóm two-stage, đạt độ chính xác cao hơn bằng cách tách biệt quá trình đề xuất vùng và phân loại/hồi quy hộp giới hạn. Các mô hình này đều được điều chỉnh để hoạt động tốt với Deep Learning cho ảnh mờ, thường thông qua các kỹ thuật tiền xử lý ảnh hoặc sửa đổi kiến trúc để tăng cường khả năng trích xuất đặc trưng từ dữ liệu nhiễu. Theo Trần Tuấn Minh (2022), các phương pháp này, cùng với Guided Anchoring, Cascade R-CNN, Double-Head, là những công trình "state-of-the-art" được nghiên cứu để giải quyết bài toán khó khăn này.

3.2. Vai trò của mạng nơ ron tích chập CNN phát hiện mờ trong trích xuất đặc trưng

Mạng nơ-ron tích chập (CNN) phát hiện mờ đóng vai trò xương sống trong việc trích xuất đặc trưng từ ảnh mờ. CNN có khả năng tự động học các bộ lọc tối ưu thông qua các tầng tích chập (Convolution layer), giúp nhận diện các đường nét, kết cấu và hình dạng của đối tượng ngay cả khi chúng bị mờ hoặc che khuất. Các tầng này tạo ra các feature map, là biểu diễn nén của ảnh gốc, giàu thông tin ngữ cảnh. Tầng tổng hợp (Pooling layer) tiếp tục giảm chiều dữ liệu, giúp mô hình tập trung vào các đặc trưng quan trọng và tăng tính bất biến với các biến đổi nhỏ. Nhờ cấu trúc này, CNN là nền tảng vững chắc cho các thuật toán phát hiện đối tượng mạnh mẽ, có thể xử lý hiệu quả sự phức tạp của ảnh bị mờ. Nó là một thành phần không thể thiếu trong các mô hình học máy trong xử lý ảnh mờ.

IV. Nâng cao hiệu suất Khôi phục ảnh và phát hiện đối tượng với kỹ thuật tối ưu

Để nâng cao hiệu suất của hệ thống phát hiện đối tượng ảnh mờ bằng học sâu, việc kết hợp các kỹ thuật khôi phục ảnh và phát hiện đối tượng là một hướng đi đầy hứa hẹn. Các phương pháp khử sương mờ đóng vai trò như bước tiền xử lý quan trọng, giúp cải thiện chất lượng ảnh trước khi đưa vào các mô hình phát hiện. Theo Trần Tuấn Minh (2022), việc nghiên cứu phương pháp khử sương mờ trong không ảnh là một trong những mục tiêu chính của đề tài, nhằm cải thiện kết quả phát hiện đối tượng. Công thức ước lượng ảnh hưởng sương mờ $I(z) = J(z)t(z) + A(1-t(z))$ cung cấp cơ sở toán học cho các kỹ thuật khử sương, nơi $I(z)$ là ảnh sương mờ, $J(z)$ là ảnh không có sương mờ, $A$ là hệ số ánh sáng khí quyển và $t(z)$ là bản đồ truyền dẫn môi trường. Các phương pháp truyền thống như Dark Prior Channel gặp khó khăn khi ước lượng sai giá trị của bản đồ truyền dẫn, dẫn đến kết quả không tốt trong thực tế. Tuy nhiên, sự phát triển của Deep Learning cho ảnh mờ đã mang lại những cải tiến đáng kể trong việc khử sương mờ đơn ảnh. Các mô hình như DehazeNet và multi-scale CNN (MSCNN) sử dụng học sâu để hồi quy trực tiếp bản đồ truyền dẫn $t(z)$, mang lại kết quả đáng mong đợi. Đặc biệt, Feature Fusion Attention Network (FFA-Net) và DW-GAN là hai phương pháp tiên tiến được đề cập trong khóa luận, đã đạt được hiệu suất vượt trội trong việc khử sương. FFA-Net sử dụng mô-đun Feature Attention kết hợp Channel Attention và Pixel Attention, cho phép xử lý linh hoạt các vùng ảnh có mật độ sương mờ khác nhau. DW-GAN, mặt khác, sử dụng kiến trúc hai nhánh với biến đổi wavelet rời rạc 2D để đưa kiến thức high-frequency vào mạng dehazing, giữ lại các chi tiết kết cấu quan trọng. Sau bước tiền xử lý, việc tối ưu hóa các mô hình học sâu cho ảnh không rõ nét là cần thiết. Các kiến trúc như Cascade R-CNN và Double-Head được nghiên cứu để chống mờ ảnh và nhận dạng chính xác hơn. Cascade R-CNN sử dụng chuỗi các máy dò với ngưỡng IoU tăng dần, giúp tuần tự loại bỏ các kết quả dương tính giả và cải thiện độ chính xác. Double-Head R-CNN, với cách tiếp cận chia hai đầu riêng biệt cho phân loại và hồi quy hộp giới hạn, cũng chứng minh hiệu quả trong việc nâng cao độ chính xác. Sự kết hợp thông minh giữa các kỹ thuật khử sương mờ và các mô hình phát hiện đối tượng tinh vi là chìa khóa để đạt được hiệu suất cao nhất trong các điều kiện môi trường khắc nghiệt.

4.1. Cải thiện chất lượng ảnh bằng phương pháp khử sương mờ chuyên sâu

Việc cải thiện chất lượng ảnh thông qua khử sương mờ là bước tiền xử lý quan trọng cho phát hiện đối tượng ảnh mờ bằng học sâu. Các phương pháp chuyên sâu như FFA-Net và DW-GAN đã chứng minh hiệu quả. FFA-Net sử dụng cơ chế Feature Attention để xử lý sự phân bố sương mờ không đồng đều, trong khi DW-GAN áp dụng biến đổi wavelet để giữ lại chi tiết tần số cao. Các kỹ thuật này giúp làm rõ các đối tượng bị che khuất, tăng độ tương phản và khôi phục màu sắc trung thực của ảnh. Theo Trần Tuấn Minh (2022), việc thực hiện khử sương mờ trong không ảnh chứa sương mờ có thể cải thiện kết quả phát hiện đối tượng đáng kể.

4.2. Tối ưu mô hình học sâu cho ảnh không rõ nét với kiến trúc Double Head

Để tối ưu mô hình học sâu cho ảnh không rõ nét, kiến trúc như Double-Head R-CNN đã được đề xuất. Phương pháp này tách biệt nhiệm vụ phân loại đối tượng và hồi quy hộp giới hạn thành hai 'đầu' (head) riêng biệt: một conv-head cho định vị và một fc-head cho phân loại. Sự phân tách này dựa trên nhận định rằng mỗi kiến trúc có khả năng thích ứng tốt hơn với nhiệm vụ riêng biệt. Theo Yue Wu et al. (2019), conv-head phù hợp với định vị, còn fc-head phù hợp với phân loại. Điều này giúp nâng cao độ chính xác khi chống mờ ảnh và nhận dạng đối tượng, một yếu tố quan trọng trong việc nhận dạng đối tượng ảnh mờ.

V. Ứng dụng đột phá của phát hiện đối tượng ảnh mờ bằng học sâu trong thực tế

Các ứng dụng của phát hiện đối tượng ảnh mờ bằng học sâu đang mở rộng nhanh chóng, mang lại những giải pháp đột phá cho nhiều ngành công nghiệp và lĩnh vực đời sống. Khả năng nhận dạng đối tượng ảnh mờ trong điều kiện thời tiết khắc nghiệt như sương mù, mưa, hoặc ánh sáng yếu là yếu tố then chốt cho sự thành công của các hệ thống thông minh. Trong giám sát an ninh, công nghệ này cho phép theo dõi và phát hiện các mối đe dọa ngay cả khi tầm nhìn bị hạn chế. Đối với xe tự lái, việc phát hiện đối tượng trong điều kiện ánh sáng yếu hoặc sương mù là cực kỳ quan trọng để đảm bảo an toàn giao thông và ra quyết định chính xác. Hệ thống cứu hộ và theo dõi giao thông cũng hưởng lợi lớn từ khả năng xử lý ảnh mờ bằng AI, giúp nhanh chóng định vị nạn nhân hoặc đánh giá tình hình giao thông trong các điều kiện bất lợi. Theo Trần Tuấn Minh (2022), các ứng dụng được xây dựng dựa trên phương pháp học sâu phát hiện đối tượng trong không ảnh từ UAV đã mang lại nhiều lợi ích, bao gồm giám sát, cứu hộ và theo dõi giao thông. Nghiên cứu của Trần Tuấn Minh đã đóng góp vào việc phát triển một bộ dữ liệu không ảnh chứa sương mờ (UIT-DroneFog) và thử nghiệm các phương pháp như Guided Anchoring, Double-Head và Cascade R-CNN. Kết quả ban đầu cho thấy Double-Head đạt điểm mAP cao 33%, và phương pháp CasDou (kết hợp Cascade R-CNN, Double-Head và Focal Loss) đã cải thiện đáng kể lên 34% mAP. Điều này khẳng định tiềm năng của học máy trong xử lý ảnh mờ để đạt được độ chính xác cao ngay cả với dữ liệu bị suy giảm. Các kết quả này không chỉ chứng minh tính khả thi của việc phát hiện vật thể trong ảnh kém chất lượng mà còn đặt nền móng cho việc triển khai các ứng dụng thực tế. Khóa luận cũng đã phát triển ứng dụng demo trên nền tảng web và di động (Android/iOS) cho thấy khả năng phát hiện đối tượng thời gian thực ảnh mờ có thể được hiện thực hóa và đưa vào sử dụng hàng ngày. Sự tiến bộ này tiếp tục thúc đẩy sự phát triển của thị giác máy tính xử lý ảnh mờ, hướng tới một tương lai nơi các hệ thống AI có thể hoạt động đáng tin cậy trong mọi điều kiện.

5.1. Tiềm năng trong giám sát cứu hộ và xe tự lái từ học máy trong xử lý ảnh mờ

Tiềm năng của học máy trong xử lý ảnh mờ trong giám sát, cứu hộ và xe tự lái là rất lớn. Trong giám sát, khả năng nhận dạng đối tượng ảnh mờ giúp duy trì an ninh ngay cả trong điều kiện thời tiết xấu. Xe tự lái cần phát hiện đối tượng trong điều kiện ánh sáng yếu và sương mù để đảm bảo an toàn. Các hệ thống cứu hộ có thể nhanh chóng định vị nạn nhân hoặc phương tiện trong các thảm họa như cháy rừng, lũ lụt, nơi khói bụi hoặc hơi nước làm mờ tầm nhìn. Các thuật toán phát hiện đối tượng mạnh mẽ này cải thiện độ tin cậy của các hệ thống tự động, mở rộng phạm vi ứng dụng của AI vào các tình huống thực tế, nguy hiểm.

5.2. Kết quả nghiên cứu và tiềm năng cải thiện trong phát hiện đối tượng thời gian thực ảnh mờ

Các nghiên cứu hiện tại đã đạt được những kết quả khả quan trong phát hiện đối tượng thời gian thực ảnh mờ. Khóa luận của Trần Tuấn Minh (2022) đã chứng minh Double-Head và CasDou có thể đạt mAP lần lượt là 33% và 34% trên bộ dữ liệu UIT-DroneFog. Những kết quả này, mặc dù vẫn còn không gian để cải thiện, đã khẳng định tính khả thi của việc xử lý ảnh mờ bằng AI. Tiềm năng cải thiện nằm ở việc tinh chỉnh kiến trúc mạng, sử dụng các hàm mất mát phù hợp (như Focal Loss đã được đề xuất), và tích hợp hiệu quả hơn các kỹ thuật khử sương mờ. Mục tiêu là phát triển các mô hình học sâu cho ảnh không rõ nét không chỉ chính xác mà còn đủ nhanh để đáp ứng yêu cầu thời gian thực của các ứng dụng.

VI. Tương lai của phát hiện đối tượng ảnh mờ Hướng đi mới và triển vọng

Tương lai của phát hiện đối tượng ảnh mờ bằng học sâu hứa hẹn nhiều đột phá và ứng dụng rộng rãi hơn nữa. Các hướng nghiên cứu mới tập trung vào việc vượt qua những thách thức hiện tại, đặc biệt là trong việc tăng cường độ chính xác và khả năng hoạt động trong mọi điều kiện. Một trong những hướng đi chính là phát triển các mô hình end-to-end, tích hợp trực tiếp các kỹ thuật khử sương mờ vào kiến trúc mạng phát hiện đối tượng thay vì coi chúng là các bước tiền xử lý riêng biệt. Điều này giúp tối ưu hóa toàn bộ quy trình, cho phép mô hình học cách chống mờ ảnh và nhận dạng đối tượng một cách hiệu quả hơn. Việc sử dụng các kiến trúc mạng tiên tiến như Transformer, vốn đã chứng tỏ hiệu quả trong các tác vụ thị giác máy tính khác, cũng đang được nghiên cứu để ứng dụng vào bài toán phát hiện vật thể trong ảnh kém chất lượng. Các nghiên cứu cũng tập trung vào việc tạo ra các bộ dữ liệu tổng hợp chân thực hơn, mô phỏng chính xác các điều kiện mờ trong thế giới thực, điều này rất quan trọng để huấn luyện các mô hình học sâu cho ảnh không rõ nét một cách mạnh mẽ. Theo Trần Tuấn Minh (2022), việc xây dựng bộ dữ liệu không ảnh chứa sương mờ UIT-DroneFog là một đóng góp quan trọng, cung cấp nền tảng cho các nghiên cứu tiếp theo. Các phương pháp học máy trong xử lý ảnh mờ cũng sẽ tiếp tục khám phá các kỹ thuật tăng cường dữ liệu mới, học chuyển giao (transfer learning) và học ít shot (few-shot learning) để giảm thiểu sự phụ thuộc vào lượng lớn dữ liệu gán nhãn. Đồng thời, tối ưu hóa các thuật toán phát hiện đối tượng mạnh mẽ để triển khai trên các thiết bị nhúng và biên (edge devices) cũng là một mục tiêu quan trọng, mở rộng khả năng ứng dụng của phát hiện đối tượng thời gian thực ảnh mờ vào các hệ thống ít tài nguyên. Sự kết hợp giữa thị giác máy tính xử lý ảnh mờ và các công nghệ cảm biến mới, chẳng hạn như cảm biến đa phổ hoặc LiDAR, cũng có thể mang lại những cải tiến đáng kể, cung cấp thêm thông tin để vượt qua những hạn chế của ảnh quang học đơn thuần. Những phát triển này sẽ đưa Deep Learning cho ảnh mờ lên một tầm cao mới, biến các hệ thống phát hiện đối tượng trở nên đáng tin cậy hơn trong mọi môi trường.

6.1. Hướng phát triển và chống mờ ảnh và nhận dạng chính xác hơn

Hướng phát triển của lĩnh vực này tập trung vào việc cải thiện khả năng chống mờ ảnh và nhận dạng chính xác hơn. Các nhà nghiên cứu đang khám phá các kiến trúc mạng nơ-ron tiên tiến, chẳng hạn như các mô hình dựa trên Transformer, để nâng cao hiệu suất của phát hiện đối tượng ảnh mờ bằng học sâu. Việc tích hợp các mô-đun khử mờ trực tiếp vào mạng phát hiện, thay vì coi chúng là các bước riêng biệt, cũng là một hướng đi hứa hẹn. Điều này cho phép mô hình học cách điều chỉnh các đặc trưng bị mờ và trích xuất thông tin quan trọng hiệu quả hơn. Cải thiện chất lượng bộ dữ liệu huấn luyện, đặc biệt là các bộ dữ liệu mô phỏng sương mờ chân thực, cũng đóng vai trò quan trọng trong việc tạo ra các mô hình học sâu cho ảnh không rõ nét mạnh mẽ hơn.

6.2. Kết luận Thành tựu và tiềm năng mở rộng của thị giác máy tính xử lý ảnh mờ

Thị giác máy tính xử lý ảnh mờ đã đạt được những thành tựu đáng kể, đặc biệt nhờ vào sự phát triển của học sâu. Khóa luận của Trần Tuấn Minh (2022) là một ví dụ điển hình, minh chứng cho khả năng của Deep Learning cho ảnh mờ trong việc nhận dạng đối tượng ảnh mờ trong không ảnh. Tiềm năng mở rộng của công nghệ này là rất lớn, bao gồm các ứng dụng trong giám sát, cứu hộ, xe tự lái, và nhiều lĩnh vực khác nơi điều kiện thu thập ảnh thường không lý tưởng. Các nghiên cứu tương lai sẽ tiếp tục tập trung vào việc tối ưu hóa hiệu suất, tăng cường khả năng chịu đựng với các loại mờ khác nhau và triển khai hiệu quả trên các nền tảng đa dạng, biến học sâu phát hiện đối tượng trở thành công cụ không thể thiếu trong kỷ nguyên số.

Trích đoạn nội dung tài liệu

ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA CÔNG NGHỆ PHẦN MỀM TRẦN TUẤN MINH KHÓA LUẬN TỐT NGHIỆP PHÁT HIỆN ĐỐI TƯỢNG TRONG KHÔNG ẢNH CHỨA SƯƠNG MỜ DỰA TRÊN HỌC SÂU Object detection in foggy aerial images based on deep learning KỸ SƯ NGÀNH CÔNG NGHỆ PHẦN MỀM TP. HỒ CHÍ MINH, 2022 ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA CÔNG NGHỆ PHẦN MỀM TRẦN TUẤN MINH - 18520314 KHÓA LUẬN TỐT NGHIỆP PHÁT HIỆN ĐỐI TƯỢNG TRONG KHÔNG ẢNH CHỨA SƯƠNG MỜ DỰA TRÊN HỌC SÂU Object detection in foggy aerial images based on deep learning KỸ SƯ NGÀNH CÔNG NGHỆ PHẦN MỀM GIẢNG VIÊN HƯỚNG DẪN TS.

NGUYỄN TẤN TRẦN MINH KHANG TP. HỒ CHÍ MINH, 2022 THÔNG TIN HỘI ĐỒNG CHẤM KHÓA LUẬN TỐT NGHIỆP Hội đồng chấm khóa luận tốt nghiệp, thành lập theo Quyết định số …………………… ngày …………………. của Hiệu trưởng Trường Đại học Công nghệ Thông tin. LỜI CẢM ƠN Để hoàn thành được khóa luận này, lời đầu tiên, tôi xin chân thành gửi lời cảm ơn sâu sắc đến thầy TS.

Nguyễn Tấn Trần Minh Khang – giảng viên hướng dẫn của tôi trong khóa luận. Thầy đã luôn quan tâm, lo lắng, nhắc nhở cũng như hỗ trợ tôi trong suốt quá trình thực hiện khóa luận. Thầy cũng là người đã tạo cơ hội và động lực cho tôi trên con đường học tập và nghiên cứu khoa học. Đồng thời, tôi cũng xin gửi lời cảm ơn đến thầy ThS.

Võ Duy Nguyên đã luôn giúp đỡ, hướng dẫn, sửa chữa và đóng góp nhiều ý kiến quý báu giúp tôi hoàn thành báo cáo khóa luận. Tôi xin chân thành cảm ơn tập thể quý thầy cô trường Đại học Công nghệ Thông tin, các quý thầy cô khoa Công nghệ Phần mềm và phòng thí nghiệm Truyền thông Đa phương tiện MMLab đã truyền đạt kiến thức, hỗ trợ nhiệt tình và tạo điều kiện cho tôi trong suốt quá trình tôi học tập tại trường. Bên cạnh đó, tôi xin gửi lời cảm ơn chân thành đến các anh chị, các bạn thành viên trong nhóm nghiên cứu đã luôn đồng hành, giúp đỡ và động viên tôi trong suốt quá trình tôi thực hiện khóa luận này. Cuối cùng, tôi muốn gửi lời cảm ơn chân thành nhất đến gia đình tôi – những người đã luôn động viên, giúp đỡ và là niềm cảm hứng của tôi trong mọi chặng đường.

Trong quá trình thực hiện khóa luận, mặc dù tôi đã cố gắng hoàn thành một cách chỉnh chu nhất nhưng sẽ không tránh khỏi những sai sót, hạn chế trong đề tài. Chính vì vậy, tôi rất mong nhận được sự góp ý của quý thầy và các bạn để hoàn thiện kiến thức, lấy đó làm hành trang quý báu trong công việc sau này. Một lần nữa, tôi xin chân thành cảm ơn! Sinh viên thực hiện Trần Tuấn Minh TP. Hồ Chí Minh, ngày 09 tháng 06 năm 2022 ĐẠI HỌC QUỐC GIA TP.

HỒ CHÍ MINH CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC Độc Lập - Tự Do - Hạnh Phúc CÔNG NGHỆ THÔNG TIN ĐỀ CƯƠNG CHI TIẾT TÊN ĐỀ TÀI: PHÁT HIỆN ĐỐI TƯỢNG TRONG KHÔNG ẢNH CHỨA SƯƠNG MỜ DỰA TRÊN HỌC SÂU TÊN ĐỀ TÀI (tiếng Anh): OBJECT DETECTION IN FOGGY AERIAL IMAGES BASED ON DEEP LEARNING Cán bộ hướng dẫn: TS. Nguyễn Tấn Trần Minh Khang Thời gian thực hiện: Từ ngày 01/03/2022 đến ngày 20/06/2022 Sinh viên thực hiện: Trần Tuấn Minh - 18520314 Nội dung đề tài:(Mô tả chi tiết mục tiêu, phạm vi, đối tượng, phương pháp thực hiện, kết quả mong đợi của đề tài) 1. Động lực nghiên cứu • Những năm gần đây, cùng với sự phát triển nhanh chóng của học sâu trong lĩnh vực phát hiện đối tượng, con người đã có những ứng dụng được xây dựng dựa trên các phương pháp học sâu và không ảnh được chụp từ các phương tiện bay không người lái (Unmanned aerial vehicle – UAV). Những ứng dụng này đã mang lại nhiều lợi ích cho cuộc sống, một số ví dụ nổi bật có thể đề cập đến như giám sát, cứu hộ, theo dõi giao thông, tự động hóa phương tiện giao thông… • Hiện nay, đa phần các nghiên cứu về phát hiện đối tượng được thực hiện trong không ảnh với điều kiện thời tiết tốt.

Tuy nhiên, trong thực tế, những ứng dụng này sẽ phải đối mặt với thời tiết không lý tưởng, cụ thể được đề cập trong đề tài này là sự xuất hiện của sương mờ (sương mù, khói, bụi…). • Sương mờ ảnh hưởng trực tiếp đến chất lượng của hình ảnh đầu vào, vì độ nét, độ tương phản, màu sắc… đều ảnh hưởng rất nhiều. Điều này làm cho các không ảnh đầu vào có chất lượng thấp và trong một vài trường hợp sương mờ còn che khuất các đối tượng trong ảnh và dẫn đến kết quả phát hiện thấp. Đó là cũng chính là động lực giúp tôi và nhóm nghiên cứu thực hiện đề tài "Phát hiện đối tượng trong không ảnh chứa sương mờ dựa trên học sâu".

Phát biểu bài toán Đầu vào Đầu ra Hình 1: Ảnh minh họa đầu vào - đầu ra của bài toán • Đầu vào: Không ảnh chứa sương mờ. • Đầu ra: Vị trí và loại đối tượng (nếu có) trong ảnh đầu vào. Mục tiêu đề tài • Tìm hiểu tổng quan về các bài toán Phát hiện đối tượng trong không ảnh nói chung cũng như trong không ảnh chứa sương mờ nói riêng. • Khảo sát các bộ dữ liệu cho bài toán tương tự đã được công bố trên thế giới.

Đồng thời, tìm hiểu các kỹ thuật, phương pháp học sâu tiên tiến, có kết quả khả quan trên các bộ dữ liệu này. • Xây dựng bộ dữ liệu không ảnh chứa sương mờ. • Nghiên cứu phương pháp khử sương mờ trong không ảnh. • Nghiên cứu và tiến hành thực nghiệm phương pháp phát hiện đối tượng học sâu trên bộ dữ liệu đã được xây dựng.

• Phân tích kết quả thực nghiệm, nghiên cứu đề xuất phương pháp học sâu phát hiện đối tượng trong không ảnh chứa sương mờ giúp cải thiện kết quả. • Xây dựng ứng dụng demo. • Tổng hợp kết quả và viết báo cáo. Đối tượng và phạm vi nghiên cứu • Miền dữ liệu: Không ảnh chứa sương mờ.

• Dữ liệu thực nghiệm: Bộ dữ liệu gồm nhãn của 4 đối tượng: bus (xe buýt), car (xe con), motor (xe máy), pedestrian (người đi bộ). • Phương pháp thực nghiệm: Nghiên cứu các phương pháp học sâu “state-of-the-art” cho bài toán phát hiện đối tượng (Guided Anchoring, Double-Head, Cascade R-CNN) và phương pháp khử sương mờ (FFA- Net). Phương pháp thực hiện • Tìm hiểu, nghiên cứu tổng quan về bài toán Phát hiện đối tượng từ những nghiên cứu đã công bố trên thế giới. • Tiến hành tìm hiểu bộ dữ liệu không ảnh và phương pháp tạo sương mờ để xây dựng bộ dữ liệu không ảnh chứa sương mờ.

• Nghiên cứu và tiến hành thực nghiệm phương pháp khử sương mờ trên bộ dữ liệu đã xây dựng. • Nghiên cứu và tiến hành thực nghiệm phương pháp phát hiện đối tượng học sâu trên bộ dữ liệu đã được xây dựng. • Nghiệm thu, so sánh và phân tích kết quả thực nghiệm, từ đó nghiên cứu đề xuất phương pháp học sâu phát hiện đối tượng trong không ảnh chứa sương mờ giúp cải thiện kết quả. • Xây dựng ứng dụng demo.

• Tổng hợp kết quả và viết báo cáo. Kết quả mong đợi • Xây dựng thành công bộ dữ liệu không ảnh chứa sương mờ dựa trên bộ dữ liệu UIT-Drone21, RESIDE, UAVDT-Benchmark. • Tài liệu tóm tắt kết quả khảo sát, phân tích bài toán các công trình và bộ dữ liệu đã được công bố. • Tài liệu tổng hợp bài toán, các phương pháp học sâu đã nghiên cứu.

• Tài liệu chi tiết về cách cài đặt môi trường thực nghiệm. • Xây dựng mô hình đề xuất và đưa ra cải tiến, đồng thời báo cáo đánh giá và phân tích thực nghiệm các phương pháp đã chọn trên bộ dữ liệu đã xây dựng. Kế hoạch thực hiện:(Mô tả kế hoạch làm việc và phân công công việc cho từng sinh viên tham gia) 1. Giai đoạn 1: 28/02/2022 – 31/03/2022 • Khảo sát tổng quan về bài toán Phát hiện đối tượng trong không ảnh từ những nghiên cứu đã công bố trên thế giới.

• Tiến hành tìm hiểu các phương pháp tạo sương mờ, các phương pháp khử sương mờ và các bộ dữ liệu không ảnh RESIDE, UAVDT- Benchmark-M… • Tổng hợp kết quả khảo sát và hoàn thành xây dựng bộ dữ liệu không ảnh chứa sương mờ. Giai đoạn 2: 01/04/2022 – 30/04/2022 • Nghiên cứu các phương pháp học sâu cho bài toán Phát hiện đối tượng trong không ảnh. • Tiến hành cài đặt, chạy thực nghiệm các phương pháp dựa trên bộ dữ liệu đã xây dựng được ở Giai đoạn 1. • Phân tích kết quả và đánh giá các kết quả thực nghiệm.

• Nghiên cứu và đề xuất phương pháp học sâu có khả năng cải thiện kết quả hơn so với các phương pháp đã thực nghiệm. Giai đoạn 3: 01/05/2022 – 17/06/2022 • Phân tích các kết quả, đưa ra nhận xét và báo cáo các kết quả đạt được. • Xây dựng ứng dụng demo và viết báo cáo. Xác nhận của CBHD TP.

HCM, ngày 18 tháng 02 năm 2022 (Ký tên và ghi rõ họ tên) Sinh viên (Ký tên và ghi rõ họ tên) TS. Nguyễn Tấn Trần Minh Khang Trần Tuấn Minh MỤC LỤC TÓM TẮT KHÓA LUẬN. TỔNG QUAN ĐỀ TÀI. Động lực nghiên cứu.

Phát biểu bài toán. Các thách thức. Mục tiêu và phạm vi nghiên cứu. Đóng góp khóa luận.

Cấu trúc báo cáo khóa luận. CÁC NGHIÊN CỨU LIÊN QUAN. Phát hiện đối tượng. Phân loại thuật toán phát hiện đối tượng.

Phương pháp rút trích đặc trưng ảnh dựa trên học sâu. Mạng học sâu – DNN. Convolutional Neural Network - CNN. Tầng tích chập (Convolution layer).

Tầng tổng hợp (Pooling layer). Tầng liên kết đầy đủ (Fully connected layer). Các phương pháp phát hiện đối tượng liên quan. Phương pháp khử sương mờ.

Khử sương mờ đơn ảnh. Feature Fusion Attention Network (FFA-Net). Basic Block Structure. Feature Fusion Attention.

XÂY DỰNG BỘ DỮ LIỆU PHÁT HIỆN ĐỐI TƯỢNG TRONG KHÔNG ẢNH CHỨA SƯƠNG MỜ. Khảo sát bộ dữ liệu. Lý do xây dựng bộ dữ liệu. Bộ dữ liệu UIT-Drone21.

Tổng quan về bộ dữ liệu UIT-Drone21. Định dạng nhãn dữ liệu của bộ dữ liệu UIT-Drone21. Quy trình tạo sương mờ cho ảnh. Phân tích bộ dữ liệu.

THỰC NGHIỆM VÀ ĐÁNH GIÁ. Dữ liệu thực nghiệm. Mô tả cơ bản. Mô tả chi tiết.

Mô tả thực nghiệm. Mô tả quy trình thực nghiệm. Cấu hình thực nghiệm. Phương pháp đánh giá.

Intersection over Union (IoU). Mean Average Precision (𝑚𝐴𝑃). Kết quả thực nghiệm và đánh giá. Kết quả thực nghiệm.

Trực quan hóa kết quả .