Chương 1: Tổng quan về khoanh vùng đối tượng trong ảnh viễn thám: Chương này sẽ trình bày các kiến thức cơ bản về ảnh viễn thám. Các hướng tiếp cận để trích xuất thông tin trên với ảnh viễn thám. • Chương 2: Các kiến thức cơ sở: Chương này sẽ trình bày các kiến thức cơ bản về ảnh viễn thám. Các hướng tiếp cận để trích xuất thông tin trên với ảnh viễn thám và các độ đo thường được dùng trong bài toán này để đánh giá.
Giới thiệu các phương pháp học sâu để giải quyết bài toán khoanh vùng đối tượng trên ảnh viễn thám. • Chương 3: Áp dụng học sâu cho bài toán khoanh vùng đối tượng trên ảnh viễn thám: Trong chương này, sẽ là phần đánh giá và phân tích về bộ dữ liệu ảnh viễn thám, kèm với đó là các thống kê và phân tích đánh giá về dữ liệu. Chương này cũng tập trung giới thiệu phương pháp đề xuất nhằm khoanh vùng đối tượng sử dụng mô hình kết hợp. Cụ thể, mô hình đề xuất được phát triển từ mô hình U-Net và Resnet kết hợp với hàm tổn thất mới cho phép xử lý tốt hơn trường hợp dữ liệu thiếu cân bằng.
Bên cạnh đó luận văn cũng đề xuất sử dụng nhánh phân 1 loại phụ trợ nhằm tăng độ chính xác trên những ảnh không có đối tượng. • Chương 4: Thực nghiệm và đánh giá: Cách thức triển khai, chạy thực nghiệm trên bộ dữ liệu và đưa ra kết quả kèm phân tích các phương pháp với nhau. • Chương 5: Kết luận và hướng phát triển: Nêu các kết quả đạt được và các hướng phát triển trong tương lai. 2 Tổng quan về khoanh vùng đối tượng 1 trong ảnh viễn thám Trong vài năm qua, các cơ quan vũ trụ đã triển khai một số lượng lớn các vệ tinh lên quỹ đạo Trái Đất.
Do một lượng lớn thông tin từ các vệ tinh ảnh viễn thám cung cấp, người sử dụng có điều kiện tiếp cận với nhiều loại dữ liệu ảnh vệ tinh viễn thám khác nhau, từ quang học đến ra-đa, từ đơn phổ đến đa phổ, từ thương mại đến miễn phí. Trí tuệ nhân tạo, và cụ thể hơn là học máy nổi lên như một bằng chứng của cuộc cách mạng công nghiệp lần thứ tư. Trí tuệ nhân tạo đang len lỏi vào mọi lĩnh vực trong đời sống. Và từ đó, trí tuệ nhân tạo trong viễn thám được xem là một ngành khoa học quan trọng.
Các thuật toán học máy có khả năng xử lý dữ liệu lớn, phức tạp. Trong vài năm gần đây, việc ứng dụng trí tuệ nhân tạo đã và đang trở thành trọng tâm và hướng phát triển chính trong các nghiên cứu khai thác dữ liệu ảnh viễn thám. Trong chương này, luận văn sẽ cung cấp các kiến thức cơ bản về ảnh viễn thám, một số ứng dụng của ảnh viễn thám và các hướng tiếp cận khác nhau được sử dụng trong khai thác thông tin trên loại dữ liệu này.1 Ảnh viễn thám Ảnh viễn thám hay ảnh vệ tinh là ảnh số thể hiện các vật thể trên bề mặt trái đất được thu nhận bởi các bộ cảm biến đặt trên vệ tinh. Tùy thuộc vào vùng bước sóng được sử dụng để thu nhận, ảnh viễn thám có thể được phân thành ba loại cơ bản là ảnh quang học, ảnh nhiệt và ảnh ra-đa (xem hình 1.
Ảnh viễn thám quang học là 3 loại ảnh được tạo ra bởi việc thu nhận các bước sóng ánh sáng nhìn thấy (0,4 - 0,76 micromet) qua vệ tinh sử dụng các ống kính quang học. Trong ảnh nhiệt thì nguồn năng lượng chính là bức xạ nhiệt của các vật thể, và ảnh ra-đa thì nguồn năng lượng là sóng ra-đa phản xạ từ các vật thể do vệ tinh tự phát xuống theo những bước sóng đã được xác định.1: Ví dụ các loại ảnh viễn thám: (a) ảnh quang học, (b) ảnh nhiệt, và (c) ảnh ra-đa Dữ liệu ảnh viễn thám và các sản phẩm phần mềm được nghiên cứu, phát triển nhằm khai thác nguồn dữ liệu ảnh lớn, được cập nhật liên tục nhằm phục vụ yêu cầu phát triển kinh tế - xã hội, quan trắc, giám sát tài nguyên, môi trường, tìm kiếm cứu nạn, phòng chống thiên tai, quốc phòng, an ninh. Một số ứng dụng của ảnh viễn thám bao gồm: 1. Quan trắc, giám sát về ô nhiễm môi trường: đất, nước do chất thải sinh hoạt và chất thải công nghiệp; không khí do khí phát thải công nghiệp và sinh hoạt; ô nhiễm môi trường do thiên tai, các khoáng chất tự nhiên độc hại phát tán vào môi trường, khai thác khoáng sản; kiểm kê khí nhà kính.
Công tác thu thập thông tin, dữ liệu, phân tích, điều tra, đánh giá, theo dõi diễn biến tài nguyên, môi trường định kỳ và đột xuất nhằm đưa ra các báo cáo phục vụ phát triển kinh tế - xã hội; phòng, chống thiên tai; giám sát hạn hán, cảnh báo cháy rừng, diễn biến lũ lụt, cứu hộ cứu nạn và ứng phó với biến đổi khí hậu; hiện trạng sản xuất nông nghiệp. Xây dựng, cập nhật bản đồ chuyên đề và cơ sở dữ liệu chuyên đề về hiện trạng tài nguyên thiên nhiên và môi trường, thực trạng biến đổi khí hậu; lập bản đồ địa chất các tỷ lệ. Cập nhật cơ sở dữ liệu nền địa lý quốc gia, hệ thống bản đồ địa hình quốc gia. Phục vụ công tác quốc phòng, an ninh, cứu nạn cứu hộ trên biển v.
Do có nhiều ứng dụng nên ảnh viễn thám đã và đang được sử dụng rộng rãi trong các nghiên cứu liên quan đến giám sát bề mặt trái đất với độ phân giải không gian và thời gian ngày càng được cải thiện. Với sự phát triển của công nghệ viễn thám, các ảnh viễn thám cho phép quan sát trái đất ở độ phân giải không gian rất cao, đến hàng centimet, và có độ phân giải thời gian (thời gian chụp lại cùng một vị trí) tốt, trong khoảng 5 đến 6 ngày. Vì vậy, ảnh viễn thám đóng vai trò nguồn dữ liệu quan trọng trong các nghiên cứu trái đất, đặc biệt là các nghiên cứu liên quan đến lớp phủ bề mặt của trái đất, một trong các thành phần quan trọng của hệ sinh thái, từ đó có thể đưa ra các dự báo, giám sát môi trường ngày càng chính xác hơn. Để khai thác thông tin từ ảnh vệ tinh, trước đây thường sử dụng phương pháp giải đoán ảnh thủ công, theo đó, dựa vào kinh nghiệm của người giải đoán và bảng mẫu địa vật đặc trưng cho trước, ảnh vệ tinh sẽ được giải đoán thành các yếu tố địa hình, địa vật tương ứng, từ đó trích xuất các thông tin có ích.
Phương pháp thủ công có nhược điểm là thời gian để giải đoán ảnh lâu, phụ thuộc vào kinh nghiệm của chuyên gia (cùng một đối tượng trên ảnh, các chuyên gia khác nhau có thể cho ra kết quả khác nhau). Ngoài ra, giải đoán ảnh bằng phương pháp thủ công chỉ sử dụng hạn chế số lượng kênh ảnh, chủ yếu là các kênh ảnh trong khoảng phổ nhìn thấy của mắt người, do đó bỏ phí khối lượng lớn các kênh ảnh khác mà các ảnh vệ tinh hiện đại ngày này cung cấp. Với sự phát triển của khoa học và công nghệ, đặc biệt là sự phát triển của các phương pháp dựa trên học máy, trí tuệ nhân tạo cùng với năng lực tính toán ngày càng mạnh của máy tính, việc giải đoán hình ảnh vệ tinh tự động đang được nghiên cứu phát triển và sẽ thay thế quá trình giải đoán thủ công. Trong luận văn này, bài toán 5 nghiên cứu là bài toán khoanh vùng tự động đối tượng trên ảnh viễn thám, cụ thể các đối tượng tìm hiểu là tàu thuyền trên bờ và mặt biển (xem hình 1.
Việc xác định tự động được đối tượng mang lại nhiều giá trị đối với lĩnh vực giám sát, cảnh báo thiên tai, tìm kiếm cứu hộ cứu nạn, v. Tuy nhiên, đây là bài toán khó, có nhiều thách thức do dữ liệu hình ảnh thường có mây che, bề mặt biển có nhiều sắc thái do ảnh hưởng bởi sóng biển, ánh sáng ngày đêm thay đối khác nhau, ảnh hưởng bởi thời tiết, hay có nhiều đối tượng khác như các công trình cùng xuất hiện trên ảnh v.1: Các đối tượng trên biển thông qua ảnh viễn thám Phần 1.3 tiếp theo sẽ tập trung giới thiệu bài toán phân đoạn ảnh và các hướng tiếp cận khác nhau giải quyết bài toán này. Việc hiểu bài toán, phân tích ưu và nhược điểm của các hướng tiếp cận đã có sẽ giúp định hướng cách tiếp cận cận tối ưu, phù hợp nhất nhằm giải quyết bài toán khoanh vùng tự động đối tượng trên ảnh viễn thám.2 Bài toán phân đoạn ảnh Phân đoạn ảnh có thể được hiểu là phân chia ảnh thành nhiều vùng ảnh khác nhau. Phân đoạn ảnh cũng có chung mục tiêu như bài toán phát hiện đối tượng là phát hiện ra vùng ảnh chứa vật thể và gán nhãn phù hợp cho chúng.
Tuy nhiên tiêu chuẩn về độ chính xác của phân đoạn đối tượng trên ảnh ở mức cao hơn so với phát hiện đối tượng khi nó yêu cầu nhãn dự báo đúng tới từng điểm ảnh (hình 1. (a) Phát hiện đối tượng (b) Phân đoạn đối tượng Hình 1.2: Phân biệt giữa Phát hiện đối tượng và Phân đoạn đối tượng Mặc dù phân đoạn yêu cầu về mức độ chi tiết cao hơn nhưng bù lại sẽ giúp ta hiểu được nội dung của bức ảnh ở mức độ sâu hơn khi chúng ta biết được đồng thời: Vị trí của đối tượng trong ảnh, hình dạng của đối tượng và từng điểm nào thuộc về đối tượng nào. Đầu vào và đầu ra của bài toán phân đoạn ảnh Phân đoạn ảnh nếu được thực hiện sử dụng hướng tiếp cận học có giám sát thì dữ liệu cần được gán nhãn. Đầu vào của bài toán là một bức ảnh và đầu ra là một ma trận 7 mặt nạ mà giá trị của từng điểm ảnh đã được gãn nhãn trên đó.3 minh họa Hình 1.3: Đầu vào (bên trái) và đầu ra (bên phải) của bài toán phân đoạn ảnh.
ảnh đầu vào và đầu ra của bài toán phân đoạn ảnh trong trường hợp có duy nhất 1 đối tượng trên ảnh. Mỗi nhãn phân đoạn được thể hiện bởi các màu sắc khác nhau: màu xám là nền, màu vàng là đường viền của ảnh và màu tím là nằm bên trong đối tượng. Các dạng phân đoạn ảnh khác nhau Trong phân đoạn ảnh, có hai bài toán phân đoạn ảnh chính là phân đoạn ngữ nghĩa1 và phân đoạn cá thể2. Trong phân đoạn ngữ nghĩa, các các vùng ảnh được phân đoạn theo các nhãn khác nhau mà không phân biệt sự khác nhau giữa các đối tượng trong từng nhãn.
Ví dụ trong hình 1.