Luận văn thạc sĩ về Phương pháp Deep Learning trong Télédétection để Phát hiện Palmiers Rafias

Luận văn thạc sĩ phân tích vnu implémentation et test de méthodes de deep learning en télédétection pour détecter des palmiers, đánh giá thực trạng, chỉ ra hạn chế, đề xuất giải

• Tác giả: Kinda Zakaria
• Người hướng dẫn: M. Borne Frédéric Ph.D, Ingénieur de recherche CIRAD
• Trường học: Université Nationale Du Vietnam À Hanoï, Institut Francophone International
• Chuyên ngành: Systèmes Intelligents et Multimédia (SIM)
• Đề tài: Implémentation et test de méthodes de Deep Learning en télédétection pour détecter des palmiers rafias en milieu naturel et sur différents types d’images (satellites, aériennes, drones)
• Loại tài liệu: Mémoire de stage de Master 2
• Năm xuất bản: 2018-2019
• Địa điểm: Montpellier

Mục lục chi tiết

• Avant-propos
• Remerciements
• Table des matières
• Table des figures
• Liste des tableaux
• Nomenclature
• 1. INTRODUCTION
• 2. Chapitre 1: Analyse du contexte
• 1.1. Contexte de l’étude
• 1.2. Problématique
• 1.3. Objectif
• 3. Chapitre 2: État de l’art
• 2.1. Approche du Machine Learning ou approche classique
• 2.2. Approche du Deep Learning
• 4. Chapitre 3: Données et Méthodes
• 3.1. Méthode d’acquisition des données
• 3.2. Présentation des images du masque
• 3.3. Pré-traitement de données
• 3.4. Architecture du Faster R-CNN
• 3.5. Fonctionnement du Faster R-CNN
• 3.6. Méthode d’entraînement du réseau
• 3.7. Méthode de validation du réseau
• 5. Chapitre 4: Expérimentations et résultats
• 4.1. Environnement de travail
• 4.2. Création des fichiers d’annotations
• 4.3. Entraînement du réseau
• 4.4. Validation du réseau
• 4.5. Vérification de l’indice spéculaire
• 4.6. Évaluer l’influence d’une deuxième classe sur la première (troisième expérimentation)
• 4.7. Transposition à l’image réelle (Quatrième expérimentation)
• 6. Chapitre 5: Discussion et bilan
• 5.1. Entraînement du réseau
• 5.2. Choix du fichier de poids
• 5.3. Matrice de confusion
• 7. Chapitre 6: Conclusion et perspectives
• ANNEXE

Tóm tắt

I. Tổng quan về Phương pháp Deep Learning trong Télédétection

Phương pháp Deep Learning đã trở thành một công cụ mạnh mẽ trong lĩnh vực Télédétection. Nó cho phép phân tích và xử lý dữ liệu hình ảnh một cách hiệu quả, đặc biệt trong việc phát hiện các đối tượng như Palmiers Rafias. Việc áp dụng các mô hình học sâu như Mô hình CNN đã giúp cải thiện đáng kể độ chính xác trong việc nhận diện và phân loại các loại cây trong môi trường tự nhiên.

1.1. Khái niệm về Télédétection và Deep Learning

Télédétection là quá trình thu thập thông tin về một đối tượng mà không tiếp xúc trực tiếp. Deep Learning là một nhánh của Machine Learning, sử dụng các mạng nơ-ron để học từ dữ liệu. Sự kết hợp giữa hai lĩnh vực này đã mở ra nhiều cơ hội mới trong việc phát hiện và phân tích các loài thực vật như Palmiers Rafias.

1.2. Lợi ích của việc sử dụng Deep Learning trong Télédétection

Việc áp dụng Deep Learning trong Télédétection mang lại nhiều lợi ích, bao gồm khả năng xử lý khối lượng lớn dữ liệu hình ảnh, cải thiện độ chính xác trong việc phát hiện và phân loại các đối tượng, và giảm thiểu thời gian xử lý so với các phương pháp truyền thống.

II. Thách thức trong việc phát hiện Palmiers Rafias bằng Télédétection

Mặc dù Deep Learning đã mang lại nhiều tiến bộ, nhưng việc phát hiện Palmiers Rafias vẫn gặp phải nhiều thách thức. Các yếu tố như độ dày của tán lá, sự chồng chéo giữa các cây và điều kiện ánh sáng có thể ảnh hưởng đến độ chính xác của các mô hình học sâu.

2.1. Đặc điểm của môi trường tự nhiên ảnh hưởng đến phát hiện

Môi trường tự nhiên nơi Palmiers Rafias sinh sống thường có độ che phủ dày đặc, làm cho việc phát hiện trở nên khó khăn. Sự chồng chéo giữa các tán lá có thể dẫn đến việc các mô hình không thể phân biệt được các cây riêng lẻ.

2.2. Khó khăn trong việc thu thập dữ liệu hình ảnh

Việc thu thập dữ liệu hình ảnh chất lượng cao từ các nguồn như vệ tinh, máy bay không người lái hay drone là rất quan trọng. Tuy nhiên, điều này thường gặp khó khăn do điều kiện thời tiết, ánh sáng và độ phân giải của hình ảnh.

III. Phương pháp Deep Learning hiệu quả cho phát hiện Palmiers Rafias

Để phát hiện Palmiers Rafias, các phương pháp Deep Learning như Mô hình CNN và Faster R-CNN đã được áp dụng. Những mô hình này cho phép xử lý hình ảnh một cách hiệu quả và đạt được độ chính xác cao trong việc phân loại các đối tượng.

3.1. Mô hình CNN và ứng dụng trong Télédétection

Mô hình CNN là một trong những kiến trúc phổ biến nhất trong Deep Learning. Nó được thiết kế để xử lý dữ liệu hình ảnh và đã chứng minh được hiệu quả trong việc phát hiện các đối tượng trong môi trường tự nhiên, bao gồm cả Palmiers Rafias.

3.2. Faster R CNN Giải pháp tối ưu cho phát hiện đối tượng

Mô hình Faster R-CNN là một trong những phương pháp tiên tiến nhất trong việc phát hiện đối tượng. Nó cho phép phát hiện nhanh chóng và chính xác các đối tượng trong hình ảnh, giúp cải thiện đáng kể hiệu suất trong việc phát hiện Palmiers Rafias.

IV. Ứng dụng thực tiễn của Deep Learning trong phát hiện Palmiers Rafias

Việc áp dụng Deep Learning trong phát hiện Palmiers Rafias đã cho thấy những kết quả khả quan. Các nghiên cứu đã chỉ ra rằng việc sử dụng hình ảnh tổng hợp có thể cải thiện độ chính xác trong việc phát hiện và phân loại các cây trong môi trường tự nhiên.

4.1. Kết quả nghiên cứu từ các ứng dụng thực tiễn

Nghiên cứu cho thấy rằng việc sử dụng hình ảnh tổng hợp để huấn luyện mô hình có thể dẫn đến độ chính xác cao hơn trong việc phát hiện Palmiers Rafias. Các mô hình đã đạt được tỷ lệ chính xác lên đến 93% trong các thử nghiệm.

4.2. Tác động của Deep Learning đến quản lý tài nguyên thiên nhiên

Việc phát hiện chính xác Palmiers Rafias không chỉ giúp trong việc bảo tồn loài mà còn hỗ trợ trong việc quản lý tài nguyên thiên nhiên. Điều này có thể dẫn đến các chính sách bảo vệ môi trường hiệu quả hơn.

V. Kết luận và tương lai của Deep Learning trong Télédétection

Tương lai của Deep Learning trong Télédétection hứa hẹn sẽ mang lại nhiều tiến bộ trong việc phát hiện và phân loại các loài thực vật như Palmiers Rafias. Các nghiên cứu tiếp theo cần tập trung vào việc cải thiện độ chính xác và khả năng áp dụng của các mô hình học sâu.

5.1. Triển vọng nghiên cứu trong tương lai

Các nghiên cứu trong tương lai có thể tập trung vào việc phát triển các mô hình học sâu mới, cải thiện khả năng phát hiện và phân loại các loài thực vật trong môi trường tự nhiên.

5.2. Tác động của công nghệ đến bảo tồn môi trường

Công nghệ Deep Learning có thể đóng vai trò quan trọng trong việc bảo tồn môi trường và quản lý tài nguyên thiên nhiên, giúp phát hiện và bảo vệ các loài thực vật quý hiếm như Palmiers Rafias.

Nội dung chính

Tổng quan nghiên cứu

Cây cọ Rafia (Raphia hookeri) đóng vai trò kinh tế - xã hội then chốt tại các quốc gia Tây và Trung Phi nhờ cung cấp sợi piassava chất lượng cao và nguồn nhựa dồi dào để sản xuất rượu vang cọ. Tuy nhiên, loài thực vật này phân bố chủ yếu trong các khu rừng ngập nước nhiệt đới rậm rạp với đặc tính tán lá đan xen phức tạp (couronnes imbriquées), khiến việc kiểm kê thủ công trên thực địa hoặc qua quan sát mắt thường từ ảnh viễn thám gần như bất khả thi. Các phương pháp học máy truyền thống trước đây chỉ mang lại độ chính xác dao động từ 44% đến 70%, trong khi mạng nơ-ron tích chập trên ảnh drone thực tế năm 2018 chỉ đạt 63% do thiếu hụt trầm trọng dữ liệu gán nhãn chuẩn xác từ chuyên gia.

Luận văn thạc sĩ chuyên ngành Hệ thống Thông minh và Đa phương tiện thực hiện tại Viện Quốc tế Pháp ngữ (Đại học Quốc gia Hà Nội) phối hợp cùng Đơn vị Nghiên cứu Hỗn hợp AMAP (CIRAD, Pháp) trong năm học 2018-2019 đã giải quyết nút thắt này. Mục tiêu trọng tâm của nghiên cứu là xây dựng quy trình tự động tạo ảnh mô phỏng 3D tổng hợp (synthetic images) đi kèm nhãn mặt nạ (mask) chính xác tuyệt đối, từ đó huấn luyện mô hình học sâu Faster R-CNN và đánh giá khả năng chuyển giao nhận dạng trên ảnh drone thực tế thu thập tại khu vực Bas Ogooué, Gabon ở độ cao từ 100 đến 200 mét. Kết quả thực nghiệm khẳng định mạng học sâu đạt chỉ số F-measure lên đến 90% trên tập dữ liệu tổng hợp với hơn 850 cá thể cây, mở ra bước tiến đột phá trong ứng dụng thị giác máy tính và viễn thám phục vụ quản lý tài nguyên lâm nghiệp bền vững.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu ứng dụng nền tảng học sâu trong thị giác máy tính kết hợp công nghệ viễn thám đa nguồn, tập trung vào ba trụ cột lý thuyết chính:

1. Lý thuyết phát hiện đối tượng hai giai đoạn (Two-Stage Object Detection): Ứng dụng kiến trúc Faster R-CNN tích hợp mạng đề xuất vùng (Region Proposal Network - RPN) và cơ chế phân loại vùng quan tâm (RoI Pooling). Cấu trúc này tối ưu hóa đồng thời hàm mất mát phân loại đối tượng và hàm hồi quy tọa độ khung bao (Bounding Box Regression), giải quyết triệt để hạn chế tốc độ của các kỹ thuật quét cửa sổ trượt (sliding window) truyền thống.
2. Lý thuyết học chuyển giao (Transfer Learning): Sử dụng mạng đường trục VGG16 đã được huấn luyện trước trên tập dữ liệu PASCAL VOC 2007 gồm 20 lớp đối tượng phổ quát. Kỹ thuật này giúp mô hình tận dụng các bộ lọc đặc trưng cấp thấp (cạnh, góc, kết cấu bề mặt), giảm thiểu nguy cơ quá khớp (overfitting) khi tinh chỉnh trên miền dữ liệu thực vật nhiệt đới.
3. Lý thuyết mô phỏng tham số 3D và đồ họa máy tính: Sử dụng các mô hình kiến trúc thực vật chuyên dụng như SIMEO, PRINCIPES và AMAPSIM kết hợp thuật toán kết xuất CalRgb của CIRAD để tái tạo thảm thực vật ảo với đầy đủ thuộc tính tán lá, hướng sáng và bóng đổ.

Các khái niệm then chốt xuyên suốt đề tài bao gồm: hộp neo (Anchor Boxes với 9 cấu hình tỷ lệ), cơ chế triệt tiêu phi cực đại (Non-Maximum Suppression - NMS), ảnh mặt nạ phân loại (Mask Image), và các chỉ số đo lường hiệu năng gồm Precision, Recall cùng điểm điều hòa F-measure.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm được xây dựng công phu qua hai hợp phần:

• Tập dữ liệu ảnh tổng hợp: Gồm 15 cặp phối cảnh rừng ảo độ phân giải siêu cao (kích thước từ 5.760 × 5.300 pixel đến 17.280 × 15.900 pixel, độ phân giải không gian từ 0,0226 m/pixel đến 0,0872 m/pixel). Tập dữ liệu bao gồm hơn 35.000 cá thể cây với các kịch bản kiểm soát chặt chẽ: góc chiếu sáng (xiên, trực diện góc thấp, thẳng đứng), hiệu ứng bóng rổ (có/không), khoảng cách cây (từ 3 đến 10 mét), và sự đan xen giữa cọ Rafia với dừa (Cocos nucifera).
• Tập dữ liệu ảnh thực tế: Gồm 7 ảnh viễn thám kích thước 500 × 500 pixel cắt từ ảnh trực giao drone chụp tại Bas Ogooué (Gabon), chứa 315 cá thể Rafia được gán nhãn thủ công bởi chuyên gia thực địa.

Phương pháp phân tích dữ liệu dựa trên việc phân chia ảnh lớn thành các ô lưới kích thước chuẩn 500 × 500 pixel phù hợp với đầu vào mạng nơ-ron. Thuật toán tự động quét ảnh mặt nạ màu để tính toán tọa độ cực trị (xmin, xmax, ymin, ymax), tạo lập tệp chú thích tự động loại bỏ các vùng nhiễu có tỷ lệ diện tích dưới ngưỡng quy định. Quá trình huấn luyện triển khai trên nền tảng Caffe với bộ tăng tốc tính toán NVIDIA CUDA 9 và môi trường container Singularity 2.6. Lý do lựa chọn hệ thống này là tính ổn định cao, khả năng quản lý bộ nhớ GPU tối ưu và tài liệu cấu hình chuẩn hóa cho các mạng học sâu quy mô lớn. Quá trình nghiên cứu và thực nghiệm được tiến hành liên tục trong thời gian 6 tháng của khóa luận tốt nghiệp thạc sĩ.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu năng vượt trội trên dữ liệu mô phỏng đơn lớp: Trong thực nghiệm thứ nhất với 120.000 vòng lặp (thời gian chạy 11 giờ), mô hình nhận diện chính xác 750 trên tổng số 857 cây cọ Rafia, ghi nhận chỉ số Precision đạt 93%, Recall đạt 87% và F-measure đạt mức ấn tượng 90% (chỉ có 56 trường hợp dương tính giả và 107 trường hợp âm tính giả).
2. Tính bất biến trước thuộc tính phản xạ bề mặt và màu sắc: Thực nghiệm thứ hai so sánh giữa cây cọ mang độ phản xạ gương cao (màu trắng) và cây cọ màu lục tự nhiên ghi nhận kết quả F-measure tương đồng tuyệt đối ở mức 90% (Precision 92%, Recall 87%, phát hiện đúng 753 cá thể). Điều này chứng minh Faster R-CNN học nhận dạng dựa trên đặc trưng hình học tán lá chứ không bị phụ thuộc vào giá trị màu sắc đơn thuần.
3. Ảnh hưởng rõ rệt của độ phức tạp đa loài và mật độ thảm thực vật: Khi bổ sung lớp cây dừa vào kịch bản huấn luyện (gồm 1.259 cây Rafia và 1.452 cây dừa trong thực nghiệm 3), chỉ số F-measure của cọ Rafia giảm từ 72% (khi chạy đơn lớp trên cảnh Scene_3bis chứa 919 cây) xuống còn 68% (Precision 79%, Recall 59%), tương đương với F-measure của cây dừa (68%, Precision 63%, Recall 75%).
4. Khoảng cách miền dữ liệu khi chuyển giao sang ảnh thực tế: Khi áp dụng trọng số đã huấn luyện từ ảnh tổng hợp sang tập dữ liệu ảnh drone thực tế gồm 315 cây cọ tại Gabon (thực nghiệm 4), mô hình đạt Precision 66%, Recall 30% và F-measure 37% (phát hiện đúng 95 cây, 102 dương tính giả, 220 âm tính giả). Với trọng số đa lớp, F-measure giảm sâu xuống 1% do sự khác biệt lớn về nền đất và độ tán che tự nhiên.

Thảo luận kết quả

Diễn biến quá trình học được thể hiện sinh động qua các biểu đồ hàm mất mát: đường loss phân loại (loss_cls) dao động mạnh trong 20.000 vòng lặp đầu do sự chênh lệch kích thước của các khung bao nhỏ, trong khi đường loss hồi quy tọa độ (RPN_loss_bbox) nhanh chóng tiệm cận trạng thái ổn định tuyến tính. Đường cong F-measure đạt điểm hội tụ vững chắc sau 10.000 đến 20.000 vòng lặp và duy trì ổn định, chứng minh mô hình hoàn toàn không xảy ra hiện tượng học vẹt (overfitting).

Phân tích ma trận nhầm lẫn đa lớp cho thấy trong số 512 trường hợp cọ Rafia bị bỏ sót, có 94 trường hợp bị gán nhầm thành cây dừa do cấu trúc lá hình lông chim tương tự, và 418 trường hợp bị gộp vào lớp nền (background) do tán cây bị che khuất sâu dưới tầng cây gỗ lớn. So sánh với các nghiên cứu trước đây của Mandjo Bore (đạt 44% - 68% bằng học máy cổ điển) và Viennois (đạt 63% trên ảnh drone thuần túy), phương pháp đề xuất đã chứng minh tiềm năng to lớn của ảnh tổng hợp trong việc giải phóng sức lao động gắn nhãn, đồng thời chỉ ra rào cản thích ứng miền (Domain Adaptation Gap) cần được khắc phục bằng các kỹ thuật biến đổi phong cách ảnh trong tương lai.

Đề xuất và khuyến nghị

1. Ứng dụng mạng đối nghịch tạo sinh (CycleGAN) để thu hẹp khoảng cách miền: Các đơn vị nghiên cứu AI và viễn thám cần triển khai thuật toán chuyển đổi phong cách ảnh (Style Transfer) trong vòng 6 đến 12 tháng tới, nhằm đồng hóa kết cấu nền đất và tán cây giữa ảnh mô phỏng 3D và ảnh drone thực tế, hướng tới mục tiêu nâng chỉ số F-measure trên ảnh thực địa từ 37% lên trên 75%.
2. Tích hợp kênh dữ liệu đa phổ và mô hình độ cao số (CHM/DSM): Đội ngũ kỹ thuật thu nhận dữ liệu viễn thám cần bổ sung kênh cận hồng ngoại (NIR) và dữ liệu LiDAR trong lộ trình 1 năm, giúp bóc tách cấu trúc thẳng đứng của tán cây và giảm tỷ lệ bỏ sót cá thể (âm tính giả) xuống dưới 15% trong các khu rừng đầm lầy rậm rạp.
3. Nâng cấp kiến trúc mạng phát hiện và phân đoạn đối tượng: Nhóm phát triển thuật toán nên thử nghiệm chuyển đổi bộ khung từ Faster R-CNN sang Mask R-CNN, YOLOv8 hoặc Vision Transformer (Swin Transformer) trong quý tiếp theo, nhằm tăng tốc độ xử lý thêm 40% và cung cấp ranh giới phân đoạn pixel chính xác thay vì chỉ tạo khung bao chữ nhật.
4. Chuẩn hóa quy trình tạo nhãn tự động 3D cho ngành lâm nghiệp: Cơ quan quản lý tài nguyên và viện nghiên cứu lâm nghiệp cần thành lập ngân hàng dữ liệu mô phỏng mở với hơn 50.000 mẫu cây nhiệt đới trong 2 năm tới, tạo cơ sở đào tạo các mô hình trí tuệ nhân tạo nhận dạng đa loài trên phạm vi toàn quốc gia.

Đối tượng nên tham khảo luận văn

• Nhà nghiên cứu viễn thám và thị giác máy tính: Khai thác phương pháp sinh ảnh 3D tham số hóa và quy trình tạo nhãn tự động không tốn chi phí chuyên gia để giải quyết bài toán thiếu hụt dữ liệu học sâu.
• Kỹ sư nông nghiệp số và lâm nghiệp thông minh: Ứng dụng mô hình đếm và định vị cây tự động từ ảnh bay chụp không người lái (UAV) vào các dự án kiểm kê trữ lượng sinh khối và lập bản đồ phân bố thực vật nhiệt đới.
• Chuyên viên quản lý tài nguyên thiên nhiên và bảo tồn sinh thái: Sử dụng kết quả và phân tích thực nghiệm để xây dựng phương án giám sát đa dạng sinh học và quy hoạch khai thác bền vững tài nguyên cọ tại các vùng ngập nước.
• Học viên cao học và sinh viên ngành Trí tuệ nhân tạo, Khoa học dữ liệu: Tham khảo chi tiết kiến trúc Faster R-CNN, kỹ thuật Transfer Learning, phương pháp thiết lập ma trận nhầm lẫn và quy trình thực nghiệm chuẩn mực trên nền tảng Caffe/Linux.

Câu hỏi thường gặp

1. Tại sao nghiên cứu lại sử dụng ảnh mô phỏng 3D thay vì ảnh chụp thực tế để huấn luyện mô hình?
Trong rừng nhiệt đới tự nhiên, tán lá cọ Rafia đan xen dày đặc khiến các chuyên gia lâm nghiệp không thể xác định chính xác ranh giới từng cây trên ảnh chụp thực tế. Việc tạo ảnh mô phỏng 3D từ phần mềm chuyên dụng cho phép thuật toán tự động xuất nhãn mặt nạ (mask) chính xác 100% cho hơn 1.500 cây mỗi cảnh mà không tốn công sức gán nhãn thủ công.

2. Nguyên nhân chính khiến F-measure đạt 90% trên ảnh 3D nhưng giảm xuống 37% trên ảnh drone thực tế là gì?
Hiện tượng này xuất phát từ "khoảng cách miền dữ liệu" (domain gap). Ảnh mô phỏng 3D chưa tái hiện hoàn toàn các yếu tố phức tạp của môi trường thực tế như thảm thực vật tầng dưới, sự biến đổi vi khí hậu, độ mờ chuyển động của camera drone và sự che khuất không đồng nhất giữa các tầng tán cây rừng Gabon.

3. Màu sắc và hiện tượng phản xạ ánh sáng có làm thay đổi độ chính xác của mạng học sâu không?
Kết quả thực nghiệm 1 và 2 khẳng định mô hình hoàn toàn không bị ảnh hưởng. Điểm F-measure đều đạt mức 90% ở cả kịch bản cọ mang độ phản xạ gương màu trắng và cọ màu xanh lục, chứng minh các lớp tích chập của Faster R-CNN đã học thành công các đặc trưng cấu trúc hình học tán lá đặc thù của loài cọ.

4. Khi xuất hiện thêm loài cây khác như cây dừa, độ chính xác của mô hình bị tác động ra sao?
Sự xuất hiện của 1.452 cây dừa làm chỉ số F-measure của cọ Rafia giảm từ 72% xuống 68%. Nguyên nhân là do hai loài đều có dạng lá xẻ lông chim tương đồng, dẫn đến 94 trường hợp mô hình phân loại nhầm cọ Rafia thành dừa trong ma trận nhầm lẫn.

5. Cấu hình phần cứng và môi trường phần mềm nào đã được sử dụng để thực thi nghiên cứu?
Nghiên cứu sử dụng máy trạm HP CPU Intel Xeon E5520, 32GB RAM, GPU NVIDIA Quadro P2000 (1024 nhân CUDA) trên hệ điều hành Ubuntu 18.04 LTS. Môi trường phần mềm gồm thư viện Caffe, tăng tốc CUDA 9 và công cụ ảo hóa container Singularity 2.6, hoàn thành 120.000 vòng lặp huấn luyện trong khoảng 11 giờ.

Kết luận

• Luận văn đã tiên phong đề xuất giải pháp sử dụng ảnh mô phỏng 3D tham số hóa (SIMEO, PRINCIPES, AMAPSIM) để khắc phục triệt để thách thức thiếu dữ liệu gán nhãn trong viễn thám rừng nhiệt đới.
• Xây dựng thành công thuật toán trích xuất tự động khung bao tọa độ từ ảnh mặt nạ, xử lý hiệu quả 15 bộ dữ liệu cảnh rừng phức tạp với hàng chục nghìn cá thể cây.
• Chứng minh tính hiệu quả vượt trội của kiến trúc Faster R-CNN VGG16 với chỉ số F-measure đạt 90% trong môi trường kiểm soát, đồng thời xác nhận tính bất biến của mô hình trước biến thiên màu sắc và góc chiếu sáng.
• Phân tích chi tiết rào cản thích ứng miền khi kiểm thử trên dữ liệu drone thực tế tại Gabon (F-measure 37%), chỉ rõ nguyên nhân nhầm lẫn đa lớp và định hình phương hướng xử lý qua ma trận nhầm lẫn.
• Đặt nền móng vững chắc cho lộ trình 1-2 năm tới trong việc kết hợp mạng đối nghịch CycleGAN, dữ liệu đa phổ NIR và mô hình phân đoạn thế hệ mới phục vụ giám sát lâm nghiệp tự động.

Quý độc giả và các nhà nghiên cứu quan tâm vui lòng tham khảo toàn văn luận văn thạc sĩ để nắm bắt chi tiết cấu hình siêu tham số, bộ trọng số mô hình và quy trình tiền xử lý dữ liệu phục vụ nghiên cứu và ứng dụng thực tiễn.

Trích đoạn nội dung tài liệu

UNIVERSITÉ NATIONALE DU VIETNAM À HANOÏ INSTITUT FRANCOPHONE INTERNATIONAL Mémoire de stage de Master 2 Option : Systèmes Intelligents et Multimédia (SIM) Promotion : XXII Implémentation et test de méthodes de Deep Learning en télédétection pour détecter des palmiers rafias en milieu naturel et sur différents types d’images (satellites, aériennes, drones) KINDA Zakaria Encadrant : M. BORNE Frédéric Ph.D, Ingénieur de recherche CIRAD Année académique 2018-2019 LUAN VAN CHAT LUONG download : add [e-mail] LUAN VAN CHAT LUONG download : add [e-mail] Résumé Les Rafias sont des plantes situées dans des forêts denses, notamment dans les zones marécageuses où les couronnes sont imbriquées les unes dans les autres. On les trouve principalement dans les pays de l’Afrique Centrale et de l’Ouest avec des rendements économiques très importants. Compte tenu de cette importance économique, il est néces- saire de connaı̂tre le nombre de Rafias se trouvant dans ces forêts denses.

Récemment plusieurs travaux ont été réalisés en télédétection pour la détection des objets en utilisant des images réelle et de synthèse. La télédétection serait donc un outil pouvant intervenir dans la détection des palmiers Rafias. Les méthodes actuelles de détection d’objets dans des images réelles et de synthèse sont basées principalement sur l’apprentissage profond utilisant les fenêtres glissantes. À cet effet plusieurs réseaux tels-que le réseau de neurones convolutionnels (CNN), le Fast-RCNN, le Faster R-CNN, le Mask R-CNN, etc ont at- teint des performances de pointe sur le traitement des données spatiales, notamment des images.

Ainsi, le Faster-RCNN est un réseau largement utilisé pour la détection des ob- jets dans une image. Il est utilisé sur des images réelles, mais également sur les images de synthèse pour la détection des fruits, de fleurs, des plantes, etc. avec des F-Mesures allant jusqu’à 93%. Dans cette étude, il était question d’évaluer l’intérêt des images de synthèse pour entrainer un réseau destiné à traiter des images réelles.

Les expérimentations ont été effectuées sur des images présentant des caractéristiques contrôlées (résolution de l’image, résolution métrique, ombrage, direction de la lumière, etc). Pour ce faire, nous avons uti- lisé le modèle VGG16 déjà pré-entraı̂nés avec le jeu de données PASCALVOC 2007. Les résultats expérimentaux montrent que l’apprentissage profond peut faire un grand bond en avant sur la détection des plantes en forêt dense en utilisant des images de synthèse. Mots clés : Rafia, Apprentissage profond, télédétection, image de synthèse, réseau de neurone convolutionnel (CNN), Faster R-CNN.

i LUAN VAN CHAT LUONG download : add [e-mail] Abstract Rafias are plants located in dense forests, especially in swampy areas where the crowns are intertwined. They are mainly found in Central and West African countries with very high economic returns. Given this economic importance, it is necessary to know the number of raffia trees in these dense forests. Recently, several works have been carried out in re- mote sensing for the detection of objects using real and synthetic images.

Remote sensing would therefore be a tool that could be used to detect raffia palm trees. Current methods of detecting objects in real and synthetic images are based mainly on deep learning using sliding windows. To this end, several networks such as the Convolutional Neural Network (CNN), Fast-RCNNN, Faster R-CNN, Mask R-CNN, etc. have achieved advanced per- formance in spatial data processing, particularly images.

Thus, the Faster-RCNNN is a widely used network for detecting objects in an image. It is used on real images, but also on computer-generated images for the detection of fruits, flowers, plants, etc. with F-Score up to 93%. In this study, it was a question of evaluating the interest of synthetic images to train a network designed to process real images.

The experiments were carried out on images with controlled characteristics (image resolution, metric resolution, shading, light direction, etc. To do this, we used the VGG16 model already pre-trained with the PASCALVOC 2007 dataset. Experimental results show that deep learning can take a big leap forward in plant detection in dense forests using synthetic images. Keywords :Rafia, Deep Learning, remote sensing, Synthetic image, convolutional neural network (CNN), Faster R-CNN.

ii LUAN VAN CHAT LUONG download : add [e-mail] Avant-propos Ce travail a bénéficié d’une aide de l’État gérée par l’Agence Nationale de la Recherche au titre du programme d’Investissements d’Avenir portant la référence ANR-16-CONV-0004. Cette étude s’inscrit dans le cadre des stages financés par l’Institut de Convergence de l’agriculture numérique DigitAg basé à Montpellier et avec des antennes satellites à Rennes et Toulouse. L’objectif est de construire un socle de connaissances qui favorise le développement de l’agriculture numérique en France et au Sud. L’Institut de Convergence DigitAg structure ses actions autour de six axes de recherche et huit challenges.

iii LUAN VAN CHAT LUONG download : add [e-mail] Remerciements « N’a pas remercié Allah celui qui ne remercie pas les gens » (Hadı̂th) Pour cela, je voudrais très sincèrement adresser toute ma gratitude et ma reconnaissance à mes encadrants, M. Frédéric Borne et Mme Gaëlle Viennois, pour leur patience, pour leur disponibilité et surtout pour la confiance qu’ils ont portée à mon égard. Leurs ju- dicieux conseils et encouragements ont contribué au bon déroulement de mon stage et à l’aboutissement de ces résultats. Je tiens également à remercier M.

Philippe Borianne pour ses remarques pertinentes, sa disponibilité, ses encouragements et toutes les discussions que nous avons pu avoir sur le sujet. Mes remerciements vont à l’endroit de M. Marc Jaeger pour l’acquisition des données et pour ses différents conseils et remarques Je voudrais remercier l’Agence Nationale de la Recherche (ANR) pour le financement de ce projet. Je désire également remercier le corps enseignant de l’Institut Francophone International (IFI), qui m’a fourni les outils nécessaires à la réussite de mes études universitaires Mes remerciements vont à l’endroit de tout le personnel et les étudiants de l’UMR AMAP pour les échanges enrichissants, tant humainement que scientifiquement.

Enfin, je tiens à exprimer ma profonde gratitude à mes parents, à toute ma famille et aussi à tous ceux et celles qui m’ont apporté leur soutien et leurs encouragements indéfectibles tout au long de mes années de Master. iv LUAN VAN CHAT LUONG download : add [e-mail] Table des matières Table des figures vii Liste des tableaux viii INTRODUCTION 1 Chapitre 1 Analyse du contexte 2 1.1 Contexte de l’étude. 5 Chapitre 2 État de l’art 7 2.1 Approche du Machine Learning ou approche classique .2 Approche du Deep Learning. 9 Chapitre 3 Données et Méthodes 12 3.1 Méthode d’acquisition des données .2 Présentation des images du masque .3 Pré-traitement de données .2 Architecture du Faster R-CNN .3 Fonctionnement du Faster R-CNN .5 Méthode d’entraı̂nement du réseau .6 Méthode de validation du réseau.

22 Chapitre 4 Expérimentations et résultats 24 4.1 Environnement de travail. 25 v LUAN VAN CHAT LUONG download : add luanvanchat@agmail.2 Création des fichiers d’annotations .3 Entraı̂nement du réseau .4 Validation du réseau .1 vérification de l’indice spéculaire .2 Évaluer l’influence d’une deuxième classe sur la première (troisième expérimentation) .3 Transposition à l’image réelle (Quatrième expérimentation). 36 Chapitre 5 Discussion et bilan 37 5.1 Entraı̂nement du réseau .3 Choix du fichier de poids .4 Matrice de confusion. 41 Chapitre 6 Conclusion et perspectives 42 6.

43 ANNEXE 45 vi LUAN VAN CHAT LUONG download : add [e-mail] Table des figures 1.1 Photographie d’un Rafia hookeri .2 Image aérienne Rafia .1 Popularité des méthodes en % .1 Image de synthèse de Rafias prenant en compte une forte réflexion spéculaire 14 3.2 Image de synthèse avec des Rafias présentant une réflectance plus faible .3 Image drone de Rafias .4 Image de synthèse et son masque .5 Masque d’image annotée .6 Architecture Faster R-CNN [26] .1 Test d’annotations sur l’image du masque .2 Fonction de perte globale .3 Fonctions de perte RPN et CLS .4 Courbe de F-Mesure expérimentation 1 .5 Matrice de confusion à une classe .6 Résultats de validation avec des Rafias en blanc .7 Matrice de confusion Rafias en couleur .8 résultats de validation avec des Rafias en vert .9 Courbe de F-Mesure pour la classe Rafia .10 Matrice de confusion pour la classe Rafia .11 Courbe de F-Mesure de Rafia et du cocotier .12 Confusion à 2 classes plus Background .13 Résultat de validation sur une image réelle .1 Résultats en sortie de validation. 40 vii LUAN VAN CHAT LUONG download : add [e-mail] Liste des tableaux 4.1 Liste des images d’entraı̂nement .2 Liste des images de validation .1 Bilan de résultats de expérimentations. 41 viii LUAN VAN CHAT LUONG download : add [e-mail] Nomenclature CNN : Convolutional Neural Network VP : Vrais Positifs FN : Faux Négatifs FP : Faux Positif RPN : Region Proposal Network CUDNN : Deep Neural Network Library CLS : Box-Class Layer CIRAD : Centre de Coopération Internationale de Recherche Agronomique pour le Dé- veloppement CNRS : Centre National de la Recherche Scientifique ix LUAN VAN CHAT LUONG download : add [e-mail] INTRODUCTION Dans le cadre de notre formation en « Systèmes intelligents et multimédias» pour l’ob- tention du diplôme de Master 2, il est demandé d’effectuer cinq à six mois de stage dans un laboratoire ou une entreprise de premier plan. C’est dans ce cadre que j’ai été reçu à l’UMR AMAP (Unité Mixte de Recherche botAnique et Modélisation de l’Architecture des Plantes et des végétations) dans les locaux du CIRAD (Centre International de Re- cherche Agronomique pour le Développement) de Montpellier.

L’UMR AMAP est une unité de pointe interdisciplinaire qui travaille à l’acquisition de connaissances fondamen- tales sur les plantes et les végétations dans le but de prévoir la réponse des écosystèmes aux forçages environnementaux, en termes de distribution/conservation des espèces et de la biodiversité, production des cultures agronomiques, stockage du carbone dans la bio- masse végétale, protection de l’environnement et des services écosystémiques. Ces travaux s’intéressent aux végétations méditerranéennes, tempérées et tropicales essentiellement. Ils croisent les champs disciplinaires de la botanique (systématique et structurale), l’écologie de la végétation, l’agronomie et la foresterie avec ceux de l’informatique, des mathéma- tiques et des statistiques appliquées. Les recherches de l’unité s’articulent autour de 3 axes transversaux, la plupart des chercheurs de l’unité contribuant à plusieurs axes : — Biodiversité végétale, actuelle et passée : L’objectif est de comprendre les processus qui sous-tendent la diversité des objets biolo- giques, actuels et passés.

— Biomasse et production des plantes et des végétations : L’objectif est de comprendre les stratégies d’allocation des ressources et de répartition de la biomasse dans les plantes et les végétations. — Modélisation du monde végétal : Cet axe s’intéresse au développement de méthodes d’étude et de modélisation des systèmes végétaux complexes. 1 LUAN VAN CHAT LUONG download : add [e-mail] Chapitre 1 Analyse du contexte Ce premier chapitre consiste à présenter une analyse exploratoire de mon sujet d’étude. Il présente les éléments nécessaires à la compréhension du contexte de l’étude, de la problématique ainsi que l’objectif du sujet.

LUAN VAN CHAT LUONG download : add luanvanchat@agmail.1 Contexte de l’étude Les produits naturels de la forêt ont une importance capitale pour la population mondiale, notamment celle de l’Afrique. Ces produits contribuent fortement à réduire la pauvreté et à accroı̂tre la production alimentaire. Parmi ces produits naturels de la forêt, nous avons les palmiers, particulièrement, le Rafia hookeri qui est l’un des palmiers les plus utiles économiquement. Au cours de la dernière décennie, le Rafia a donc suscité beaucoup d’intérêt à travers son apport économique.

Le Rafia possède des fibres très solides appelées piassavas utilisées pour la fabrication de, cordes grossières, de ceintures,de brosses [32]. La fibre est également exportée pour la production des balais, des tapis des chapeaux, des sacs et des costumes. Les feuilles de Rafia sont parmi les plus grandes des palmiers d’Afrique. En plus des fibres, ces feuilles produisent de la sève (vin de palme) qui constitue une boisson très populaire en Afrique et qui est également exportée hors du continent.

La sève produit des nutriments utiles qui pourraient jouer un rôle actif dans la physiologie et la santé humaines [22].