UNIVERSITÉ NATIONALE DU VIETNAM À HANOÏ INSTITUT FRANCOPHONE INTERNATIONAL Mémoire de stage de Master 2 Option : Systèmes Intelligents et Multimédia (SIM) Promotion : XXII Implémentation et test de méthodes de Deep Learning en télédétection pour détecter des palmiers rafias en milieu naturel et sur différents types d’images (satellites, aériennes, drones) KINDA Zakaria Encadrant : M. BORNE Frédéric Ph.D, Ingénieur de recherche CIRAD Année académique 2018-2019 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Résumé Les Rafias sont des plantes situées dans des forêts denses, notamment dans les zones marécageuses où les couronnes sont imbriquées les unes dans les autres. On les trouve principalement dans les pays de l’Afrique Centrale et de l’Ouest avec des rendements économiques très importants. Compte tenu de cette importance économique, il est néces- saire de connaı̂tre le nombre de Rafias se trouvant dans ces forêts denses.
Récemment plusieurs travaux ont été réalisés en télédétection pour la détection des objets en utilisant des images réelle et de synthèse. La télédétection serait donc un outil pouvant intervenir dans la détection des palmiers Rafias. Les méthodes actuelles de détection d’objets dans des images réelles et de synthèse sont basées principalement sur l’apprentissage profond utilisant les fenêtres glissantes. À cet effet plusieurs réseaux tels-que le réseau de neurones convolutionnels (CNN), le Fast-RCNN, le Faster R-CNN, le Mask R-CNN, etc ont at- teint des performances de pointe sur le traitement des données spatiales, notamment des images.
Ainsi, le Faster-RCNN est un réseau largement utilisé pour la détection des ob- jets dans une image. Il est utilisé sur des images réelles, mais également sur les images de synthèse pour la détection des fruits, de fleurs, des plantes, etc. avec des F-Mesures allant jusqu’à 93%. Dans cette étude, il était question d’évaluer l’intérêt des images de synthèse pour entrainer un réseau destiné à traiter des images réelles.
Les expérimentations ont été effectuées sur des images présentant des caractéristiques contrôlées (résolution de l’image, résolution métrique, ombrage, direction de la lumière, etc). Pour ce faire, nous avons uti- lisé le modèle VGG16 déjà pré-entraı̂nés avec le jeu de données PASCALVOC 2007. Les résultats expérimentaux montrent que l’apprentissage profond peut faire un grand bond en avant sur la détection des plantes en forêt dense en utilisant des images de synthèse. Mots clés : Rafia, Apprentissage profond, télédétection, image de synthèse, réseau de neurone convolutionnel (CNN), Faster R-CNN.
i LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Abstract Rafias are plants located in dense forests, especially in swampy areas where the crowns are intertwined. They are mainly found in Central and West African countries with very high economic returns. Given this economic importance, it is necessary to know the number of raffia trees in these dense forests. Recently, several works have been carried out in re- mote sensing for the detection of objects using real and synthetic images.
Remote sensing would therefore be a tool that could be used to detect raffia palm trees. Current methods of detecting objects in real and synthetic images are based mainly on deep learning using sliding windows. To this end, several networks such as the Convolutional Neural Network (CNN), Fast-RCNNN, Faster R-CNN, Mask R-CNN, etc. have achieved advanced per- formance in spatial data processing, particularly images.
Thus, the Faster-RCNNN is a widely used network for detecting objects in an image. It is used on real images, but also on computer-generated images for the detection of fruits, flowers, plants, etc. with F-Score up to 93%. In this study, it was a question of evaluating the interest of synthetic images to train a network designed to process real images.
The experiments were carried out on images with controlled characteristics (image resolution, metric resolution, shading, light direction, etc. To do this, we used the VGG16 model already pre-trained with the PASCALVOC 2007 dataset. Experimental results show that deep learning can take a big leap forward in plant detection in dense forests using synthetic images. Keywords :Rafia, Deep Learning, remote sensing, Synthetic image, convolutional neural network (CNN), Faster R-CNN.
ii LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Avant-propos Ce travail a bénéficié d’une aide de l’État gérée par l’Agence Nationale de la Recherche au titre du programme d’Investissements d’Avenir portant la référence ANR-16-CONV-0004. Cette étude s’inscrit dans le cadre des stages financés par l’Institut de Convergence de l’agriculture numérique DigitAg basé à Montpellier et avec des antennes satellites à Rennes et Toulouse. L’objectif est de construire un socle de connaissances qui favorise le développement de l’agriculture numérique en France et au Sud. L’Institut de Convergence DigitAg structure ses actions autour de six axes de recherche et huit challenges.
iii LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Remerciements « N’a pas remercié Allah celui qui ne remercie pas les gens » (Hadı̂th) Pour cela, je voudrais très sincèrement adresser toute ma gratitude et ma reconnaissance à mes encadrants, M. Frédéric Borne et Mme Gaëlle Viennois, pour leur patience, pour leur disponibilité et surtout pour la confiance qu’ils ont portée à mon égard. Leurs ju- dicieux conseils et encouragements ont contribué au bon déroulement de mon stage et à l’aboutissement de ces résultats. Je tiens également à remercier M.
Philippe Borianne pour ses remarques pertinentes, sa disponibilité, ses encouragements et toutes les discussions que nous avons pu avoir sur le sujet. Mes remerciements vont à l’endroit de M. Marc Jaeger pour l’acquisition des données et pour ses différents conseils et remarques Je voudrais remercier l’Agence Nationale de la Recherche (ANR) pour le financement de ce projet. Je désire également remercier le corps enseignant de l’Institut Francophone International (IFI), qui m’a fourni les outils nécessaires à la réussite de mes études universitaires Mes remerciements vont à l’endroit de tout le personnel et les étudiants de l’UMR AMAP pour les échanges enrichissants, tant humainement que scientifiquement.
Enfin, je tiens à exprimer ma profonde gratitude à mes parents, à toute ma famille et aussi à tous ceux et celles qui m’ont apporté leur soutien et leurs encouragements indéfectibles tout au long de mes années de Master. iv LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Table des matières Table des figures vii Liste des tableaux viii INTRODUCTION 1 Chapitre 1 Analyse du contexte 2 1.1 Contexte de l’étude. 5 Chapitre 2 État de l’art 7 2.1 Approche du Machine Learning ou approche classique .2 Approche du Deep Learning. 9 Chapitre 3 Données et Méthodes 12 3.1 Méthode d’acquisition des données .2 Présentation des images du masque .3 Pré-traitement de données .2 Architecture du Faster R-CNN .3 Fonctionnement du Faster R-CNN .5 Méthode d’entraı̂nement du réseau .6 Méthode de validation du réseau.
22 Chapitre 4 Expérimentations et résultats 24 4.1 Environnement de travail. 25 v LUAN VAN CHAT LUONG download : add luanvanchat@agmail.2 Création des fichiers d’annotations .3 Entraı̂nement du réseau .4 Validation du réseau .1 vérification de l’indice spéculaire .2 Évaluer l’influence d’une deuxième classe sur la première (troisième expérimentation) .3 Transposition à l’image réelle (Quatrième expérimentation). 36 Chapitre 5 Discussion et bilan 37 5.1 Entraı̂nement du réseau .3 Choix du fichier de poids .4 Matrice de confusion. 41 Chapitre 6 Conclusion et perspectives 42 6.
43 ANNEXE 45 vi LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Table des figures 1.1 Photographie d’un Rafia hookeri .2 Image aérienne Rafia .1 Popularité des méthodes en % .1 Image de synthèse de Rafias prenant en compte une forte réflexion spéculaire 14 3.2 Image de synthèse avec des Rafias présentant une réflectance plus faible .3 Image drone de Rafias .4 Image de synthèse et son masque .5 Masque d’image annotée .6 Architecture Faster R-CNN [26] .1 Test d’annotations sur l’image du masque .2 Fonction de perte globale .3 Fonctions de perte RPN et CLS .4 Courbe de F-Mesure expérimentation 1 .5 Matrice de confusion à une classe .6 Résultats de validation avec des Rafias en blanc .7 Matrice de confusion Rafias en couleur .8 résultats de validation avec des Rafias en vert .9 Courbe de F-Mesure pour la classe Rafia .10 Matrice de confusion pour la classe Rafia .11 Courbe de F-Mesure de Rafia et du cocotier .12 Confusion à 2 classes plus Background .13 Résultat de validation sur une image réelle .1 Résultats en sortie de validation. 40 vii LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Liste des tableaux 4.1 Liste des images d’entraı̂nement .2 Liste des images de validation .1 Bilan de résultats de expérimentations. 41 viii LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nomenclature CNN : Convolutional Neural Network VP : Vrais Positifs FN : Faux Négatifs FP : Faux Positif RPN : Region Proposal Network CUDNN : Deep Neural Network Library CLS : Box-Class Layer CIRAD : Centre de Coopération Internationale de Recherche Agronomique pour le Dé- veloppement CNRS : Centre National de la Recherche Scientifique ix LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com INTRODUCTION Dans le cadre de notre formation en « Systèmes intelligents et multimédias» pour l’ob- tention du diplôme de Master 2, il est demandé d’effectuer cinq à six mois de stage dans un laboratoire ou une entreprise de premier plan. C’est dans ce cadre que j’ai été reçu à l’UMR AMAP (Unité Mixte de Recherche botAnique et Modélisation de l’Architecture des Plantes et des végétations) dans les locaux du CIRAD (Centre International de Re- cherche Agronomique pour le Développement) de Montpellier.
L’UMR AMAP est une unité de pointe interdisciplinaire qui travaille à l’acquisition de connaissances fondamen- tales sur les plantes et les végétations dans le but de prévoir la réponse des écosystèmes aux forçages environnementaux, en termes de distribution/conservation des espèces et de la biodiversité, production des cultures agronomiques, stockage du carbone dans la bio- masse végétale, protection de l’environnement et des services écosystémiques. Ces travaux s’intéressent aux végétations méditerranéennes, tempérées et tropicales essentiellement. Ils croisent les champs disciplinaires de la botanique (systématique et structurale), l’écologie de la végétation, l’agronomie et la foresterie avec ceux de l’informatique, des mathéma- tiques et des statistiques appliquées. Les recherches de l’unité s’articulent autour de 3 axes transversaux, la plupart des chercheurs de l’unité contribuant à plusieurs axes : — Biodiversité végétale, actuelle et passée : L’objectif est de comprendre les processus qui sous-tendent la diversité des objets biolo- giques, actuels et passés.
— Biomasse et production des plantes et des végétations : L’objectif est de comprendre les stratégies d’allocation des ressources et de répartition de la biomasse dans les plantes et les végétations. — Modélisation du monde végétal : Cet axe s’intéresse au développement de méthodes d’étude et de modélisation des systèmes végétaux complexes. 1 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chapitre 1 Analyse du contexte Ce premier chapitre consiste à présenter une analyse exploratoire de mon sujet d’étude. Il présente les éléments nécessaires à la compréhension du contexte de l’étude, de la problématique ainsi que l’objectif du sujet.
LUAN VAN CHAT LUONG download : add luanvanchat@agmail.1 Contexte de l’étude Les produits naturels de la forêt ont une importance capitale pour la population mondiale, notamment celle de l’Afrique. Ces produits contribuent fortement à réduire la pauvreté et à accroı̂tre la production alimentaire. Parmi ces produits naturels de la forêt, nous avons les palmiers, particulièrement, le Rafia hookeri qui est l’un des palmiers les plus utiles économiquement. Au cours de la dernière décennie, le Rafia a donc suscité beaucoup d’intérêt à travers son apport économique.
Le Rafia possède des fibres très solides appelées piassavas utilisées pour la fabrication de, cordes grossières, de ceintures,de brosses [32]. La fibre est également exportée pour la production des balais, des tapis des chapeaux, des sacs et des costumes. Les feuilles de Rafia sont parmi les plus grandes des palmiers d’Afrique. En plus des fibres, ces feuilles produisent de la sève (vin de palme) qui constitue une boisson très populaire en Afrique et qui est également exportée hors du continent.
La sève produit des nutriments utiles qui pourraient jouer un rôle actif dans la physiologie et la santé humaines [22].