Stage de Recherche – Master 2 Computer Vision / Pattern Recognition / Machine Learning Rapport de stage Analyse du comportement animal à partir de séquences vidéo Peterson ACHILLE Encadrant: Dr. Bruno EMILE Dr. Helene LAURENT Date de Remise : Decembre 2022 UNIVERSITE NATIONALE DU VIETNAM, HANOI INSTITUT FRANCOPHONE INTERNATIONAL Peterson ACHILLE ANALYSE DU COMPORTEMENT ANIMAL A PARTIR DE SEQUENCES VIDEO. PHÂN TÍCH HÀNH VI CỦA ĐỘNG VẬT TỪ CẢNH QUAY VIDEO.
MEMOIRE DE FIN D’ETUDES DU MASTER INFORMATIQUE HANOI – 2022 UNIVERSITE NATIONALE DU VIETNAM, HANOI INSTITUT FRANCOPHONE INTERNATIONAL Peterson ACHILLE ANALYSE DU COMPORTEMENT ANIMAL A PARTIR DE SEQUENCES VIDEO. PHÂN TÍCH HÀNH VI CỦA ĐỘNG VẬT TỪ CẢNH QUAY VIDEO. Spécialité: Systèmes Intelligents et Multimédia Code: Programme pilote MEMOIRE DE FIN D’ETUDES DU MASTER INFORMATIQUE Sous la direction de: Dr. Bruno EMILE (Maître de conférence - HDR) Dr.
Helene Laurent (Maître de conférence - HDR) HANOI – 2022 ATTESTATION SUR L’HONNEUR J’atteste sur l’honneur que ce mémoire a été réalisé par moi-même et que les données et les résultats qui y sont présentés sont exacts et n’ont jamais été publiés ailleurs. La source des informations citées dans ce mémoire a été bien précisée. LỜI CAM ĐOAN Tôi cam đoan đây là công trình nghiên cứu của riêng tôi.Các số liệu, kết quả nêu trong Luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác. Các thông tin trích dẫn trong Luận văn đã được chỉ rõ nguồn gốc.
Signature de l’étudiant ACHILLE Peterson Remerciements En premier lieu, je tiens à remercier DIEU le tout puissant et miséricordieux, qui m’a donné la force et la patience d’accomplir ce Modeste travail. En second lieu, je tiens à remercier mes maîtres de stage, Dr. Bruno Emile, Dr Helene Laurent et Dr. Xavier Desquesnes, Ingénieur de chercheur au Laboratoire Prisme, Djahlin Hervé NIKUE AMASSAH, Doctorant.
Un grand merci pour leur patience et leurs précieux conseils. Ils m’ont beaucoup appris sur les défis qu’un encadrant doit relever au quotidien. Je désire aussi remercier les professeurs de l‘Institut Francophone International et de l’Université de La Rochelle, qui m’ont fourni les outils nécessaires au bon déroulement de mon stage. Je tiens particulièrement à remercier M.
Ho Tuong Vinh, enseignant-chercheur, Institut Francophone International, Université Nationale du Vietnam qui fut le premier à me soutenir dans ma démarche de recherche de stage. Un grand merci à ma famille et a tous mes camarades de Promotion 24 - SIM, pour leurs conseils, ainsi que pour leur soutien inconditionnel, à la fois moral et économique. Pour finir, je voudrais remercier tous mes amis proches, pour ses conseils avisés sur la rédaction de ce rapport de stage et aussi remercier tous les autres personnes qui m’ont bien supporté durant ce long parcours. I Résumé Le domaine de la vision par ordinateur vise à reproduire sur un ordinateur les capacités d’analyse et d’interprétation de la vision humaine.
L’analyse comportementale à partir de séquences vidéo peut être utilisée dans diffé- rents domaines de la recherche, tels que la biologie, l’écologie, l’éthologie, la psychologie et la médecine vétérinaire. Les techniques d’analyse peuvent inclure l’utilisation de logi- ciels pour suivre les mouvements des animaux, l’identification des comportements et des interactions sociales, l’analyse des modèles de déplacement et d’autres caractéristiques comportementales. Cette méthode offre un moyen non-invasif et précis d’étudier les comportements des animaux dans leur environnement naturel. Elle peut être utilisée pour examiner les ef- fets du changement climatique, des modifications de l’environnement ou de l’impact de l’homme sur les espèces animales.
Elle peut également être utilisée pour étudier les com- portements sociaux, les processus cognitifs et la communication chez les animaux. Notre solution d’implémentation se base sur des différentes méthodes et techniques utilisés comme par exemple YOLO v4 pour la détection de la tête avec et sans redresse- ment des plumes car son résultat est meilleur par rapport aux autres algorithmes ainsi que Forêt aléatoire et SVM pour la détection d’émotion basée sur le rougissement. En outre, l’analyse du comportement animal est un des axes de recherche très im- portant des laboratoires Prisme et INRAE. Les éleveurs agricoles et soigneurs en parc animalier partagent un besoin d’observations quant aux animaux.
Mots clés : Vision par ordinateur. Intelligence artificielle, apprentissage profond, recon- naissance des objets, détection des objets, classification, algorithmes. II Abstract The field of computer vision aims to reproduce on a computer the analysis and inter- pretation capabilities of human vision. Behavioral analysis from video footage can be used in a variety of research areas, such as biology, ecology, ethology, psychology and veterinary medicine.
Analysis techniques can include the use of software to track animal movements, identification of behaviors and social interactions, analysis of movement patterns, and other behavioral characteristics. This method provides a non-invasive and accurate way to study animal behaviors in their natural environment. It can be used to examine the effects of climate change, environmental change or human impact on animal species. It can also be used to study social behavior, cognitive processes and communication in animals.
Our implementation solution is based on different methods and techniques used such as YOLO v4 for head detection with and without feather straightening as its result is better than other algorithms as well as Random Forest and SVM for emotion detection based on blushing. In addition, the analysis of animal behavior is one of the very important research axes of the Prisme and INRAE laboratories. Farmers and animal park keepers share a need for observations of animals. Keywords : Computer vision.
Artificial Intelligence, Deep Learning, Pattern Recognition, Object detection, Classification, Algorithms III Table des matières Remerciements. III Introduction générale. 1 1 Analyse du Sujet .2 Le contexte et problématique du sujet .3 Les problèmes à résoudre .4 Les objectifs du stage .2 État de l’Art .1 Explication sur les differents concepts de bases .3 Reconnaissance d’objets & Détection d’objets .4 Résumé - Détection d’objet .5 Algorithmes apprentissage automatique .2 Réseaux de neurones .3 Réseaux de neurones à Convolution .1 Détection sans apprentissage profond .1 Détection avec Apprentissage profond .8 Bilan des articles consultés .1 Image Detection, Recognition, and Classification with Machine Learning 11 2.2 Reconnaissance de l’image et apprentissage approfondi. 12 IV Table des matières 2.3 Classification et détection des images de défauts avec un appren- tissage approfondi .2 Détection de la tête de l’oiseau .3 Segmentation des zones d’intérêts .4 Extraction de caractéristiques .5 Classification de l’émotion .2 Architecture technique de la solution .3 Détection de la tête de l’oiseau .3 Méthode Faster R-CNN .4 Segmentation de la zone de rougissement .5 Extraction de caractéristiques liées au rougissement .6 Classification de l’émotion (Rougissement).
22 5 Expérimentations et résultats .3 Détection de la tête avec Yolo v4 et Faster R-CNN .1 Préparation des données .2 Formation des modèles .5 Evaluation des modèles .1 Résultat évaluation Faster R-CNN .2 Résultat évaluation Yolo v4 .6 Détection d’émotion basée sur le rougissement .1 La segmentation sémantique avec la méthode U-Net comprend deux parties principales.1 Préparation des données .2 Entraînement du modèle et résultat .2 Extraction des caractéristiques liées au rougissement .3 Classification de l’émotion basée sur le rougissement. 39 Conclusion et perspectives. 41 V Table des figures 2.2 Processus générique de détection automatique d’objets .3 Réseaux de neurones .4 Illustration de l’application d’un noyau sur la carte de caractéristiques en entrée pour générer la sortie .5 Architecture classique d’un réseau de neurone .9 Détection et Classification .1 Diagramme représentant la solution de Herve .2 Résultat de test sur une image .3 Zone de rougissement segmentée .4 Résultats pour la classification de l’émotion basée sur le redressement des plumes .5 Résultats pour la classification de l’émotion basée sur la joue (rougissement) 16 4.1 Schéma représentant l’enchaînement la solution proposée.2 Comparaison de vitesse.3 Schéma pour classification tête avec redressement et tête sans redressement 20 4.4 Zone de rougissement .1 Représentation d’images de la base initiale .2 Représentation des 50 images Google .3 Annotation des images sur labelimg .4 Evolution de la perte .5 Evaluation du modèle sur les données de test .6 Résultat du modèle Yolo sur une image test.7 Résultat du modèle Faster R-CNN sur l’un des images Google.8 Résultat de test sur une vidéo.10 Formule Précision et Recall .12 Résultat Map du modèles Faster R-CNN .13 Résultat Map du modèles Faster R-CNN .14 Résultat Map du modèle Yolo .15 Résultat Map du modèle Yolo. 31 VI Table des figures 5.16 Annotation avec labelme .17 Image d’un masque de segmentation générer à partir du fichier d’annotation 33 5.18 Evolution de l’erreur et du score F1 (Dice Coefficient) .19 Prédiction du masque avec notre modèle U-Net sur une image test .20 Zone de rougissement segmentée .21 Exemple image segmenté sans rougissement et avec rougissement .22 Création et résultat du modèle SVM .23 Création et résultat du modèle Foret aléatoire .24 Matrice de confusion du modèle SVM et forêt aléatoire sur les données de test .25 Sortie de la classification des deux types d’émotions sur un frame d’une vidéo de test.
38 VII Liste des abréviations IA : intelligence Artificielle CNN : Convolution Neural Network mAP : Mean Average Precision FPN : Feature Pyramid Networks OD : Object Detection IOU : Intersection over Union TP : True Positive FP : False Positive SSD : Single Shot Detector HOG : Histogram of Oriented Gradients OpenCV : Open Source Computer Vision Library Yolo : You only look once RPN : Réseau de propositions de région IX Introduction générale Une des problématiques majeurs dans le domaine de la vision par ordinateur est l’au- tomatisation des systèmes de reconnaissance et de détection. En effet, ce domaine ne cesse de se développer pour assister l’être humain dans ces tâches quotidiennes. Particu- lièrement depuis quelques années avec la poussée d’une nouvelle méthode d’intelligence artificielle bien connue ; le Deep Learning. L’essor des systèmes d’acquisition et de traitement de la vidéo joue un rôle important dans la vie quotidienne.
Cette importance évolue proportionnellement avec nos besoins d’automatiser le processus d’extraction de l’information depuis la vidéo. En effet, l’ap- proche analytique des séquences vidéo s’est beaucoup améliorée grâce à de meilleures utilisations de ce concept car la création de modèles par apprentissage nous permet rapi- dement de détecter et d’analyser différents objets sans devoir écrire un algorithme précis. Le domaine de la vision par ordinateur (appelée aussi vision artificielle, vision numé- rique ou vision cognitive) a pour but de reproduire sur un ordinateur les capacités d’analyse et d’interprétation propres de la vision humaine. Elle s’inscrit dans le cadre général de la recherche de moyens susceptibles de doter l’ordinateur d’une intelligence comparable à celle des êtres humains (apprentissage, représentation, raisonnement).
L’objectif général est de concevoir des modèles et des systèmes capables de représenter et d’interpréter le contenu visuel d’une scène. Car dans le domaine d’agriculture, la nécessite d’un tel sys- tème, capable de visualiser le comportement des animaux reste important afin de disposer d’indicateurs précis pour piloter l’alimentation, l’émotion, la reproduction du troupeau etc. … Bien que des progrès considérables aient été effectués, la résolution de certains pro- blèmes tels que l’analyse du comportement animal de façon robuste, reste un challenge. La première section de notre document concerne l’analyse du sujet, une approche démontrant les bases de la compréhension, la deuxième section fait référence à l’état de l’art, la section 3 et 4 nous parle de la solution existante et celle proposée avec ses méthodes et approches inclues, pour finir, l’expérimentations et les résultats de notre approche ont été abordé à la section 5 du document.
1 Chapitre 1 Analyse du Sujet 1.1 Introduction Dans ce chapitre nous allons vous détailler plus claire notre sujet de stage qui est L’analyse du comportement animal à partir de séquences vidéo, dont l’objectif est d’analyser les mouvements, les interactions sociales et d’autres comportements afin de mieux comprendre les animaux, leur environnement et leur mode de vie.2 Le contexte et problématique du sujet L’analyse du comportement animal est un des axes de recherche de laboratoire Prisme et d’INRAE.