UNIVERSITÉ NATIONALE DU VIETNAM, HANOÏ INSTITUT FRANCOPHONE INTERNATIONAL Wênd-Panga Jérémie OUEDRAOGO Suivi de personnes en temps réel à l’aide d’une caméra Fisheye par Deep Learning Theo dõi ngi theo thi gian thc bng máy camera Fisheye da trên mô hình hc sâu MÉMOIRE DE FIN D’ÉTUDES DU MASTER INFORMATIQUE HANOÏ - 2021 UNIVERSITÉ NATIONALE DU VIETNAM, HANOÏ INSTITUT FRANCOPHONE INTERNATIONAL Wênd Panga Jérémie OUEDRAOGO Suivi de personnes en temps réel à l’aide d’une caméra Fisheye par Deep Learning Theo dõi người theo thời gian thực bằng máy camera Fisheye dựa trên mô hình học sâu Spécialité : Systèmes Intelligents et Multimédia MÉMOIRE DE FIN D’ÉTUDES DU MASTER INFORMATIQUE Sous la direction de : Dr. Baptiste MAGNIER Enseignant chercheur à l’IMT-Alès baptiste.magnier@mines-ales.fr ATTESTATION SUR L’HONNEUR J’atteste sur l’honneur que ce mémoire a été réalisé par moi-même et que les données et les résultats qui y sont présentés sont exacts et n’ont jamais été publiés ailleurs. La source des informations citées dans ce mémoire a été bien précisée. LI CAM ÐOAN Tôi cam d̄oan d̄ây là công trình nghiên cu ca riêng tôi.
Các s liu, kt qu nêu trong Lun văn là trung thc và cha tng d̄c ai công b trong bt kỳ công trình nào khác. Các thông tin trích dn trong Lun văn d̄ã d̄c ch rõ ngun gc. Signature de l’étudiant Wênd-Panga Jérémie OUEDRAOGO i Remerciements Ce travail de mémoire de Master recherche est le résultat de l’engagement des personnes qui ont cru en moi et qui n’ont pas hésité à m’accompagner dans cette quête du savoir. Je rend grâces à mon Seigneur et mon Dieu, dans son amour infini m’a donné la grâce de pouvoir achever cette formation loin des miens.
Grande est la reconnaissance que j’ai envers l’Université Nationale du Vietnam à travers l’Institut Fran- cophone International et toute son équipe pédagogique. Je remercie tous les enseignants et leurs parte- naires qui n’ont ménagé aucun effort pour nous transmettre le savoir, la connaissance et tout ce qui s’en- suit, pour faire de nous des expérimentés de demain. Je tiens à adresser mes profonds remerciements à mon encadrant, Baptiste MAGNIER et à Dr Olfa HAG- GUI pour l’accompagnement et les conseils au cours de mon séjour dans les locaux à l’IMT-Alès. Merci à tous les autres collaborateurs qui ont pu apporter leurs touches qui m’ont permis de m’orienter tout au long de ce stage.
Mes remerciements vont aussi à l’endroit du responsable de Master Dr Ho Tuong Vinh ainsi que tous les personnels pédagogiques et administratifs de l’Institut Francophone International (IFI), Université Natio- nale de Vietnam à Hanoi. Je leur suis reconnaissant de tout cœur pour avoir assuré et amélioré la qualité de notre formation. Un grand merci inestimable à mon épouse et à nos enfants qui ont cru en moi ; à mes parents et à mes frères qui ont su me soutenir chacun depuis sa position, par leur amour, leurs conseils. Je voudrais profiter de cet espace pour leur exprimer toute ma gratitude et ma reconnaissance.
Grâce à vous, j’aborde une nouvelle étape de ma vie avec confiance et dynamisme. Wênd-Panga Jérémie OUEDRAOGO Auteur: OUEDRAOGO Wend Panga Jérémie ii Table des matières Table des figures iv 1 Introduction 1 1.A Présentation de la Structure d’accueil : CERIS .1 Les missions du CERIS .2 Composition du CERIS .3 Présentation de l’équipe I3A .4 Quelques chiffres clés du CERIS .B Présentation du Projet MOVCAP : .C Contexte et Problématiques .3 L’objectif du stage. 5 2 État de l’art 7 2.1 Les Réseaux de neurones récurrents –Recurrent Neural Network (RNN) .2 Réseaux de neurones de convolution – Convolution Neural Network (CNN) .3 Architectures de réseaux de neurones convolutifs .B Les métriques d’évaluation .C Étude des caméras Omnidirectionnelles .D Quelques travaux connexes .1 Détection basée l’Histogram of Oriented Gradient (HOG) par [Chiang and Wang, 2014] .2 Détection de personnes dans les images Fisheye top-view par [Demirkus et al.3 Travaux de Détection efficace des piétons dans les images fisheye en vue de dessus par [Chiang et al.4 Détection de personnes sensible à la rotation dans les images Fisheye vue de dessus par [Duan et al.5 Autres travaux étudiés .6 Conclusion sur les travaux. 20 Auteur: OUEDRAOGO Wend Panga Jérémie iii TABLE DES MATIÈRES 3 Solution Proposée 21 3.A Première étape : Création data set IMT et expérimentation du RAPID+Cendroïde .1 Préparation des terrains .2 Expérimentations sur les vidéos capturées.
23 4 Résultats et Analyses 25 4.A Expérimentations RAPID et Centroïde .1 Processus pour chaque expérimentation .2 Observation de la taille du bounding box selon l’angle .3 Taille du bounding box selon la distance avec le centre de l’image .4 Conclusion sur les résultats des expérimentations .B Deuxième Étape : Solution YOLO v4 appliquée au Deep Sort .1 Pipeline de la solution .2 Jeu de données .3 Configuration du backbone .4 Entraînement du modèle .5 Les métriques à la fin de la formation .6 Traquing avec notre modèle et le DeepSORT. 35 Bibliographie 36 A Les annexes 38 A.1 Portion du code des détections .2 différente fonctions de gestion des bounding box .3 Tableau récapitulatif de quelques informations extraites des expérimentations .5 Contenue du script de génération des images train. 42 Auteur: OUEDRAOGO Wend Panga Jérémie iv Table des figures 1.1 Composantes du CERIS - [IMT-CERIS, 2021] .1 RNN : version récurrente et version dépliée .2 CNN : Réseaux de neurones convolutifs .3 Illustration d’une convolution .4 Allure de la fonction ReLU .5 Sortie de la fonction Max Pooling .6 Une caméra catadioptrique .7 Une caméra polydioptrique .8 Une caméra dioptrique .9 Caméra fisheye - source : www.10 Image fisheye - source : www.12 La détection initiale .14 Configuration de la scène [Demirkus et al.15 Géométrie de l’image [Demirkus et al.16 Détection de personnes vues de dessus [Demirkus et al.17 Les étapes de traitement du système de détection des piétons proposé. [Chiang et al.18 Quelques résultats de l’approche.
[Chiang et al.19 (gauche) Aligné sur l’axe (milieu) Aligné sur le rayon (droite) Aligné sur l’homme. [Chiang et al.20 Aperçu de quelques résultats sur différents data set. [Chiang et al.1 Illustration du terrain pour la distance .2 Illustration du terrain pour l’observation de l’angle .1 Pipeline de chaque expérience .2 Taille du bounding box à 45°d’angle .3 Taille du bounding box à 90°d’angle .4 Taille du bounding box à 135° d’angle .9 Courbe de variation de la taille du Bbox.10 Pipeline pour la formation du modèle. 29 Auteur: OUEDRAOGO Wend Panga Jérémie v TABLE DES FIGURES 4.11 échantillon d’images du data set IMT.12 échantillon d’images du data set Mw-All .20 Illustration des partie détectables et non détectables .1 Calcul distance euclidienne entre le point centrale de l’image et le point centrale du bbx .2 Estimation pourcentage e contage de personnes .4 Suivi de la trajectoir.
41 Auteur: OUEDRAOGO Wend Panga Jérémie vi Liste des sigles et acronymes IFI Institut Francophone International IMT Institut Mines et Télécom CERIS Centre d’Enseignement et de Recherche en Informatique et Systèmes LGI2P Laboratoire de Génie Informatique et d’Ingénierie de Production AI Artificial Intelligence ANN Artificial Neural Networks DHM Digital Health in Motion RAPiD Rotation-Aware People Detection in Overhead Fisheye Images YOLO You Only Look Once SORT Simple Online Realtime Tracking DeepSORT Deep Simple Online Realtime Tracking DL Deep Learning DNN Deep Neural Networks KPCA Kernel Principal Component Analysis ML Machine Learning NN Neural Networks RNN Recurrent Neural Networks IOU Intersection Of Union Bbx Bounding box MOCVAP Outil de Capture de la cinématique du Mouvement humain Auteur: OUEDRAOGO Wend Panga Jérémie vii Résumé Dans ce document nous présentons les travaux réalisés dans notre stage. Il se sé- pare en deux étapes : la première étape consacrée à des expériences et une à création d’un data set et l’autre étape qui était la formation d’un modèle pour le suivi d’une personne. En effet première étape a consisté tout d’abord à la création d’un data set à travers des prises vidéos effectuées sur un terrain préparer de deux manières : une pour l’observation en fonction de la distance et l’autre pour l’observation de l’angle de rotation du bounding box. Les vidéos issues de ces prises ont été utilisées avec différents para- mètres, suivie d’un ensemble d’expérimentations avec le RAPID [Duan et al., 2020] et la méthode du centroïde.
En appliquant ces deux solutions, nous observons la taille du bounding box selon sa distance avec le point central de la caméra. Ensuite nous cal- culons et observons sa taille en partant de demi-cercles de rayon de 3m et 5m. Nous observons la variation de la taille du bounding box selon son angle d’orientation. Un nouveau data set d’images fisheye top view a été créé à partir de ces prises vidéos.
Dans la deuxième étape nous présentons les activités de la deuxième partie de notre stage qui consistait essentiellement à entraîner le détecteur YOLO v4 sur des images fisheye pour appliquer au traqueur DeepSORT. Pour ce faire nous avons utilisé deux data set : le nouveau data de l’IMT, et le data set MW-All. Comme prétraitement, nous avons redimensionné les images à 416 x 416, nous les avons aussi normalisées en divisant tous les pixels de chaque image par 255 de sorte à avoir une valeur comprise entre 0 et 1. Après configuration des hyperparamètres et l’entraînement du réseau avec Yolo V4, nous appliquons les poids au traquer DeepSORT [Wojke et al., 2017] pour le suivi de personne.
Auteur: OUEDRAOGO Wend Panga Jérémie viii Chapitre 1 Introduction Dans ce chapitre, nous présenterons essentiellement la structure qui nous a accueilli pour le dé- roulement du stage, ses instances et composantes. Nous présenterons aussi le projet pour lequel nous avons travaillé, les équipes et celle que nous avons intégré pour traiter la problématique et les attentes qui s’articulent sur le sujet Suivi de personnes en temps réel à l’aide d’une caméra Fisheye par Deep Learning.A P RÉSENTATION DE LA S TRUCTURE D ’ ACCUEIL : CERIS Le Centre d’Enseignement et de Recherche en Informatique et Systèmes (CERIS) est l’un des trois centres d’enseignement et de recherche de l’Institut Mines et Télécom d’Alès (IMT-Mines d’Alès). Il est spécialisé dans le domaine de l’informatique, de l’intelligence artificielle et de l’industrie du futur. Il assure dans ce domaine le lien stratégique entre les activités de formation, recherche et de dé- veloppement économique, dans la continuité du précédent centre d’enseignement et de recherche « LGI2P » (Laboratoire de Génie Informatique et d’Ingénierie de Production, 1994-2020) 1 1.1 Les missions du CERIS Les missions du CERIS s’articulent en trois volets qui sont[IMT-CERIS, 2021] : — Faire progresser la science et ses applications au service des entreprises et de la société ; — Former les élèves de l’école au meilleur niveau, grâce au haut degré d’expertise de son corps pro- fessoral ; — et enfin favoriser le transfert de cette expertise vers les entreprises et la société.2 Composition du CERIS Comme illustré sur l’image ci-dessous, le CERIS comporte : — deux (2) équipes de recherche ; — deux(2) départements d’enseignement ; — et trois(3) plateformes technologiques.
SIte internet IMT Mines Ales 2021 1 CHAPITRE 1.1 – Composantes du CERIS - [IMT-CERIS, 2021] Nous étions intégrés dans l’équipe de recherche en Informatique, Image, Intelligence Artificielle (I3A).3 Présentation de l’équipe I3A L’équipe de recherche I3A s’associé au Centre Européen de Recherche sur le Mouvement Humain de l’Université de Montpellier. Sa mission s’oriente vers l’étiologie du mouvement humain à travers l’unité mixte de recherche interdisciplinaire EuroMov Digital Health in Motion (Euromov DHM), en cotutelle IMT Mines Ales et Université de Montpellier. Ici, la complexité est moins associée à l’imprévisibilité qu’à une coordination souple et adaptative entre les multiples composantes d’un système, qu’il s’agisse d’un système logiciel ou du corps humain. L’intelligence artificielle, la vision par ordinateur et l’architecture de logiciels agiles introduisent de nou- veaux artefacts et proposent un éclairage innovant sur la compréhension des liens dynamiques cerveau- mouvement, la plasticité cérébrale et l’apprentissage sensorimoteur, ou encore l’identification des mé- canismes fondamentaux de la synchronisation dans le mouvement.