UNIVERSITE NATIONALE DU VIETNAM, HANOI INSTITUT FRANCOPHONE INTERNATIONAL ------------------- ATREVI Dieudonné Fabrice EXTRACTION DE SQUELETTES 3D A PARTIR D'IMAGES DE SILHOUETTES HUMAINES : RECONNAISSANCE DE POSTURES ET MODELISATION D'ACTIONS CHIẾT XUẤT KHUNG XƯƠNG 3D TỪ ẢNH 2D CỦA CON NGƯỜI: NHẬN DẠNG TƯ THẾ VÀ MÔ HÌNH HOÁ HÀNH ĐỘNG MEMOIRE DE FIN D’ETUDES DU MASTER INFORMATIQUE HANOI – 2015 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com UNIVERSITE NATIONALE DU VIETNAM, HANOI INSTITUT FRANCOPHONE INTERNATIONAL ------------------- ATREVI Dieudonné Fabrice EXTRACTION DE SQUELETTES 3D A PARTIR D'IMAGES DE SILHOUETTES HUMAINES : RECONNAISSANCE DE POSTURES ET MODELISATION D'ACTIONS CHIẾT XUẤT KHUNG XƯƠNG 3D TỪ ẢNH 2D CỦA CON NGƯỜI: NHẬN DẠNG TƯ THẾ VÀ MÔ HÌNH HOÁ HÀNH ĐỘNG Spécialité : Systèmes Intelligents et Multimédia Code : Programme pilote MEMOIRE DE FIN D’ETUDES DU MASTER INFORMATIQUE Sous la direction de: Dr Damien VIVET, Maître de conférence Dr Florent DUCULTY, Maître de conférence Lu et validé, bon pour soutenance HANOI – 2015 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Table des matières Table des matières i Remerciements iii Résumé iv Abstract v Liste des figures vi Liste des tableaux viii Introduction Générale 1 1 État de l’art 3 1.2 La capture de mouvement .3 L’estimation de pose et l’analyse de mouvement .4 Descripteurs de formes. 11 2 Méthodes et solutions proposées 12 2.2 Modélisation humaine 3D et extraction de données .3 Descripteurs de formes et extraction de caractéristiques. 24 3 Implémentation et Résultats 25 3.3 Résultats de la reconnaissance de postures .4 Résultats de la reconnaissance d’actions. 39 Conclusion Générale 40 Bibliographie 41 Annexes 44 i LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Je dédie ce document à ma famille et à mes camarades de l’IFI ii LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Remerciements La réalisation de ce document qui couronne la fin de notre formation de Master, n’aurait été possible sans l’appui direct ou indirect de personnes et d’institutions auxquelles nous tenons ici à exprimer nos sincères remerciements.
Il s’agit de : — L’Agence Universitaire de la Francophonie (AUF), pour nous avoir donné l’opportunité de poursuivre nos études de Master à l’IFI à travers une bourse. — L’Institut Francophone International (IFI) et de tous les professeurs, pour les nombreuses connaissances acquises durant notre formation. — Nos encadrants pour nous avoir accueillis au sein de leur équipe et pour leur suivi et implication personnelle dans la réalisation de nos travaux. — Tous ceux qui de près ou de loin nous ont apporté leur soutien durant notre formation.
iii LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Résumé L’informatique met à la disposition de plusieurs domaines de la science des outils puis- sants d’analyse pour l’aide à la décision. Le secteur de la vision par ordinateur n’est pas resté en marge de ces révolutions. Un des domaines en fort développement est la mise en place d’ou- tils intelligents d’analyse du comportement humain. Dans le cadre précis de nos travaux, nous nous sommes attachés à la question de l’estimation de pose 3D à partir d’images 2D obtenues à partir de capteurs classiques ne fournissant pas d’information de profondeurs.
Ces informations de profondeurs sont actuellement indispensables pour des analyses plus précises du compor- tement humain dans le cadre de la vidéo surveillance de masse de personnes. L’approche que nous avons proposée au cours de ce stage suit une démarche classique d’apprentissage auto- matique qui consiste à apprendre un ensemble de poses obtenues à partir de données simulées. Les résultats obtenus sont prometteurs en ce sens que nous avons obtenu de bons taux de reconnaissance de pose à partir d’images de personnes inconnues dans la base d’apprentissage. Nos travaux nous ont permis de comparer les différents descripteurs de formes mis en jeux et de montrer ceux qui sont les plus robustes.
En nous appuyant sur les résultats de recon- naissance de postures, nous avons proposé une première approche de classification d’actions dans une vidéo. Les résultats obtenus sont prometteurs et peuvent être améliorés pour une plus grande efficacité, notamment en prenant en compte l’information temporelle par la mise en place d’un pistage multi hypothèse des points d’articulation du squelette. Mots-clés : Analyse comportementale, reconnaissance de postures, classification d’actions, descripteurs de formes. iv LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Abstract In the recent history of the science, IT provides powerful analysis tools for support expert to make a decision.
In the same way, computer vision tries to implement automatic tools for image and video analysis. For example, in the context of video analysis, we can talk about human motion analysis through a video. In the specific context of our work, we addressed the issue of the 3D pose estimation from 2D monocular images obtained from conventional sensors not providing depth information. The aim of our study is to estimate the 3D pose of a human from a monocular 2D image and then provides an action classification tool.
The proposed approach follows a classical machine learning approach that involves learning a set of 3D poses obtained from simulated data. The proposed approach consists to extract silhouette of human from an image and compute, via the orthogonal geometric moment and the shape context, three feature vectors. A human poses and action can be retrieved by calculating the Euclidian distance between the feature vector af the request image and all of the feature vector of the training data. we are deduce the corresponding action by choising the most represent class of action.
3D estimate poses is then computing by the mean 3D poses of all retrieved images of the most represented action class. Keywords: Behavior analysis, 3D pose recognition, actions classification, shape descrip- tors. v LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Liste des figures 1.1 Personne équipée d’un exosquelette .2 Personne équipée lors d’une capture magnétique.3 Capture avec kinect .1 Exemples de modèles humains 3D obtenus avec MakeHuman .2 Modèle du squelette de type second life bones .3 Modèle humain importé dans blender à partir de MakeHuman .4 Exemples de silhouettes extraites lors d’une marche .5 À gauche, une matrice 4 x 4, à droite une image avec les points reprojetés .6 De la gauche vers la droite : courbe du polynôme avec n = 0, 1, 2 .7 Détermination du bon ordre pour le moment de Krawtchouk .8 À gauche, les moments pour le bas du corps et à droite, les moments pour le haut du corps .9 Polynômes de Zernike tracés sur le disque unité [1] .10 Détermination du bon ordre pour le moment de Zernike .11 Contexte de forme. (a,b) sont des exemples de forme.
(c) est le diagramme log-polaire. (d-f) des histogrammes des points marqués. Source Belongie et al.12 Détermination du bon nombre de clusters .1 worklow de la démarche suivie .2 Taux de reconnaissance pour des données apprises : Méthode de Krawtchouk .3 Taux de reconnaissance pour des données non apprises : Méthode de Krawt- chouk. En abscisse, résultats pour respectivement 1, 3, 5 et 7 voisins considérés et en ordonnée, les taux de reconnaissance.4 Taux de reconnaissance pour des données apprises : Méthode de Zernike.
En abscisse, résultats pour respectivement 1, 3, 5 et 7 voisins considérés et en ordonnée, les taux de reconnaissance.5 Taux de reconnaissance pour des données non apprises : Méthode de Zernike. En abscisse, résultats pour respectivement 1, 3, 5 et 7 voisins considérés et en ordonnée, les taux de reconnaissance.6 Taux de reconnaissance pour des données apprises : Méthode du contexte de forme. En abscisse, résultats pour respectivement 1, 3, 5 et 7 voisins considérés et en ordonnée, les taux de reconnaissance.7 Taux de reconnaissance pour des données non apprises : Méthode du contexte de forme. En abscisse, résultats pour respectivement 1, 3, 5 et 7 voisins considérés et en ordonnée, les taux de reconnaissance.8 Résultat de recherche d’une image inconnue avec les trois descripteurs.
34 vi LUAN VAN CHAT LUONG download : add luanvanchat@agmail.9 Exemple 1 : Résultat de représentation 3D de squelette .10 Exemple 2 : Résultat de représentation 3D de squelette .11 Résultats de suivi pour le mouvement "grimper" .12 Résultats de suivi pour le mouvement "saut" .13 Matrice de confusion obtenue .14 A gauche notre matrice de confusion exprimée en pourcentage et à droite la matrice de confusion obtenue par Gorelick et al. 38 A1 Contour extrait sur une silhouette. 44 B1 Images de silhouette bruitée avec std = 1. 45 B2 Images de silhouette bruitée avec std = 2.
45 B3 Images de silhouette bruitée avec std = 3. 45 C1 Résultat de reconnaissance de posture avec une image réelle pour une posture en croix. A gauche, l’image originale, au centre, les résultats obtenus et à droite l’estimation du squelette 3D. 46 C2 Résultat de reconnaissance de posture avec une image réelle pour une posture de marche.
A gauche, l’image originale, au centre, les résultats obtenus et à droite l’estimation du squelette 3D. 47 vii LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Liste des tableaux 3.1 Caractéristiques de la machine .2 Détails de composition des différentes bases .3 Organisation de la base d’apprentissage. 26 viii LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Introduction Générale Contexte et Cadre d’étude Le présent document a été élaboré dans le cadre des travaux réalisés durant notre stage de fin de formation pour l’obtention du Master spécialité "Systèmes Intelligents et Multimédia" de l’Institut Francophone International en collaboration avec l’Université de La Rochelle. Les travaux se sont déroulés au sein de l’équipe "Image et Vision" du laboratoire PRISME de l’Université d’Orléans.
Il s’agit d’un laboratoire pluridisciplinaire dans le domaine général des sciences pour l’ingénieur. Il est déployé sur plusieurs sites et est composé d’environ 106 enseignants-chercheurs, de 70 doctorants et d’une dizaine d’ingénieurs. La thématique abordée durant ces travaux est relative au domaine de l’analyse compor- tementale et de la télésurveillance. En effet, plusieurs domaines de la science ont recours à l’informatique et plus précisément à la vision par ordinateur pour l’analyse des actions (dans un aéroport, dans un stade, dans une place publique, etc.) d’une ou d’un groupe de personnes, et ce, à travers des vidéos.
Il est difficile pour l’homme de pouvoir surveiller et prédire des ac- tions de ces individus dans un environnement plus large et non contrôlé. Ainsi, de nombreuses recherches ont été menées ces dernières années pour mettre à la disposition des spécialistes des outils précis et efficaces afin de les aider dans leur prise de décision en matière de vidéo- surveillance et plus précisément dans l’analyse de comportement. Problématiques Dans le cadre de la vidéosurveillance, de l’analyse comportementale et de la reconnaissance de gestes, certaines informations géométriques (comme les informations sur la pose 3D des individus) sont essentielles pour affiner les analyses des experts. L’obtention des informations de profondeur requiert l’utilisation de dispositifs spécifiques coûteux et donc non utilisés dans la vidéosurveillance.
Il se pose alors la problématique de trouver un moyen simple et efficace d’obtenir ces informations à partir d’une vue monoculaire de l’environnement et des personnes qui s’y trouvent. Cette problématique, qui est un véritable challenge dans le domaine de la vision, a mobilisé ces dernières années, de nombreux chercheurs, qui se sont lancés dans l’élaboration de différentes approches. De nombreuses solutions ont été proposées et chacune 1 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com d’elles présente des avantages et des inconvénients. Nos travaux s’intéressent à ce domaine et visent à proposer une méthode simple, efficace et rapide pour extraire les informations géométriques sur la pose d’une personne.
Objectifs du stage Les objectifs de notre stage sont multiples et se déclinent en deux grandes parties. Dans la première grande partie, il s’agira de mettre en place une base de données de silhouettes 2D et de squelettes 3D extraits lors de l’exécution de mouvement par des modèles humains 3D. Une fois les bases de données mises en place, nous proposerons une démarche méthodique qui permettra de caractériser l’ensemble des silhouettes via des descripteurs de formes.