Université Nationale du Université de La Rochelle Vietnam à Hanoï Institut Francophone International Mémoire de fin d’études de Master informatique option Systèmes Intelligents et Multimédia CAPTURES DES MOUVEMENTS AUX PARTIES CACHÉES DO Thanh Binh Encadrement de stage : Alexandre MEYER Année académique 2014 - 2015 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Remerciements Je voudrais remercier, avant tout, tous ceux qui ont rendu cette expérience possible, et très enrichissante. Je tiens à remercier dans un premier temps, ma mère et ma famille. Je remercie également Monsieur Alexandre Meyer, mon tuteur pédagogique atti- tré, pour ses conseils concernant la mission de ce stage, conseils qui m’ont permis de prendre du recul par rapport à mes tâches et aux différents aspects techniques. Je souhaite remercier toute l’équipe pédagogique du IFI.
et les intervenants profes- sionnels responsables de la formation, pour avoir assuré la partie académique de celle- ci. HO Tuong Vinh et M. NGUYEN Hong Quang pour leurs conseils sur les critères de choix d’une formation de 2ème cycle en Intelligence artificielle, qui ont facilité mon orientation à l’origine de mon inscription en Master SIM. Je tiens à remercier tout particulièrement et à témoigner toute ma reconnaissance aux membres de l’équipe Capture Motion, pour l’expérience enrichissante qu’elles m’ont permis de vivre durant ces six mois au sein du LIRIS-Nautibus.
J’adresse mes remerciements à Monsieur Erwan Guillou, pour m’avoir intégré ra- pidement au sein du laboratoire et m’avoir accordé toute sa confiance ; pour le temps qu’il m’a consacré tout au long de cette période, sachant répondre à toutes mes inter- rogations. Je témoigne toute ma reconnaissance aux personnes suivantes :M TRAN Dinh Tin,M TRAN Huu Viet,M NGO Minh Duc, ainsi que l’ensemble des membres de l’équipe INSA pour leur accueil sympathique et leur coopération professionnelle tout au long de ces six mois. Tous ceux qui ont délivré des conseils techniques sur la planification de mouve- ments, la cinématique inverse et les algorithmes de Tarjan. i LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Résumé Les systèmes de capture de mouvement utilisent classiquement plusieurs dizaines de caméras pour reconstruire les mouvements basés squelette de personne évoluant dans un décor souvent minimaliste.
Pour rendre ces techniques utilisables dans un contexte plus large comme par exemple avec moins de caméras et/ou avec des décors plus complets, un certains nombres de verrous devront être levés. Un des verrous im- portant sera d’être capables de compléter une information manquante car non visible, comme par exemple une partie du corps caché par le décor ou caché par une autre per- sonne. Dans le cas de la capture du squelette d’un acteur, lorsqu’une partie est cachée -par exemple les jambes par un élément de décor, ou un bras par un autre acteur- les solutions à explorer chercheront à "comprendre" le type de mouvement en cours avec les pas de temps précédents afin de compléter l’information manquante. Cette analyse du mouvement pourra également servir à accélérer les calculs en réduisant l’espace à explorer pour la détection de la pose courante.
Dans ce cadre, différentes pistes ont eu envisagées comme la méthodes d’interpolation, la méthode basée sur le squelette, la méthode basée sur le matrice, etc. Dans le cas de la capture du mouvement des personnages, on peut imaginer qu’une simulation physique puisse fournir une information manquante voir guider la capture quand l’information est partielle. Donc, nous avons proposé l’utilisation d’un graphe d’animation universelle pour cela fait. Graphe d’animation est une technique qui relie les trames similaires dans la base de données de capture de mouvement utilisant des transitions.
La qualité du graphe d’animation dépend entièrement sur les points de transition choisis. Pour créer des transitions entre les trames semblables, la métrique de similitude est utilisée pour comparer les trames en fonction des contraintes basées sur la physique et la qualité visuelle. Nous avons combiné le graphe d’animation et les techniques d’interpolation. Ces techniques se divisent motions dans un comportement similaire et puis regrouper les segments similaires pour créer l’interpolation et des transitions douces.
Pour ce stage, nous avons construit un outil pour faire les taches suivant : — Lire les données supportées sous la forme des BVH fichier — Utiliser les quaternions et techniques d’interpolation pour mélanger des mou- vement — Construire le graphe d’animation en combinant les différents métriques de la distance — Effectuer les algorithmes de recherche comme A*, Tarjan sur le graphe d’anima- tion — Extraire le graphe d’animation pour synthétiser des motions conforme au but des utilisateur. Outils utilisés : C++, OpenGL, techniques d’animations. ii LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Abstract Motion capture, or mocap, is an extensive technique for capturing and analyzing human articulations. Mocap data have been longtime used in the domain of compu- ter graphics to animate figures in motion pictures and video games.
There are many cases when markers can be disapeared due to some conditions , for example occluded by props, limbs, bodies or other markers (occulusions or ambiguities). It is also not unusual that positions of some markers can be missing for a long period of time. Obtaining human body shape and motion from such motion-capture data is an in- herently difficult task. Although many methods have been developed to handle this problem, most procedures require manual intervention and can’t be used with diverse motions, high percentage of missing markers, and/or extended occlusions.
These days, there are about four principal technics being used for treating the pro- blem. First of all, is the Interpolation based technics which use the avaiable marker to infer the missing entries. Secondly, the skeleton based methode which take on account of kinematic or bone-length to regularize the meaningful human pose (skeletal anima- tion). Thirdly, the matrix based which employ the linear or non linear correlation of motion matrix to estimatie the missing markers.
The last one is data driven based me- thod employing an established database that consist of similar motions to reconstruct the missing entries. We propose a data-driven method, synthesizing motions from Motion Graphs, this approach to estimate missing marker can be useful in this scenario. The collection of motion sequences (training set) could be represented as a directed graph. Each frame would be a node.
There would be an edge from every frame to every frame that could follow it in an acceptable splice. In this graph, there would be (at least) an edge from the kth frame to the (k + 1)th frame in each sequence. This graph is not a particularly help- ful representation because it is extremely large, we can easily have tens of thousands of nodes and hundreds of thousands of edges that obscures the structure of the sequences. Instead, we collapse all the nodes (frames) by pruning the graph.
Since edges connect frames, they are labelled with the frames in the incident nodes (motion sequences) that they originate from and they point to. We also assume that the edges in G are atta- ched a cost value which tells us the cost of connecting the incident frames. If cutting from one sequence to another along an edge introduces a discontinuous motion, then the cost attached to the edge is high. For a new sequence with missing markers, we use a pre-trained Motion Graph to identify the most appropriate motion by many rela- ted Graph Searching methods.
Our experimental results demonstrate that our generic Motion Graphs works well with heterogeneous motion data. iii LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Table des matières Remerciements i Résumé ii Abstract iii Table des matières v Liste des figures vii Liste des tableaux viii INTRODUCTION 1 0.1 Contexte du stage .2 Objectif du stage .1 Plan du Stage. 3 Chapitre 1 REVUE BIBLIOGRAPHIQUE 5 1.1 L’ état de l’art .1 Méthode basée sur l’interpolation .2 Méthode basée sur le squelette .3 Méthode basée sur la matrice de corrélation .4 Méthode basée sur orientées données .6 Commentaires sur le graphe d’animation .1 Graphe non-structuré d’animation .1 Point de vue générale sur le graphe d’animation .2 L’idée de base pour construire le graphe d’animation universelle 17 2.2 Détecter la transition .1 Une distance métrique pour les motions .2 Sélection de points de transition .3 Élagage du Graphe .4 Évaluation les métriques de distance .5 Méthode proposé-le Graphe d’animation universelle .3 Technique de mélange des mouvements .1 TimeWarping-technique de l’interpolation .2 La mise à l’échelle de temps(Time Scaling). 29 Chapitre 3 IMPLÉMENTATION ET RÉSULTATS 31 3.1 La conception du système.
31 iv LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com TABLE DES MATIÈRES v 3.1 Chargement et sauvegarde les motions .2 Détecter des extrémités .3 La méthode d’optimisation de NewTon .4 Élaguer le graphe d’animation .5 Extraire les motions .2 Test case avec la base de CMU. 44 CONCLUSION 45 Références 46 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Liste des figures 1 Les activités scientifiques du Liris .2 Trois approches principales basées sur : l’interpolation, squelette et la matrice .3 Point de vue générale sur le Graphe d’animation .1 Point de vue générale sur le Graphe d’animation .2 Étape communes pour construire le graphe non structuré d’animation .3 Synthétiser mouvements humains par aboutement des éléments de don- nées existants. Source :Interactive Motion Generation from Examples- Okan Arikan .4 Prétraitement des données de mouvement. Source :Interactive Control of Avatars Animated with Human Motion Data Jehee Lee .6 Clips de mouvement .7 transitions entre clips .8 Graphe orienté obtenu .9 Une marche sur le graphe .10 Créer nouveaux mouvements .11 Chaque articulation a l’effet différent.
[1] Source :Automated Methods for Data-Driven Synthesis of Realistic and Controllable Human Motion .12 Chaque seuil a l’effet différent. [1] Source :Automated Methods for Data- Driven Synthesis of Realistic and Controllable Human Motion .13 Ajouter la transition sur le local minimum. [2] Source :Automated Me- thods for Data-Driven Synthesis of Realistic and Controllable Human Motion .14 élagage du graphe. [2] Source :Automated Methods for Data-Driven Synthesis of Realistic and Controllable Human Motion .15 représentation 3D de personnage .16 Deux os connectés par des articulations, où un articulation est le parent de l’autre .17 Un articulation de bras est tourné, et les enfants de cette articulation en rotation avec lui.18 L’effet de déplacement et la rotation d’un articulation.19 La transformation de l’articulation racine change tous les autres articu- lations.20 L’exemple de mélanger linéairement deux motions.21 Mélange entre "Marcher et courir" [2] .22 Time Scaling [3] Source : Lecture Note − Motion Blending (Interpolation and Timewarping) Jehee Lee.
30 vi LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LISTE DES FIGURES vii 2.23 sequence de base .24 re-échantillonnage : M(t) = (1 − α) M (ti ) α( M(ti+1 ), α = t t−−ti t .25 La résolution la discontinuité de la vitesse [3] Source : Lecture Note − Motion Blending (Interpolation and Timewarping) Jehee Lee .1 Conception le système .2 Squelette structuré Source : Meredith, M. (2001) Motion Capture File Formats Explained.3 La première partie du BVH fichier .4 La deuxième partie du BVH fichier .5 Les extrémités d’un personnage .6 Le pied patinage .7 premier pose de mouvement dans le graphe d’animation .8 Deuxième pose de mouvement dans le graphe d’animation.9 représentation le pose d’interpolation .10 La transition lisse entre deux poses. 43 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Liste des tableaux 1.1 L’approche basée sur l’interpolation .2 L’approche basée sur le squelette .3 L’approche basée sur la matrice de corrélation .4 L’approche basée sur orientées données .1 Performances de la composition de rotation vecteur .2 L’introduction sur les séquences de mocap évaluant dans notre expéri- mente .3 Poids d’articulation pour la métrique de distance de similarité .4 L’introduction sur les séquences de mocap de CMU. 44 viii LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com INTRODUCTION L’environnement de travail LIRIS-Nautibus Le LIRIS, regroupant 320 membres, est une unité mixte de recherche (UMR 5205) dont les tutelles sont le CNRS, l’INSA de Lyon, l’Université Claude Bernard Lyon 1, l’Université Lumière Lyon 2 et l’Ecole Centrale de Lyon.