U INP Grenopte Institut de la Francophonie pour Institut National Polytechnique de Grenoble PInformatique Laboratoire des Images et des Signaux MEMOIRE DE FIN D’/ETUDES Reconnaissance multimodale de gestes de communication non verbale Présenté par Hong-Viet LUONG Promotion X - IFI Sous la dire n de Alice CAPLIER Alexandre BENOIT Novembre 2006 Reconnaissance de gestex de communtcation non verbale Remerciements Je voudiais exprimer ma profonde reconnaissance & mon responsable de. stage Mine: Alice CAPLIER, gai a dirigé mon travail, ses conseils et ses commentaires précieux nyont permis de surmonter mes difficultés et de progresser au cours de mon stage Je tiens également 4 remercier Monsieur Alexandre Benoit, đoctorant de ƑTNPG, de mlavoir encadré et pour mfavoir aidé chaleureusement tout au long de mon séjour au laboratoire LIS. Merci & tous les membres de V'IFI, tous mes professenrs, de mPavoir enseigné et mes camarades de la promotion X pour leur aide tout au long de mes études A 1. Enfin, je voudrais adresser un grand merci A ma famille.
qui m’a soutenue durant mon stage. Mémaire de fin d'études de LUONG Hong-Viet Promotion X kề Reconnaissance de gestex de communtcation non verbale Résumé La communication non verbale est une partie importante dans la commmmication humaine et sera également importante dans 1a communi tion homme-machine. Elle se compose des expressions du visage, des mouvements faciaux, du mouvement de la téte, de Ja direction du regard, etc. Ce stage a pour but d’étudier la robustesse d’une méthode d’analyse des mouvements globaux de la téte et de mouvements faciaux inspirée Pune approche.
Dans la deuxitme partie, on va étudier les performances d’un systtme de reconnaissance d’expressions faciales basant sur le Modtle de Croyance Transférable. Ces deux applications ont été utilisées lors de projets développés lors du Workshop eNTERFACE 2006. Mots clé Filtre rétine, transformation log - polaire, théorie de l’évidence, Modéle de Croyance Transtérable. Mémaire de fin d'études de LUONG Hong-Viet Promotion X 3 Reconnaissance de gestex de communtcation non verbale Abstract The nonverbal communication is an important part in the human communication and will be also important in the human-machine communication.
It is composcd af the expressions of the Lace, the facial movements, the movement of the head, the gưc diecction, cte This internship is to study the robustness of method of analysis of the global movements of (he head und Lucial movements inspired of a biological approach, In the sceond part, we will sludy the performance of the sysicm of recognition of the facial expressions hased on the Transfcrahle Belicf Model. These two applications were uscd for the project development al the Workshop eNTERFACE 2006. Keywords: Relina filter, log-polar transformation, evidence theory, Transfcrable Belief Madel. Mémaire de fin d'études de LUONG Hong-Viet Promotion X 4 Reconnaissance de gestex de communtcation non verbale 1.3 Environnement de stage Mon stage s’est déroulé an laboratoire LIS (Laboratoire des Images et Signaux) pendant six mois.
Le LIS est une Unité Mixte de Recherche relevant conjointement du Centre National de la Recherche scientifique (CNRS), de Mnstimt National Polytechnique de Grenoble (NPG) et de I Université Joseph Fourier Le LIS est un laboratoire récent, crếế en 1998 par la fusion du CEPHAG et du TIRF. En 2007, LIS fera parti dun futur regroupement : GIPSA (Grenoble Image Parole Signal Automatique), un nonveau Laboratoire créé avec [Tnstitut de la Communication Parlée CCP) et le Laboratoire d’Autounatique de Grenoble (LAG). Cette nouvelle configuration opérera un renforcement des thémes forts en signal. images et communication, ainsi que des collaborations sur la perception.
la multi modalité et le dingnostic. a politique scientifique de 1.15 ext autour des problématiques associées au traitement et à Vinterprétation des signaux et des images dans le monde très évolutif des sciences de Finformation. L'activité scientifiqne du lnboratoire est ciblée sur le traitement et Vinterprétation des signaur et des images avec deux grands domaines d'application vers la géophysique et les communications. La dynamique de la recherche est snpportée par Vactivité de cing équipes : Groupe Objets, Traitement et Analyse «+ NonLinếsire + _ Signaux, Images, Communication + Signaux et Images dans les milieux Natucels + Circuits et Architectures.4 Organisation de mémoire La premitre parlic de cc rapport présente les (ests sur Ics méthodes d'analyse de mouvement de téte ct mouvements faciaux.
Les algorithmes de détection de mouvement de la téte, de détection de I’état đe evil, de Incalisation de l'evil sont décrits dans le dcuxièmc chapitre, Dans le troisitme chapitre, le systeme de reconnaissance d'cxpressions faciales cst présenté, Puis, je décris le travail réalisé ainsi que Ies solulious proposées afin d'améliorer ce systéme. Enfin, je présente les résullats obleaus ef quelques comparaisons avec le sysitme de Hammal, Mémaire de fin d'études de LUONG Hong-Viet Promotion X 9 Reconnaissance de gestex de communtcation non verbale Lintégration de mon travail lors d'un projet portant sur Ƒanalyse muultimadale dex émotians au cours du workshop eNTERVACIH 21K06 est présentée par la méme occasion dans le chapitre 5. Finalement, le chapitre 6 donne quelques conclusions ct perspectives du travail Mémaire de fin d'études de LUONG Hong-Viet Promotion X 10 Reconnaissance de gestex de communtcation non verbale Liste des figures Figure 2-1 Schéma de l'algorithme de délcetion de mouvement. Eigure 2-2 Nonction de transfert spatto-temporel [2] Figure 2-3 Transformation log polair: [1].
Figure 2-4 Evulution temporelle de l'énergie (olale el de I'énergie maximalle [1]. Figure 2-5 xemple d’un oubli et une fausse alarme Figure 2-6 Evolution de a, chaque pic correspond & un mouvement. Figure2-7 Un mouvement long est detecié comme une suile d'aleries plus courtes Figure 2-8 Spectre log polaire et orientations de la aortic du tiltre [PI contours mobiles pour différents mouvement d’ceil : clignement et changement de direction de regard Figure 2-9 Tivolution d’énergie totale de OPI. de I'neil et de la houche Figure 2-10 Evolution de Pénergie OPL lors de mouvement de bouche.
Figure 2-11 Mouvement rigide de la (te a- anslation verticale, b- rolalion verticule. rotation latéralc, d- rotation abliqu: Figure 2-12 L’oeil est localisé dans un quart de boite englobante de visage détecté Figure 2-13 Sortie du filtre OPL dans la zone de recherche. Figure 3-1 Tes étapes dans Ie processus de reconnaissance des cxpressions faciales, Higure 3-2 Lixtraction des contours et définition des 5 đistances. Figure 3-3 Les seuils pour chaque distance Figure 34.8 gauche: Ies traits sonl bien détectés cl & droite (égoil) Ics sourcils ne pas bien détectés).
Figure 3-5 Les points de suivi. Figure 3-8 I cs contours de la scgmentation automatique : avant ct apts la mise on ceuvre de lalgorithme de suivi 3ó Eigure 3-7 Dans le cas đe ferinetire đẹs yeux, il ya des enreur Figure 3-8 Les [ausses détections dans le cas de sujets sonl op expre Figure 3-9 1 /évolution de distance 5 par rapport à distance neutre Figure 3-10 L’évolution filtré Figure 3-11 Quelques illustrations de l'eapression Joie. L’image à gauche correspond & Vétat Nentre, & droite l'état Inic. A ofité de chaque image, } masse d’évidence.
40 Figure 3-12 Quelques illustrations de I'expression Dégodi, L'imuge & gauche correspond a état Neutre, & droite I'état Dégotit. A côtế đc chaquc image, Vindicateur montre la masse d’évidence. La barre grise montre une autee. possibilité, mais avec une masse @évideuce plus faible.
„41 Figure 3-13 Quelques illustrations de expression Surprise. Ì "image à gauche correspond a état Nentre, A droite Ï état Surprise. A côtế de chaque image, Pindicateur montre la musse d’évidence. 2 Figure 4-1 1 enrceistrement đe viđéo et fNIR! Figure 4-2 Résultat de la segmentation automatique Mémaire de fin d'études de LUONG Hong-Viet Promotion X 6 Reconnaissance de gestex de communtcation non verbale Lintégration de mon travail lors d'un projet portant sur Ƒanalyse muultimadale dex émotians au cours du workshop eNTERVACIH 21K06 est présentée par la méme occasion dans le chapitre 5.
Finalement, le chapitre 6 donne quelques conclusions ct perspectives du travail Mémaire de fin d'études de LUONG Hong-Viet Promotion X 10 Reconnaissance de gestex de communtcation non verbale Table de matiéres Chapitre 1 Introduction. Rnvironnement de stage.4 Organisation de mémoire. Chapitre2 Analyse des mouvements de téte et mouvements faciauxpar un algorithme inspwation biologiqu 2.1 Description de l'algorithme 3.12 Lutramsormalion logpohue, 22 Détection d’événements.4 Analyse 23 Délection de 23.3 Résullals obtenus 24 Détection de orientation de mouvement de téte 24.3 Résultag obtenus, 25 Localisation de Ï œá1. Chapitre 3 Reconnaissance d’ expressions faciales.
SystÈme de roconnaissance đ'exprcssions faciaÌcs cxistanf.2 Segmentation des traits du visage.3 Extraction de données caractéristique io SESR 3.4 — Classification par ke Modtle de Croyanee Trans{érabl 341 Modèle đe Croyanee Transférahle.42 Fusion de données. Contribution ponr le syst8me de recannaissance d’expressions faciales 3.1 Detection de contours et suivi de point io 3.2 CaleuleLfilưage de distances 3. ip Chapitre 4 Workshop eNTEREACE 2006 4.1 Présentation de Workshops CNTERFACE 4.2 Projet de détection d’émotion (projet 7).3 Conclusions et perspectives sur projet BE Chapitre 5 Conclusions et perspectives. Mémaire de fin d'études de LUONG Hong-Viet Promotion X Reconnaissance de gestex de communtcation non verbale Table de matiéres Chapitre 1 Introduction.
Rnvironnement de stage.4 Organisation de mémoire. Chapitre2 Analyse des mouvements de téte et mouvements faciauxpar un algorithme inspwation biologiqu 2.1 Description de l'algorithme 3.12 Lutramsormalion logpohue, 22 Détection d’événements.4 Analyse 23 Délection de 23.3 Résullals obtenus 24 Détection de orientation de mouvement de téte 24.3 Résultag obtenus, 25 Localisation de Ï œá1. Chapitre 3 Reconnaissance d’ expressions faciales. SystÈme de roconnaissance đ'exprcssions faciaÌcs cxistanf.2 Segmentation des traits du visage.3 Extraction de données caractéristique io SESR 3.4 — Classification par ke Modtle de Croyanee Trans{érabl 341 Modèle đe Croyanee Transférahle.42 Fusion de données.
Contribution ponr le syst8me de recannaissance d’expressions faciales 3.1 Detection de contours et suivi de point io 3.2 CaleuleLfilưage de distances 3. ip Chapitre 4 Workshop eNTEREACE 2006 4.1 Présentation de Workshops CNTERFACE 4.2 Projet de détection d’émotion (projet 7).3 Conclusions et perspectives sur projet BE Chapitre 5 Conclusions et perspectives. Mémaire de fin d'études de LUONG Hong-Viet Promotion X Reconnaissance de gestex de communtcation non verbale Lintégration de mon travail lors d'un projet portant sur Ƒanalyse muultimadale dex émotians au cours du workshop eNTERVACIH 21K06 est présentée par la méme occasion dans le chapitre 5. Finalement, le chapitre 6 donne quelques conclusions ct perspectives du travail Mémaire de fin d'études de LUONG Hong-Viet Promotion X 10 Reconnaissance de gestex de communtcation non verbale Liste des figures Figure 2-1 Schéma de l'algorithme de délcetion de mouvement.
Eigure 2-2 Nonction de transfert spatto-temporel [2] Figure 2-3 Transformation log polair: [1]. Figure 2-4 Evulution temporelle de l'énergie (olale el de I'énergie maximalle [1]. Figure 2-5 xemple d’un oubli et une fausse alarme Figure 2-6 Evolution de a, chaque pic correspond & un mouvement. Figure2-7 Un mouvement long est detecié comme une suile d'aleries plus courtes Figure 2-8 Spectre log polaire et orientations de la aortic du tiltre [PI contours mobiles pour différents mouvement d’ceil : clignement et changement de direction de regard Figure 2-9 Tivolution d’énergie totale de OPI.
de I'neil et de la houche Figure 2-10 Evolution de Pénergie OPL lors de mouvement de bouche. Figure 2-11 Mouvement rigide de la (te a- anslation verticale, b- rolalion verticule. rotation latéralc, d- rotation abliqu: Figure 2-12 L’oeil est localisé dans un quart de boite englobante de visage détecté Figure 2-13 Sortie du filtre OPL dans la zone de recherche. Figure 3-1 Tes étapes dans Ie processus de reconnaissance des cxpressions faciales, Higure 3-2 Lixtraction des contours et définition des 5 đistances.
Figure 3-3 Les seuils pour chaque distance Figure 34.8 gauche: Ies traits sonl bien détectés cl & droite (égoil) Ics sourcils ne pas bien détectés). Figure 3-5 Les points de suivi. Figure 3-8 I cs contours de la scgmentation automatique : avant ct apts la mise on ceuvre de lalgorithme de suivi 3ó Eigure 3-7 Dans le cas đe ferinetire đẹs yeux, il ya des enreur Figure 3-8 Les [ausses détections dans le cas de sujets sonl op expre Figure 3-9 1 /évolution de distance 5 par rapport à distance neutre Figure 3-10 L’évolution filtré Figure 3-11 Quelques illustrations de l'eapression Joie. L’image à gauche correspond & Vétat Nentre, & droite l'état Inic.
