UNIVERSITE NATIONALE DU VIETNAM A HANOI INSTITUT FRANCOPHONE INTERNATIONAL TANKEU NGUEKEU BAUDELAIRE ISMAEL EXPLOITATION DE DONNEES PHYSIOLOGIQUES ET BIOMECANIQUES POUR LA MESURE ET LA PREDICTION D’EMOTIONS INDUITES PAR L’ECOUTE MUSICALE KHAI THÁC DỮ LIỆU SINH LÝ VÀ CƠ SINH HỌC DE ĐO LƯỜNG VA DU DOAN CAM XUC KHI NGHE NHAC Spécialité : Systémes Intelligents et Multimédia Code : 8480201.02 MEMOIRE DE FIN D’ETUDE DE MASTER EN INFORMATIQUE UNIVERSITE NATIONALE DU VIETNAM A HANOI INSTITUT FRANCOPHONE INTERNATIONAL TANKEU NGUEKEU BAUDELAIRE ISMAEL EXPLOITATION DE DONNEES PHYSIOLOGIQUES ET BIOMECANIQUES POUR LA MESURE ET LA PREDICTION D’EMOTIONS INDUITES PAR L’ECOUTE MUSICALE KHAI THÁC DỮ LIỆU SINH LÝ VÀ CƠ SINH HỌC ĐỀ ĐO LƯỜNG VÀ DỰ ĐOÁN CẢM XÚC KHI NGHE NHẠC Spécialité : Systèmes Intelligents et Multimédia Code : 8480201.02 Sous la direction de : GEOFFRAY BONNIN, Maitre de Conférences en Informatique, Université de Lorraine Lu et approuvé HANOI-2023 ATTESTATION SUR LHONNEUR J’atteste sur lhonneur que ce mémoire a été réalisé par moi-méme et que les données et les résultats qui y sont présentés sont exacts et n’ont jamais été publiés ailleurs. La source des informations citées dans ce mémoire a été bien précisée. LOI CAM DOAN Tôi cam đoan đây là công trình nghiên cứu của riêng tôi. Các số liệu, kết quả nêu trong Luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác.
Các thông tin trích dẫn trong Luận văn đã được chỉ rõ nguồn gốc. Signature de létudiant TANKEU NGUEKEU Baudelaire Ismael TANKEU NGUEKEU BAUDELAIRE ISMAEL EXPLOITATION DE DONNEES PHYSIOLOGIQUES ET BIOMECANIQUES POUR LA MESURE ET LA PREDICTION D’EMOTIONS INDUITES PAR L’ECOUTE MUSICALE KHAI THAC DU LIEU SINH LÝ VA CƠ SINH HỌC ĐỀ ĐO LƯỜNG VA DỰ DOAN CẢM XÚC KHI NGHE NHẠC Spécialité : Systémes Intelligents et Multimédia Code : 8480201.02 MEMOIRE DE FIN D’ETUDE DE MASTER EN INFORMATIQUE Sous la direction de : GEOFFRAY BONNIN, Maitre de Conférences en Informatique, Université de Lorraine HANOI-2023 REMERCIEMENTS Pour les efforts consentis dans la réalisation de ce mémoire, j’exprime mes trés vives reconnaissances a l'endroit de: ¢ Geoffray BONNIN pour son encadrement, son accompagnement moral et ses conseils durant ce stage. e Armelle Brun, chef de l’équipe BIRD du LORIA pour la confiance qu’elle m’a ac- cordée durant tout le séjour au LORIA. « Célina Treuiller de m’avoir bien accueilli et d’avoir facilitée mon insertion au LORIA, Martin LEMAITRE et Wissem INOUBLI pour leurs aides multiformes.
e« Serge SONFACK pour la présence, les encouragements et l’écoute 4 mon endroit durant toute la formation et le stage. Mes remerciements vont également à l’endroit de notre trés cher institut de formation, l'Institut Francophone International (IFT), l'Université Nationale du Vietnam à Hanoi. Je remercie tout particuliérement le corps enseignant pour la qualité de la formation recue et le personnel administratif pour la chaleureuse collaboration. Ils vont aussi à endroit de Christophe MERMAZ, la famille POTTECHER, Philippe LACRESSE et sa famille pour tout le soutien qu’ils m’ont apporté.
Cette année de Master Recherche n’était pas facile et a nécessité beaucoup d’efforts. A cet effet je remercie mon épouse, mes enfants, mes parents, mes fréres et soeurs pour leur soutien moral et financier, qu’ils m’ont apporté durant tout ce parcours. Résumé La musique qui est lart de combiner des sons, malgré son évolution dans temps met les hommes en transe ou les fait marcher au pas, danser ou pleurer d’émotions. Les émotions qu’elle procure peuvent étre induites selon les émotivistes ou percues selon les cogni- tivistes.
L’impact des émotions induites par la musique sur la santé suscite un intérêt grandissant. Ce stage s’inscrit dans le cadre du projet Music-Mouv’ dont Vobjectif est d’évaluer l’impact que pourrait avoir les émotions induites par la musique(familiére ou non et appréciée ou non) sur le mouvement du corps et particuliérement Vinitiation de la marche. Afin d’induire les bonnes émotions, le projet s’intéresse a la création d’un système de recommandation de musique utilisant des données physiologiques et bioméca- niques. C’est dans ce cadre que ce place le sujet de ce stage, qui consiste en la proposition et la comparaison de différentes approches d’apprentissage automatique pour mesurer et de prédire les émotions; toutefois, utilisation des données biomécaniques a été mise de côté pour se focaliser dans un premier temps sur les données physiologiques.
Sur le plan de la mesure des émotions a partir de données physiologiques, notre travail a montré qu’un algorithme sans apprentissage comme lalgorithme KNN s’est révélé plus perfor- mant que des approches plus modernes et sophistiquées, en particulier 4 base de réseaux de neurones. Nous avons également montré qu’une normalisation logistique des caractéris- tiques extraites des données physiologiques issues du domaine de la biologie permettaient d’améliorer significativement la précision obtenue quel que soit le modèle. Sur le plan de la prédiction des émotions pour de futures écoutes, nous avons proposé une adaptation du filtrage collaboratif associée 4 une approche de clustering. Nos premiers résultats sug- gòrent qu’un regroupement des musiques en un nombre minimal de clusters méne à une plus grande précision.
Ces premiers résultats doivent toutefois étre approfondis. Mots clés : physiologique, biomécanique, émotion induite, mesure et prédiction. Abstract Music, the art of combining sounds, despite its evolution over time, puts humans in a trance, or makes them keep in step, dance or filled with emotions. The emotions that mu- sic provides can be induced according to emotivists or perceived according to cognitivists.
There is an increased interest in the impact of music-induced emotions on health. This internship is part of a project whose objective is to evaluate the impact that the emotions induced by music (familiar or not and liked or not) could have on body movement and particularly instigate walking. In order to induce the right emotions, the project is inter- ested on music recommendation system using physiological and biomechanical data. It is in this context that the subject of this internship is placed, which consists of the proposal and the comparison of different automatic Machine Learning approaches to measure and predict emotions; however, the use of biomechanical data has been set aside to focus ini- tially on physiological data.
In terms of measuring emotions from physiological data, our work shows that an algorithm without learning such as the KNN algorithm has proven to be more efficient than more modern and sophisticated approaches, in particular based on networks of neurons. We have also shown that a logistic normalization of the characteris- tics extracted from physiological data from the field of biology can significantly improve the precision obtained whatever the model. In terms of predicting emotions for future listening, we have proposed an adaptation of collaborative filtering associated with a clus- tering approach. Our first results suggest that grouping music into a minimum number of clusters leads to greater accuracy.
However, these initial results need further investigation. Keywords: physiological, biomechanics, induced emotion, measurement and prediction. 1 Analyse du sujet 1 1 3 5 6 6 7 8 9 10 11 ee 11 TM qaHaa.3 Outils et technologies utilises). QO HO Q Q HQ ng và v v v TT va 17 18 4.1 Resultats pour la mesure des emotions} .3 Mise en place du jeu de données}.4 Resultats et interpretations) .2 28 5 Conclusions et Perspectives 31 DO.
àẶ 32 Table des figures 1.1 chema récapitulatit du projet Music Mouv 11 pour la mesure 14 16 19 19 20 20 21 = Repartition des valences 21 E.7 des valences valences| valences 22 22 23 23 24 24 xemple d ¬ e inter eu Ta Liste des tableaux i1 Acronymes BVP Blood Volume Pulse. CSP Catégorie SocioProfessionnelle. EDA ElectroDermal Activity. GEMS Geneva Emotional Music Scales.
B} |] HR Heart Rate. IBI InterBeat Interval. KNN K-Nearest Neighbors. ML Machine Learning.
B] NMF Non-negative Matrix Factorization. RMSE Root Mean Square Error. SAM Self Assesssment Manikin. ] HỊ SVD Singular Value Decomposition.
SVM Support Vector Machine. iv Chapitre 1 Analyse du sujet 1.1 Introduction La définition des émotions n’est pas, aujourd’hui encore, complétement consensuelle. Se- lon le dictionnaire Larousse, émotion est «un trouble subi, agitation passagére causés par un sentiment vif de peur, de surprise, de joie. ou une réaction affective transi- toire d’assez grande intensité, habituellement provoquée par une stimulation venue de Venvironnement» ou selon Wikipédia, «une expérience psychophysiologique complexe et intense de l'état d’esprit d’un individu liée à un objet repérable lorsqu’il réagit aux in- fluences biochimiques (internes)».
Le non-consensus de sa définition est di au fait que littéralement, elle est déclenchée par un événement extérieur alors que de nombreux phi- losophes et neuropsychologues défendent l’ajout de causes internes, liées selon eux à nos pensées[Malan| pouvant se traduire par cette question : ai-je d’abord ressenti phy- siquement une émotion ou s’est-elle d’abord manifestée par ma pensée ? Répondre a cette question reviendrait à rechercher les différentes causes de nos émotions. Ainsi, selon venu| [2020|nos émotions sont automatiques (elles se déclenchent sans notre consentement, elles sont inconscientes), mais il serait inexact de les considérer comme des réflexes, car cela reviendrait à dire qu’elles sont la réponse unique à un stimulus externe, 4 un contexte donné, à un événement vécu. Or ce n’est pas le cas, la réponse physiologique serait la ré- sultante d’une émotion donnée par deux facteurs : l’un externe, lié à notre environnement (un stimulus), l’autre interne, lié à notre vie intérieure, 4 nos motivations profondes (nos préoccupations, nos intéréts, nos besoins,. C’est pourquoi tous les individus ne vivent pas les mémes émotions devant un stimulus externe identique.
Pareillement, le méme Sti- mulus ne déclenchera pas la méme émotion en nous a différents moments de notre vie. Stimuli ou déclencheur émotionnel, qu’il soit externe ou interne, il en existe bon nombre, et la musique en est lun. La musique est l’art qui permet 4 homme de s’exprimer par l’intermédiaire des sons; productions de cet art, œuvre musicale ou Science des sons considérés sous le rapport de la mélodie et du rythme. L’un des objectifs de la musique est qu’elle puisse communiquer des émotions 4 son auditeur.
La recherche sur la musique et l’émotion permet de com- prendre la relation psychologique entre l'afect humain et la musique. Selon comprendre les émotions musicales revient 4 comprendre les processus par lesquels les sons de la musique sont imprégnés de sens, que ce soit sous la forme d’inten- tions expressives de la part d’un musicien, ou de réponses émotionnelles de la part d’un auditeur. Parlant de réponses émotionnelles, de plus en plus d’études sur le cerveau sont faites afin de comprendre l’impact que pourrait avoir la musique sur nous[Platell |2017, 2010), tout ceci grace a la neuro-imagerie. La musique est un outil important, voire indispensable pour avoir les connaissances sur les différentes régions du cerveau impliquées dans les émotions (structures cérébrales limbiques et paralimbiques) chez des personnes ayant des connaissances musicales ou non[Koelsch} 2010).
Les connaissances ainsi obtenues peuvent étre exploitées dans plusieurs domaines comme la musicothérapie et bien d’autres. Ceci revient a se poser la question de l’importance que peut avoir écoute musicale sur notre santé par le biais d’émotions qu’elles nous procurent. L’écoute musicale est un mode d’écoute dans lequel l'attention se dirige vers l’ensemble des caractéres musicaux du son : rythme, hauteur, volume sonore, timbre, enveloppe, ré- verbération et autres, les relient à la fagon dont ils ont pu étre produits, et les organisent dans une structure que détermine une culture musicale. L’écoute de la musique comme source d’émotions a suscité un large débat entre les cognitivistes et les émotivistes.
Selon les cognitivistes, la musique peut exprimer une émotion mais elle ne l’induit pas réellement chez Vauditeur[Koneénil c’est-a-dire que l’auditeur peut reconnaitre l’émotion sans la ressentir comme il le ferait dans le cas d’une émotion quotidienne, on parle alors d’émotion pergue. Selon la position émotiviste, la musique peut exprimer une émotion mais elle l’induit vraisemblablement chez l’auditeur, subit également des change- ments physiologiques lors de l’écoute de celle-ci 2008]. Ces changements se produisent avec une émotion réelle et quotidienne.