UNIVERSITÉ NATIONALE DU VIETNAM, HANOÏ INSTITUT FRANCOPHONE INTERNATIONAL Abdoul Djalil OUSSEINI HAMZA Real Time Multimodal Baby Monitoring System Hệ thống giám sát em bé đa phương thức thời gian thực Spécialité : Systèmes Intelligents et Multimédia Code : 8480201.02 MÉMOIRE DE FIN D’ÉTUDES DU MASTER INFORMATIQUE Sous la direction de : Dr NGUYEN Trong Phuc - Ifi-solution HANOÏ - 2020 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com UNIVERSITÉ NATIONALE DU VIETNAM, HANOÏ INSTITUT FRANCOPHONE INTERNATIONAL Abdoul Djalil OUSSEINI HAMZA Real Time Multimodal Baby Monitoring System Hệ thống giám sát em bé đa phương thức thời gian thực Spécialité : Systèmes Intelligents et Multimédia Code : Programme pilote MÉMOIRE DE FIN D’ÉTUDES DU MASTER INFORMATIQUE Sous la direction de : Dr NGUYEN Trong Phuc - Ifi-solution HANOÏ - 2020 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ATTESTATION SUR L’HONNEUR J’atteste sur l’honneur que ce mémoire a été réalisé par moi-même et que les données et les résultats qui y sont présentés sont exacts et n’ont jamais été publiés ailleurs. La source des informations citées dans ce mémoire a été bien précisée. LỜI CAM ĐOAN Tôi cam đoan đây là công trình nghiên cứu của riêng tôi. Các số liệu, kết quả nêu trong Luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác.
Các thông tin trích dẫn trong Luận văn đã được chỉ rõ nguồn gốc. Signature de l’étudiant Abdoul Djalil OUSSEINI HAMZA LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Remerciements Je remercie d’abord Dieu le TOUT PUISSANT de m’avoir accordé des parents qui m’ont montré le chemin de l’école et grâce à qui je suis là présentement. La réalisation de ce mémoire a été possible grâce au concours de plusieurs personnes à qui je voudrais témoigner toute ma gratitude. J’aimerais tout d’abord remercier mon encadreur pédagogique de stage Dr NGUYEN Trong Phuc Chef de projet - Ifi-Solution et enseignant chercheur à l’université de Trans- port et de Communication de Hanoi, Vietnam.
La porte du bureau du Dr NGUYEN Trong Phuc était toujours ouverte chaque fois que je rencontrais un problème ou si j’avais une question sur mes recherches. Il a toujours permis que ce document soit mon propre travail, mais il m’a guidé dans la bonne direction chaque fois qu’il pensait que j’en avais besoin. Je tiens également à remercier M. Hoan Dinh Van manager à Ifi-Solution qui a par- ticipé à la réalisation et validation de ce projet.
Ce travail n’aurait pu être accompli sans leur effort et leur contributions passionnées. Je voudrais remercier notre responsable de Master Dr Ho Tuong Vinh ainsi que tous les personnels pédagogiques et administratifs de l’Institut Francophone International, Université National de Vietnam à Hanoi. Je leur suis reconnaissant de tout cœur pour avoir assuré et amélioré la qualité de notre formation. Enfin, je tiens à exprimer ma profonde gratitude à mes parents, à ma famille et à Mme Võ Thu Trang pour m’avoir apporté un soutien indéfectible et des encourage- ments constants tout au long de mes années de Master.
Sans oublier mes amis qui ont toujours été là pour moi. Votre soutien inconditionnel et vos encouragements ont été d’une grande aide. Je vous remercie. Abdoul Djalil OUSSEINI HAMZA LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Résumé Peu de travaux se sont intéressés à la détection des mouvements des bébés dans leur berceaux et les rares travaux qui ont traité ce problème ont plutôt utilisé les algo- rithmes classiques de Machine Learning comme les SVM en tant que classifier.
Dans ce travail, nous proposons une nouvelle approche pour détecter les mouvement et les cris des nourrissons en se basant sur les nouvelles architectures des réseaux de neu- rones à convolution CNN. La première partie porte sur la présentation de la structure d’accueille où est décrit les missions et les départements qui composent l’entreprise. La seconde partie fait mention de l’état de l’art dans laquelle les travaux connexes ont été développés et une étude comparative à été établie. La troisième partie opère sur les solutions proposées et les contributions apportées.
La quatrième partie fait l’objet des expérimentations et résultats où nous avons mené toutes nos expériences pour la réa- lisation du projet et enfin, la dernière partie porte sur la conclusion et les perspectives pour les futures travaux dans le domaine. Mots clés : surveillance des bébés, détection d’objets, proposition de région, réseau neuronal convolutif, cri des bébé. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Abstract Few studies have focused on detecting the movements of babies in their cradles, and the few studies that have dealt with this problem have instead used conventional machine learning algorithms such as SVM as classifiers. In this work, we propose a new approach to detect movement and cry of infants based on new architectures of CNN convolutional neural networks.
The first part relates to the presentation of the hosting structure where the missions and departments that make up the company are described. The second part mentions the state of the art in which the related works were developed and a comparative study was established. The third part operates on the solutions proposed and the contributions made. The fourth part is the subject of experiments and results where we conducted all our experiences for the realization of the project and finally, the last part relates to the conclusion and prospects for future work in the field.
Keywords : baby monitoring, object detection, region proposal, convolutional neu- ral network, baby cry. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Table des matières Liste des tableaux iv Table des figures v Liste des tables v 1 INTRODUCTION GÉNÉRALE 2 1.1 Présentation de l’établissement d’accueil .2 Contexte-objectifs-problématiques. 4 2 ETAT DE L’ART 6 2.2 Techniques basées sur les réseaux de neurones .1 Convolutional Neural Networks (CNNs/ConvNets) .2 Fonctionnement de ConvNet .3 Conception des ConvNets .4 Autres architectures ConvNet .2 Quelques algorithmes de détection d’objets .3 Comparaison des méthodes utilisées. 17 i LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com TABLE DES MATIÈRES 2.1 Présentation et architecture .2 Détails du modèle .1 Présentation et architecture .2 Détails du modèle .1 Comparaison des extracteurs de caractéristiques .2 Combinaison des modèles.
21 3 SOLUTIONS PROPOSÉES & CONTRIBUTIONS 22 3.1 Pourquoi les algorithmes de Tensorflow detection model zoo ? .2 Pourquoi l’aspect AUDIO ne figure pas dans notre travail ? .3 Déroulement de notre travail .4 Architecture générale de la solution .2 Fine-tuning avec notre Dataset : BbsD .3 L’architecture de la solution .5 Détails sur les contributions apportées .1 Les differentes classes de Faster-RCNN .2 Les changements et modifications apportés au niveau des classes de Faster-RCNN .6 Ce qu’il faut retenir dans nos contributions .1 Condition d’acquisition des données .1 Pré-traitement des données .2 Algorithme d’optimisation et fonction de perte .4 Pipeline d’intégration au Raspberry .2 Résultats des graphes. 45 ii LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com TABLE DES MATIÈRES A Algorithmes 48 A.1 Implémentation du modèle Faster R-CNN. 53 iii LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Table des figures 2.4 Max pooling avec un filtre 2 × 2 .5 Fonction d’activation : RelU .6 Fonction d’activation : RelU .7 Architecture Faster-RCNN .8 Architecture comparative entre SSD et YOLO .9 Architecture simplifiée Faster R-CNN .2 Architecture de la solution .3 Poids et batch_norm freezer .2 Architecture générale pour intégrer le modèle dans le Raspberry .3 Pipeline de la solution .4 Fonction de perte .6 Le métrique mAP. 42 iv LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Liste des tableaux 2.1 extracteurs de caracterisques .2 Combinaison des modèles .1 State of the art results .2 Our experiment results.
37 v LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Liste des sigles et acronymes CNN Convolution Neural Network DNN Deep Neural Network NN Neural Network RCNN Regiion proposal CNN SGD Stochastic Gradient Descent SSD Single Shot MultiBox Detector LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chapitre 1 INTRODUCTION GÉNÉRALE Il est important d’avoir une vue permanente dans les chambres de nos bébés et dans leurs berceaux afin d’éviter tout accident malheureux auquel ces bébés pour- raient être confrontés. Et de plus en plus de parents sont préoccupés par la sécurité de leur nouveau-né et veulent des mécanismes automatiques qui pourraient les aler- ter de la situation instantanée de leur bébé. Les parents utilisent souvent des dispositifs de surveillance pour bébés pour garder un œil sur les jeunes enfants pendant la nuit. Cependant, le mécanisme d’alerte de ces moniteurs est généralement déclenché sur des informations sonores et non visuelles.
Or, tous les cris de nuit ne nécessitent pas l’intervention d’un adulte. Les dispositifs de surveillance des enfants auraient une plus grande utilité s’ils sont capables de prendre en compte les informations visuelles et sonores pour déterminer si une alerte a besoin d’être déclencher ou pas. Notre travail s’inscrit dans ce sens afin de proposer une solution de monitoring qui appliquerait des techniques de l’état de l’art de deep learning et de vision par ordi- nateur notamment basés sur les architectures CNN de détection de mouvement et de cris. L’organisation de ce documents est la suivante : premièrement nous allons présen- ter l’état de l’art de ce domaine, dans un deuxième temps nous nous concentrions sur les solutions théoriques que nous avons retenues, suivi de l’implémentions avec résul- tats et analyses et dans la dernière partie les perspectives et la conclusion.
2 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.1 Présentation de l’établissement d’accueil Ce stage s’est déroulé au sein de l’entreprise Ifi-solution dans un environnement multiculturel(asiatique, européen et africain), majoritairement vietnamienne implanté dans la capitale vietnamienne, Hanoi.1 Ifi-solution Ifi-solution a été créée en 2003 et est devenue membre du Japan NTT Data Group depuis 2012. Elle fournit des services professionnels d’externalisation de logiciels et est spécialisée dans la mise en œuvre de projets de développement et de test de logiciels pour des clients en France, en Italie, au Japon, en Suisse et en Allemagne dans des domaines technologiques tels que la gestion des bases de données, l’IoT, les logiciels embarqués, les applications mobiles. Ifi-solution est une entreprise de développement durable réputée à Hanoi. Avec plus de 15 ans d’expérience, Ifi-solution a un engagement élevé dans la qua- lité, elle a réalisé avec succès des centaines de projets dans différents domaines, no- tamment les télécommunications, l’énergie, la santé, l’automobile, la gestion des don- nées, la finance et la banque.
Le système de gestion de la qualité et le système de gestion de la sécurité de l’in- formation de l’entreprise est certifié ISO 9001 : 2015. De nombreuses sociétés comme Airbus, Nokia, Thales, Toshiba et Panasonic, Docomo leurs ont rendu visite. Ifi-solution est pricipalement spécialisée dans les axes suivants : — Mobile app development — Front-end web application development — Back-end (Server) web application development — Embedded software development — Software testing (automated testing, manual testing) 1.com 3 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.2 Contexte-objectifs-problématiques 1.1 Contexte Étant donné les faiblesses et capacités limites de l’homme pour assurer une sur- veillance permanente des nourrissons, il est alors primordiale de songer à mettre un système intelligent de monitoring basé multimodale, différent des autres systèmes et prenant en compte le sons et la vidéo afin d’aider les parents à surveiller efficacement leur bébé.2 Objectifs Les objectifs de ce stage sont entre autre, d’étudier d’abord, l’état de l’art des tra- vaux existants dans la détection des mouvements des bébés en temps réel, pour mieux connaître ce qui existe afin de ne pas refaire les mêmes méthodes puis, sur la base de cette étude, proposer une nouvelle approche plus robuste basé sur les réseaux de neu- rones convolutifs. On dira que l’objectif principal de ce projet est de développer un prototype de ca- méra intégrée dans un Raspberry Pi, surveillant les activités des bébés pendant leur sommeil qui fait la reconnaissance de la voix et celle des mouvements appliquant l’ap- prentissage profond pour la reconnaissance d’activités.