Rapport de stage de fin d’études Master 2 « informatique » Option : Les systèmes intelligents et Multimédias (SIM) Estimation de profondeurs avec une caméra plénoptique TRUONG Xuan Ha txha@ifi.vn Stage effectué au laboratoire MIPS (01/05/2014 au 31/10/2014) http://www.fr Encadrant au MIPS Stage suivi par M. HO Tuong Vinh christophe.vn LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 1 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Table des matières Table des matières. 6 Table des figures. 8 Table des tableaux.
10 Chapitre 1 – Contexte et Sujet. Introduction du laboratoire MIPS – Université de Haut-Alsace. Caméras 3D ou caméras RGB-D (Red, Green, Blue, Depth). Description de sujet.
14 Chapitre 2 – Caméra plénoptique. Historique des caméras plénoptiques. Principe des caméras plénoptique. Introduction de la fonction plénoptique.
Fonction plénoptique : modèle de Ren Ng. Modélisation des rayons : Approche de RenNg. Modélisation des rayons : Approche alternative de T. Capture des rayons avec des microlentilles.
Les 2 vues déduites d’une image brute d’une caméra plénoptique 2. Refocalisation avec une camera plénoptique 2. Mesure de la profondeur avec une camera plénoptique 2. 32 Chapitre 3 – Mesure de la profondeur.
Description de la camera plénoptique de Raytrix au laboratoire MIPS. Le principe de mesure de la profondeur. Extension de la méthode d'estimation de la profondeur .1 Sélection des pics d’intensité .2 Mise en correspondance. 46 Conclusion et Perspective.
54 2 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 3 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Remerciements Je fais mon stage de fin d’études en France du Mai 2014 au Novembre 2014. Pendant six mois, j’ai eu la chance de travailler dans un environnement de recherche professionnel et ou- vert auquel j’ai retenu beaucoup de connaissances et de défis aussi. J’ai également eu des con- tacts avec des professeurs merveilleux et des jeunes chercheurs intelligents et très aimables. J’ai eu la chance de rencontrer de nouveaux amis français et vietnamiens aussi.
Grace à leur soutien, j’ai pu passer les difficultés et continuer mon chemin de recherche Je remercie Monsieur Christophe CUDEL, mon responsable de stage, Maître de confé- rences HdR à l’IUT de Mulhouse, pour les conseils qu’il m’apporté, pour sa disponibilité, ses explications et sa patience. Je remercie également le professeur Olivier HAEBERLE, directeur du MIPS, pour m’avoir permis de faire mon stage au laboratoire. Merci aux autres professeurs, ingénieurs et thésards qui travaillent au laboratoire, pour vos passions et humeurs, et votre accueil sympathique. Je tiens à remercier Monsieur HO Tuong Vinh, la responsable de la spécialité SIM de l’Institut de la Francophonie pour l’Informatique pour le suivi qu’il m’a accordé pendant ces six mois et aussi pendant 2 ans des études à l’IFI.
Je remercie également les stagiaires de Master rencontrés durant ce stage : Rami, Jerry et Cécile RIOU, pour les discussions variées, les échanges à propos de nos stages et les idées originales qu’ils m’ont donnés pendant mon stage et aussi les bons moments ensembles. Enfin, un grand merci à mes parents et ma famille, qui me financent ces années de l’étude en France, leur encouragement et leur soutien inconditionnel. 4 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 5 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Résumé L’estimation de la profondeur dans l’image est étudiée depuis longtemps en domaine de vision par ordinateur, de nombreuses recherches se déroulent sur ce thème. Les caméras 3D (ou camera RGB-D) peuvent se classifier en deux catégories, passives et actives.
En général, les cameras passives se basent sur la stéréovision et la mise en correspondance des pixels des deux vues capturées, ce type de cameras permettent de calculer la carte de profondeur d’une scène. Les cameras actives utilisent une source d’illumination permettant d’extraire une in- formation 3D, cela permet de texturer des zones uniformes et ainsi faciliter la mise en corres- pondance entre des images obtenues (Kinect) ou d’estimer la profondeur en calculer le temps de vol entre une onde incidente et une onde réfléchie. En cadre de ce stage au laboratoire MIPS, je travaille sur un nouveau type de caméra RGB- D : la camera plénoptique. En plaçant une grille des microlentilles entre la lentille principale et le capteur image, ce type de camera peut capturer l’orientation de rayons passant par le système optique (ou Light Field).
Elle permet donc extraire des informations 3D de l’image comme la profondeur. Dans ce rapport, je présente contexte de sujet, mon analyse sur le travail réalisé, une méthode de mesure de la profondeur que nous avons développée en utilisant des redondances capturées, la méthode de chercher les points correspondant et une application industrielle en perspective. 6 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Abstract The depth estimation has been studied for a long time in computer vision, many researches focus on this subject. 3D cameras can be classified into two categories, active and passive.
Passive cameras are generally used in stereovision to calculate a depth map (or disparity) of a scene. This depth maps is obtained by matching the feature pixels of views given by acquisi- tions. This is a difficult step when images present many uniform areas. Active cameras use an illumination to extract 3D information.
Illumination can be used to texturize uniform areas and then facilitate the matching between a reference image and the current image. They can also measure the time of flight of modulated light to compute the depth of a scene. During this internship, I have worked on a new type of RGB-D camera: Light field Camera (plenoptic camera). By placing a micro-lens array between the main lens and photo sensor, the direction of lights that pass through optic system can be recorded.
So, 3D information can be extracted like the depth. This text presents the context of research, our analyses of plenoptic camera, the methods for obtaining the correspondence points and for depth estimation and we have developed. In the experiments, we show a potential industrial application that can be used in fact. 7 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Table des figures Figure 1.
L’organisation actuelle du laboratoire MIPS – IUT – UHA. Les composants de la camera de Raytrix. Caméra Plénoptique de Raytrix au laboratoire MIPS. Image brute et une partie capturées par la caméra de Raytrix.
Capture de la fonction plénoptique par Lippmann en 1908. Les produits commerciaux de caméras plénoptiques. Fonction plénoptique avec un vecteur 4D. Le trajet de rayon dans la camera se présente sur l’espace de rayon.
Le trajet d’un cône des rayons dans la caméra correspond à un pixel. La projection de la fonction plénoptique est modifiée quand le plan de focalisation change. Transformation de coordonnées dans l’espace de rayon. Décomposition du parcours d’un rayon à travers une lentille pour le caractériser sous forme matricielle .0 des caméras plénoptiques.
Image brute d'une caméra plénoptique 1. Image brute d’une caméra plénoptique 2. Image brute d'une caméra 2. Localisation des espaces (u, v, x, y).
Principe de la formation des images "sub-apertures" .L’image de sous-apertures et la vue centrale synthétisées par la méthode de caméra plénoptique de T. La méthode de calcul la carte de disparité de Todor Georgiev. Synthétisation de l’image épipolaire sur 3 lignes. Transformation de radiance pour la re-focalisation.
La méthode de refocalisation de Geogiev. Les résultats de refocalisation par Geogiev. Estimation de la profondeur par la méthode de Bishop. Estimation de la profondeur par les images épipolaires de Wanner.
La grille hexagonale des 3 types de microlentilles. L'effet des différentes focales des 3 types de microlentilles. Le processus de l’image dans une caméra plénoptique. Le nombre de l’image d'un point de la scène situant aux profondeurs différentes.
36 8 LUAN VAN CHAT LUONG download : add luanvanchat@agmail. La camera plénoptique de Funaki. Le principe d’estimation de la profondeur. Le principe de recherche des points correspondants du point central de la microlentille.
Résultats obtenus par la méthode de Funaki et Al. Extension de la méthode de mesure de la profondeur. La projection de système sur le plan de la ligne épipolaire. Image d’un spot capturée à une hauteur de 30 cm.
La figure de droite montre les centres des microlentilles (en rouge) et les max d’intensités détectés (en vert). Modèle d'interpolation parabolique 2D. Elimination des points maximaux erronés. Image brute capturée.
Le nombre de pics détectés à 30 cm, 55 cm et 85 cm. Histogrammes des distances |Δi − Δj| pour des acquisitions à 30 cm (a), 55 cm (b) et 85 cm (c), calculées avec des microlentilles de type 1. Histogrammes de distances pour toute la plage de mesures. Relation entre la distance et la profondeur (microlentilles de type 1).
Ecart-type des distances |Δi − Δj| en fonction de la profondeur. 1 pic détectée à la plage de 30 cm, 55 cm et 80 cm. 50 Table des tableaux Tableau 1. La distance et l'écart-type calculés à plages données.
49 9 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Introduction Générale Dans le cadre de ce mon stage de fin d’études de Master 2 informatique, j’ai effectué un stage dont le sujet était : « Estimation de profondeurs avec une camera plénoptique ». Ce stage s’est déroulé au laboratoire MIPS (Modélisation – Intelligence – Processus – Systèmes, EA2332) de l’Université de Haut-Alsace. C’est un laboratoire de recherche interdisciplinaire. Il rassemble toute la recherche liée aux disciplines de l’électronique, électrotechnique, automatique et informatique industrielle du secteur STIC de l’université Haute Alsace.
Mon stage s’est déroulé dans l’équipe IMTI (Imagerie Microscopique 3D et Traitement d’Image), l’activité de cette équipe regroupe deux axes principaux : vision et microscope. Le but de mon stage est d’étudier les principes d’une caméra plénoptique et ses capacités à mesurer une profondeur dans une scène. Expérimentalement, j’ai utilisé une caméra de marque Raytrix. Une caméra plénoptique a une constitution différente d’une caméra classique, puisqu‘elle comprend une grille de microlentilles, placée derrière la lentille principale.
Le but de ces microlentilles, est de récupérer les informations plénoptiques, appelée aussi Light-Field, c’est-à-dire l’orientation des rayons traversant le système optique. Ce type de caméra permet de changer la focalisation de l’image, de changer le point de vue de la scène observée et d’extraire des informations 3D à partir de redondances d’informations capturées. Mon stage s’est déroulé en plusieurs étapes : 1. Dans un premier temps, je fais l’étude en détails les principes d’une caméra plénoptique et plus particulièrement les techniques d’estimation de profondeur.
Dans un second temps, j’ai fait mener des expérimentations et étudié une méthode de mesure de la profondeur basée sur le décalage de motifs dans les microlentilles. Pour expliquer mon travail, ce rapport va débuter par une présentation du sujet et de la caméra utilisée. Dans un second temps, je détaillerai le principe de la caméra plénoptique ainsi que les approches différentes de l’extraction de l’information 3D pour les caméras plénoptiques. Ensuite, un troisième chapitre traitera de la méthode de mesure de la profondeur que nous avons développée.
Le calibrage du système et les résultats expérimentaux seront exposés dans ce chapitre. Pour terminer, je conclurai et présenterai les perspectives possibles suite à mon travail. 10 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 11 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chapitre 1 – Contexte et Sujet 1. Introduction du laboratoire MIPS – Université de Haut-Alsace Le pole Sciences Pour l’Ingénieurs (SPI) de l’UHA est composé de 3 équipes de recherches : Le laboratoire MIPS (Modélisation, Intelligence, Processus, Systèmes) Le laboratoire LMIA (Mathématiques, Informatique et Applications) Le laboratoire LPMT (Laboratoire de Physique et Mécanique Textiles) Ce pôle représente environs une centaine de chercheurs permanents et autant de doctorants et post-doctorants.
C’est au sein du MIPS que j’ai effectué mon stage de Master.