Salma Jiddi soutiendra sa thèse Vendredi 11 janvier 2019 à 10h00 à l’IRISA-Inria Rennes salle Métivier.
La soutenance aura lieu en anglais.
Titre :
Recalage Photométrique de Scènes Réelles d’Intérieurs à l’aide d’une Caméra RGB-D avec Application à la Réalité Mixte
Résumé :
L’objectif primordial de la Réalité Mixte (RM) est de donner aux utilisateurs l’illusion que les objets virtuels et réels coexistent indistinctement dans le même espace. Une illusion efficace exige un recalage géométrique et photométrique précis entre les deux mondes. Dans cette thèse, nous nous concentrons sur la problématique du recalage photométrique qui consiste à estimer les propriétés de réflectance et les caractéristiques d’éclairage du monde réel en utilisant son modèle géométrique et un ensemble d’images de ses surfaces. Les approches proposées répondent à trois grands défis : (1) utilisation d’une seule caméra RGB-D. (2) estimation de la réflectance diffuse et spéculaire. (3) estimation de la position 3D et de la couleur de sources lumineuses dynamiques multiples.
Dans une première approche, nous exploitons de manière robuste les réflexions spéculaires observées pour estimer à la fois la réflectance diffuse et spéculaire ainsi que la position 3D de multiples sources de lumière statiques. Notre algorithme permet d’obtenir des résultats de RM convaincants tels que des ombres virtuelles réalistes et la suppression de spécularités réelles. Dans une deuxième approche, nous nous concentrons sur l’information apportée par les ombres portées dans la scène. Plus précisément, nous abordons le problème des surfaces texturées dans ce contexte. L’approche proposée gère les sources lumineuses dynamiques et fonctionne à une fréquence d’image interactive. De plus, comme l’existence d’une source lumineuse est plus probable si elle est soutenue par plus d’un indice visuel. Nous abordons donc le problème de l’estimation de l’éclairage et de la réflectance en analysant conjointement les réflexions spéculaires et les ombres portées et en couvrant une grande variété de scènes. Notre approche est capable de traiter n’importe quelle surface texturée et tient compte à la fois des sources lumineuses statiques et dynamiques. Son efficacité est démontrée par une gamme d’applications incluant la réalité mixte et la re-texturation. Enfin, la détection des ombres et des spécularités étant au cœur de cette thèse, nous proposons un cadre d’apprentissage approfondi pour détecter conjointement les deux indices dans des scènes réelles intérieures.
Jury de thèse :
- Vincent Lepetit : Professeur à l’Université de Bordeaux, IUF – Rapporteur
- Alain Trémeau : Professeur à l’Université Jean Monnet – Rapporteur
- Michèle Gouiffès : Maître de Conférences à l’Université Paris Sud – Examinateur
- Kadi Bouatouch : Professeur à l’Université de Rennes 1 – Examinateur
- Philippe Robert : Docteur Ingénieur à Technicolor – Superviseur
- Eric Marchand : Professeur à l’Université de Rennes 1 – Directeur de thèse
