Salma Jiddi Ph.D. Defense

Salma Jiddi will defend her PhD on Friday, January 11th at 10 :00 at IRISA-Inria Rennes in room Métivier.

The defense will be presented in english.

Photometric Registration of Indoor Real Scenes using an RGB-D Camera with Application to Mixed Reality

Abstract :

The overarching goal of Mixed Reality (MR) is to provide the users with the illusion that virtual and real objects coexist indistinguishably in the same space. An effective illusion requires an accurate geometric and photometric registration between both worlds. In this thesis work, we focus on the photometric registration task which consists in estimating the real world’s reflectance properties and lighting characteristics using its geometric model and a set of photographs of its surfaces. The proposed approaches address three main challenges: (1) use of a single RGB-D camera. (2) estimation of both diffuse and specular reflectance. (3) estimation of the 3D position and color of multiple dynamic light sources.

In a first approach, we robustly exploit observed specular reflections to recover both diffuse and specular reflectance as well as the 3D position of multiple static light sources. Our algorithm allows convincing MR results such as realistic virtual shadows and correct real specularity removal. In a second approach, we focus on the information brought by cast shadows in the scene. Specifically, we tackle the problem of textured surfaces within this context. The proposed approach handles dynamic light sources and runs at an interactive frame rate. Furthermore, since the existence of a light source is more likely if it is supported by more than one visual cue. We therefore address the problem of estimating lighting and reflectance by jointly analyzing specular reflections and cast shadows and cover a large variety of scenes. Our approach handles any textured surface and considers both static and dynamic light sources. Its effectiveness is demonstrated through a range of applications including real-time mixed reality and retexturing. Finally, since the detection of shadows and specularities is at the heart of this thesis, we further propose a deep-learning framework to jointly detect both cues in indoor real scenes.

Thesis Committee :

Vincent Lepetit : Professeur à l’Université de Bordeaux, IUF – Rapporteur
Alain Trémeau : Professeur à l’Université Jean Monnet – Rapporteur
Michèle Gouiffès : Maître de Conférences à l’Université Paris Sud – Examinateur
Kadi Bouatouch : Professeur à l’Université de Rennes 1 – Examinateur
Philippe Robert : Docteur Ingénieur à Technicolor – Superviseur
Eric Marchand : Professeur à l’Université de Rennes 1 – Directeur de thèse

————————————

Titre :

Recalage Photométrique de Scènes Réelles d’Intérieurs à l’aide d’une Caméra RGB-D avec Application à la Réalité Mixte

Résumé :

L’objectif primordial de la Réalité Mixte (RM) est de donner aux utilisateurs l’illusion que les objets virtuels et réels coexistent indistinctement dans le même espace. Une illusion efficace exige un recalage géométrique et photométrique précis entre les deux mondes. Dans cette thèse, nous nous concentrons sur la problématique du recalage photométrique qui consiste à estimer les propriétés de réflectance et les caractéristiques d’éclairage du monde réel en utilisant son modèle géométrique et un ensemble d’images de ses surfaces. Les approches proposées répondent à trois grands défis : (1) utilisation d’une seule caméra RGB-D. (2) estimation de la réflectance diffuse et spéculaire. (3) estimation de la position 3D et de la couleur de sources lumineuses dynamiques multiples.

Dans une première approche, nous exploitons de manière robuste les réflexions spéculaires observées pour estimer à la fois la réflectance diffuse et spéculaire ainsi que la position 3D de multiples sources de lumière statiques. Notre algorithme permet d’obtenir des résultats de RM convaincants tels que des ombres virtuelles réalistes et la suppression de spécularités réelles. Dans une deuxième approche, nous nous concentrons sur l’information apportée par les ombres portées dans la scène. Plus précisément, nous abordons le problème des surfaces texturées dans ce contexte. L’approche proposée gère les sources lumineuses dynamiques et fonctionne à une fréquence d’image interactive. De plus, comme l’existence d’une source lumineuse est plus probable si elle est soutenue par plus d’un indice visuel. Nous abordons donc le problème de l’estimation de l’éclairage et de la réflectance en analysant conjointement les réflexions spéculaires et les ombres portées et en couvrant une grande variété de scènes. Notre approche est capable de traiter n’importe quelle surface texturée et tient compte à la fois des sources lumineuses statiques et dynamiques. Son efficacité est démontrée par une gamme d’applications incluant la réalité mixte et la re-texturation. Enfin, la détection des ombres et des spécularités étant au cœur de cette thèse, nous proposons un cadre d’apprentissage approfondi pour détecter conjointement les deux indices dans des scènes réelles intérieures.

Jury de thèse :