Description du sujet
Un des problèmes majeurs pour le développement des technologies de Réalité Augmentée (RA) sur site en environnement industriel concerne les contraintes fortes des milieux industriels : conditions d’éclairage très variables et non contrôlables, présence de matériaux réfléchissants (métaux) et absence de couleurs ou de textures, environnement changeant (déplacement des matières premières sur le chantier), utilisation d’outils encombrants, potentiellement dangereux, etc. Les enjeux des applications de RA en milieu industriel sont doubles : 1) être capable de localiser le dispositif de RA (tablette, casque, etc.) dans l’atelier (i.e. à grande échelle) de manière précise en 6D ; 2) être capable d’augmenter de manière précise (précision sous-centimétrique) les objets (i.e. à petite échelle) nécessaires aux opérateurs (outils, pièces à usiner, etc.).
Dans ce contexte difficile, les outils classiques de RA fonctionnent mal ou ne répondent qu’à une partie de ces enjeux. Les technologies basées SLAM visuel, en produisant une reconstruction 3D temps-réel de l’environnement dans lequel un dispositif évolue, permettent de se repérer à grande échelle dans des environnements industriels mais ne permettent pas de faire de la reconnaissance d’objets dans la scène ni de présenter de manière suffisamment précise les augmentations.
Au contraire, les techniques de l’état de l’art en RA permettant d’obtenir des augmentations avec des précisions très importantes (inférieures au centimètre), mais ne permettent pas de faire une localisation précise à grande échelle.
L’intérêt de cette thèse est donc de proposer une approche hybride où nous souhaitons permettre d’effectuer une localisation à grande échelle (basée sur des techniques de SLAM visuel) mais également d’être capable de pourvoir faire de la reconnaissance d’objets (outils, pièces, etc.) et d’obtenir leurs positions 3D et orientations 3D afin de pouvoir faire de la RA sur site. La partie reconnaissance d’objet se base sur une idée très récente couplant de l’apprentissage profond (deep learning) avec des méthodes de reconnaissance d’objets et qui semble prometteuse.
Le résultat visé est de proposer une solution permettant de guider les opérateurs à grande échelle en environnement extérieur de manière précise (partie SLAM visuel), puis d’être également capable de présenter des augmentation pertinentes pour des tâches requérant une précision fine (partie reconnaissance d’objets basée deep learning). Ces deux tâches ayant lieu dans des environnements inconnus et non contrôlés (en termes de conditions d’éclairage, de contenu etc.).
Un scénario d’application consisterait à être capable d’afficher un itinéraire en réalité augmentée à un opérateur sur un chantier de construction le dirigeant vers sa prochaine tâche à effectuer. Une fois arrivé là où il doit réaliser sa tâche, on souhaite alors être capable de le guider dans les opérations qu’il a à réaliser en lui affichant par exemple les prochaines étapes de sa tâche (choix d’outil, action à effectuer, etc.).
Renseignements sur le laboratoire d’accueil
Le laboratoire AAU est une Unité Mixte de Recherche du CNRS associant les Écoles Nationales Supérieures d’Architecture de Grenoble et de Nantes et l’École Centrale de Nantes.
Le laboratoire compte environ 110 membres répartis dans les deux équipes (Nantes et Grenoble), dont environ 1/3 de doctorants.
Depuis sa création en 1998, le laboratoire se développe de manière fortement interdisciplinaire, tant par sa composition (architectes, sociologues, informaticiens, anthropologues, urbanistes, géographes, physiciens, historiens, philosophes), que par les problématiques et enjeux auxquels il répond (architecture, environnement, ville), et par les outils qu’il conçoit et met en oeuvre (méthodologies d’enquêtes in situ, modélisation et simulation des phénomènes d’ambiances, réalité virtuelle, etc.). Il dispose d’une équipe d’informaticiens avec une expérience reconnue dans les domaines de la réalité virtuelle et de la réalité augmentée.
Au sein du laboratoire AAU, l’équipe d’encadrement de la thèse est composée de deux informaticiens (Guillaume Moreau, PU et Jean-Marie Normand, MCF) de l’Ecole Centrale de Nantes spécialistes en Réalité Virtuelle et Réalité Augmentée qui sont également membres associés de l’équipe INRIA Hybrid.
Contact : Guillaume MOREAU (guillaume.moreau@ec-nantes.fr)
Plus d’information : pdf
