Quentin Bateux Ph.D. Defense

Dans cette thèse, nous nous concentrons sur les techniques d’asservissement visuel (AV), critiques pour de nombreuses applications de vision robotique et insistons principalement sur les AV directs. Afin d’améliorer l’état de l’art des méthodes directes, nous nous intéressons à plusieurs composantes des lois de contrôle d’AV traditionnelles. Nous proposons d’abord un cadre générique pour considérer l’histogramme comme une nouvelle caractéristique visuelle. Cela permet de définir des lois de contrôle efficaces en permettant de choisir parmi n’importe quel type d’histogramme pour décrire des images, depuis l’histogramme d’intensité à l’histogramme couleur, en passant par les histogrammes de Gradients Orientés. Une nouvelle loi d’asservissement visuel direct est ensuite proposée, basée sur un filtre particulaire pour remplacer la partie optimisation des tâches d’AV classiques, permettant d’accomplir des tâches associées à des fonctions de coûts hautement non linéaires et non convexes. L’estimation du filtre particulaire peut être calculée en temps réel à l’aide de techniques de transfert d’images permettant d’évaluer les mouvements de caméra associés aux déplacements des caractéristiques visuelles considérées dans l’image. Enfin, nous présentons une nouvelle manière de modéliser le problème de l’AV en utilisant l’apprentissage profond et les réseaux neuronaux convolutifs pour pallier à la difficulté de modélisation des problèmes non convexes via les méthodes analytiques classiques. En utilisant des techniques de transfert d’images, nous proposons une méthode permettant de générer rapidement des ensembles de données d’apprentissage de grande taille afin d’affiner des architectures de réseau pré-entrainés sur des tâches connexes, et résoudre des tâches d’AV. Nous montrons que cette méthode peut être appliquée à la fois pour modéliser des scènes connues, et plus généralement peut être utilisée pour modéliser des estimations de pose relative entre des couples de points de vue pris de scènes arbitraires.

In this thesis we focus on visual servoing (VS) techniques, critical for many robotic vision applications and we focus mainly on direct VS. In order to improve the state-of-the-art of direct methods, we tackle several components of traditional VS control laws. We first propose a method to consider histograms as a new visual servoing feature. It allows the definition of efficient control laws by allowing to choose from any type of histograms to describe images, from intensity to color histograms, or Histograms of Oriented Gradients. A novel direct visual servoing control law is then proposed, based on a particle filter to perform the optimization part of visual servoing tasks, allowing to accomplish tasks associated with highly non-linear and non-convex cost functions. The Particle Filter estimate can be computed in real-time through the use of image transfer techniques to evaluate camera motions associated to suitable displacements of the considered visual features in the image. Lastly, we present a novel way of modeling the visual servoing problem through the use of deep learning and Convolutional Neural Networks to alleviate the difficulty to model non-convex problems through classical analytic methods. By using image transfer techniques, we propose a method to generate quickly large training datasets in order to fine-tune existing network architectures to solve VS tasks. We shows that this method can be applied both to model known static scenes, or more generally to model relative pose estimations between couples of viewpoints from arbitrary scenes.