Localisation et raisonnement géométrique avec des caractéristiques de haut niveau
Notre objectif est de faire progresser la compréhension et la localisation de scènes basées sur la vision par l’utilisation conjointe de méthodes basées sur l’apprentissage et le raisonnement géométrique. Notre hypothèse est que l’utilisation de représentations intermédiaires à la place ou en plus des classiques points d’interêt conduira à une robustesse accrue des systèmes de localisation. Ces représentations intermédiaires peuvent être des objets concrets qui sont reconnus et utilisés directement dans le calcul de la pose globale, dans la continuité de nos travaux sur la modélisation ellipsoïdale des objets, ou des objets conceptuels tels que les points de fuite (VP) ou les lignes d’horizon qui présentent un intérêt spécifique tant pour la localisation que pour la modélisation de scènes urbaines ou industrielles.
Un premier objectif est d’améliorer notre méthode de localisation à partir d’ensembles de correspondances ellipse/ellipsoïde. Outre la nécessité d’avoir une prédiction plus précise des ellipses, un autre objectif est d’élaborer des stratégies robustes et des schémas numériques associés pour affiner la pose initiale à partir d’un ensemble d’objets. Cela nécessite de développer des métriques appropriées pour caractériser une bonne reprojection d’objets 3D sur des objets 2D et d’étudier leur impact sur les problèmes de minimisation en localisation. Un autre axe de recherche important visera à définir des stratégies d’intégration dans la procédure de localisation de diverses caractéristiques telles que les points, les objets et les VP, qui apportent chacun des informations à différents niveaux. Nous souhaitons en particulier étudier comment les mécanismes d’incertitude prédictive et d’explicabilité peuvent être utilisés pour sélectionner et pondérer ces différentes caractéristiques dans le processus d’estimation.
Construction de modèles dédiés
Dans cet axe de recherche, notre objectif est de construire des modèles physiquement cohérents avec un bon compromis précision vs efficacité malgré la contrainte de temps interactif fixée dans certaines applications. Bien qu’il existe des solutions générales pour la construction de modèles, ces techniques sont encore très difficiles à mettre en œuvre dans des cas plus complexes où des contraintes spécifiques sur la forme ou sa déformation doivent être respectées. C’est notamment le cas en imagerie médicale d’organes minces déformables, tels que le diaphragme, la valve mitrale ou les vaisseaux sanguins, mais aussi pour la modélisation classique de scènes où des contraintes, telles que l’abstraction ellipsoïdale des objets, doivent être introduites. L’utilisation de modèles mécaniques est devenue de plus en plus importante dans les activités des équipes en imagerie médicale, en particulier pour la manipulation d’organes présentant de grandes déformations. Notre objectif est de faire avancer le développement de tels modèles dans l’optique de les appliquer aux procédures guidées par l’image ou à des simulations prédictives.
Face aux difficultés de maillage des géométries complexes, en particulier les géométries d’objets fins, nous voulons promouvoir des méthodes sans maillage telles que les modèles implicites. Dans la continuité des travaux antérieurs, l’adaptation automatique de l’emplacement et de la taille des nœuds à l’image sera étudiée pour améliorer la compacité et l’efficacité de calcul des modèles implicites. Comme la fidélité d’un modèle mécanique est souvent altérée par les approximations requises pour résoudre les équations d’état dynamiques à des fréquences supportant l’interaction, un deuxième objectif est de tirer parti de nos modèles implicites pour améliorer la résolution des contacts et des déformations.
Le deuxième axe concerne l’étude de méthodes de type shape-aware, soit pour la segmentation des formes, soit pour la reconnaissance des formes, afin d’être en mesure d’appliquer des contraintes de formes globales ou des priorités de formes géométriques sur la sortie des CNN. Ce sujet est déjà abordé dans l’équipe dans le contexte de la localisation à partir de l’abstraction ellipsoïdale 3D des objets. Deux applications sont particulièrement visées : (i) Nous visons à améliorer la détection de pathologies (par exemple les anévrismes cérébraux qui sont principalement localisés aux bifurcations des vaisseaux), par un échantillonnage adapté et guidé des données d’entrée pendant l’apprentissage, ainsi que par des mécanismes inspirés des modules d’attention visuelle (ii) Dans le contexte des méthodes de simulation de la structure des fluides pour la simulation de la valve mitrale basée patient, il apparaît souvent que le modèle géométrique segmenté conduit à une divergence du schéma numérique. Notre intention est d’identifier les conditions géométriques sous lesquelles la simulation fonctionne bien avec l’idée de les incorporer dans le processus de segmentation.
Estimation et problèmes inverses
La plupart des tâches mentionnées conduisent à des problèmes inverses, éventuellement mal posés. Si certains d’entre eux peuvent être résolus avec des techniques d’estimation bien établies, d’autres nécessiteront la conception de nouvelles stratégies. Dans cette perspective, nous considérons dans cet axe de recherche plusieurs aspects fondamentaux de l’estimation, communs à nos problèmes, tels que les méthodes d’échantillonnage, les méthodes d’optimisation traditionnelles, ou les méthodes d’apprentissage de bout en bout pour l’estimation de pose.
- Optimisation, calcul variationnel et schémas numériques
- Méthodes d’apprentissage pour les modèles d’origine physique
Nous nous intéressons aux problèmes d’optimisation non convexes, notamment ceux soulevés par le calcul variationnel. Si la convergence des schémas numériques est bien établie pour les problèmes convexes, ce n’est pas toujours le cas pour les fonctionnelles non convexes. Notre objectif est de poursuivre le travail déjà effectué dans le cadre biconvexe 6, et de l’étendre aux algorithmes primo-duaux. Nous voulons en particulier aborder les problèmes de minimisation de l’énergie où l’énergie est convexe par rapport à chaque variable, mais non convexe par rapport à la paire de variables.
Un autre sujet de recherche consiste à étudier de nouvelles architectures neuronales adaptées aux données non euclidiennes, ainsi qu’à intégrer des méthodes variationnelles dans des approches d’apprentissage profond afin de régulariser les résultats. Les résultats théoriques obtenus seront appliqués à la colorisation d’images, avec l’idée de réduire les artefacts causés à la fois par un manque de régularisation et par la structure non-euclidienne de l’information couleur telle que perçue par le système visuel humain.
Nous souhaitons poursuivre nos efforts vers l’apprentissage supervisé et non supervisé pour les problèmes d’estimation. En ce qui concerne l’apprentissage supervisé, nous avons l’intention d’étudier plus avant les possibilités offertes par l’estimation par réseau neuronal des champs de déplacement et de déformation en mécanique expérimentale, que nous avons récemment introduite avec des collègues en mécanique et en traitement du signal 8. Par ailleurs, nous souhaitons également développer l’apprentissage non supervisé dans les problèmes où une quantité doit être estimée sur un domaine spatio-temporel, ce qui est une tendance récente dans plusieurs domaines d’application. Les réseaux de neurones sont en effet des approximateurs universels dont la dérivée peut être calculée exactement avec l’algorithme de rétropropagation, ce qui est censé les rendre robustes au bruit d’acquisition.
