Return to François Faure

Proposition de stage: Modelage bimanuel d’objets virtuels

Proposition de stage: Modelage bimanuel d’objets virtuels

Contexte:

Nous développons depuis plusieurs années une librairie de simulation physique appelé SOFA [2]. Elle intègre, entre autres, de nouveaux modèles de déformation, appelés frame-based, pour déformer des objets à l’aide d’un ou plusieurs repères de contrôle [1]. Ces modèles appliquent la mécanique des milieux continus aux déformations par skinning utilisées dans les jeux vidéo. Entre autres avantages, ils permettent d’obtenir automatiquement des modes de déformation qui respectent les matériaux, comme le montre la déformation du steak ci-dessous avec seulement trois repères de contrôle.

steak-lapin

Problématique scientifique

Dans ce travail, nous cherchons à appliquer l’approche frame-based au modelage d’objets virtuels, par déformations successives.

Dans les outils actuels, la déformation d’objets est réalisée au moyen d’interfaces classiques de type souris. Ce type d’interfaces n’est pas adapté pour saisir, manipuler, déformer, relâcher répétitivement un objet, en particulier lorsqu’il y a plus d’un seul point de contrôle.

Par ailleurs, selon l’étendue de la saisie, les déformations imposées peuvent globales ou bien locales.

Les questions de recherche associées sont donc :

  • Quelles sont les interfaces d’interaction appropriées pour déformer un objet de manière intuitive et naturelle ?

  • Comment moduler la déformation selon l’étendue de la saisie ?

Sujet du stage

L’objectif du stage est d’offrir la possibilité à un utilisateur de pouvoir saisir et déformer un objet virtuel à 2 mains et d’enregistrer les déformations.

Une première tâche sera de trouver une interface utilisateur qui permette de facilement saisir, manipuler, déformer, relâcher répétitivement un objet. La saisie s’effectuera à l’aide de deux repères mobiles (points de contrôle). On pourra utiliser des interfaces à retour d’effort de type Phantom Omni, ou bien sans retour d’effort de type capture optique ou mécanique de mouvement, à main nue [3] ou non. Un point sera donc d’évaluer l’interface en termes de performances utilisateur de réalisation de la tâche. Un état de l’art approfondi sur l’interaction bi-manuelle sera à faire [8].

La principale contribution originale de ce stage sera de proposer et expérimenter avec l’interface choisie une manière de régler l’étendue de la saisie, afin de pouvoir imposer des déformations très locales ou globales. Une fois cette amplitude réglée, le logiciel de simulation (SOFA) permettra à l’utilisateur de déformer interactivement l’objet. Enfin, une nouvelle commande de l’utilisateur permettra d’enregistrer la forme courante.

Enfin, si le temps le permet, on pourra explorer l’intérêt d’utiliser la stéréoscopie pour ce type d’applications, en utilisant par exemple un système Occulus Rift. Il s’agit par exemple d’évaluer l’amélioration de la performance de la tâche, le ressenti utilisateur, etc.

Résultats attendus

  • Choix de la bonne interface de manipulation

  • Module pour le logiciel SOFA, permettant de guider un repère, régler sa distance d’influence, déclencher une simulation physique interactive, et enregistrer une forme

Connaissances requises

  • Notions de programmation objet

  • Notions d’informatique graphique

  • Interfaces Homme-Machine

Lieu du stage

Le stage s’effectuera à l’Institut Image de l’École Nationale Supérieure d’Arts et Métiers (ENSAM), en partenariat avec l’INRIA Grenoble-Rhône-Alpes. Des déplacements à Grenoble seront à prévoir.

Contacts

Eléments bibliographiques

[1] F. Faure, B. Gilles, G. Bousquet & D. Pai, Sparse Meshless Models of Complex Deformable Solids, SIGGRAPH 2011

[2] J. Allard, S. Cotin, F. Faure, P-J. Bensoussan, F. Poyer, C. Duriez, H. Delingette & L. Grisoni, SOFA – an Open Source Framework for Medical Simulation, Medecine Meets Virtual Reality (MMVR’15), pp. 13-18, 2007

[3] J.-R. Chardonnet & J.-C. Léon, Designing Interaction in Virtual Worlds through a Passive Haptic Peripheral, 21st IEEE International Symposium on Robot and Human Interactive Communication, Paris, France, 2012, pp. 284–289.

[4] D. Bowman, 3D user interfaces: theory and practice. Boston: Addison-Wesley, 2005.

[5] H. Takada, N. Abe, Y. Kinosita, H. Taki, T. Tokuyasu, S. He, Modeling and deforming a virtual dense elastic object with the haptic device PHANToM, Artificial Life and Robotics, vol 14 (2), pp 150-153, 2009

[6] E. Ueda, H. Kodama, Y. Matsumoto & T. Ogasawara, Non-contact Virtual Clay Modeling Interface using Multi-viewpoint Images, IAPR Workshop on Machine Vision Applications, Dec. 11- 13, 2002

[7] W. Ju, S. Madsen, J. Fiene, M. Bolas, I. McDowall & R. Faste, Interaction Devices for Hands-On Desktop Design, SPIE, 2003

[8] A. Talvas, Bimanual haptic interaction with virtual environments, INSA Rennes, 2014