Cette interface a pour objectif d’aider à la création artistique en combinant le dessin classique papier/crayon avec des environnements 3D interactifs. Nous explorons ici de nouvelles approches « non intrusives » en réalité augmentée qui dépassent les méthodes classiques d’interaction avec un ordinateur.
Objectifs de PapArt
Le but de ce projet est d’aider la création de dessins ou peintures par le biais d’une interface en réalité augmentée. En utilisant les outils numériques, nous proposons des solutions pour faciliter la création artistique. Le dessin est une tâche difficile qui nécessite beaucoup de pratique pour pouvoir exprimer ce que l’on désire. Nous proposons ici un outil permettant de faciliter la création en créant une image de support. À l’instar d’un calque, cette image projetée permet par exemple de conserver des bonnes proportions lors du dessin.
Le système interactif
Le système est composé de plusieurs dispositifs d’acquisition et affichage. Il y a tout d’abord un vidéoprojecteur qui permet la projection d’images sur une table. Une caméra est collée au vidéoprojecteur et observe la zone de projection ainsi qu’une petite zone autour. Cet ensemble caméra-vidéoprojecteur est calibré, permettant la projection précise sur des feuilles de papier détectées par la caméra. Les feuilles sont entourées de marqueurs facilitant la détection.
Pour rendre le système plus interactif, une caméra de profondeur (Kinect) observe également la zone de projection. Grâce aux informations de profondeur, nous pouvons détecter les différents utilisateurs et surtout quand un utilisateur touche certaines zones de la table. De plus, les éléments au-dessus de la table sont également analysés. Cela permet par exemple d’obtenir la position d’un doigt dans l’espace permettant des opérations de pointage 3D par exemple.
Projection et interaction
Grâce à une calibration précise du système ci-dessus, le système à les capacités interactives et de manipulations comparable à une tablette tactile. Il y a cependant de nombreux avantage à avoir un tel système par rapport à un support physique. Outre le pointage 3D, le fait que les images soient projetées permet une grande variété de support et permet de dessiner ou peindre sous la projection.
En utilisant ce système comme un projecteur d’art avec support suivi, nous avons exploré les possibilités permises par un tel système pour la création artistique. Nous nous sommes intéressé a tirer profit des capacités de synthèse d’image actuelles pour proposer des outils novateurs et faciles à utiliser.
De nombreuses méthodes d’interactions sont possibles grâce à ce système. La position du support de projection, l’interface tactile multi-touch ainsi que le pointage 3D sont utilisés pour manipuler et éditer des scènes 3D. La scène est comme posée sur la feuille de papier. Ainsi elle peut être déplacée, tournée et agrandie avec des gestes à deux doigts. La position de l’éclairage de la scène peut être définie directement en pointant du doigt au dessus de la feuille. Le point de vue peut être ajusté en déplaçant la feuille de papier sur la table. Le passage d’une interface de manipulation à une autre se fait via un menu. Le menu est projeté sur une seconde feuille de papier. Celui-ci peut être posé dans la zone de projection à tout moment, dévoilant les différents boutons et les rendant actifs. Ces interfaces déplaçables à merci sont confortables à l’usage et permettent une bonne gestion de l’espace devant soi.
Publications associées
- <!–
- (suite du projet) [pdf] [hal-page] La Lampe torche magique: Une interface tangible pour l’inspection géométrique d’objets en réalité augmentée spatiale
- Brett Ridel, Patrick Reuter, Jeremy Laviole, Nicolas Mellado, Xavier Granier, Nadine Couture
- – 25ème conférence francophone sur l’Interaction Homme-Machine, IHM’13, Bordeaux : France (2013)
–!>
- [hal-page] Touch-Based Interfaces for Interacting with 3D Content in Public Exhibitions
Martin Hachet, Jean-Baptiste De La Rivière, Jérémy Laviole , Aurélie Cohé, Sebastien Cursan - – IEEE Computer Graphics and Applications 33, 2 (2013) 80-85
- Spatial augmented reality to enhance physical artistic creation.
Jérémy Laviole, Martin Hachet. - – Doctoral symposium, 25th ACM Symposium on User Interface Software and Technology (UIST) (2012)
- Demo: Spatial augmented reality for physical drawing
Jérémy Laviole, Martin Hachet. - – Demonstration at 25th ACM Symposium on User Interface Software and Technology (UIST) (2012)
- Digitally assisted stereo drawing
Jérémy Laviole, Fabien Lotte, Martin Hachet. - – The 3rd Dimension of CHI (3DCHI) – Workshop at CHI 2012 (2012)
- PapARt: interactive 3Dgraphics and multi-touch augmented paper for artistic creation.
Jérémy Laviole, Martin Hachet. - – IEEE Symposium on 3D User Interfaces 2012 in Orange County, CA, USA, March 4-5, 2012.
- (travaux préléminaires) Tabletop games using real environment and physical simulation.
- Jérémy Laviole, Martin Hachet, Christophe Schlick,
- – Foundations of Digital Games (FDG) ’11 in Bordeaux, France, June 28 – July 1 2011.
Opérations grand public
- TechFest 2015, Mumbai, Inde. 2 au 5 Janvier 2015.
- Living Lab de Cap Sciences à Bordeaux, durant presque deux ans (2012 – 2014).
- La Semaine Digitale 2013 à Bordeaux.
- Les rencontres Inria Industrie sur la santé, Strasbourg, 21 Novembre 2012.
- Palais de la découverte, Paris. De septembre à Décembre 2011 pour l’exposition «Un chercheur, une manip».
