Incarner des Avatars en Réalité Augmentée

La réalité augmentée (RA) permet à ses utilisateurs de voir et d’incarner des avatars virtuels au sein de notre environnement réel.
Une fois « avatarisé », il devient possible de changer l’apparence de son corps et de faire des choses qui seraient normalement
impossibles dans le monde réel (allonger ses bras, interagir à distance, etc.). Tandis que cela ouvre des portes vers de nombreuses
applications, une grande quantité de questions se posent également sur la façon dont l’utilisateur est impacté : en effet, les
avatars étant de puissants outils qui peuvent influencer la cognition et le comportement des utilisateurs, on sait encore peu de
choses sur leurs effets au sein de situations de la vie réelle. Les objectifs de notre recherche sont les suivants :

  • Identifier les facteurs d’influence du sentiment d’incarnation des avatars en RA,
  • Explorer l’utilisation d’avatars incarnés en RA dans des contextes de vie quotidienne,
  • Concevoir des stratégies pour faciliter les expériences d’avatarisation.

Être un avatar « pour de vrai » : revue de littérature sur l’incarnation virtuelle en Réalité Augmentée

Notre recherche a commencé par un travail théorique visant à mieux comprendre et décrire les expériences d’incarnation. Pour ce faire,
nous avons établi un continuum d’« avatarisation corporelle » offrant un moyen de catégoriser les systèmes d’incarnation en fonction
de l’étendue de la représentation virtuelle de l’utilisateur [1, 2]. À l’aide de ce continuum, nous avons ensuite passé en revue la
littérature sur la RA mettant en œuvre l’incarnation d’avatars. Cela a permis de clarifier les aspects techniques et les défis liés à
l’avatarisation du corps en RA, les méthodes disponibles pour induire et mesurer le sentiment d’incarnation, ainsi que les
similitudes existantes entre l’incarnation en RA et en RV. D’autre part, nous avons identifié un manque de recherche sur la façon
dont le contenu affiché en RA influence la perception de l’utilisateur de ses avatars.

Virtuel, réel ou mixte : comment les objets environnants influencent-ils le sentiment d’incarnation en Réalité Augmentée ?

Person looking at virtual hands overlaid on their real hands through a glass pannel. Real and virtual objects are visible around the hands.

Au sein d’une étude utilisateur [3], nous avons cherché à déterminer si le contenu mixte des environnements de RA pouvait affecter les
illusions d’incarnation. Notre étude a comparé le sentiment d’incarnation de l’utilisateur envers des mains de robot virtuelles
incarnées en présence de différentes quantités d’objets virtuels et réels. Pour réaliser cette expérience, nous avons développé un
système d’affichage transparent permettant aux participants de voir ces mains superposées à leurs propres mains. Nos résultats
montrent que les participants ont ressenti une plus forte appropriation des mains virtuelles lorsqu’elles étaient visionnées en
présence d’objets virtuels et réels mélangés, par rapport au cas où les mains virtuelles étaient le seul contenu virtuel visible. Cela
suggère que le contenu de l’environnement devrait être pris en compte lors de la conception d’expériences d’incarnation. Cependant,
nous n’avons pas pu conclure avec certitude sur l’origine des différences observées et leur étendue à des populations plus importantes.
Cette expérience devrait néanmoins encourager la communauté à approfondir l’idée que l’avatar lui-même n’est pas le seul modérateur du
sentiment d’incarnation, mais que le contexte et le support de l’incarnation peuvent également jouer un rôle.

Explorer les possibilités d’action au sein du monde réel grâce à son avatar

Three images show users manipulating an avatar matching their own morphology: one through a gamepad, one with mid-air hand interactions, and one through body tracking.

Par la suite, nous avons exploré comment l’avatarisation corporelle et la RA peuvent être combinées pour des cas d’utilisation concrets
[4]. En puisant dans les théories sur la perception des affordances (possibilités d’action liées à un environnement et à un individu),
nous avons proposé le concept d’envoyer son avatar pour agir à distance et améliorer notre compréhension du monde physique, ainsi que de
nos possibilités d’action au sein de celui-ci. Pour illustrer cette idée, une preuve de concept permettant de manipuler un avatar dont
la forme et la taille correspondent à celles de l’utilisateur fut implémentée. L’avatar peut être contrôlé à l’aide de trois techniques :
avec une manette, avec des interactions manuelles et avec un suivi corporel. Nous décrivons des scénarios où chacune de ces techniques
peut être pertinente et discutons de leurs forces et faiblesses individuelles au sein de l’article scientifique associé à ces recherches.

Perception des affordances avec un avatar en Réalité Augmentée

Pictures showing a user experiment where a participant is manipulating an avatar to check how their body fits in space.

Au cours de trois études, nous avons cherché à évaluer l’impact de contrôler un avatar à la troisième personne en RA sur la perception
des affordances du monde réel [4,7]. Ces expériences ont demandé des participants à prendre le contrôle d’avatars (personnalises à leur
taille) pour tester différentes actions dans le monde réel. La première expérience a montré que la manipulation d’une version virtuelle de
soi peut effectivement améliorer la précision et la confiance de l’utilisateur lorsqu’il ou elle estime ses capacités action. La deuxième
expérience a étudié comment la mémoire de la manipulation de l’avatar peut être exploitée lors de la réitération des mêmes jugements
une fois que l’avatar n’est plus en vue. Nous n’avons pas obtenu de preuve que le fait d’avoir utilisé un avatar avait un impact sur les
performances de l’utilisateur, car nous n’avons pas trouvé de différences significatives entre les conditions qui incluaient une
utilisation antérieure de l’avatar et celles qui ne l’incluaient pas. La dernière expérience a poursuivi notre enquête sur les
effets résilients des avatars en demandant aux utilisateurs d’estimer leur aptitude à passer une porte coulissante. Nous avons également
comparé leur précision face à une porte réelle et face à une porte virtuelle. Nous n’avons pas trouvé d’effets significatifs de l’avatar,
ni de la virtualité de la porte sur la performance de l’utilisateur. Néanmoins, de la première étude, nous retenons que l’expérience
acquise à travers l’avatar peut être utilisée pour prendre des décisions plus éclairées et pour mieux saisir la dimension de notre
environnement.

Passage du corps réel au corps virtuel : comment le fluidifier ? – Collaboration

Picture showing an avatar becoming more muscular as a user is pressing on dumbbells.

Au cours d’un projet dirigé par Riku Otono et Kiyoshi Kiyokawa du Cybernetics and Reality Engineering
(CARE) laboratory
(à Nara, au Japon), nous avons exploré l’utilisation de transitions graphiques pour améliorer la continuité de
l’illusion d’incarner un corps virtuel [5, 6]. L’idée était d’appliquer des effets visuels à différentes étapes de l’avatarisation de
l’utilisateur pour la rendre plus fluide. En outre, nous proposons d’incarner d’abord un avatar intermédiaire qui ressemble à l’utilisateur
avant de passer à l’avatar final. Comme il n’est pas évident de savoir quels types de transitions doivent être utilisés, nous avons mené
une étude auprès des utilisateurs pour en comparer deux : les transitions actives et les transitions passives. Dans les deux cas, des effets
visuels sont appliqués pour permettre aux utilisateurs de voir le corps de leur avatar changer progressivement. Cependant, lors des transitions
actives, l’utilisateur contrôle la progression de ce changement par son action physique alors que lors des transitions passives, ce changement
est appliqué automatiquement. En plus de la comparaison de ces deux transitions, notre expérience comprenait deux autres conditions dans
lesquelles un écran noir était affiché pendant chaque type de transition afin de vérifier l’impact de la vision des effets visuels. Nos résultats
suggèrent que les transitions graphiques améliorent effectivement le sentiment d’incarnation et amplifient l’influence que l’avatar a sur son
utilisateur, appelée Effet de Protée. Nous encourageons de futurs travaux à poursuivre cette ligne de recherche avec d’autres types d’avatars
afin de vérifier l’extension de ces résultats.

Renforcer l’illusion d’incarnation en se préparant mentalement à incarner son avatar – Collaboration

VR view of an avatar representing the Hulk, being controlled by a user to break stones.

Le sentiment d’incarnation n’étant pas toujours facile à évoquer selon les utilisateurs et les avatars, nous avons étudié des stratégies
pour renforcer les illusions d’incarnation et réduire la variabilité causée par les caractéristiques individuelles [7]. Cette recherche a
été menée de manière collaborative avec le CARE lab. Ensemble, nous avons cherché les façons
d’exploiter les différentes phases des expériences d’incarnation, et en particulier, le temps passé avant l’incarnation pour renforcer
l’illusion d’avoir un autre corps au moment de l’avatarisation. Nous avons mené une étude d’utilisateur évaluant comment la préparation
mentale de l’utilisateur peut aider à créer des illusions plus fortes. L’expérience a été menée en RV avec un avatar représentant Hulk, un
personnage de la franchise Marvel. Avant de l’incarner, les participants ont réalisé un exercice d’imagination et d’actorat que nous avons
conçu afin de les aider à se mettre dans la peau de leur avatar. Les résultats de cette expérience sont encore en cours d’analyse. Les
premiers tests ne montrent pas d’effet significatif de cette préparation mentale sur le sentiment d’incarnation. Cependant, nous avons pu
constater des effets positifs sur l’expérience utilisateur globale : les participants se sont sentis plus fort et étaient moins conscients
de l’environnement autour d’eux. D’autres analyses sont en cours.

Vidéos

Publications

[1] Adélaïde Genay, Anatole Lécuyer, Martin Hachet. « Incarner un Avatar en Réalité Augmentée : Revue de la Littérature ». WACAI 2020 – Workshop
sur les Affects, Compagnons artificiels et Interactions, CNRS, Université Toulouse Jean Jaurès, Université de Bordeaux, Jun 2020, Saint Pierre
d’Oléron, France. HAL: hal-02933477

[2] Adélaïde Genay, Anatole Lécuyer, Martin Hachet. « Being an Avatar “for Real”: A Survey on Virtual Embodiment in Augmented Reality”. IEEE
Transactions on Visualization and Computer Graphics (TVCG), Christchurch, New Zealand, Jul. 2021. DOI:
10.1109/TVCG.2021.3099290

[3] Adélaïde Genay, Anatole Lécuyer, Martin Hachet. « Virtual, Real or Mixed: How Surrounding Objects Influence the Sense of Embodiment in
Optical See-Through Experiences?” Frontiers in Virtual Reality, Frontiers, 2021, 2, pp.1-15. DOI:
10.3389/frvir.2021.679902

[4] A. Genay, A. Lécuyer and M. Hachet, “What Can I Do There? Controlling AR Self-Avatars to Better Perceive Affordances of the Real World”,
IEEE International Symposium on Mixed and Augmented Reality (ISMAR), Singapore, Singapore, Oct. 2022. DOI:
10.1109/ISMAR55827.2022.00061

[5] R. Otono, A. Genay, M. Perusquía-Hernández, N. Isoyama, H. Uchiyama, M. Hachet, A. Lécuyer, K. Kiyokawa, “Studying “Avatar Transitions” in
Augmented Reality: Influence on Sense of Embodiment and Physiological Activity”, IEEE International Symposium on Mixed and Augmented Reality
(ISMAR), Singapore, Singapore, Oct. 2022. DOI:
10.1109/ISMAR-Adjunct57072.2022.00106

[6] R. Otono, A. Genay, M. Perusquía-Hernández, N. Isoyama, H. Uchiyama, M. Hachet, A. Lécuyer, K. Kiyokawa, “I’m Transforming! Effects of
Visual Transitions to Change of Avatar on the Sense of Embodiment in AR”, IEEE Conference on Virtual Reality and 3D User Interfaces (VR),
Shanghai, China, Mar. 2023. In publication process. HAL: hal-03968274

[7] Genay, A., “Being a virtual avatar in a real environment: Design and study of Avatar embodiment in augmented reality” (Thèse), Université
de Bordeaux. Available at: https://theses.hal.science/tel-04004116

Médiation scientifique

Oct. 2021. Article de Adélaïde Genay: « Les avatars peuvent-ils remplacer nos corps ? », The Conversation (Talence, France).
Lien.

Juin 2021. Participation de Adélaïde Genay à l’épisode 9 du podcast « Thèse et Vous ! » (Talence, France).
Lien.

Mars 2021. Présentation de Adélaïde Genay au concours « Ma thèse en 180 secondes (Talence, France) ».
Lien.

Fév. 2020. Table ronde « De l’être humain à l’être virtuel : quelle relation entretenons-nous avec nos avatars » (Pessac, France).

 

Les commentaires sont clos.