The autoscopic flying avatar: a new paradigm to study bilocated presence in mixed reality 

Abstract : This position paper presents the project « Becoming Avatar » deals with avatarial immersion [1] addressed through an interdisciplinary experimental approach. Its goal, at the crossroad of the creation of images and interactive technology, of virtual reality, neurophysiology and information and communication sciences, is to develop a device and a media scenario to support the hypothesis of a split state and to objectify the situation of bilocation [2].

Trad. : Cet article de positionnement présente le projet « Devenez Avatar » qui s’intéresse à l’immersion avatariale à travers une approche expérimentale interdisciplinaire. Son but, au carrefour de la création d’images et des technologies interactives, de la réalité virtuelle, de la neurophysiologie et des sciences de l’information et de la communication, est de développer un dispositif et un scénario médiatique pour soutenir l’hypothèse d’un état clivé et pour objectiver la situation de bilocation[2].)

Being present both here in front of the screen and over there, beyond the screen, this is a case which is shown by empirical studies of video games and by artists and metaverse explorers in Second Life. This type of state resonates in neurophysiology with the artificial « Out-of-Body Experiences » sensations produced with the aid of virtual reality equipment on healthy subjects.

Trad. : Être présent à la fois ici devant l’écran et là-bas, au-delà de l’écran, c’est un cas montré par des études empiriques de jeux vidéo et par des artistes et des explorateurs de métaverses dans Second Life. Ce type d’état résonne en neurophysiologie avec les sensations artificielles « Out-of-Body Experiences » produites à l’aide de matériel de réalité virtuelle sur des sujets sains.

  The production includes the development of a scientific experimental facility for physiological measurements and a public installation allowing someone to live a non-ordinary experience of split self. The common feature to both aspects of the project is based on the original idea of integrating video and 3D technology in order to experiment a situation of flight in mixed reality. The subject is literally invited to « become an avatar », indeed, he sees his own image, filmed from behind, inlaid into a synthetic world where he will be able to move freely and experiment different events.

Trad. : La démarche comprend le développement d’une installation expérimentale scientifique pour les mesures physiologiques et d’une installation publique permettant à une personne de vivre une expérience non ordinaire de dédoublement du moi. Le point commun aux deux aspects du projet est basé sur l’idée originale d’intégrer la vidéo et la technologie 3D afin d’expérimenter une situation de vol en réalité mixte. Le sujet est littéralement invité à « devenir un avatar », car en effet, il voit sa propre image, filmée de dos, incrustée dans un monde synthétique où il pourra se déplacer librement et expérimenter différents événements.

This autoscopic system of immersion was imagined in 2013 by E. Pereny and worked in 2013-2014 with Pr A. Berthoz and E.A. Amato, to be developed and finalized with N. Galinotti and G. Gorisse, with Jams sessions integrating students.

Trad. : Ce système autoscopique d’immersion a été imaginé en 2013 par E. Pereny et travaillé en 2013-2014 avec le Pr A. Berthoz et E.A. Amato, pour être développé et finalisé avec N. Galinotti et G. Gorisse, avec des sessions de Jams intégrant des étudiants.

Illust.1. The subject is equipped with physiological sensors during the experimentation. (Trad : Le sujet est équipé de capteurs physiologiques pendant l’expérimentation.)

Categories and Subject Descriptors : Human computer interaction (HCI), Interaction paradigms, Mixed reality, Emerging technologies, Emerging interfaces.

General Terms : Measurement, Performance, Design, Experimentation, Human Factors, Theory.

Keywords : Avatar, Image, Presence, Immersion, Physiological measurements, Chroma Key, Autoscopy, Third person perspective, Real-time 3D, Instantiation, Experimentation.

1. Proposed experimentation

To describe simply the experimentation we propose, we shall now introduce its basic scenario: the free flight. At the beginning of the session, the subject is facing a green curtain with a head-mounted display. Then, the screens before his eyes are switched on, he is now seeing a virtual desert landscape with mountains and a glowing sky where the clouds are drifting. Suddenly, his perfectly cutout body, filmed from the back, is appearing, standing in the middle of the landscape. When the subject is moving, and because of the real time reacting of the image, he is realizing that he is like a 3D avatar viewed in third-person perspective. He hears the instruction to lift his arms, which will cause the take-off of his body few meters above the ground.

Trad. : Pour décrire simplement l’expérimentation que nous proposons, nous allons maintenant présenter son scénario de base : le vol libre. Au début de la séance, le sujet fait face à un rideau vert avec un écran monté sur la tête. Puis, les écrans devant ses yeux s’allument, il voit maintenant un paysage de désert virtuel avec des montagnes et un ciel rougeoyant où les nuages sont à la dérive. Soudain, son corps parfaitement découpé, filmé de dos, apparaît debout au milieu du paysage. Quand le sujet bouge, et à cause de la réaction en temps réel de l’image, il se rend compte qu’il est comme un avatar 3D vu à la troisième personne. Il entend l’instruction de lever les bras, ce qui provoquera le décollage de son corps à quelques mètres du sol.

Then, the image of the subject body seems to bend forward, although he himself remains right straight up, which initiates a general scrolling of the landscape. Then starts a learning phase which will train him to navigate in the landscape. Indeed, using his arms, the subject can induce the movement of his avatar to turn right or left, go up or down, depending on their orientations. After having some time to enjoy the sensations procured by this flight activity, he will have to face different events, tests or tasks that will allow him to experience the emotions of this split state situation in this mixed reality. Several physiological parameters will be measured during the experiment.

Trad. : Ensuite, l’image du corps du sujet semble se pencher vers l’avant, bien qu’il reste lui-même tout droit vers le haut, ce qui initie un défilement général du paysage. Commence alors une phase d’apprentissage qui l’entraînera à naviguer dans le paysage. En effet, à l’aide de ses bras, le sujet peut induire le mouvement de son avatar à tourner à droite ou à gauche, à monter ou à descendre, selon leur orientation. Après avoir eu le temps de profiter des sensations procurées par cette activité de vol, il devra faire face à différents événements, tests ou tâches qui lui permettront de vivre les émotions de cette situation d’état clivé dans cette réalité mixte. Plusieurs paramètres physiologiques seront mesurés pendant l’expérience.

2. Problems and studies

From the perspective of art and interactive image technologies, the installation is asking a particular aspect of the relation to these RT3D artificial worlds by focusing on their iconic nature [3], including Avatar [4], here rendered directly in video, and on the coupling between the image and the controls of a cybernetic system. These three aspects are studied through an action in situ, with the presence of the human subject in the picture. Thus, it should be possible to objectify and characterize these pictures who become livable spaces and theaters of action, as well as the fundamental mechanisms of interactive imaging devices, including video games and virtual reality. Or even to map the mechanisms of presence and agentivity in situations of bi-location. This new situation of ubiquity, where we are simultaneously here in front of the screen, and over there beyond in its electro-digital dimension, could help to review the effectiveness in virtual worlds, commonly sought.

Trad. : Du point de vue de l’art et des technologies de l’image interactive, l’installation pose une question particulière sur le rapport à ces mondes artificiels RT3D en se concentrant sur leur nature iconique[3], dont Avatar[4], rendu ici directement en vidéo, et sur le couplage entre l’image et les contrôles d’un système cybernétique. Ces trois aspects sont étudiés à travers une action in situ, avec la présence du sujet humain dans l’image. Ainsi, il devrait être possible d’objectiver et de caractériser ces images qui deviennent des espaces habitables et des théâtres d’action, ainsi que les mécanismes fondamentaux des dispositifs d’imagerie interactive, dont les jeux vidéo et la réalité virtuelle. Ou même de cartographier les mécanismes de présence et d’agencement dans les situations de bi-localisation. Cette nouvelle situation d’ubiquité, où nous sommes simultanément ici devant l’écran, et là-bas au-delà dans sa dimension électro-numérique, pourrait aider à revoir l’efficacité des mondes virtuels, communément recherchés.

  To describe this immersion, video game studies propose the term of co-instantiation [5], which would be equivalent to projection for cinema. Within the playable sphere, the situation becomes much more complex because different identifiable corporeities are distributed not only on the two sides of the screen, but also within the screen, which becomes the control and management interface. All points of view are often mobilized, from the first to the third-person perspective, while articulating, for narrative purposes, interactive vision and « cinematics », pre-calculated scenes imposed by the machine. In this field, one of the questions is the excessive media attachment, the addictive behaviors with an « avatarial existence » and the virtual worlds opposing the real worlds that would be first and foremost one the basic effects of the ludic device. More widely, the avatar seems heuristic [6] for understanding recent developments of the Information Technologies and Science concerning the growing place of the body in the man’s relationship with the machine.

Trad. : Pour décrire cette immersion, les études sur les jeux vidéo proposent le terme de co-instanciation[5], qui serait équivalent à la projection pour le cinéma. Dans la sphère jouable, la situation devient beaucoup plus complexe parce que différentes entités identifiables sont distribuées non seulement des deux côtés de l’écran, mais aussi dans l’écran, qui devient l’interface de contrôle et de gestion. Tous les points de vue sont souvent mobilisés, de la première à la troisième personne, en articulant, à des fins narratives, une vision interactive et des scènes « cinématographiques », pré-calculées, imposées par la machine. Dans ce domaine, l’une des questions est l’attachement médiatique excessif, les comportements addictifs avec une « existence avatariale » et les mondes virtuels s’opposant aux mondes réels qui seraient d’abord et avant tout l’un des effets fondamentaux du dispositif ludique.) Plus largement, l’avatar semble heuristique[6] pour comprendre les développements récents des Technologies de l’Information et de la Science concernant la place croissante du corps dans la relation de l’homme à la machine.

As for neuroscience and virtual reality, the installation “Becoming Avatar” offers a paradigm, called « the flying Avatar », order to improve the understanding of the neural basis of the existence of a double of ourselves which has been evidenced in neurological pathologies and in recent experimental paradigms. The RT3D and the use of avatars had been a privileged solution to experimentally address this question [7]. Indeed, we know that the human brain has a representation of the human body called « Body Schema » often distinct from another mechanism, « Body Image ». There is a large neurology and neuropsychology literature describing the functions, as well as the pathological manifestations of the body schema. The fact that we have in our brain a double of ourselves is also well illustrated by the dream and the feelings of ghost limbs [8]. We know that these are the specialized areas [9] (parieto-insular cortex and temporo-parietal junction) of the brain that are involved in a privileged way, both in the multi-sensory fusion and in the construction of this body schema. The same area are involved in the relationship between body and space, or in the representation of the gravity acceleration and therefore of the orientation of the body relative to gravity, which is one of the functions of the vestibular system. Furthermore, Neuropsychology data describes the role of these areas in the phenomena of autoscopy, heautoscopy and out-of-body experiences, which are today studied by neurologists. Finally, it was shown that these areas are also involved in the relationship with others and empathy [10].

Trad. : Quant aux neurosciences et à la réalité virtuelle, l’installation « Devenir Avatar » offre un paradigme, dit de « l’Avatar volant », afin d’améliorer la compréhension de la base neuronale de l’existence d’un double de nous-mêmes qui a été mise en évidence dans des pathologies neurologiques et dans des paradigmes expérimentaux récents. La RT3D et l’utilisation d’avatars avaient été une solution privilégiée pour répondre expérimentalement à cette question[7]. En effet, nous savons que le cerveau humain a une représentation du corps humain appelée « schéma corporel » souvent distincte d’un autre mécanisme, « l’image du corps ». Il existe une abondante littérature en neurologie et en neuropsychologie décrivant les fonctions, ainsi que les manifestations pathologiques du schéma corporel. Le fait que nous avons dans notre cerveau un double de nous-mêmes est aussi bien illustré par le rêve et les sentiments des membres fantômes[8]. Nous savons que ce sont les domaines spécialisés[9] (cortex pariéto-insulaire et jonction temporo-pariétale) du cerveau qui sont impliqués de façon privilégiée, tant dans la fusion multisensorielle que dans la construction de ce schéma corporel. La même zone est impliquée dans la relation entre le corps et l’espace, ou dans la représentation de l’accélération de la gravité et donc de l’orientation du corps par rapport à la gravité, l’une des fonctions du système vestibulaire. De plus, les données neuropsychologiques décrivent le rôle de ces domaines dans les phénomènes d’autoscopie, d’héautoscopie et d’expériences de sortie hors du corps, qui sont aujourd’hui étudiés par les neurologues. Enfin, il a été démontré que ces domaines sont également impliqués dans la relation avec les autres et dans les mécanismes de l’empathie [10].

3. Methods and perspectives

Finally, it is useful to emphasize the research-creation method that we are implementing with the researchers involved in this scientific cooperation between the University of Paris 8, the College de France and the Conservatoire National des Arts et Métiers. We called our approach techno-social because it takes advantage of the availability and maturity of technology in order to invent their socialization through the creation of original content, materialized through experimentation and technical devices [11]. The preparation and the production are interdisciplinary, but the resulting objects are transdisciplinary, leading to new uses in innovative or classical domains. The originality, assumed by the leaders of this project, is to combine both research and education, including students of different levels, and experiment iteratively various situations with the public to make theoretical advances.

Trad. : Enfin, il est utile de souligner la méthode de recherche-création que nous mettons en œuvre avec les chercheurs impliqués dans cette coopération scientifique entre l’Université de Paris 8, le Collège de France et le Conservatoire National des Arts et Métiers. Nous avons appelé notre approche techno-sociale parce qu’elle profite de la disponibilité et de la maturité de la technologie pour inventer leur socialisation par la création de contenus originaux, matérialisés par des expérimentations et des dispositifs techniques[11]. La préparation et la production sont interdisciplinaires, mais les objets qui en résultent sont transdisciplinaires, conduisant à de nouvelles utilisations dans des domaines innovants ou classiques. L’originalité, assumée par les responsables de ce projet, est de combiner la recherche et l’enseignement, y compris les étudiants de différents niveaux, et d’expérimenter itérativement différentes situations avec le public pour faire des avancées théoriques.

A derivative of the experimental installation may be useful for diagnosis or even remediation of cognitive deficits in pathological identity or visuo-spatial functions, as well as for training in weightlessness situations or humanoid tele-robotics. The public installation, beyond the reflexive experience and the technical relationship will be proposed in technology exhibitions and could also lead to adaptations in the field of entertainment or in popular science venues such as the Futuroscope or the Museum of Science and Industry in Paris.

Trad. : Un dérivé de l’installation expérimentale serait utile pour le diagnostic, voire la remédiation des déficits cognitifs de l’identité pathologique ou des fonctions visuo-spatiales, ainsi que pour l’entraînement en apesanteur ou en télé-robotique humanoïde. L’installation publique, au-delà de l’expérience réflexive et de la relation technique, sera proposée dans des expositions technologiques et pourrait également conduire à des adaptations dans le domaine du divertissement ou dans des lieux de vulgarisation scientifique tels que le Futuroscope ou la Cité des Sciences et de l’Industrie à Paris.

4. References

[1] Perény, E., « Immersion avatariale : Figurations co-opérables et visions habitées en situation de bilocation par externalisation de soi » Dans A. Bernard, (dir.), Immersivité de l’Art, Paris, Editions de l’Harmattan, 2015.

[2] Furlanetto, T., Bertone, C, Becchio, C., The bilocated mind: new perspectives on self-localization and self-identification, Frontiers in Human Neuroscience, 7, 71. 2013.

[3] Perény, E., Images interactives et jeu vidéo : de l’interface iconique à l’avatar numérique. Éditions Questions théoriques, Collection Lecture>Play, 2013.

[4] Amato, E. A., Perény, E., (dirs.), Les avatars jouables des mondes numériques. Théories, terrains et témoignages de pratiques interactives, Paris, Hermès Lavoisier, 2013.

[5] Amato, E. A. Pour une théorie unificatrice du jeu vidéo : la modèle analytique de la co-instanciation. Dossier : Le virtuel pour quoi faire ? Regards croisés, Psychologie clinique, 2014/1 (N°37), 52-66.

[6] Perény, E., Amato, E. A. L’heuristique de l’avatar : polarités et fondamentaux des hypermédias et des cybermédias, Revue des Interactions Humaines Médiatisées Vol 11-N°1 2010 : 87-115.

[7] Jorland, G., Bret, M., Tramus, MH., Berthoz, A. Walking on a line: a motor paradigm using rotation and reflection symmetry to study mental body transformations. Brain and Cognition. 2009; 70(2):191-200.

[8] Olivé, I., Berthoz, A. Combined Induction of Rubber-Hand Illusion and Out-of-Body Experiences. Frontiers in Psychology. 3: 128, 2012.

[9] Thirioux B., Mercier MR., Blanke O., Berthoz, A. The cognitive and neural time course of empathy and sympathy: a neuroimaging study on self-other interaction. Neuroscience. 2014 May 16; 267:286-306.

[10] Berthoz, A., Jorland, G. L’empathie. Paris, Éditions Odile Jacob, 2004.

Votre commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l’aide de votre compte WordPress.com. Déconnexion /  Changer )

Image Twitter

Vous commentez à l’aide de votre compte Twitter. Déconnexion /  Changer )

Photo Facebook

Vous commentez à l’aide de votre compte Facebook. Déconnexion /  Changer )

Connexion à %s