L'auDition augmentée Développer - ENS Louis-Lumière
←
→
Transcription du contenu de la page
Si votre navigateur ne rend pas la page correctement, lisez s'il vous plaît le contenu de la page ci-dessous
Mémoire de fin d’études et de
recherche appliquée
Son 2012
Alexandre Saunier
développer
l’audition augmentée
sur plateforme mobile
D i re c t i o n
Thierry Coduys
Guillaume Jacquemin
Jury
Alan Blum
Thierry Coduys
Guillaume Jacquemin
Ecole Nationale Supérieure Louis Lumière
Promotion 2009-2012
R emerciements
Pour commencer, merci à mes directeurs de mémoire, Thierry Coduys et
Guillaume Jacquemin, pour les conseils et l’aide apportés lors de ce mémoire.
De même, merci à Cécile le Prado, pour m’avoir présenté ses travaux et nourri
ma réflexion concernant ma partie pratique, et Antonin Fourneau, pour m’avoir présenté
Oterp et fait partager sa passion, mélange d’art et de jeux-vidéo.
Je tiens à remercier l’ensemble des professeurs et intervenants de l’établissement
qui, durant ces trois dernières années, m’ont fait découvrir le monde du son et conforté
dans ce choix de métier.
De façon plus personelle, merci à mes parents et ma famille pour m’avoir
toujours encouragé dans cette voie. Ce mémoire leur doit beaucoup.
Merci particulièrement à Marion et Antoine pour le temps passé à partager des
pauses, mais également à travailler à nos mémoires. Merci également à Hélène et Yohan
qui ont affronté les pages de cet écrit et l’ont éclairé de leurs conseils.
Enfin, un remerciement spécial aux créateurs du First Person Tetris qui, s’il ne
m’a pas aidé à rédiger, a une fois de plus trouvé sa place sur mon bureau.
2
R ésumé
La réalité augmentée a pour but d’introduire des éléments virtuels dans le monde
réel par le biais d’un système informatique. Bien plus que tout autre support, elle
permet de toucher l’ensemble des sens du spectateur. En particulier, elle permet
d’imaginer un emploi du son original et interactif. Récemment, l’arrivée sur le marché
des smartphones a fourni à la réalité augmentée une plateforme adaptée, mais aussi
un regain d’intérêt auprès du grand public.
Ce mémoire a pour but d’offrir des pistes de réflexions quant à l’augmentation
du son par l’emploi de smartphones. Si les applications sont nombreuses, nous
n’observerons que l’emploi qui en est fait dans le monde de l’art. Nous y puiserons
la matière nécessaire à une réflexion sur le potentiel de la réalité augmentée sonore.
Nous observerons aussi les caractéristiques des technologies smartphones avant d’en
étudier le potentiel dans une application au domaine du son.
M ots clés :
Réalité augmentée, Audition augmentée, Smartphone, Réalité virtuelle,
Programmation, interactivité, Immersion
3
A bstract
Augmented reality aims to insert virtual components into the real world by means
of computing. Above all mediums, it gives the opportunity to reach each senses of the
participant. In particular, it gives the opportunity to imagine original and interactive
ways to use sound. Recently, smartphones gave augmented reality an appropriate
platform along with a new interest among the general public.
This dissertation intends to feed the reflexion on the subject of ssmartphone
augmented hearing. Though applications à numerous, we will concentrate on those
found in the world of art. From there, we will find the arguments necessary to a
reflexion on the potential of augmented sound reality. In addition, we will observe the
characteristics of smartphones before studying their interest to the world of sounds.
K ey W ords :
Augmented reality, Augmented hearing, Smartphone, Virtual reality,
Programming, Interactivity, Immersion
4
T able des matières
Introduction 8
Partie I. La Réalité augmentée 12
1. Concepts et définitions 13
1.1. Continuum réel-virtuel et réalité mixte 13
1.2. Réalité virtuelle 14
1.3. Réalité augmentée 15
1.4. Virtualité augmentée 16
2. Histoire de la réalité augmentée 17
2.1. La Réalité virtuelle, origine de la réalité augmentée 17
2.2. Histoire de la réalité augmentée dans l’art 20
3. Réflexions sur la réalité augmentée 24
3.1. Perception de l’augmentation : la sensation de présence 24
3.2. Pratiquer la réalité augmentée mobile 28
4. L’Audition augmentée 29
4.1. Différentes oeuvres 29
4.2. Qu’est-ce qu’augmenter l’audition? 31
Partie II. La Technologie smartphone 33
1. Généralités 34
1.1. Histoire 34
1.2. Marché 35
2. Systèmes d’exploitation 38
2.1. Google Android 38
5
2.2. Apple iOS 40
2.3. Symbian 40
2.4. Microsoft Windows Mobile Phone et Windows Phone 41
2.5. RIM BlackBerry 41
2.6. Autres systèmes 41
3. Fonctionnalités 42
3.1. Puissance de calcul 42
3.2. Réseaux 42
3.3. Géopositionnement 43
3.4. Capteurs: accéléromètre, gyroscope et magnétomètre 45
3.5. Son 47
3.6. Energie 47
4. Développer pour un smartphone 48
4.1. Contraintes techniques 48
4.2. Prendre en compte l’utilisateur 49
Partie III. Application de la réalité augmentée aux
smartphones 51
1. Contexte 52
1.1. Pourquoi utiliser des smartphones? 52
1.2. Exemples de travaux 53
2. L’Audition augmentée 56
2.1. Les Smartphones, une Plateforme propice à augmenter l’audio 56
2.2. Un Exemple de jeu en audition augmentée 57
Partie IV. Concernant la partie pratique 59
1. Projet et approche de l’environnement 60
1.1. La scénarisation 60
1.2. Un aspect collaboratif 62
1.3. Choix software et hardware 63
2. Développer un module 65
6
2.1. Guider le joueur 65
2.2. La gestion des effets sonores 66
2.3. Programmation à l’aide de libpd 67
Conclusion 69
Annexes 71
7
I ntroduction
« This is not like “TV only better” ! This is life. »
Strange Days de Kathryn Bigelow
« This is not like “TV only better” ! This is life. » Voila ce vers quoi tend la Réalité
Augmentée. Comme la réalité virtuelle, avec laquelle elle partage les mêmes origines,
elle s’adresse au spectateur dans son intégralité. L’art a sans cesse cherché à toucher, faire
se questionner, faire ressentir : la peinture et la photographie en s’adressant à la vue, la
musique à l’ouïe, la littérature et la poésie à l’imagination du lecteur. Quant au théâtre, à
l’opéra et au cinéma, ils touchent autant la vue que l’ouïe et mélangent différents modes
d’expression. La réalité augmentée permet tout cela et bien plus. Elle donne la possibilité
de mélanger les médias : musique, image, texte... Elle cherche à solliciter tous les sens
: l’audition et la vision mais aussi le toucher et parfois l’odorat et le goût. Surtout, elle
fournit des outils puissants en terme d’immersion et de sensation de présence.
Réalité augmentée et réalité virtuelle sont avant tout des technologies ayant
une application pratique, surtout dans le domaine militaire et médical. Mais comme
tout procédé technique le monde de l’art ne les a pas laissés de côté. La science fiction
et la culture cyberpunk en ont fait deux de leurs thèmes de prédilection : Neuromancer
a définit le concept de « cyberespace », The Matrix nous envisage comme les habitants
d’un monde virtuel, et nous en trouvons la trace dans de nombreuses autres oeuvres :
Tron, Avalon, Minority Report, Rainbow’s End... Quant aux artistes comme Jeffrey Shaw,
Maurice Benayoun, Char Davis, ils ont fait appel à ces technologies dans leurs œuvres.
Encore relativement jeune et en plein essors la réalité augmentée est sans doute un
8
médium qui, comme cela a été le cas pour les livres ou le cinéma, permet de créer denouvelles oeuvres, de nouveaux types d’histoires, de véhiculer des idées et surtout, de
toucher le public.
« You’re there. You’re doing it, seeing it, hearing it... feeling it. » Voici les mots
qu’utilise Lenny Nero, antihéros du film Strange Days, lorsqu’il présente « the wire » :
un concentré de technologies que l’on place sur sa tête et dont les capteurs établissent un
contact direct avec le cerveau. Dans son mode d’enregistrement « the wire » capte toutes
les sensations de la personne qui le porte, ce qu’elle vit, entend, voit, ressent, éprouve.
En mode lecture il retransmet l’ensemble de l’expérience enregistrée : « You’re there. You’re
doing it, seeing it, hearing it... feeling it. » On vit une expérience immersive incomparable :
au delà des sens qui sont tous touchés, les émotions et les sensations sont transmises. La
puissance de cette technologie tient au fait que l’expérience vécue est indissociable du
réel : on la ressent comme si l’on y était. Il s’agit là du phénomène de « présence ». Peut-
on, et de quelle façon, donner au participant la sensation de vivre une expérience réelle
et non un simulacre virtuel? Voici l’enjeu principal de la réalité virtuelle et de la réalité
augmentée qui, plus que tout autre procédé, fait appel au monde virtuel pour l’incruster
ou le substituer au monde réel.
Si le domaine de la réalité augmentée m’intéresse, c’est aussi qu’une technologie
permettant de l’exploiter et de la porter au grand public se développe depuis quelques
années : celle des smartphones. Jusqu’à récemment la réalité augmentée était réservée à des
cercles restreints, principalement de chercheurs, disposant de la technologie nécessaire –
capteurs, ordinateurs, casques de vision stéréoscopique... Les systèmes développés étaient
coûteux, encombrants, souvent peu maniables et hors d’atteinte du grand public, sauf
pour quelques oeuvres présentées occasionnellement, comme The Golden Calf de Jeffrey
Shaw. L’année 2007 a marqué un tournant dans le monde de l’informatique mobile en
voyant apparaître sur le marché des smartphones disposant d’une puissance de calcul
et de graphismes auparavant inaccessibles à cette technologie. Ces appareils réunissent
dans un boitier ultra-portable, et à un prix abordable, des outils puissants en terme
9
d’interaction et de création numérique. Ainsi, la barrière qui existait entre le public et laréalité augmentée a disparue.
Deux aspects de la réalité augmentée peuvent être développés grâce à l’utilisation
des smartphones. Leur portabilité donne la possibilité d’introduire le virtuel dans tout type
d’environnement et permet la création d’une réalité augmentée mobile accompagnant
l’utilisateur à tout instant de sa vie. Surtout, ces téléphones sont particulièrement adaptés
à l’augmentation du son.
Au travers de ce mémoire nous chercherons à mettre en avant ce que l’on pourrait
appeler l’« audition augmentée » et la façon dont les smartphones permettent de la créer.
Qu’il s’agisse d’incrustations et d’effets sonores ou encore de génération de musique
en temps-réel, il est possible de modifier notre perception et créer des univers sonores
augmentant le réel. Parmi les différentes applications qui peuvent en être faites, nous
n’aborderons que celles liées aux pratiques artistiques et employant le temps réel. C’est à
dire l’utilisation qui peut en être faite dans le cadre d’installations ou de performances et,
dans une certaine mesure, de jeux en réalité augmentée.
Dans un premier temps nous observerons donc ce qu’est la réalité augmentée.
Ses origines et les concepts qui la soutiennent avant de donner un aperçu d’oeuvres
réalisées. En plus de l’état de l’art, cette partie met en avant certains points et questions
récurrents dans tous projets mêlant réel et virtuel.
La deuxième partie sera consacrée aux smartphones. Nous présenterons ce qui
se fait en matière de plateformes et d’outils : afin de les exploiter il est nécessaire d’avoir
connaissance des différentes technologies qu’ils proposent.
Viendra ensuite une partie explorant le croisement réalisable entre réalité
augmentée et smartphones. Il s’agit d’en observer les aspects technologiques et artistiques
avant d’aborder l’emploi de ces plateformes pour l’augmentation du son.
10Enfin nous verrons en pratique la façon dont une telle augmentation
sonore peut être réalisée sur une plateforme Android. Cette plateforme est celle
employée pour la partie pratique de mémoire et permettra de donner quelques
clés concernant la création d’une application d’« audition augmentée ».
11P artie I. L a R éalité augmentée
121. Concepts et définitions
1.1. Co n t i n u u m r é e l - v i r t u e l e t r é a l i t é m i x t e
La réalité virtuelle prend naissance dans les années soixante. Elle est définie
comme un environnement entièrement synthétique dans lequel est plongé le spectateur.
Afin de mettre en relation le spectateur avec ces mondes immatériels de nombreuses
interfaces ont été développées. Les Head Mounted Display (HMD) en particulier sont
à l’origine de la création d’états intermédiaires originellement regroupés sous le nom
de réalité augmentée. L’absence de classification claire de ces états a mené au début des
années 90 à la définition d’un concept : celui de Continuum Réel-Virtuel.
Ce continuum voit à ses extrémités l’environnement réel – le monde tel que
nous le connaissons – et l’environnement virtuel – généré par informatique. Entre les
deux existe une zone où cohabitent les objets réels et virtuels : la réalité mixte – cette
dernière englobe la réalité augmentée et la virtualité augmentée.
Afin d’aborder ce concept de continuum réel-virtuel, Paul Milgram considère
deux questions1 :
−− L’environnement principal est-il réel ou virtuel ?
−− L’augmentation, les objets insérés, sont-ils réels ou virtuels ?
La réalité augmentée désigne donc un environnement réel auquel sont
superposés des éléments virtuels. Wikitude World Browser2 est un exemple explicite :
cette application combine les fonctions de GPS et de compas des smartphones afin
d’associer des informations à des lieux en les incrustants dans l’image issue de la
caméra. Au contraire, la virtualité augmentée est un environnement virtuel dans lequel
1 MILGRAM P., TAKEMURA H., UTSUMI A., KISHINO F., Augmented Reality : « A class of displays on the
13
reality-virtuality continuum », Proceedings of Telemanipulator and Telepresence Technologies, pp. 2351-
34, 1994
2 Voire annexe 2sont surajoutés des éléments réels. OpenSimulator3, par exemple, permet une telle
augmentation en donnant la possibilité d’inclure des vidéos provenant du monde réel.
Fig.1 Continuum Réel-Virtuel simplifié
Le continuum présenté ici (Fig. 1) est une version simplifiée de celui définit par
Paul Milgram. Dans son intégralité, trois critères sont considérés : reproduction fidelity
– qualité des objets et stimuli virtuels – extent of world knowledge – degré de prise en
compte et d’implication de l’environnement réel – et enfin extent of presence – façon
dont les stimuli sont perçus et degré d’immersion du participant. La classification qui est
mise en place a pour but de permettre la comparaison et la mise en relief de similarités et
différences entre projets. Si elle est fondée sur des interfaces visuelles, elle n’en reste pas
moins un outil pertinent pour aborder les tenants et aboutissants de tout travail faisant
cohabiter réel et virtuel.
1.2. Réalité virtuelle
La réalité Virtuelle consiste en la génération d’un environnement numérique
dans lequel est immergé le participant. Cet environnement peut imiter les propriétés du
monde réel – cas des simulateurs de vols. Au contraire, il peut outrepasser les lois de la
physique et créer un monde où le temps, la gravité et les propriétés des objets n’ont plus
14
3 http://opensimulator.frles mêmes effets – Osmose de Char Davis4 par exemple. L’espace ainsi créé permet au
spectateur d’interagir, y évoluer et vivre des sensations aussi convaincantes que possible.
Il a pour but de tromper le spectateur afin de remplacer le monde réel.
Howard Rheingold, auteur d’un des premiers livres sur le sujet, résume la
réalité virtuelle à l’aide de ces trois notions interdépendantes : « One is immersion, being
surrounded by a three dimensional world ; another one is the ability to walk around in that
world, choose your own point of view ; and the third axis is manipulation, being able to reach
in and manipulate it. »5
L’objectif étant une immersion maximale, elle fait appel à des interfaces
particulières. On emploie ainsi fréquemment des casques virtuels HMD, des gants ou
des combinaisons haptiques, ainsi que des capteurs de position ou du tracking vidéo. La
principale difficulté à laquelle ces interfaces doivent faire face est l’établissement d’une
lien précis entre les mouvements du participant et l’environnement virtuel. le spectateur
doit pouvoir se déplacer et modifier son point de vue, ressentir et agir sur les objets, sans
subir de latence ou de sensation de manque de correspondance entre ses actions et leurs
transpositions dans l’univers virtuel. De la qualité de ces interfaces dépend ce qui sous-
tend toute expérience de ce type : l’immersion et la sensation de présence6.
1.3. Réalité augmentée
Plutôt que de remplacer le monde physique, la réalité augmentée en crée une
extension, un enrichissement. Elle consiste en l’inclusion d’éléments virtuels dans le
monde réel et désigne l’ensemble des procédés le permettant.
4 Voir chapitre 1.2.1.
5 « La première [notion] est l’immersion, c’est à dire être plongé dans un monde en trois dimensions;
une autre est la capacité de déplacement dans ce monde, celle de choisir son propre point de vue; et le
15
troisième axe est celui de la manipulation, être capable d’y atteindre des objets et de le manipuler. »
RHEINGOLD H., Virtual Reality,Touchstone Edition, Etats-Unis d’Amérique, 1992
6 Voir chapitre 1.3.1.Une première définition fut donnée en 1994 par Paul Milgram et Fumio Kishino
lorsqu’ils définirent le concept de continuum réel-virtuel. Il s’agit alors de l’ensemble des
cas dans lesquels des éléments graphiques générés par informatique sont superposés à
l’environnement réel. Seuls les systèmes de HMD permettant de voir le monde alentour,
soit par l’intermédiaire de caméras soit par transparence, sont abordés.
L’autre définition fréquemment employée est celle que Ronald T. Azuma donne
dans A Survey of Augmented Reality7. La réalité augmentée doit alors répondre aux trois
caractéristiques suivantes:
−− Combiner réel et virtuel
−− Etre interactive et en temps réel
−− Etre effectuée en trois dimensions
Azuma cherche par là une définition plus générale et surtout, indépendante de
la technologie employée. Ainsi, elle s’applique autant à la vue, à l’audition, au toucher
et dans une bien moindre mesure, malgré les recherches effectuées, à l’odorat et au goût.
Donner une définition précise de la réalité augmentée n’est pas chose aisée. Selon
les auteurs elle peut inclure, ou exclure, les systèmes en temps différé – l’incrustation
d’image de synthèse dans des films par exemple – ou encore nécessiter le recours à une
technologie précise. Cela est rendu d’autant plus difficile par la richesse des interactions
réel-virtuel. Le terme de réalité augmentée est ainsi fréquemment employé dans des cas
où il serait plus juste de parler de réalité mixte.
1.4. Vi r t u a l i t é a u g m e n t é e
A l’inverse, la virtualité augmentée voit l’insertion d’objets réels – non modélisés
– dans un environnement numérique.
16
7 AZUMA R., « A Survey of Augmented Reality », Presence : Teleoperators and Virtual Environments 6,
Aout 1997, p. 355-385Moins répandue que la réalité augmentée on en trouve de nombreux
exemples dans le jeux vidéo. L’image du joueur se trouve par exemple insérée dans l’écran
et agit sur les objets qui s’y trouvent.
2. Histoire de la réalité augmentée
2.1. L a R é a l i t é v i r t u e l l e, o r i g i n e d e l a r é a l i t é a u g m e n t é e
On peut situer l’origine de la réalité virtuelle à 1965 quand Ivan Sutherland
publia son article The Ultimate Display. Durant les trois années suivantes, il développa
le premier HMD, nommé The Sword of Damocles, pour la Bell Helicopter Company ; il
est à noter que ce projet bénéficiait du financement de l’armée américaine. Les avancées
majeures dans ce domaine datent cependant des années 80. Jaron Lanier, un des pionniers
en la matière, inventa le terme pour distinguer les environnements numériques immersifs
des simulations informatiques. Sa société, VPL Research, commercialisa en 1984 le
premier gant de données (Data Glove) permettant la navigation et l’interaction avec les
environnements virtuels ainsi qu’un dispositif de réalité virtuelle en réseau dès 1989.
D’autres types d’interfaces ont aussi été développées afin de naviguer dans
les mondes virtuels. On peut citer The Legible City, de l’artiste australien Jeffrey Shaw.
Dans cette œuvre de 1989, le spectateur monte sur une bicyclette fixe pour se déplacer
à l’intérieur d’une ville dont les bâtiments sont faits de textes rappelant New-York et
Amsterdam. La visite est alors dirigée par l’intermédiaire du pédalier et du guidon,
permettant au spectateur de suivre les histoires racontées sur les murs ou de créer son
propre parcours.
En 1991, afin de s’affranchir des systèmes encombrants pour le spectateur, Tom
DiFanti et Dan Sandin développent le Cave Automatic Virtual Environnement (CAVE).
Cette technologie de réalité virtuelle est un cube dans laquelle une rétro-projection
17
3D polarisée est effectuée sur trois de ses faces et munie d’une diffusion sonore « 3D »
immersive. Il suffit alors aux spectateurs de se munir d’une paire de lunettes polariséepour prendre part au CAVE. Un visiteur « leader » est muni d’un capteur de position et
d’une « baguette interactive » afin de contrôler l’interaction avec l’univers présenté.
De nombreux artistes ont utilisé la technologie du CAVE. C’est le cas de
Maurice Benayoun et Jean-Baptiste Barrière pour l’installation World Skin qui remporta
un prix aux Ars Electronica de 1997. Cet univers immersif présente un monde ravagé par
la guerre, peuplé de soldats, de tanks et autres ruines. Armés d’un appareil, les visiteurs
peuvent photographier les éléments de ce décor. Mais chaque photographie prise fait
disparaître son sujet du paysage : « Nous prenons des photos et ici la photographie
est une arme pour effacer. […] Chaque fragment photographié disparaît de l’écran et
est remplacé par une silhouette noire. Avec chaque déclenchement de l’obturateur, une
partie du monde disparaît. »8
Entre 1992 et 1994 le Banff Center met en place The Art and Virtual Environments
Project. Neuf projets, souvent considérés comme les premières œuvres de réalité virtuelle,
sont alors développés. On peut citer Barcode Hotel de Perry Hberman, Virtual Reality
on 5 Dollars a Day de Ron Kuivila et Dancing with the Virtual Dervish : Virtual Bodies
de Tacov Sharir et Diane Gromala. La première œuvre achevée est Placeholder de Brenda
Laurel et Rachel Strickland qui reçut un très bon accueil. A l’aide de onze ordinateurs,
dont les Apple Powerbook de l’époque, et plus de 25 000 lignes de codes, Brenda Laurel
explore le rôle de la narration dans les environnements virtuels.
Osmose (1995) de Char Davies est un classique en ce qui concerne l’immersion
totale dans un monde virtuel. Equipé d’un HMD et d’une combinaison munie de capteurs
(Fig. 2), le spectateur vit un voyage à travers trois espaces successifs dans un univers
rempli d’éléments organiques. Osmose se distingue par deux aspects : son esthétique et
son interface. Avant d’utiliser des ordinateurs, Char Davis était peintre. Ainsi, très loin
des graphiques 3D fondés sur les polygones et propres à l’informatique, l’esthétique
repose sur des structures organiques complexes et un jeu prononcé sur la transparence
18
8 BENAYOUN M., « World Skin Documentation », http://www.benayoun.comet la luminosité. La charte graphique est fondée sur le désir de bousculer les perceptions
du spectateur dans le but d’augmenter son attention et de lui faire percevoir son corps
et ses sensations de façon nouvelle. Comme Char Davis l’explique : « in Osmose we used
transparancy and luminous particles to “desolidify” things and disolve spatial distinctions. »9.
Il en va de même pour l’interface. Si elle emploie un casque de réalité virtuelle, elle fait
surtout appel à une combinaison spécialement conçue pour l’oeuvre. Celle-ci permet
de suivre la respiration et l’inclinaison du spectateur en recueillant les informations de
déformation et de torsion de la cage thoracique10. On se déplace alors en se penchant
d’un côté ou d’un autre, s’élevant ou descendant au rythme de sa respiration. Décrite
comme « mystique » par certains visiteurs, Osmose permet de vivre une expérience où l’on
est amené à flotter au sein d’un univers onirique.
Fig.2 Spectateur muni d’un HMD prenant part à Osmose
9 « Dans Osmose nous avons utilisé la transparence et des particules lumineuses afin de “dé-solidifier”
les choses et dissoudre les distinctions spatiales. »
DAVIS C., « Changing Space : VR as an Arena of Being », http://www.immersence.com/immersence_
home.htm
10 Pour plus d’informations sur l’élaboration de l’interface, son fonctionnement et ses méthodes de
19
tests, se référer à l’excellente publication :
SEFFAH A., BENN J., MAMAR H. H., « A Low-Cost Test Environmen for Usability Studies of Head-
Mounted Virtual Reality Systems », Journal of Usability Studies, Vol. 3, Issue 2, février 2008, pp. 60-73Fig.3 Osmose, univers souterrain
2.2. H i s t o i r e d e l a r é a l i t é a u g m e n t é e d a n s l ’a r t
Bien que la réalité augmentée ne se soit réellement développée qu’à partir des
20
années quatre-vingt-dix, elle partage son origine avec la réalité virtuelle : l’une des versions
du Sword of Damocles permettait de voir le monde réel au travers de la visière servantd’écran. Ce casque fut le premier système permettant d’insérer des éléments virtuels
dans le monde réel ; conçu pour des pilotes d’hélicoptères, il permettait l’incrustation
d’informations utiles au pilotage sous la forme de figures polygonales. Il faudra attendre
1992 pour que Tom Caudell et David Mizell inventent le terme « réalité augmentée »
alors qu’ils travaillaient chez Boeing à la conception d’un HMD. Le système développé
pautorisait la superposition de diagrammes sur des objets physiques afin d’améliorer les
méthodes de fabrication des avions.
Le premier système visant l’interaction de l’utilisateur avec des éléments virtuels
est Videoplace créé en 1975 par Myron Krueger. Ses mouvements sont analysés à l’aide
de caméras vidéo afin de générer une silhouette. Cette silhouette est alors projetée sur un
écran et entre en interaction avec des objets virtuels.
Dans le monde de la performance, l’emploi de la technologie débute dès les
années soixante. En 1966, une trentaine d’ingénieurs des laboratoires Bell s’associèrent à
neuf artistes pour créer 9 evenings. Cet ensemble de pièces est la première collaboration
d’envergure entre les mondes de la science et de la performance et pose les bases de
l’augmentation aussi bien dans le théâtre que dans la danse. Par la suite, on attribue à
Julie Martin la première performance en réalité augmentée telle que nous l’avons définie.
En 1994, Dancing in Cyberespace permet à des danseurs et des acrobates de jouer avec des
objets virtuels projetés dans le même espace physique qu’eux et réagissant en temps réel.
L’emploi de la réalité augmentée, en vidéoprojection, n’a ensuite cessé de se développer
dans le monde du spectacle vivant. Parmi les créations récentes, nous pouvons citer Glow
de la compagnie australienne Chunky Move, une performance où les mouvements de
la danseuse solo donnent naissance à l’environnement vidéo qui l’entoure : « In Glow,
light and moving graphics are not pre-rendered video playback, but rather images constantly
generated by various algorithms responding to movements. […] The machine sees the performers
and responds to their actions. »11
21
11 « Dans Glow, la lumière et les mouvements graphiques ne sont pas des rendus vidéo effectués au
préalable et lus en playback mais au contraire, des images générées constamment par des algorithmes
sensibles aux mouvements. […] La machine voit les interprètes et réagit à leurs actions. »Dans un autre domaine, Jeffrey Shaw présente en 1994 Golden Calf, que
l’on pourrait voir comme l’une des premières sculptures en réalité augmentée. Cette
installation consiste en un écran de la taille d’une feuille de papier dans lequel est visible
une idole païenne. L’image diffusée est synchronisée avec les mouvements et la position
de l’écran par rapport à l’idole afin de permettre au spectateur de l’inspecter sous tous
ses angles en se déplaçant autour d’elle. Si l’idole n’est pas présente physiquement, c’est
la médiation technologique qui permet de la faire apparaître. Le critique d’art Toshiharu
Itoh commente l’approche de Jeffrey Shaw de la façon suivante : « Shaw emphasize the
creativity of the border region where one foot rests in the real world, and the other in the
world of fantasy. »12 Ici, l’augmentation n’a pas pour but d’immerger le spectateur dans
un monde factice, mais de le placer à la frontière entre réel et virtuel pour faire émerger
de nouvelles narrations et expériences.
En 1999 Hirokazu Kato présenta ARToolKit, ensemble d’outils informatiques
dédiés à la réalité augmentée. Il s’agit de la première bibliothèque libre permettant de
résoudre deux problèmes : le suivi du point de vue de l’utilisateur et l’interaction entre
objets virtuels. Cette bibliothèque est aujourd’hui l’une des plus utilisées au monde.
La même année le logiciel Virtools13 fait son apparition sur le marché. Son
interface de programmation graphique très intuitive permet de créer des applications de
3D temps réel. Malgré la concurrence, Virtools est encore une référence et se trouve au
cœur de nombreux projets de réalité augmentée ou virtuelle, notamment du CAVE.
ARQuake développé par Bruce Thomas à University of South Australia en 2000
met en scène le jeu vidéo Quake dans l’environnement réel. Afin d’y prendre part le joueur
est équipé d’un HMD et d’un système employant la localisation GPS, des magnétomètres
OBARZANEK G., http://reviews.media-culture.org.au/modules.php?name=News&file=article&s
id=4103
12 « Shaw met l’accent sur le potentiel créatif de la zone frontière où un pied reste dans le monde réel,
22
et l’autre dans le monde de l’imagination »
WILSON S., Information Arts, The MIT Press, Massachusetts Institute of Technology, 2001, Réed. 2003
13 www.virtools.comet des gyroscopes reliés à un ordinateur. Les données récoltées permettent de naviguer
dans l’univers généré par l’équipe de recherche. Pour cela un modèle informatique du
campus universitaire a été créé permettant d’y faire errer les différents monstres et d’y
insérer des obstacles. Le joueur voit ainsi l’univers de Quake superposé à celui, physique,
du campus dans lequel il se déplace. Comme pour la plupart des travaux de réalité
augmentée la principale difficulté est la superposition des mondes virtuels et réels : «to
make the quake world know where the user is much more complex. We are using combinations
of digital compasses, inclinometers, GPS tracking and pattern recognition technologies just to
work out exactly where we are in the real world, then tell quake about it. […] There are issues
of alignement of the two worlds, accurate tracking in the outside world and lighting problems
to solve. »14
L’apparition d’ARToolKit ouvre la voie à la réalité augmentée sur plateforme
mobile. Des 2001, BatPortal de Joseph Newman exploite un PDA afin de proposer
une alternative aux HMD. Mathias Möhring de son coté, propose en 2004 un système
de repérage de marqueurs 3D sur téléphone portable15. Les projets alors développés
se concentrent sur l’augmentation visuelle et font fréquemment appel à des appareils
préparés, notamment par l’ajout de capteurs de mouvements. A partir de 2007, les
nouvelles générations de smartphones donnèrent les outils permettant un développement
plus aisé d’applications de réalité augmentée. Les artistes Sander Veenhof et Mark Skwarek
tirèrent profit afin de faire entrer la réalité augmentée au MoMA (Museum of Modern
Art) à New York en octobre 2010. A l’aide d’une application nommée Layar16 qu’il
télécharge, le spectateur peut déambuler à la recherche de sculpture en réalité augmentée
(Fig. 4). En fonction de sa position dans le musée et à l’aide d’un repérage de forme il lui
14 « Informer le monde de Quake d’où se trouve l’utilisateur est beaucoup plus complexe. Nous utili-
sons une combinaison de compas numériques, d’inclinomètres, de repérage GPS et de reconnaissance de
forme pour trouver exactement où nous nous situons dans le monde réel, puis en informer Quake. […] Il y a
des problèmes d’alignement des deux mondes, de précision de repérage dans le monde réel et d’éclairage
à résoudre. »
wearables.unisa.edu.au/projects/arquake/
15 MOHRING M., LESSIG C., BIMBER O., « Video See‐Through AR on Consumer Cell‐Phones », ISMAR ‘04
23
Proceedings of the 3rd IEEE/ACM International Symposium on Mixed and Augmented Reality. USA: IEEE
Compute, 2004
16 Voir annexe 1est alors possible de voir sur l’écran de son smartphone les sculptures virtuelles liées ou
non à des sculptures physiques.
Fig.4 Augmented Reality Art Invasion ! , MoMA, octobre 2010
Opérant un métissage complexe entre réel et virtuel, le groupe d’artistes Blast
Theory est particulièrement actif dans l’usage des médias interactifs et des nouvelles
technologies. Sous forme de jeux à l’échelle d’une ville, les œuvres Can You See Me Now ?
(2001) et Uncle Roy All Around You (2004) mettent en relation des participant présents
dans la ville physique avec d’autre présents dans une ville virtuelle. A la frontière avec
la réalité augmentée, leurs ouvres explorent en profondeur les possibilités de la réalité
mixte.
3. Réflexions sur la réalité augmentée
3.1. Pe r c e p t i o n d e l ’a u g m e n t a t i o n : l a s e n s a t i o n d e p r é s e n c e
On peut voir dans les trompe-l’oeil un précédent artistique à la réalité augmentée.
Cette volonté d’imiter et de modifier le réel est une tendance récurrente dans l’art. Il
existe d’ailleurs plusieurs histoires de personnes ne pouvant distinguer un tableau de
la réalité. Encore mieux, certaines légendes racontent que des animaux eux mêmes se
sont fait prendre au piège d’une œuvre trop naturelle. Quand on regarde de plus près,
24
on s’aperçoit que les grandes périodes du trompe-l’oeil ont eu lieu à la Renaissance –
période où l’on découvrait les lois mathématiques de la perspectives – et au XVIIèmesiècle – période de développement des sciences de l’optique. En plus de leur lien avec le
développement de la science, les trompe-l’oeil ont cette particularité de ne pas s’appliquer
qu’au seul cadre académique de la peinture mais au contraire d’investir l’environnement
du spectateur en trouvant leur place sur des bâtiments, murs, portes... Dans un trompe-
l’oeil les notions de réalité et de virtualité deviennent floues et tout concourt à jouer avec
le spectateur, l’induire en erreur, questionner sa perception du réel.
De même la réalité augmentée met au défi la perception de son utilisateur.
Suivant l’usage qui en est fait le soin accordé au réalisme des éléments virtuels et à leur
intégration est plus ou moins grand, jusqu’à les rendre indissociables des éléments
réels. Contrairement au trompe-l’oeil limité au seul sens de la vue, la réalité augmentée
s’adresse à tous les sens: la vue, l’ouïe, le toucher et dans une moindre mesure, car encore
peu explorés, le goût et l’odorat. Le défi proposé est alors d’autant plus grand que cette
technologie dispose d’un potentiel immersif extrêmement fort: si plusieurs sens sont
stimulés en même temps de façon réaliste, comment est-il possible de discerner le virtuel
du réel?
Par ailleurs, la réalité augmentée signifiant l’intégration du virtuel dans le réel,
une télévision diffusant un dessin animé peut-elle être considérée comme de la réalité
augmentée ? Bien qu’elle permette cette intégration il lui manque un élément essentiel :
l’augmentation nécessite un lien fort avec le réel. Dans son ouvrage The Ultimate Display,
souvent considéré comme le fondement de la réalité virtuelle, Ivan Sutherland écrit :
« The ultimate display would, of course, be a room within which the
computer can control the existence of matter. A chair displayed in such a room
would be good enough to sit in. Handcuffs displayed in such a room would be
confining, and a bullet displayed in such a room would be fatal. With appropriate
programming, such a display could literally be the Wonderland into which Alice
Walked. »17
25
17 « L’écran parfait serait, bien sur, une pièce dans laquelle un ordinateur contrôle l’existence de la
matière. Une chaise exposée dans une telle pièce permettrait de s’y assoir. Des menottes exposées dansContrairement aux moyens de diffusion comme la télévision, Sutherland insiste
sur le fait que l’« interface ultime » doit permettre l’immersion et l’interaction. Dans la
réalité augmentée, comme dans la réalité virtuelle, il doit donc exister un lien fort entre
les objets insérés et la réalité qui leur sert de support.
La notion d’immersion fait appel aux stimuli générés numériquement et dénote
leur capacité à nous faire ressentir le monde virtuel. Pour Frank Biocca et mark Levy, elle
se définit de la façon suivante : « the degree to which a virtual environment submerges the
perceptual system of the user. »18
Pour obtenir cela, Jonathan Steuer19 définit deux caractéristiques nécessaires aux
systèmes hardware :
−− « breadth » : le nombre de sens stimulés
−− « depth » : la résolution de l’interface
Ensembles, ils permettent d’obtenir l’immersion. Si la réalité augmentée ne fait
pas appel à un univers entièrement synthétique, ces deux critères restent néanmoins
nécessaires afin de permettre le contact avec les objets virtuels incrustés.
D’autre part Steuer définit trois critères propre à permettre l’interaction :
−− « speed » : la vitesse à laquelle le système peut assimiler et traiter les informations
−− « range » : la quantité d’actions qu’il peut potentiellement effectuer
−− « mapping » : la capacité du système à réagir de façon naturelle aux changements
une telle pièce seraient entravantes , et une balle matérialisée dans une telle pièce serait mortelle. Avec une
programmation adéquate, une tel écran pourrait littéralement être le Pays des Merveilles dans lequel Alice
s’est aventurée. »
I. E. Sutherland, « The Ultimate Display », Proceedings of IFIP’65, 1965, pp. 506–508
18 « le degré auquel un environnement virtuel submerge le système perceptif de l’utilisateur. »
26
BIOCCA F., LEVY M.R., Communication in the Age of Virtual Reality, Hillsdale, 1995
19 STEUER J., « Defining Virtual Reality : Dimensions Determining Telepresence », Journal of Communi-
cation 42, 1992, pp. 73-93qu’il perçoit
En d’autres termes, il s’agit ici d’observer la façon dont l’utilisateur peut se
déplacer et interagir avec les éléments insérés.
Ainsi l’immersion correspond à la vraisemblance des informations sensorielles
tandis que l’interaction est le lien établi entre l’utilisateur et le virtuel. La réunion des
deux donne naissance à ce qui est nommé la sensation de « présence ». Bien qu’elle soit
définie de différentes façons, on peut la décrire de manière simple comme « the sense of
being in an environment »20, l’illusion de ne pas subir de médiation technologique21.
Au contraire de l’immersion et de l’interaction qui sont fondées sur une
expérience physique, la présence intègre des paramètres psychophysiques. Elle prend
naissance dans la perception du spectateur et présente des composantes psychologiques
et subjectives, en plus de celles objectives et physiques.
Pour en donner un exemple, nous pouvons prendre une expérience réalisée par
Ivan Sutherland avec son premier système de HMD22. Un volontaire fut atteint d’une
crise de panique alors que le HMD lui diffusait les images d’un précipice. Pourtant au
cœur du laboratoire, cette personne était persuadé d’être sur le point de tomber et ne put
se calmer qu’une fois le dispositif retiré. Bien que cette expérience n’ai pas une dimension
immersive et interactive aussi importante qu’avec les systèmes actuels, la sensation de
présence, violente, qu’a éprouvé cette personne témoigne de sa dimension psychologique
et démontre le potentiel d’une telle technologie.
20 « La sensation d’être présent dans un environnement »
GIBSON J., The Ecological Approach to Visual Perception, Houghton Mifflin, Boston, 1979
27
21 Pour plus de précision concernant la notion de présence :
WAGNER I., « On the rôle of Presence in Mixed Reality », Presence, vol.18, n°4, 2009, pp. 249-276
22 GRAU O., Virtual Art From Illusion to Immersion, MIT Press, 2003, p.1633.2. Pr a t i q u e r l a r é a l i t é a u g m e n t é e m o b i l e
Dans un premier temps après l’apparition de la réalité augmentée la majorité des
systèmes développés ont concerné des applications en intérieur. De tels environnements
sont aisément contrôlables et soumis à peu de contraintes – variation d’intensité lumineuse
par exemple. Les avancées effectuées récemment en matière d’informatique mobile –
principalement les smartphones et tablettes – rendent possible le développement de
programmes plus complexes permettant d’employer la réalité augmenté en extérieur.
La mise en œuvre de tels systèmes présente plusieurs enjeux23 :
−− La mobilité de l’utilisateur dans un environnement non restreint et non
préparé rend sa localisation difficile24
−− La quantité d’informations auxquelles il est nécessaire d’accéder, en temps
réel, implique une gestion optimisée des ressources de traitement, de stockage et de
communication
−− La prise en charge de l’interaction avec les objets virtuels est à penser suivant
les fonctionnalités des différents hardwares utilisés
Ainsi il est nécessaire d’explorer la synergie entre réalité augmentée et informatique
mobile afin de mettre au point des architectures – matérielles et logicielles – adaptées aux
environnements extérieurs.
L’une des difficultés d’un environnement non préparé est l’insertion géographique
des objets virtuels. Comme nous l’avons vu avec ARQuake, un modèle informatique de
l’espace où se déroule l’expérience est nécessaire afin d’y faire évoluer les personnages. Ce
modèle est garant de la crédibilité de l’augmentation : en effet, un monstre traversant un
23 ZENBJEBIL I. M., ABABSA F., DIDIER J.-Y., VAIRION J., FRAUCIEL L., HACHET M., GUITTON P., DELMONT
28
R., « Réalité Augmentée en Extérieur : Enjeux et Etat de l’Art », 10th ACM/IEEE Virtual Reality International
Conference, Laval, 2008
24 Nous reviendrons sur les problèmes de géolocalisation dans les parties 2.3. et 2.4.mur serait une aberration et décrédibiliserait ARQuake. De tels gabarits sont fréquents
afin de tirer le meilleur parti des éléments virtuels. En plus d’améliorer l’insertion, ils
permettent de rendre la géolocalisation du participant plus précise en définissant des
zones où sa présence est impossible – bâtiments par exemple. En contrepartie l’expérience
est alors limitée à un lieu précis et balisé. Antonin Fourneau n’a pas souhaité que son
projet Oterp25, jeu musical en réalité augmentée, subisse de contrainte de lieu. Pour cela,
le jeu est scénarisé de façon à ce que de tels modèles ne soient pas nécessaires ; le joueur
peut acquérir des pouvoirs lui permettant d’attraper à distances les objets, résolvant le
problème de ceux inaccessibles physiquement.
Une autre solution consiste en l’emploi de marqueurs disséminés dans la scène
réelle. Cela peut permettre de renseigner le système sur la position de l’utilisateur dans
les cas où la localisation par GPS est inexploitable et celle issues de réseaux GSM ou
WIFI trop peu précise26. C’est notamment l’application qui en est faite en muséologie
où la présence d’une balise, fréquemment un QR Code – code barre à deux dimensions
– permet d’accéder au contenu d’un audioguide. L’utilisation de balises s’est largement
répandue suite au succès de la bibliothèque ARToollKit. Celle-ci propose des marqueurs
carrés aux bords noirs sur fond blanc à l’intérieur desquels un pattern permet de les
identifier.
4. L’Audition augmentée
4.1. D i f fé r e n t e s o e u v r e s
Comme nous l’avons vu la réalité augmentée s’est principalement développée
autour de son aspect visuel, les différents systèmes ayant permis l’utilisation des sons
comme sujets augmentables mais toujours en lien avec une image. Il existe malgré tout
des exemples de réalité augmentée uniquement sonore.
29
25 Voir chapitre 3.2.2.
26 Voir chapitre 2.3.3Vous pouvez aussi lire
