Facteurs humains et technologies - Réalité Virtuelle et Interactions - Année 2019 - 2020 / APP5 Info à Polytech Paris-Sud - Lri.fr

Réalité Virtuelle et Interactions
Facteurs humains et technologies

  Année 2019 - 2020 / APP5 Info à Polytech Paris-Sud
           Cédric Fleury (cedric.fleury@lri.fr)

PLAN

Facteurs humains

Technologies utilisées

PLAN

Facteurs humains

Technologies utilisées

PERCEPTION HUMAINE
5 sens classiques

  Goût

  Toucher

  Ouïe

  Odorat

  Vue

+ les capteurs internes du corps

  Système vestibulaire

  Mécanorécepteurs musculaires et articulaires

PERFORMANCE VISUELLE

Large champ visuel

Bonne acuité visuelle

  Capacité à distinguer deux points rapprochés de l’espace

PERFORMANCE VISUELLE

Bonne vision des couleurs

  200 nuances colorés entre 380 et 780 nm

  + saturation (degrée de pureté) et brillance (intensité)

  => environ 1.000.000 nuances différentes

PERFORMANCE VISUELLE
Mauvaise discrimination temporelle

  Relativement mauvaise : entre 4 et 5 ms

PERFORMANCE VISUELLE
Bonne vision de la profondeur

  Distinguer une différence de profondeur de 0.5mm à 1m

  Distinguer une différence de profondeur de 10cm à 10m

  La profondeur est perçue grâce

   A la disparité rétinienne (différence entre les deux yeux)
   A l’accommodation (mise au point d’oeil)
   A la parallaxe :

PERCEPTION AUDITIVE
Onde sonore : variations de pression

  Vibration comprise entre 20Hz et 20kHz

  Intensité = amplitude de la variation

    Mesuré souvent en décibel
    10dB : murmure - 130dB : douleur

Perception dans l’espace

  Différence entre les 2 oreilles

  Déformation du à la tête et oreilles

PERCEPTION HAPTIQUE

Toucher

 Différents récepteurs sous la peau

   Pression, vibration, température, etc.

 Différentes sensibilités selon les parties du corps

PERCEPTION HAPTIQUE

Perception proprioceptive

  Sensation issue du corps

    Mécanorécepteurs internes
    Positions, mouvements, forces

  Effet de la gravité et des accélérations

    Système vestibulaire

CYBER-SICKNESS

Mal des simulateurs

  Maux de tête

  Fatigue oculaire

  Stress

  Confusion

  Nausées

QU’EST CE QUI INDUIT LE
 « CYBER-SICKNESS »
          ?

CYBER-SICKNESS
Désynchronisation entre les retours sensoriels

  Entre la vue et le système vestibulaire (motion-sickness)

Latence

  Délai entre l’action de l’utilisateur et les retours sensoriels

  Différents niveaux de latence

    Acquisition des actions des utilisateurs
    Traitement de ces actions
    Calcul des restitutions sensorielles
    Retours vers l’utilisateur

LATENCE

Niveaux de la latence

  7 à 10 ms : réflexe vestibulo-occulaire

  30 ms : minimum mesurable

  100 ms : seuil de perception de l’humain (vision)

  200 ms : limite du confort pour les mouvements de la tête
  (au-dessus risque de cybersickness)

  250 ms : seuil de gène lors du contrôle manuel

  300 ms : limite du supportable pour l’interaction

LATENCE

Autres conséquences

 Erreur de localisation spatiale

 Problèmes de stabilité et précision des mouvements

 Vitesse des mouvements

 Fatigue

COMMENT RÉDUIRE LA LATENCE ?

Augmenter la puissance de calcul et la vitesse de
transmission des données

Paralléliser les processus de traitements

Augmenter la fréquence des images

  60 Hz nécessaire pour une interaction fluide

En prédisant le comportement de l’utilisateur

  Filtre de Kalmann, dead reckoning, prédicateur adaptatif,
  modèle, etc.

PEUT-ON S’ADAPTER À LA
       LATENCE

          ?

LATENCE

Peut-on s’adapter à la latence ?

  Oui : l’humain peut ralentir

  Mais, pire que la latence, le jitter !

    Variance de la latence
    Jitter important     impossible de prévoir la latence

PLAN

Facteurs humains

Technologies utilisées

TECHNOLOGIE DE LA RV

Restitution multi-sensorielle : 5 sens

  Visuelle, auditive, haptique, olfactive, gustative

Périphériques d’interaction

Émergence de dispositifs « low cost »

RESTITUTION VISUELLE

Indispensable à toute application de RV

Critère de l’immersion visuelle

  Large champ de vision

  Vision stéréoscopique

  Haute résolution

  Immersion du regard l’utilisateur

VISIOCASQUE

Head Mounted Display (HMD)

 Petits écrans très prés des yeux

   Tubes cathodiques + miroirs
   LCD maintenant

 Nécessite de tracker la position de l’utilisateur

 Avantages

   Immersion totale du regard, peu encombrant, prix

 Inconvénients

   Faible résolution, faible champs de vision, cybersickness

CAVE, SALLE IMMERSIVE
4 à 6 faces, projection par l’avant ou l’arrière

Nécessite un dispositif pour la vision stéréo

Nécessite de tracker l’utilisateur

CAVE, SALLE IMMERSIVE

Avantages :

  Bonne résolution

  Bonne immersion du regard

Inconvénient :

  1 seul utilisateur (éventuellement 2)

  Espace de déplacement restreint

  Complexe et couteux

AUTRES DISPOSITIFS IMMERSIFS

Mur d’images

Workbench

Bureau immersif

COMMENT EST GÉNÉRÉE LA
PERCEPTION DE PROFONDEUR
        (VUE 3D)
           ?

VISION STÉRÉOSCOPIQUE
Disparité entre les images de chaque œil

  1 image différente pour chaque œil

  Dépends de la distance interoculaire

COMMENT PEUT AFFICHER
DES IMAGES DIFFÉRENTES
  POUR CHAQUE OEIL

          ?

VISION STÉRÉOSCOPIQUE

Envoyer une image différente à chaque œil

  Déjà prévu dans les HMDs

  Plus compliqué avec des écrans ou des projecteurs

   Séparation en fréquence
   Séparation par polarisation
   Séparation par anaglyphe
   Ecrans auto-stéréoscopiques

VISION STÉRÉOSCOPIQUE

Séparation en fréquence

  Ecrans ou projeteurs à 120 Hz

  Lunettes à obturations (actives, Shutter glasses)

    Obturateur LCD

  Nécessite une synchronisation

    Infrarouge ou radio-fréquence

VISION STÉRÉOSCOPIQUE
Séparation par polarisation

  Souvent polarisation circulaire

  Avantages

    Lunettes plus légères
    Moins chères

  Inconvénients

    Dégrade un peu les couleurs
    Fantômes

VISION STÉRÉOSCOPIQUE
Séparation par anaglyphe

  Peu utilisée en RV

  Dégrade beaucoup les couleurs

VISION STÉRÉOSCOPIQUE

Ecrans auto-stéréoscopique

  Pas besoin de lunettes

  2 techniques

   Barrière de parallaxe
   Réseau lenticulaire

  Nombres de vues prédéfinies

   Affiche 8 vues = 16 images affichées en même temps
   Ne convient pas pour l’interaction

VISION STÉRÉOSCOPIQUE
Correction des parallaxes (écrans et projecteurs)

VISION STÉRÉOSCOPIQUE
Correction des parallaxes (écrans et projecteurs)

 Nécessité de tracker la tête de
 l’utilisateur

 Déformation de la
 pyramide de vue

 Images
 spécifiques
 à chaque
 utilisateur

                                           Vidéo

CORRECTION DES PARALLAXES

SYSTÈME DE TRACKING
Capteur la position et l’orientation d’une cible

Techniques utilisées

  Mécanique (articulé, filaire, etc.)

  Capteurs électromagnétiques

  Cameras infrarouges

  Centrale inertielle

    Gyroscope
    Accéléromètre
    Magnétomètre

VISION STÉRÉOSCOPIQUE
Accommodation

  En réel

    Accommodation = convergence

  En vision stéréo

    Accommodation sur l’écran
    != convergence due à la disparité

Pas encore de solution en RV

  Ajout de flou

    Là ou l’on veut que l’utilisateur regard (film Avatar)
    Là ou l’utilisateur regarde (eye tracking ou prédiction)

RESTITUTION AUDITIVE
Buts

  Reproduire le bruit des objets virtuels

  Aider l’utilisateur lors des interactions

2 méthodes pour la spatialisation

  Différence de sons entre les deux oreilles

    Haut-parleurs ou casques
    Nécessite de connaitre la position de l’utilisateur

  Reconstruction de l’environnement sonore

    De façon physiquement réaliste
    Dispositif complexe et ressources de calcul importantes

RESTITUTION HAPTIQUE
Retours tactiles

  Sensation de toucher les objets virtuels

  Techniques utilisées

    Interfaces tangibles
    Stimulations vibratoires
    (UIST 2013)
    Stimulations électriques

RESTITUTION HAPTIQUE
Retours proprioceptifs

  Proprioceptif : sensation issue du corps

    Positions, mouvements, forces

  Retours de forces

    Bras à retour d’efforts
    Exo-squelette
    Spidar

RESTITUTION HAPTIQUE
Retours proprioceptifs

  Interfaces de locomotion : recrée les
  sensations d’un déplacement naturel

   Métaphores du poste de conduite
      Voiture, vélo
   Métaphore de la marche
      Tapis roulant, etc.
   Métaphore abstraite
      Joyman, etc.

RESTITUTION HAPTIQUE

RESTITUTION HAPTIQUE

RESTITUTION HAPTIQUE

RESTITUTION HAPTIQUE
Retours proprioceptifs

  Recréer l’effet de la gravité et
  des accélérations

    Plateformes mobiles
    Stimulation galvanique
    vestibulaire (GVS)
      Génération d’un champs
      électromagnétique
      au niveau de
      l’oreille interne

  Limite le cybersickness

RESTITUTION HAPTIQUE
Retours pseudo-haptiques

 Générer une sensation haptique à partir d’un décalage
 entre l’action de l’utilisateur et le retour (visuel ou autre)
 qu’il reçoit.

          https://team.inria.fr/hybrid/w3d-project/

RESTITUTION OLFACTIVE
2 techniques

  Diffuseurs devant le nez

  Canon à odeurs

Problèmes

  Diffusion

  Persistance

RESTITUTION GUSTATIVE
The University of Tokyo / Takuji Narumi

RESTITUTION GUSTATIVE
The University of Tokyo / Takuji Narumi

PÉRIPHÉRIQUES D’INTERACTION
Périphériques 3D (6DoF)

  Souris 3D, Joysticks, manettes, etc.

Périphérique haptique

  Bras à retour d’effort, exo-squelettes, etc.

Système de tracking

  Interagir avec les gestes et les déplacements

Périphériques spécifiques

  Gants de données, interfaces tangibles, etc.

DISPOSITIFS « LOW COST »

Dispositifs de visualisation

  TV 3D (

DISPOSITIFS « LOW COST »

Nouveaux périphériques d’interaction

  Capteurs de profondeur

   Kinect de Microsoft, Creative Senz3D, Structure Sensor

  Capteurs magnétiques

   Razor Hydra

  Cameras infrarouges

   Wiimote

  Cameras normales

   Leapmotion

DISPOSITIFS « LOW COST »
Exemples d’utilisation

  Tracking de l’utilisateur

    Kinect, Wiimote, Razor Hydra

  Interactions gestuelles

    Kinect, Leapmotion

  Reconstruction 3D

    Kinect, structure Sensor

  Augmentation de l’immersion

    IllumiRoom de Microsfot (projecteur + Kinect)

DISPOSITIFS « LOW COST »

DISPOSITIFS « LOW COST »

DISPOSITIFS « LOW COST »

DISPOSITIFS « LOW COST »

DISPOSITIFS « LOW COST »