Table interactive exploitant la technologie RFID

Conférence Analyse et perspectives de l’Internet des Objets, Villeneuve d’Ascq., 25-26 octobre 2010

              Table interactive exploitant la
                   technologie RFID :
               principes, démonstrateurs
               Christophe Kolski (1), Sébastien Kubicki (1), Emmanuel Adam (1),
                  Sophie Lepreux (1), René Mandiau (1), Yoann Lebrun (1,2)

                           (1) LAMIH, Université de Valenciennes et du Hainaut-Cambrésis
                                                    (2) CITC-EURARFID

© C. Kolski

Introduction

    - Depuis 25 ans : interfaces tangibles (TUI = Tangible User Interface) de plus en plus
      répandues (BLACKWELL et al., 2007)

    - « Définition » de ISHII et ULLMER (1997) : « il s’agit de manipuler des objets réels qui
      sont intégrés dans un environnement virtuel »

    - « Briser la barrière du toucher créé par la souris » (MOGGRIDGE, 2006)

    - Objets utilisés : « physiques et dotés de capacités numériques d’interaction »
      (BLACKWELL et al., 2007)

    - Information numérique : directement palpable par les mains et
      perceptible par nos sens périphériques (ISHII et al., 2001)

              
 Interfaces tangibles : peuvent être vues comme un des
                moyens d’interaction avec l’internet des objets

              
 Cadre de réflexion : interface tangible de type table
                interactive équipée de la technologie RFID
© C. Kolski

Plan

     -Tangibilité, interface tangible : concepts de base
     - Présentation de la table interactive TangiSense
       équipée de la technologie RFID
     - Démonstrateurs
     - Conclusion et perspectives

© C. Kolski

Tangibilité, interface tangible : concepts de base

   - Avec interface tangible : vivre une expérience plus naturelle
     et conviviale qu’avec une IHM classique

   - Expressivité riche de gestes : permet des interactions naturelles
     et intuitives (FIEBRINK et MORRIS, 2009)
                                                                               DiamondTouch (1999)

   - Opportunité aux individus d’exercer une manipulation directe optimale avec
     l’interface, possibilité concrète de toucher l’élément qu’ils veulent manipuler, corps
     alors utilisé pour contrôler les éléments

    - Les individus peuvent manipuler la localisation des objets à la fois par rapport à eux
      mais également par rapport aux autres individus, par conséquent cela permet
      d’attribuer à l’objet une place significative et ainsi développer le raisonnement spatial
      (MANCHES et al., 2009)

    - Individus : peuvent /doivent pouvoir se placer n’importe où
       autour d’une table

    - Ce type de technologie : encourage la collaboration de
      plusieurs personnes (FITEZMAURICE et BUXTON, 1997)

© C. Kolski

Tangibilité, interface tangible : concepts de base

                      Conclusion intermédiaire
                               (ou hypothèse) :

 - Interface tangible de type table :

       
 améliore l’action à plusieurs en permettant une
         meilleure coordination gestuelle,

       
 des actions en parallèle à plusieurs,

       
 Une meilleure perception de l’espace et des changements de
         point de vue par les déplacements possibles autour de la table

  - Chaque objet tangible manipulable (= identifiable) devient
    connectable à (ou peut provenir de) l’internet des objets
© C. Kolski

Tangibilité, interface tangible : concepts de base

  - Etant donné que les objets sont manipulés en 3D sur une surface horizontale, la grande
    majorité de ces tables offrent un espace de travail généreux et permettent à l’utilisateur
    d’agir tout en parlant et en gardant un œil sur ce que les autres font comme action
    (MANCHES et al., 2009)

  - Un des points essentiels dans cette interaction : visibilité des
    actions des autres utilisateurs et par conséquent, bien souvent,
    la compréhension du but et du geste
    (FIEBRINK et MORRIS, 2009)
  - Inconvénients :
      
 crainte de la part des sujets d’avoir une collision physique ou d’empiéter sur le
        territoire du voisin, difficulté à atteindre de lointains objets (FIEBRINK et MORRIS,
        2009)
      
 contraintes en termes de positions naturelles : l’environnement dans lequel se trouve
        l’interface va ainsi influer sur les gestes et limiter certains mouvements qui seront alors
        des obstacles (BENFORD et al., 2003)

  - Interfaces tangibles : redonnent une place significative à la manipulation
    et exploitent la dextérité acquise par les êtres humains au sein de leur
    environnement quotidien (COUTURE et al., 2007)
© C. Kolski

Plan

     -Tangibilité, interface tangible : concepts de base
     - Présentation de la table interactive TangiSense
       équipée de la technologie RFID
     - Démonstrateurs
     - Conclusion et perspectives

© C. Kolski

Présentation de la table interactive TangiSense
                                         Architecture logicielle

               Architecture en 4 couches:
       •      Couche Capture et Interface manipule des
              objets tangibles munis de un ou plusieurs
              tags par objet et crée un objet java en
              l’associant à une forme
       •      Couche Traçabilité manipule des
              événements associés aux objets et
              communique à la couche applicative les
              modifications de positions des objets
       •      Couche Applicative (SMA + IHM) gère
              les spécificités des applications associée à
              la table

    Projet ANR TTT (LIG, LAMIH, CEA, RFIDées)
    TTT : Table d'interaction avec des objets Tangibles et Traçables

© C. Kolski

Présentation de la table interactive TangiSense
                                      Architecture matérielle

                      Hardware
   •     Table composée de 25 dalles pour 1m x
         1m de surface
   •     Dalles contenant 64 antennes RFID

   •     Chaque dalle possède son processeur DSP
   •     Chaque antenne possède 4 LED
   •     Connectique Ethernet
   •     La technologie permet l’interaction avec
         des objets tangibles
   •     La technologie permet de stocker des
         informations dans les objets

 Projet ANR TTT (LIG, LAMIH, CEA, RFIDées)
 TTT : Table d'interaction avec des objets Tangibles et Traçables
© C. Kolski

Présentation de la table interactive TangiSense
                        La table vue de l’intérieur

© C. Kolski

Plan

     -Tangibilité, interface tangible : concepts de base
     - Présentation de la table interactive TangiSense
       équipée de la technologie RFID
     - Démonstrateurs
     - Conclusion et perspectives

© C. Kolski

Présentation de la table interactive TangiSense
                               Exemple de démonstrateur

                                          Conception musicale
                                  manipulation de sons et jeu de la vie
              (démonstrations dans divers congrès, salons et journées, Best démo IHM’2009)
© C. Kolski

Présentation de la table interactive TangiSense
                            Exemple de démonstrateur

 
 Vers des musiciens en interconnexion créatrice et à distance via des objets ?...
© C. Kolski

Présentation de la table interactive TangiSense
                                   Exemple de démonstrateur

                                                                                Monsieur,
                                                                              c’est quoi ça ?
                                                                               Un poisson ?

              Application éducative (apprentissage des couleurs pour des enfants de bas âge)
                       Sébastien Kubicki en action au NordIT-Days (Lille, 2010)
© C. Kolski

Présentation de la table interactive TangiSense
                                   Exemple de démonstrateur

      Perspective : en temps réel, illustrer
              ce qu’est un dauphin
     (par illustrations provenant d’Internet)

              Application éducative (apprentissage des couleurs pour des enfants de bas âge)
                       Sébastien Kubicki en action au NordIT-Days (Lille, 2010)
© C. Kolski

Adaptation au contexte

     - Modélisation du contexte (mise en évidence de spécificités liées à la table) :

         
Evolution de la notion de contexte avec l’internet des objets
          (travaux en perspective)

© C. Kolski

Prise en compte d’aspects collaboratifs et utilisation d’objets « personnels »

         
 Concernant les objets « personnels », nombreuses perspectives offertes
           par l’internet des objets
© C. Kolski

Modélisation des interactions

         
Prendre en compte dans la modélisation l’interconnexion avec
          l’internet des objets

© C. Kolski

Démonstrateur d’un collecticiel pour la gestion
                                         de trafic routier

                     Présentation :                             Application :

    •     Infrastructures routières :
          permettent de gérer le trafic
          autoroutier

    •     Utilisateurs : expert en sécurité,
          architecture, transports...

    •     Objets / agents tangibles :
               Agents matériels (feux, panneaux
                de signalisation…)
               Objets infrastructures
               Tampon (création de nouveaux
                véhicules)
               …
    •     Objets / agents virtuels :
               Routes
               Véhicules                                         VIDEO
               …
© C. Kolski

Plan

     -Tangibilité, interface tangible : concepts de base
     - Présentation de la table interactive TangiSense
       équipée de la technologie RFID
     - Démonstrateurs
     - Conclusion et perspectives

© C. Kolski

Conclusion et perspectives

     - Apport potentiel des interfaces tangibles à l’internet des objets, nouvelles possibilités
       offertes par des dispositifs équipés de la technologie RFID

     - Notre cadre actuel de travail :

              
 Projet ANR TTT (Table d'interaction avec des objets Tangibles et Traçables,
                fin mars 10) (LIG, LAMIH, CEA, RFIDées)

              
 Projet ANR IMAGIT (Environnement multi-acteurs multi-tables interactives
               à objets tangibles et virtuels, début oct. 2010) (LAMIH, LIG, RFIDées, Supertec)

              
 Projet CISIT Plaiimob (Plate-forme de simulation dédiée aux services de
                mobilité, 09-13)

     - Plusieurs démonstrateurs terminés, en cours ou envisagés

     - Nombreuses études et expérimentations possibles

     - Internet des objets et RFID : une piste de recherche et développement prometteuse…

© C. Kolski

Pour en savoir plus sur la table interactive, documents disponibles sur
                demande (écrire à : christophe.kolski@univ-valenciennes.fr)

   KUBICKI S., LEPREUX S., LEBRUN Y., DOS SANTOS P., KOLSKI C., CAELEN J. (2009). New Human-
   Computer Interactions Using Tangible Objects: Application on a Digital Tabletop with RFID Technology. J.A. Jacko
   (Ed.), Human-Computer Interaction, 13th International Conference, HCI International 2009 (San Diego, CA, USA,
   July 19-24, 2009), Proceedings, Part III, LNCS 5612, Springer-Verlag, pp. 446-455, juillet.

   KUBICKI S., LEPREUX S., KOLSKI C., PERROT C., CAELEN J. (2009). TangiSense : présentation d’une table
   interactive avec technologie RFID permettant la manipulation d’objets Tangibles et Traçables. Proceedings of IHM
   2009, 21ème Conférence de l'Association Francophone sur l'Interaction Homme-Machine (Grenoble, France, 13-16
   octobre 2009), International Conference Proceedings Series, ACM Press, Grenoble, pp. 351-354, octobre.

   KUBICKI S., LEBRUN Y., LEPREUX S., ADAM E., KOLSKI C., MANDIAU R. (2009). Exploitation de la
   technologie RFID associée à une table interactive avec objets tangibles et traçables, Application a la gestion de trafic
   routier. Génie Logiciel, 31, pp. 41-45.

   KUBICKI S., LEPREUX S., KOLSKI C., CAELEN J. (2010). Towards New Human-Machine Systems in contexts
   involving interactive table and tangible objects. The 11th IFAC/IFIP/IFORS/IEA Symposium on Analysis, Design, and
   Evaluation of Human-Machine Systems (August 31 - September 3), Valenciennes, France, septembre.

   LEBRUN Y., ADAM E., KUBICKI S., MANDIAU R. (2010). A Multi-agent System Approach for Interactive Table
   Using RFID. Y. Demazeau, F. Dignum, J-M Corchado & J-B Perez (Ed.), 8th International Conference on Practical
   Applications of Agents and Multi-Agent Systems (PAAMS 2010), Springer Berlin/Heidelberg, Advances in Intelligent
   and Soft-Computing, Advances in Practical Applications of Agents and Multiagent Systems, Vol. 70, pp. 125-134,
   avril, ISBN 978-3-642-12383-2.

© C. Kolski

Conférence Analyse et perspectives de l’Internet des Objets, Villeneuve d’Ascq., 25-26 octobre 2010

               Table interactive exploitant la
                    technologie RFID :
                principes, démonstrateurs
              Christophe Kolski (1), Sébastien Kubicki (1), Emmanuel Adam (1),
                 Sophie Lepreux (1), René Mandiau (1), Yoann Lebrun (1,2)
                         (1) LAMIH, Université de Valenciennes et du Hainaut-Cambrésis
                                     Prénom.nom@univ-valenciennes.fr

                                                  (2) CITC-EURARFID

    MERCI POUR VOTRE ATTENTION

© C. Kolski