Appel à participation au projet MIXAP

Appel à participation au projet MIXAP
                                 16 décembre 2021 – Iza Marfisi - LIUM

Le projet MIXAP

L’enjeu du projet MIXAP (realité MIXte pour l’APprentissage) est de concevoir des outils simples
permettant aux enseignants de créer leurs propres applications éducatives pour tablettes, avec
des interactions innovantes, telles que la Réalité Augmentée ou la Réalité Virtuelle (Figure 1),
sans avoir besoin de compétences en programmation informatique. Ces éditeurs, appelés outils
auteurs, se présentent sous la forme d’application Web, utilisables sur ordinateur et
smartphone.
De nombreuses applications pédagogiques proposant de la Réalité Augmentée et de la Réalité
Virtuelle existent déjà, mais elles sont payantes et il n’est pas possible d’en changer le contenu.
L’objectif de ce projet est donc de proposer du sur-mesure, en aidant les enseignants à créer
leur propre contenu avec des outils auteurs. Nous nous adressons aux enseignants de la
maternelle à l’université, dans toutes les matières.

 Figure 1. A gauche, Le chaudron Magique, un Jeu en Réalité Augmentée pour apprendre les fractions et à droite TGRIS, un
                                       simulateur d’entretien en Réalité Virtuelle

Ce projet est piloté par Iza MARFISI, une enseignante-chercheuse en Informatique. Elle mène
ses recherches au sein du Laboratoire d’Informatique de l’Université du Mans et enseigne au
département Informatique de l’IUT de Laval. Ce projet est financé par la région des Pays de la
Loire et l’Université du Mans dans le cadre du dispositif Etoile Montante. Il commence en
janvier 2022 et se termine en avril 2024. Ce projet constitue un premier pas vers le dépôt d’un
projet européen de grande envergure.
Concrètement, le projet MIXAP produira trois outils auteurs gratuits. Un outil auteur pour
concevoir des applications qui augmente des objets (affiches, livres, statues, constructions)
déjà présents dans la classe, un autre qui augmente des cartes géographiques pour encourager
un travail de réflexion collaboratif et un dernier pour créer des simulations d’entretiens en
Réalité Virtuelle. Dans la suite de ce document, nous décrivons ce que pourraient être ces outils
auteurs, mais leurs fonctionnalités seront décidées avec l’aide d’enseignants pour répondre
aux mieux à leurs besoins. Nous avons donc besoin de votre aide.

MIXAP-Objet : Outil auteur pour la création d’applications de Réalité
Augmentée sur des objets 2D ou 3D

Le premier objectif du projet MIXAP est de créer un outil auteur pour aider les enseignants à
augmenter des objets présents dans leur classe.
Grâce à cet outil auteur, les enseignants pourront importer une image ou prendre une photo
d’un objet (e.g. poster, puzzle, fiche de cours, carte, statue, construction, globe) qu’ils utilisent
dans leur classe. Ils pourront ensuite créer une « aura » virtuelle qui s’affichera, en Réalité
Augmentée, sur cet objet, quand les élèves les regardent à travers une tablette ou un
smartphone.
Cette aura virtuelle peut être composée de plusieurs éléments :
    -   Un texte
    -   Une image
    -   Un lien vers une vidéo, un site web ou un document stocké sur un drive
    -   Un objet 3D
    -   Une animation 3D
D’un point de vu pédagogique, ces auras peuvent fournir des informations complémentaires
pour compléter un exercice, proposer de l’aide contextualisée pour que les élèves soient plus
autonomes et même valider le fait qu’une activité est bien complétée. L’avantage de ces auras
est de proposer des informations contextuelles, visualisables sur des endroits précis de l’objet,
contrairement aux QRCode, puisqu’ils ouvrent une nouvelle page dans un navigateur, sans
possibilité de visualiser l’objet en dessous. Les auras sont aussi intégrées sans dénaturer l’objet
puisqu’il n’est pas nécessaire d’y coller un QRCode. C’est l’objet, lui-même, qui est reconnu par
la tablette.
Grâce à l’outil auteur, les enseignants pourront donc créer leurs propres applications de Réalité
Augmentée, sur mesure avec le matériel déjà disponible en classe. Voici quelques exemples
d’applications qui pourront être créés. Les images dans la suite sont issues d’applications
actuellement vendues dans le commerce, mais dont le contenu n’est pas paramétrable.
    -   Une carte du monde ou un globe terrestre augmentés avec des informations sur les
        animaux ou les drapeaux des pays.
    -   Un puzzle qui, une fois complété, est augmenté d’une petite animation récompense ou
        d’une information sur l’activité suivante (ex : Bravo, maintenant tu peux ranger le
        matériel et faire l’activité des ceintures en autonomie).
    -   Un livre ou une fiche d’exercice augmentée avec de l’aide textuelle et visuelle pour
        comprendre les phases de la lune ou le phénomène de la variation du lever et coucher
        du soleil au cours de l’année.
    -   Une construction (par exemple en lego) qui doit correspondre exactement à un modèle
        et qui, une fois complétée, révèle une animation ou une partie de la solution d’un
        escape-game pédagogique (ex : la clé se trouve dans une boite verte).
    -   Une frise artistique faite par les élèves, augmentée avec la photo des auteurs, des
        informations sur les techniques utilisées et éventuellement une musique associée.

-   Une machine complexe (ex : moteur de voiture, imprimante 3D…) augmentée
       d’information sur les différentes parties ou d’un tutoriel pour comprendre comment
       l’utiliser.

                         Figure 2. Exemples d'applications qui augmentent des objets

Remarques : l’outil auteur qui sera développé proposera des fonctionnalités similaires à
AURASMA, un outil très utilisé par les enseignants et les publicitaires pendant des années, mais
qui n’est plus disponible depuis 2017. Cet outil proposait également des fonctionnalités assez
limitées. Il était par exemple impossible d’augmenter des objets 3D, d’importer ces propres
modèles et animations 3D ou d’augmenter une image avec plusieurs auras.

MIXAP-Carte : Outil auteur pour la création d’applications de Réalité
Augmentée sur une carte géographique

Le deuxième objectif du projet MIXAP est de créer un outil auteur pour augmenter une carte
ou une image, qui sera utilisée comme l’élément central d’une activité de réflexion en groupe. Il
peut s’agir d’une carte géographique, d’un plan IGN ou des plans d’une maison par exemple.
Ce document sera imprimé, au format A3, et placé au centre d’une table de façon à ce que trois
à quatre élèves puissent la voir. En posant un smartphone ou une tablette, à plat, sur cette
image et en le faisant glisser, les élèves peuvent voir les points d’intérêts et les informations
fournies par l’enseignant sous la forme d’aura (Figure 3). Même si le principe peut sembler
similaire aux augmentations proposées par le premier outil, le fait que la tablette soit posée à
plat permet d’avoir une surface partagée par tous les élèves, ce qui est idéal pour encourager
l’apprentissage collaboratif.
Concrètement, grâce à l’outil auteur, les enseignants pourront importer une image, identifier
des points d’intérêts et ajouter leur aura (image, texte, lien, modèle 3D…).

              Figure 3. Prototype de l'application qui augmente des cartes en cours de développement

Remarques : Ce type d’interaction est totalement innovant puisqu’il n’utilise pas les
technologies habituelles de Réalité Augmentée (reconnaissance d’image). Nous la développons
dans le cadre d’un autre projet, nommé SituLearn. Nous étudions actuellement la possibilité de
déposer un brevet. L’objectif de ce projet est de proposer des outils numériques pour les sorties
pédagogiques. Cette interaction est utilisée pour favoriser la collaboration au sein d’une équipe
d’élèves, pendant la sortie, mais également après, lors de la session de débriefing. Elle permet
notamment d’afficher les relevés faits par les étudiants sur les terrains : photos,
enregistrements et notes pris sur les objets d’intérêts observés, tels que les arbres, bâtiments,
roches, animaux…

MIXAP-Entretien : Outil auteur pour la création de simulation
d’entretien en Réalité Virtuelle

Le troisième objectif du projet MIXAP est de créer un outil auteur pour créer des simulations
d’entretien en Réalité Virtuelle. Avec ce dispositif, l’étudiant porte un casque de Réalité Virtuelle
qui l’immerge complètement dans un monde virtuel. Face à lui se trouve un avatar, avec lequel
il doit dialoguer, pour atteindre un but défini par le formateur (ex : convaincre, calmer,
expliquer un concept, une situation). Les réactions verbales et non verbales de l’avatar sont
déclenchées, en temps réels, par l’enseignant afin de créer des situations adaptées à l’élève et
aux objectifs pédagogiques.
La Figure 4 montre le simulateur que nous avons développé dans le cadre du projet TGRIS pour
un contexte particulier : la formation professionnelle, par les pairs, des conseillers
pédagogiques. L’objectif est de mieux comprendre et gérer les situations d’entretien qu’ils
jugeaient problématiques dans leur métier. En, effet, les conseillers pédagogiques se trouvent
parfois face à des enseignants débutants qui sont totalement fermés à leurs conseils ou qui, au
contraire, fondent en larmes, ne se sentant pas à la hauteur. Ils ont pu paramétrer le simulateur
avec des phrases issues de vraies situations d’entretien pour mieux les revivre et les faire vivre
à leurs collègues, afin de discuter ensemble et de trouver les solutions.

               Figure 4. TGRIS : Simulateur d'entretien pour la formation des conseillers pédagogiques

Nous voulons améliorer cet outil dans le cadre du projet MIXAP. À l’aide d’un outil auteur, les
enseignants pourront notamment paramétrer le simulateur avec leurs propres situations
problématiques afin de s’en servir en formation professionnelle (ex : gestion d’un élève qui a
un comportement déplacé, gestion d’un élève en difficulté…) ou pour former leurs élèves à des
situations complexes qu’ils seront amenés à rencontrer (ex : vente d’un produit, oral du bac,
propos sexistes, négociation salariale…). Concrètement, il s’agit de paramétrer
l’environnement virtuel (ex : salle de classe, bureau d’entreprise), le corps de l’avatar, les
phrases qu’il peut dire ainsi que les expressions faciales et corporelles associées.
Remarque : La création de cet outil auteur dépend de l’acceptation d’une demande de
partenariat avec Epic Games, une entreprise de jeux vidéo qui développe des avatars ultras
réalistes nommés Meta Humains.

Recherche d’enseignants et l’école partenaires

Notre laboratoire de recherche s’inscrit dans la tradition de créer des outils pédagogiques
gratuits, conçus avec et pour les enseignants. Il ne s’agit en aucun cas de les remplacer. Au
contraire, notre objectif est de les aider à utiliser des technologies innovantes qui ont un fort
potentiel pédagogique. Il nous est donc primordial d’intégrer des enseignants volontaires dès
le début du projet.
Nous cherchons des enseignants pilotent, à proximité de Laval, pour nous aider.
La participation des enseignants peut se faire sur un ou plusieurs outils auteurs présentés ci-
dessus (MIXAP-objet, MIXAP-Carte ou MIXAP-Entretien). Pour chacun de ces outils, nous avons
besoin d’enseignants à trois moments clés:
   1. Conception : Participation aux sessions de co-conception pour identifier les besoins
      réels de terrains. Ses sessions de travail, en groupe, auront certainement lieu une ou
      deux fois pour chaque outil auteur, dans les locaux de Canopé à Laval.
   2. Test : Tests et critiques constructives sur les maquettes des interfaces et les prototypes
      des outils qui seront développés de façon itérative. À chaque nouvelle version des outils
      auteurs, nous vous demanderons de les tester et de donner votre avis. Cette partie peut
      être faite seule ou en groupe, avec notre accompagnement.
   3. Expérimentation : Utilisation de l’outil auteur pour concevoir une application et l’utiliser
      en classe. Cette étape se clôturera par un petit questionnaire à destination de vos élèves
      et de vous.
Afin de vous remercier pour votre participation :
   -   Votre aurez une place centrale dans le projet de recherche et nous ferons au mieux
       pour produire des outils qui correspondent à vos besoins.
   -   Votre nom et école sera cité sur tous les documents de communication (site Web,
       article de recherche, communiqué de presse…) ainsi que dans la page « à propos » des
       outils auteurs qui seront développés dans le cadre du projet MIXAP.
   -   Vous pourrez enrichir vos cours avec les applications issues du projet. Nous vous
       accompagnerons dans la conception de vos applications et pourrons vous prêter du
       matériel (tablettes ou casques) pour les utiliser en classe.
   -   Si vous souhaitez continuer l’aventure, vous pourrez participer au montage du projet
       européen en 2024 (suite du projet MIXAP) et prévoir des compensations matérielles
       pour votre participation.
Écoles partenaires
Si au moins deux enseignants d’une même école s’engagent à participer sur au moins un des
outils auteurs, et pour les 3 moments clés (conception, test, expérimentation), notre
laboratoire pourra signer un contrat de partenariat incluant le prêt d’un lot de 30 tablettes. Un
casque de Réalité Virtuelle sera aussi prêté aux écoles qui souhaitent participer à la conception
de MIXAP-Entretien. Au bout de six ans, il sera possible de vous faire don du matériel.
Nous souhaiterions avoir une école partenaire de chaque niveau :

-   Une école maternelle-primaire
   -   Un collège
   -   Un lycée
   -   Une université
Si vous souhaitez participer, en tant qu’enseignant seul, ou en tant qu’école partenaire, merci
de contacter iza MARFISI iza.marfisi@univ-lemans.fr pour prévoir une rencontre.

Références

Voici quelques projets récents sur lesquels nous avons travaillé avec des enseignants :

  • SMART-Fractions : un jeu en Réalité Augmenté pour apprendre les fractions
          o   Association d’enseignants de Mathématique Plaisir Math
          o   Anaïs RICHART - collège Jean PERRIN, Paris
          o   Hélène HARDY - école primaire Eugène Hairy, Laval
          o   Aurélie DERENNE - école primaire Eugène Hairy, Laval
          o   Amèle ZOUARI - collège Allain Gerbault, Laval

  • TurtleTablet : un jeu collaboratif, avec des pièces tangibles, pour apprendre les bases des
       algorithmes informatiques
           o Annabelle HASCOËT - collègue La Salle, Laval
           o Véronique POMMIER - collège Sainte Thérèse, Laval
           o Amèle ZOUARI - collège Allain Gerbault, Laval

  • SituLearn : applications smartphones pour les sorties pédagogiques
          o   Julie BENOIST – INSPE du mans
          o   Régis MOURGES – Licence Géologie à l’université du Mans
          o   Ludovic BLIN – IME du mans
          o   Valérie BODINEAU – INSPE du mans

  • Aux couleurs de l’océan et Ecris Ton Zoo : petits jeux éducatifs sur tablette développés
       par les étudiants de l’IUT de Laval
           o Anabel Le Goff - Maternelle de l'école publique de l’Huisserie

  • ReVeRIES : applications smartphone pour l’apprentissage de la botanique
          o Jean-Bernard POUVREAU - Licence Biologie de l’Université du Nantes
          o Aline POLGE - EHESP, Rennes
          o Aurore CARUSO - Licence Biologie de l’Université du Mans

  • Ludifik’action : une formation professionnelle pour les enseignants de tout niveau, lors
       de laquelle ils sont accompagnés dans la création d’un jeu sur mesure pour leur
       enseignement. Plus de 20 enseignants de la région ont déjà été accompagnée.