Étude des propriétés de la version française du NASA-TLX - Julien CEGARRA CLLE-LTC, Centre Universitaire Champollion

Étude des propriétés de la
version française du NASA-TLX
Julien CEGARRA
CLLE-LTC, Centre Universitaire
Champollion

Nicolas MORGADO
Centre Universitaire Champollion

Plan de la présentation
• 1. Du concept à la mesure

• 2. élaboration de la version française du NASA-TLX

• 3. évaluation de la version française du NASA-TLX

• 4. Perspectives

Charge mentale, du concept…
• Faut-il conserver la notion de charge mentale ou
  définitivement la bannir ? (Jacques Leplat, 2002)

• La charge mentale "vertu dormitive" ou concept
  opérationnel ? (André Tricot & Lucile Chanquoy, 1996)

• …

• Le terme même de charge mentale nécessite d’être mieux
  compris et mesuré (Neville Moray, 1979)

Charge mentale, du concept…
• Une critique « conceptuelle »

• Mais le concept est issu de préoccupations appliquées
  (cf. Gopher & Donchin, 1986)

• Avant de discuter du concept il faudrait s’intéresser aux
  mesures qui sont employées (par ex. : Nygren, 1991)

Charge mentale, …à la mesure
• « L’intelligence c’est ce que mesure mon test »
  (trompeusement) attribué à Alfred Binet

• « La charge mentale c’est ce que mesure mon
  test » - Auteur inconnu

Charge mentale, …à la mesure
• Trois catégories de mesures :
 ▫ ‘performances’

 ▫ ‘physiologiques’

 ▫ ‘subjectives’

Les mesures subjectives
• De nombreuses échelles disponibles :
 ▫ Modified Cooper-Harper scale (MCH, Wierwille & Casali, 1983)
 ▫ Subjective Workload Assessment Technique (SWAT, Reid &
   Nygren, 1988)
 ▫ National Aeronautics and Space Administration Task Load Index
   (NASA-TLX, Hart & Staveland, 1988)
 ▫ …

• Comparaison des mesures (Jex, 1988 ;
  O’Donnell & Eggemeier, 1986)

Le NASA-TLX
• À partir d’une liste de 19
  termes, les participants
  devaient évaluer leur
  proximité avec celui de charge
  mentale =>14 concept
  proches

• Plusieurs études pour
  identifier les facteurs
  pertinents quel que soit le type
  de tâche => 10 dimensions

Le NASA-TLX
      • 247 participants, 6
        tâches, remplir 10
        échelles de 1 à 100
      • Décident de conserver 6
        échelles
      PHYSICAL DEMAND: How much physical activity
      was required
      (e.g.. pushing, pulling, turning, controlling,
      activating, etc.)? Was the task easy or
      demanding, slow or brisk, slack or strenuous,
      restful or laborious?

Low                                                    High

Le NASA-TLX                   RTLX

• Comment réduire la
  variabilité intra-/inter-    MD   w
  individuelle ?
                               PD   w

• Pondération à partir de 15
  comparaisons
                               TD   w
                                        TLX
                               PE   w

• Moyenne des dimensions =EF        w
  TLX « brut » (Byers,    FR        w
  Bittner, Hill, 1989)

Traduction du NASA-TLX
• Traductions :
 ▫   Allemand (Sepehr, 1988)
 ▫   Espagnol (Rubio et al., 2004)
 ▫   Japonais (Haga, Shinoda, & Kokubun, 2002)
 ▫   Français ?

• Traduction « directe »

Traduction du NASA-TLX
• Version initiale :
  ▫ How much physical activity was required (e.g., pushing,
    pulling, turning, controlling, activating, etc.)?

• anglais → français
  ▫ Combien d’opérations motrices ont-elles été requises (par
    ex.: appuyer, tirer, tourner, contrôler, activer, etc.) ?

• Maîtrise différente des langues (expressions
  langagières, implicites)

Traduction du NASA-TLX
• 1) Traduction inversée (Brislin, Lonner &
  Thorndike, 1973) :
 ▫ Deux traducteurs, l’un plutôt familier de la langue
   cible (au sens de pratiquant et connaissant la
   culture), l’autre plutôt de la langue source
 ▫ Le premier traducteur traduit l’échelle dans la
   langue cible (anglais → français)
 ▫ Puis, dans un second temps, il confie cette échelle
   au second traducteur qui la retraduit dans la
   langue source (français → anglais)

Traduction du NASA-TLX
• Version initiale :
  ▫ How much physical activity was required (e.g., pushing,
    pulling, turning, controlling, activating, etc.)?

• anglais → français
  ▫ Combien d’opérations motrices ont-elles été requises (par
    ex.: appuyer, tirer, tourner, contrôler, activer, etc.) ?

• français → anglais
  ▫ How many motor actions were required (e.g., pressing,
    pulling, turning, restraining, activating, etc.)?

Traduction du NASA-TLX
• 2) Traduction par comité :
 ▫ Les différences entre les versions dans la langue
   source (la traduction initiale et celle obtenue par
   traduction inversée) sont discutées entre
   traducteurs pour identifier et résoudre les
   incohérences de la traduction dans la langue cible
 ▫ Cela permet d'assurer à la fois la fidélité à l'outil
   original et la clarté des items de la version
   française

Traduction du NASA-TLX
• 3) Pre-test. Tester la compréhension des items,
  l'appréciation globale de l'échelle ainsi que
  l'opérationnalité de la consigne

• 4) Version française

• Quelles sont les propriétés de cette version
  française ?

Méthode
• 28 participants :
  ▫   15 femmes et 13 hommes
  ▫   30 ans d’âge moyen (entre 19 et 63 ans)
  ▫   Bilingues ou niveau suffisant
  ▫   en Français ou en Anglais

• 3 tâches :
  ▫ tâche de pointage de cible « Fitts » (Fitts, 1954)
  ▫ tâche de rotation de figure « Shepard » (Shepard &
    Mezter, 1971)
  ▫ tâche de supervision de processus « LeeMoray » (Lee
    & Moray, 1992)

Résultats

• Effet de la tâche [F(2 ; 52)=28,439 ; p.05; η² = 0,074]

Résultats
• Une différence due à la traduction devrait être
  visible au niveau des évaluations par dimenson
  et non au niveau de la charge globale

• Sood (1990) a demandé à des participants de
  plusieurs pays d’attribuer des scores d’intensité
  à des échelles nominales.
  Le terme Espagnol ‘muy malo’ était considéré
  58% supérieur au terme équivalent Anglais ‘very
  bad’

Résultats

• Test post hoc (HSD de Tukey)
• Différence significative pour ‘performance’ (p

Résultats                   RTLX

• TLX : pondération à partir
  de 15 comparaisons         MD     w

                               PD
• RTLX (TLX « brut ») :             w

  Moyenne des dimensions TD         w   TLX
  (Byers, Bittner, Hill, 1989)
                              PE    w

                              EF    w

                              FR    w

Résultats

        Version originale                        Version traduite

• Version originale ; Fitts [rs=0,9 ; p

Résultats

• Effet significatif [F(2 ; 25)=4,899 ; p

Perspectives
• Version française peut (doit) être validée
  ▫ Performance et âge à approfondir
  ▫ Méthode test-retest
  ▫ « meta-evaluation» : évaluation de la charge
    pendant la réponse au NASA-TLX

• Une nouvelle échelle ?

• Boring, E. G. (1923). Intelligence as the Tests
  Test It. New Republic, 36, 35-37.

Merci de votre attention

    Des questions ?