Piloter un Curriculum: Evaluer l'Efficacité d'une Nouvelle Formation

 
DIAPOSITIVES SUIVANTES
G U I D E            T E C H N I Q U E                     D ’ E X E C U T I O N                       N ° 3 ,          I - T E C H

Piloter un Curriculum:
Evaluer l’Efficacité d’une Nouvelle Formation
Les Guides Techniques d’Exécution d’I-TECH consistent en une série de brochures éducatives pratiques destinées à assister le
personnel et les partenaires dans leurs efforts de développement et maintien de programmes de qualité au niveau mondial.

Un programme de formation réussi requiert                                raison ou une autre, il est impossible de procéder
des éléments multiples à savoir des formateurs                           aux modifications du curriculum, il est alors inutile
expérimentés ayant une bonne compréhension du                            de compléter le processus d’évaluation pilote décrit
contenu du sujet, des participants à la formation                        ci-dessous.
disposant des connaissances de base nécessaires
et la motivation d’apprendre et enfin un curriculum                      Le processus dépeint dans ce guide afin de piloter
bien rédigé pour guider tout le monde au cours du                        un curriculum est approprié pour les curricula, de
processus. Mener des programmes de formation                             taille conséquente, destinés aux cours en classe
demande bien souvent beaucoup de temps de la                             pour lesquels des ressources significatives ont
part du personnel de formation, du temps passé en                        été investies. Ce type de procédé n’est pas aussi
dehors des heures de travail pour les participants,                      efficace en ce qui concerne les formations sur le
le montant des transports et le coût du logement                         terrain pour lesquelles les sujets de formation varient
journalier. Conduire l’évaluation pilote d’un curriculum                 selon la situation, ou dans le cas de curricula moins
est un aspect essentiel du contrôle de la qualité de                     structurés où des experts présentent des études
la formation et permet de s’assurer que le temps                         de cas ou leurs propres diapositives PowerPoint.
et l’investissement dédiés à la formation s’avèrent
payants. Ce guide offre une approche pour mener                          Se Préparer pour l’Evaluation Pilote
une telle évaluation.
                                                                         L’évaluation pilote consiste en une estimation
Pourquoi Piloter un Curriculum?                                          élargie conduite lorsqu’un curriculum, nouvellement
                                                                         développé ou adapté, est utilisé pour la première
L’objectif du pilotage d’un curriculum est d’assurer                     fois au cours d’une formation. Les participants
l’efficacité du curriculum et de procéder aux                            devraient savoir qu’ils font partie d’une session
modifications nécessaires avant qu’il ne soit diffusé                    pilote d’un atelier de formation lors de leur invitation
ou utilisé à grande échelle. Piloter un curriculum                       et que des critiques ouvertes et honnêtes lors de
aide à localiser les sections d’un curriculum qui                        ce processus d’évaluation pilote sont attendues
fonctionnent bien et celles qui méritent d’être                          de leur part. Le fait d’insister sur l’importance
renforcées. Ce processus devrait comprendre                              de leurs appréciations (feedback en anglais) par
une évaluation compréhensive de l’efficacité et                          rapport au développement et l’amélioration de
l’utilité du curriculum dans l’atteinte des objectifs                    la formation incite généralement les participants
de formation du cours. Les informations recueillies                      à remplir par écrit les formulaires d’évaluation de
lors de l’évaluation pilote sont ensuite utilisées                       manière détaillée et de participer activement aux
pour renforcer et améliorer le contenu du cours,                         discussions de groupes au sujet de leur expérience
du matériel et des stratégies de lancement pour la                       de formation. Lors de la première journée d’atelier,
version suivante du curriculum.                                          les formateurs devraient mentionner que les
                                                                         activités d’évaluation seront plus poussées que
L’évaluation pilote est efficace uniquement si vous                      d’habitude car il s’agit d’une évaluation pilote ; ils
disposez des ressources nécessaires, du temps                            devraient ainsi expliquer clairement les activités
et de l’aptitude à réviser le curriculum en fonction                     d’évaluation qui vont être menées.
des résultats d’évaluation du pilotage. Si, pour une
Piloter un Curriculum: Evaluer l’EfficacitE d’une Nouvelle Formation                                                  PAGE 2

  Il est également essentiel d’informer au préalable           évaluation pilote, il est primordial que tous les
  les formateurs qu’il s’agit d’une évaluation pilote du       formateurs suivent de très près le curriculum piloté.
  curriculum. Certains formateurs peuvent avoir été            Tous les formateurs devraient recevoir des copies
  amenés à présenter un matériel similaire auparavant          du curriculum bien avant le début de l’atelier pour
  et disposent peut-être de leurs propres présentations        avoir l’opportunité de passer en revue les sessions
  qu’ils ont l’habitude de présenter. Dans le cas d’une        qui leurs sont attitrées.

       Domaines à Evaluer lors du Pilotage

       L’évaluation d’un curriculum pilote devrait comporter les méthodes d’enseignement, la pertinence du
       contenu, le matériel utilisé, les défis et la gestion du temps et l’efficacité générale de la formation. Ci-
       dessous se trouvent des questions clés auxquelles il faudrait répondre au cours de l’évaluation:

       Méthodes d’Enseignement
       n Les méthodes d’enseignement utilisées lors de la formation (exposé, discussion, travail en groupe,
          etc.) ont-elles réussi à accroitre les connaissances et la compréhension du participant?
       n Quelles sont les méthodes les plus efficaces?
       n Quelles sont les méthodes qui n’ont pas marché et méritent d’être modifiées?

       Contenu
       La session pilote ne consiste pas au temps passé à examiner l’exactitude du contenu clinique. Le
       curriculum devrait avoir été revu techniquement parlant avant d’être piloté pour s’assurer que le contenu
       soit juste d’un point de vue clinique et reflète les directives actuelles.
       n La complexité et l’étendue du contenu sont-elles appropriées par rapport à l’auditoire?
       n L  e curriculum est-il facile ou difficile à lire?
       n L  es sujets pertinents ont-ils été couverts?
       n E  xiste-t-il d’autres sujets à aborder?
       n Existe-t-il des anecdotes, exemples, cas mentionnés lors de l’atelier pouvant être intégrés au
           curriculum?

       Matériel
       n Le matériel est-il facile à utiliser à la fois pour les formateurs et les participants?
       n Les formateurs ont-ils utilisé tout le matériel à leur disposition ? (diapositives PowerPoint, brochures,
          fiches techniques)
       n Les participants se sont-ils référés au matériel?
       n Existe-t-il d’autres matériels et ressources pouvant améliorer la formation?

       Efficacité
       n Les participants ont-ils acquis les compétences et connaissances attendues de la formation? Si cela
           n’est pas le cas, quels sont les domaines à améliorer?

       Planification et Gestion du Temps
       n Le temps dédié aux activités individuelles est-il trop important ou manquant?
       n Le temps dédié à l’ensemble de l’atelier est-il trop important ou manquant?
Piloter un Curriculum: Evaluer l’EfficacitE d’une Nouvelle Formation                                                                 PAGE 3

                                                                                rapport à l’atelier (qu’est-ce qui a bien fonctionné?
                                                                                qu’est-ce qu’ils estiment avoir appris? qu’est-ce
                                                                                qu’ils n’ont pas compris? Comment vont-ils mettre
                                                                                en pratique ce qu’ils ont appris lors de l’atelier dans
                                                                                leurs milieux professionnels?) et la mesure des
                                                                                objectifs telle que le changement de connaissances
                                                                                et/ou compétences résultant de l’atelier. Ci-dessous
                                                                                se trouvent des outils spécifiquement développés
                                                                                pour la collecte des appréciations des participants :

                                                                                Outil n°1: Evaluations écrites quotidiennes
                                                                                  Il s’agit d’une évaluation quotidienne à remplir
                                                                                  par les participants à la fin de chaque journée
                                                                                  de l’atelier visant à collecter les réactions à
                                                                                  chaud des participants au sujet de l’atelier et des
   Les feedbacks des participants doivent inclure leurs réponses personnelles     activités. Un formulaire d’évaluation journalière
   par exemple sur ce qui a bien marché, la mesure des objectifs ou encore un     devrait être bref et facile à compléter pour
   changement de connaissances.
                                                                                  éviter d’ennuyer les participants. En général,
                                                                                  les évaluations quotidiennes se contentent de
  La présence d’au moins un observateur est
                                                                                  demander aux participants ce qu’ils ont aimé et
  nécessaire tout au long de la formation. L’observateur
                                                                                  n’ont pas aimé lors de la session du jour. Puisqu’il
  est bien souvent impliqué dans le développement
                                                                                  s’agit d’un pilotage, il est recommandé d’inclure
  du curriculum, mais ceci n’est pas obligatoire. S’il
                                                                                  des questions portant sur les connaissances
  est impossible de trouver une personne ayant
                                                                                  spécifiques au contenu abordé lors de la journée
  participé au développement du curriculum pour le
                                                                                  pour vérifier si les participants ont assimilé les
  pilotage, une personne sachant écouter et observer
                                                                                  thèmes clés de la journée.
  et ayant une bonne connaissance de la conception
  du curriculum peut servir d’observateur. Le rôle de
                                                                                  Les données des formulaires d’évaluation
  l’observateur est décrit plus en détails ci-après.
                                                                                  journalière n’ont habituellement pas besoin d’être
                                                                                  enregistrées et analysées de façon rigoureuse ; au
  Mener l’Evaluation
                                                                                  contraire, les formateurs devraient passer en revue
  L’évaluation d’une session pilote d’un nouveau                                  les formulaires pour en dégager simplement les
  curriculum devrait comprendre les appréciations de                              tendances générales. Par exemple, si une session
  trois groupes clés pour une perspective triangulaire                            en particulier est moins bien classée que d’autres,
  différente des données et de l’évaluation de la                                 ceci demande une recherche plus approfondie pour
  formation: participants, facilitateurs/formateurs de                            en déterminer la raison. L’évaluation journalière
  l’atelier et observateurs.                                                      devrait également inclure une question concernant
                                                                                  les informations qui n’ont pas été comprises par les
  Evaluation du Matériel du Curriculum par le                                     participants afin que les formateurs puissent clarifier
  Participant                                                                     toutes incompréhensions lors de la formation, le
  L’objectif pour mener une formation est d’améliorer                             jour suivant.
  l’aptitude des participants dans un domaine défini
  en particulier. L’appréciation du participant sur                             Outil n°2: Evaluation écrite finale
  l’atelier est par conséquent un élément essentiel                               Les participants devraient remplir une évaluation
  du processus d’évaluation de l’efficacité d’un                                  écrite finale à la fin de la dernière journée de
  curriculum. L’appréciation des participants devrait                             l’atelier. L’évaluation permet aux participants de
  comprendre leurs réponses personnelles par                                      prendre du recul et réfléchir sur les connaissances
Piloter un Curriculum: Evaluer l’EfficacitE d’une Nouvelle Formation                                                                     PAGE 4

     et compétences acquises lors de la formation                 Il est important de se montrer prudent lors de
     dans le contexte de l’ensemble de l’atelier. Ceci            l’interprétation des résultats des pré- et post-
     est bien souvent l’occasion de collecter des                 tests en ce qui concerne leurs conséquences par
     informations différentes de celles collectées                rapport au curriculum. Les pré- et post-test doivent
     lors des évaluations journalières, étant donné               également être pilotés afin de déterminer leur
     que le matériel incompris ou créant confusion                pertinence. Par exemple, une hausse significative
     lors de la Journée n°2 peut s’avérer clair au                de la note entre le pré-test et le post-test peut
     bout de la Journée n°5. Une évaluation finale                indiquer que l’atelier a atteint ses objectifs et que
     permet également aux participants de réfléchir               le curriculum est efficace; cependant l’absence
     aux points essentiels d’apprentissage à travers              de hausse significative entre les notes obtenues
     l’ensemble de l’atelier et évaluer dans quelle               demande une analyse et interprétation plus
     mesure ils pourront utiliser ce qu’ils ont appris            approfondies. L’absence de changement ou une
     une fois de retour dans leurs milieux de travail.            baisse des notes peuvent démontrer des tests mal
                                                                  conçus plutôt qu’un problème relatif au curriculum.
  Outil n°3: Discussion de groupe ciblé
    Les discussions de groupe avec les participants en            Une méthode simple pour juger de la pertinence
    fin d’atelier peuvent être une méthode efficace pour          d’un test consiste à discuter des réponses du test
    obtenir des appréciations au sujet de l’atelier et du         lors de la formation et après que les participants
    curriculum. La méthode de discussion de groupe                aient complété leurs propres tests. Ceci permet
    encourage des associations pouvant engendrer                  aux facilitateurs de déterminer si les questions
    des discussions riches évoquant des informations              sont mal comprises ou s’il existe des fossés entre
    différentes de celles formulées sous forme                    les différents sujets abordés lors de la formation.
    rédactionnelle. Ceci permet également d’obtenir               Se référer au Guide Technique d’Exécution N°2
    les appréciations de personnes qui se sentent plus            (Guidelines for Pre- and Post-Testing) d’I-TECH pour
    à l’aise pour s’exprimer à l’oral qu’à l’écrit.               plus d’informations sur la conception, la validation
                                                                  et l’interprétation des pré- et post-tests.
     Les participants devraient être séparés par
     groupe de discussion d’environ 6 à 8 individus.
     Les formateurs devraient identifier les individus
     qui ne sont pas directement impliqués dans
     l’atelier pour faciliter les discussions de groupe et
     pour prendre des notes. Un guide de discussion
     de groupe devrait être élaboré et utilisé afin
     d’organiser la discussion sans pour autant limiter
     ou restreindre la discussion. Les thèmes clés
     émergeant des groupes de discussion devraient
     être identifiés et résumés. Se référer au Guide
     Technique d’Exécution N°1 (Organizing and
     Conducting Focus Groups) d’I-TECH pour plus
     d’informations sur les discussions de groupes.

  Outil n°4: Pré- et post-tests
    Le but des pré- et post-tests est de fournir une
    mesure objective des changements en matière de
    connaissances et /ou compétences acquises lors de
    la formation, et sert ainsi à fournir des informations
                                                             Les participants doivent remplir une évaluation écrite à la fin du dernier jour
    pertinentes sur l’efficacité du curriculum.              de l’atelier.
Piloter un Curriculum: Evaluer l’EfficacitE d’une Nouvelle Formation                                                                PAGE 5

  Evaluation du Matériel du Curriculum par le               Evaluation du Matériel du Curriculum par
  Facilitateur                                              l’Observateur
  L’évaluation pilote devrait comprendre des                L’observateur joue un rôle essentiel dans le
  critiques structurées et systématiques de la part         processus d’évaluation pilote du curriculum. Puisque
  des formateurs ayant recours au curriculum et le          les observateurs ne sont pas impliqués de façon
  support matériel de la formation. Cette évaluation        directe au déroulement de l’atelier, ils sont capables
  devrait inclure l’expérience des formateurs dans la       de surveiller de près les différents composants tels
  manipulation du matériel, leurs critiques en ce qui       que l’utilisation de matériels par les formateurs et
  concerne l’exactitude et le caractère approprié du        les participants, l’interaction entre participants et
  contenu, leurs suggestions par rapport aux activités,     formateurs et enfin le niveau d’engagement des
  histoires, études de cas et des exemples pouvant          participants. Il est également possible de leurs
  être intégrés aux versions futures du curriculum.         demander de prendre en note des histoires, cas
                                                            et exemples mentionnés par les formateurs pour
  Outil n°1: Evaluation écrite                              les incorporer au curriculum et de donner leur
    Une évaluation écrite devrait être complétée            appréciation général pour chaque session.
    par chaque facilitateur et ceci à la fin de chaque
    session qu’il a facilité. Ce formulaire d’évaluation
    devrait demander au facilitateur de commenter
    ce qui a été réussi et ce qui a échoué lors de la
    session. L’évaluation peut également demander
    au facilitateur de commenter de manière
    spécifique comment il a utilisé le manuel du
    facilitateur et les diapositives pour cette session
    en particulier. Bien que ceci semble représenter
    beaucoup de travail supplémentaire de la part
    des facilitateurs, remplir une évaluation après
    chaque session de formation reste un acte
    essentiel pour recueillir leurs propres pensées et
    appréciations quand elles sont encore fraîches
    dans leurs esprits.

  Outil n°2: Réunions de compte-rendu quotidiennes
    Les formateurs et observateurs (Cf. section qui
    suit) devraient tenir une réunion de compte-
    rendu brève à la fin de chaque journée. Le but de
    ces comptes-rendus est de discuter des activités
    menées le jour même (ce qui a été réussi, ce qui
    mérite d’être modifié/amélioré) ainsi que de se
    préparer pour la journée suivante. Un formulaire
    rudimentaire peut être utilisé pour mener la
    discussion et une personne chargée de la prise
    de note devrait être désignée pour s’assurer que
    les points clés soient retenus. Les réunions de
    débriefe peuvent être extrêmement efficaces
    pour identifier les défis ou inquiétudes par rapport
    au curriculum ainsi que les stratégies à adopter       Les formateurs et les observateurs devraient tenir une réunion de débriefe à
    pour répondre à ces derniers.                          la fin de chaque journée.
Piloter un Curriculum: Evaluer l’EfficacitE d’une Nouvelle Formation                                                        PAGE 6

  L’observateur peut prendre des notes directement                 Révision du Curriculum
  sur son exemplaire du manuel du facilitateur lors de
  la présentation de chaque session. Les observateurs              Après avoir complété l’évaluation pilote de la formation,
  devraient noter si une activité de groupe n’a pas bien           tout ce qui a été appris doit être passé en revue et
  fonctionné ou si le facilitateur a sauté une activité ou une     utilisé pour modifier le curriculum en conséquence.
  session en particulier. L’observateur peut également             Comme mentionné plus haut, il s’agit de la partie
  prendre note des activités ayant pris plus de temps              la plus importante de l’ensemble du processus
  que prévu ou celles ayant engendré des discussions               d’évaluation pilote. La première étape consiste à
  intéressantes sur des sujets importants par rapport              compiler et analyser toutes les données collectées.
  aux objectifs d’apprentissage du curriculum. Si les              Les pré- et post-tests devraient être notés et leurs
  participants semblent confus à certains moments                  résultats entrés dans une grille avec leurs questions
  de la session de formation, l’observateur peut noter             correspondantes; ceci permet de déterminer si
  précisément à quel moment cela s’est produit. De                 certaines parties du contenu ont été mal comprises
  même, si le facilitateur s’écarte du sujet du curriculum         par les participants (ceci implique que les pré- et post-
  pour éclaircir un point obscur, l’observateur devrait            tests ont été validés). Les résultats des évaluations
  également en prendre note.                                       remplies par les participants, résultats écrits et ceux
                                                                   provenant des discussions de groupes, devraient être
  Il est utile de développer un “Guide d’Observation” à            résumés et analysés pour identifier les thèmes clés
  remplir par l’observateur à la fin de chaque session de          et les défis rencontrés ainsi que les commentaires
  formation. Ce formulaire est un outil utile pour rappeler        récurrents sur ce qui a bien marché et ce qui n’a
  aux observateurs ce à quoi ils doivent être attentifs            pas fonctionné. Les critiques de l’observateur et du
  comme par exemple la planification de la session                 formateur sur des sessions en particulier devraient
  et la gestion du temps, l’utilisation des manuels                être compilées et classées dans un endroit déterminé
  du facilitateur et du participant, la participation de           et les appréciations pertinentes résultant des réunions
  l’auditoire et la qualité du contenu de la session.              de débriefe des formateurs devraient être résumées.

  Les observateurs devraient également participer aux              Après l’interprétation claire des données, l’étape
  réunions de débriefe journalières des facilitateurs              suivante consiste à réviser le curriculum et le support
  pour aborder ce qui a été réussi et les défis de                 additionnel basé sur les appréciations collectées.
  la session du jour et partager leurs observations.               Ce processus peut s’avérer laborieux selon le type
  Enfin, les observateurs devraient résumer leurs                  d’appréciations collectées; il est parfois nécessaire
  commentaires détaillés quotidiennement pour                      de hiérarchiser toutes les modifications suggérées
  les intégrer plus facilement lors du processus de                afin de répondre aux problèmes les plus importants,
  passage en revue du curriculum.                                  dans un premier temps, en fonction du temps et des

         Evaluer les Outils de Formation utilisés en dehors de la Classe

         Le curriculum devrait inclure des éléments pouvant être utilisés en dehors de la classe, comme par exemple
         lors de visites de terrain ou lors du monitorat. Il est possible de développer des outils spécifiques, comme les
         vidéos de scénarios à méditer afin d’améliorer le curriculum. Chacun de ses éléments supplémentaires devrait
         faire l’objet d’une évaluation individuelle par le biais d’un formulaire d’évaluation distinct ou des discussion
         de groupes avec les facilitateurs et les participants. Il est recommandé d’inclure des questions spécifiques
         à l’expérience et la manipulation de ces outils aux niveaux du formulaire d’évaluation finale à remplir par les
         participants, du guide d’observation et du formulaire d’appréciation à remplir par le facilitateur.
Piloter un Curriculum: Evaluer l’EfficacitE d’une Nouvelle Formation                                                                             PAGE 7

  ressources disponibles. Le processus de révision du                        S’assurer que la révision intègre les changements
  curriculum peut comprendre:                                                ou mises à jour des directives locales, régionales
                                                                             ou nationales pouvant s’avérer pertinentes pour le
  n M odification des diapositives et des manuels                           contenu de la formation.
  n Amélioration et développement des notes pour
     le facilitateur                                                         En cas de changements importants apportés au
  n Développer des activités et méthodologies                               curriculum lors du processus de révision, il est
     nouvelles telles que des études de cas                                  utile de mener une deuxième évaluation pilote.
  n Ajouter, enlever et restructurer le contenu                             Ceci implique la répétition des méthodologies
  n Réécrire les sections du manuel du facilitateur                         mentionnées dans ce document lors de la première
  n Simplifier le niveau de langue employé                                  présentation du curriculum révisé. Dans le cas
  n Ajouter un contenu clinique plus approfondi                             d’un curriculum technique étendu qui est censé
  n D évelopper des ressources supplémentaires                              être adopté régulièrement pour la formation des
     comme un Manuel de Référence pour le                                    membres du personnel en soins de santé, le temps
     Participant ou Guide de Poche                                           et l’énergie passés dans l’évaluation du curriculum
  n R econsidérer la durée de l’atelier ou prendre des                      seront au cours du temps payants en ayant pour
     décisions parfois difficiles sur les sujets pouvant                     résultat une formation plus efficace et des membres
     être abordés en fonction du temps disponible                            du personnel en soins de santé mieux préparés.
     pour la formation

     Remerciements

     Fonds
     Ce document a été développé grâce aux fonds de l’accord Coopératif U69HA00047 du Département de la Santé et des Services Humains
     des Etats-Unis, HRSA (ressources sanitaires et services administratifs américains) ; les auteurs de ce guide sont responsables de son
     contenu qui ne représente pas nécessairement les points de vue de HRSA.

     A propos d’I-TECH
     I-TECH est un programme de formation international dans le domaine du VIH, une collaboration entre l’Université de Washington (Seattle)
     et l’Université de Californie (San Francisco), travaillant à la demande de Ministères de la Santé et du gouvernement des Etats-Unis pour
     accroitre la capacité humaine et institutionnelle dans les domaines de la prévention, soins et traitements dans les pays les plus touchés
     par l’épidémie du SIDA. I-TECH fut créé en 2002 par HRSA en collaboration avec CDC (centres pour le contrôle et la prévention des
     maladies des Etats-Unis)

     I-TECH
     901 Boren Avenue, Suite 1100
     Seattle, Washington 98104
     USA
     www.go2itech.org

     © 2007 University of Washington.
     Tous droits réservés. Veuillez consulter I-TECH avant toutes reproductions, adaptations ou citations de ce guide.
Piloter un Curriculum: Evaluer l’EfficacitE d’une Nouvelle Formation                                                 PAGE 8

                                                                       Traduction française de la version de Mars 2007 ©I-TECH
Vous pouvez aussi lire
DIAPOSITIVES SUIVANTES ... Annuler