Piloter un Curriculum: Evaluer l'Efficacité d'une Nouvelle Formation
←
→
Transcription du contenu de la page
Si votre navigateur ne rend pas la page correctement, lisez s'il vous plaît le contenu de la page ci-dessous
G U I D E T E C H N I Q U E D ’ E X E C U T I O N N ° 3 , I - T E C H
Piloter un Curriculum:
Evaluer l’Efficacité d’une Nouvelle Formation
Les Guides Techniques d’Exécution d’I-TECH consistent en une série de brochures éducatives pratiques destinées à assister le
personnel et les partenaires dans leurs efforts de développement et maintien de programmes de qualité au niveau mondial.
Un programme de formation réussi requiert raison ou une autre, il est impossible de procéder
des éléments multiples à savoir des formateurs aux modifications du curriculum, il est alors inutile
expérimentés ayant une bonne compréhension du de compléter le processus d’évaluation pilote décrit
contenu du sujet, des participants à la formation ci-dessous.
disposant des connaissances de base nécessaires
et la motivation d’apprendre et enfin un curriculum Le processus dépeint dans ce guide afin de piloter
bien rédigé pour guider tout le monde au cours du un curriculum est approprié pour les curricula, de
processus. Mener des programmes de formation taille conséquente, destinés aux cours en classe
demande bien souvent beaucoup de temps de la pour lesquels des ressources significatives ont
part du personnel de formation, du temps passé en été investies. Ce type de procédé n’est pas aussi
dehors des heures de travail pour les participants, efficace en ce qui concerne les formations sur le
le montant des transports et le coût du logement terrain pour lesquelles les sujets de formation varient
journalier. Conduire l’évaluation pilote d’un curriculum selon la situation, ou dans le cas de curricula moins
est un aspect essentiel du contrôle de la qualité de structurés où des experts présentent des études
la formation et permet de s’assurer que le temps de cas ou leurs propres diapositives PowerPoint.
et l’investissement dédiés à la formation s’avèrent
payants. Ce guide offre une approche pour mener Se Préparer pour l’Evaluation Pilote
une telle évaluation.
L’évaluation pilote consiste en une estimation
Pourquoi Piloter un Curriculum? élargie conduite lorsqu’un curriculum, nouvellement
développé ou adapté, est utilisé pour la première
L’objectif du pilotage d’un curriculum est d’assurer fois au cours d’une formation. Les participants
l’efficacité du curriculum et de procéder aux devraient savoir qu’ils font partie d’une session
modifications nécessaires avant qu’il ne soit diffusé pilote d’un atelier de formation lors de leur invitation
ou utilisé à grande échelle. Piloter un curriculum et que des critiques ouvertes et honnêtes lors de
aide à localiser les sections d’un curriculum qui ce processus d’évaluation pilote sont attendues
fonctionnent bien et celles qui méritent d’être de leur part. Le fait d’insister sur l’importance
renforcées. Ce processus devrait comprendre de leurs appréciations (feedback en anglais) par
une évaluation compréhensive de l’efficacité et rapport au développement et l’amélioration de
l’utilité du curriculum dans l’atteinte des objectifs la formation incite généralement les participants
de formation du cours. Les informations recueillies à remplir par écrit les formulaires d’évaluation de
lors de l’évaluation pilote sont ensuite utilisées manière détaillée et de participer activement aux
pour renforcer et améliorer le contenu du cours, discussions de groupes au sujet de leur expérience
du matériel et des stratégies de lancement pour la de formation. Lors de la première journée d’atelier,
version suivante du curriculum. les formateurs devraient mentionner que les
activités d’évaluation seront plus poussées que
L’évaluation pilote est efficace uniquement si vous d’habitude car il s’agit d’une évaluation pilote ; ils
disposez des ressources nécessaires, du temps devraient ainsi expliquer clairement les activités
et de l’aptitude à réviser le curriculum en fonction d’évaluation qui vont être menées.
des résultats d’évaluation du pilotage. Si, pour unePiloter un Curriculum: Evaluer l’EfficacitE d’une Nouvelle Formation PAGE 2
Il est également essentiel d’informer au préalable évaluation pilote, il est primordial que tous les
les formateurs qu’il s’agit d’une évaluation pilote du formateurs suivent de très près le curriculum piloté.
curriculum. Certains formateurs peuvent avoir été Tous les formateurs devraient recevoir des copies
amenés à présenter un matériel similaire auparavant du curriculum bien avant le début de l’atelier pour
et disposent peut-être de leurs propres présentations avoir l’opportunité de passer en revue les sessions
qu’ils ont l’habitude de présenter. Dans le cas d’une qui leurs sont attitrées.
Domaines à Evaluer lors du Pilotage
L’évaluation d’un curriculum pilote devrait comporter les méthodes d’enseignement, la pertinence du
contenu, le matériel utilisé, les défis et la gestion du temps et l’efficacité générale de la formation. Ci-
dessous se trouvent des questions clés auxquelles il faudrait répondre au cours de l’évaluation:
Méthodes d’Enseignement
n Les méthodes d’enseignement utilisées lors de la formation (exposé, discussion, travail en groupe,
etc.) ont-elles réussi à accroitre les connaissances et la compréhension du participant?
n Quelles sont les méthodes les plus efficaces?
n Quelles sont les méthodes qui n’ont pas marché et méritent d’être modifiées?
Contenu
La session pilote ne consiste pas au temps passé à examiner l’exactitude du contenu clinique. Le
curriculum devrait avoir été revu techniquement parlant avant d’être piloté pour s’assurer que le contenu
soit juste d’un point de vue clinique et reflète les directives actuelles.
n La complexité et l’étendue du contenu sont-elles appropriées par rapport à l’auditoire?
n L e curriculum est-il facile ou difficile à lire?
n L es sujets pertinents ont-ils été couverts?
n E xiste-t-il d’autres sujets à aborder?
n Existe-t-il des anecdotes, exemples, cas mentionnés lors de l’atelier pouvant être intégrés au
curriculum?
Matériel
n Le matériel est-il facile à utiliser à la fois pour les formateurs et les participants?
n Les formateurs ont-ils utilisé tout le matériel à leur disposition ? (diapositives PowerPoint, brochures,
fiches techniques)
n Les participants se sont-ils référés au matériel?
n Existe-t-il d’autres matériels et ressources pouvant améliorer la formation?
Efficacité
n Les participants ont-ils acquis les compétences et connaissances attendues de la formation? Si cela
n’est pas le cas, quels sont les domaines à améliorer?
Planification et Gestion du Temps
n Le temps dédié aux activités individuelles est-il trop important ou manquant?
n Le temps dédié à l’ensemble de l’atelier est-il trop important ou manquant?Piloter un Curriculum: Evaluer l’EfficacitE d’une Nouvelle Formation PAGE 3
rapport à l’atelier (qu’est-ce qui a bien fonctionné?
qu’est-ce qu’ils estiment avoir appris? qu’est-ce
qu’ils n’ont pas compris? Comment vont-ils mettre
en pratique ce qu’ils ont appris lors de l’atelier dans
leurs milieux professionnels?) et la mesure des
objectifs telle que le changement de connaissances
et/ou compétences résultant de l’atelier. Ci-dessous
se trouvent des outils spécifiquement développés
pour la collecte des appréciations des participants :
Outil n°1: Evaluations écrites quotidiennes
Il s’agit d’une évaluation quotidienne à remplir
par les participants à la fin de chaque journée
de l’atelier visant à collecter les réactions à
chaud des participants au sujet de l’atelier et des
Les feedbacks des participants doivent inclure leurs réponses personnelles activités. Un formulaire d’évaluation journalière
par exemple sur ce qui a bien marché, la mesure des objectifs ou encore un devrait être bref et facile à compléter pour
changement de connaissances.
éviter d’ennuyer les participants. En général,
les évaluations quotidiennes se contentent de
La présence d’au moins un observateur est
demander aux participants ce qu’ils ont aimé et
nécessaire tout au long de la formation. L’observateur
n’ont pas aimé lors de la session du jour. Puisqu’il
est bien souvent impliqué dans le développement
s’agit d’un pilotage, il est recommandé d’inclure
du curriculum, mais ceci n’est pas obligatoire. S’il
des questions portant sur les connaissances
est impossible de trouver une personne ayant
spécifiques au contenu abordé lors de la journée
participé au développement du curriculum pour le
pour vérifier si les participants ont assimilé les
pilotage, une personne sachant écouter et observer
thèmes clés de la journée.
et ayant une bonne connaissance de la conception
du curriculum peut servir d’observateur. Le rôle de
Les données des formulaires d’évaluation
l’observateur est décrit plus en détails ci-après.
journalière n’ont habituellement pas besoin d’être
enregistrées et analysées de façon rigoureuse ; au
Mener l’Evaluation
contraire, les formateurs devraient passer en revue
L’évaluation d’une session pilote d’un nouveau les formulaires pour en dégager simplement les
curriculum devrait comprendre les appréciations de tendances générales. Par exemple, si une session
trois groupes clés pour une perspective triangulaire en particulier est moins bien classée que d’autres,
différente des données et de l’évaluation de la ceci demande une recherche plus approfondie pour
formation: participants, facilitateurs/formateurs de en déterminer la raison. L’évaluation journalière
l’atelier et observateurs. devrait également inclure une question concernant
les informations qui n’ont pas été comprises par les
Evaluation du Matériel du Curriculum par le participants afin que les formateurs puissent clarifier
Participant toutes incompréhensions lors de la formation, le
L’objectif pour mener une formation est d’améliorer jour suivant.
l’aptitude des participants dans un domaine défini
en particulier. L’appréciation du participant sur Outil n°2: Evaluation écrite finale
l’atelier est par conséquent un élément essentiel Les participants devraient remplir une évaluation
du processus d’évaluation de l’efficacité d’un écrite finale à la fin de la dernière journée de
curriculum. L’appréciation des participants devrait l’atelier. L’évaluation permet aux participants de
comprendre leurs réponses personnelles par prendre du recul et réfléchir sur les connaissancesPiloter un Curriculum: Evaluer l’EfficacitE d’une Nouvelle Formation PAGE 4
et compétences acquises lors de la formation Il est important de se montrer prudent lors de
dans le contexte de l’ensemble de l’atelier. Ceci l’interprétation des résultats des pré- et post-
est bien souvent l’occasion de collecter des tests en ce qui concerne leurs conséquences par
informations différentes de celles collectées rapport au curriculum. Les pré- et post-test doivent
lors des évaluations journalières, étant donné également être pilotés afin de déterminer leur
que le matériel incompris ou créant confusion pertinence. Par exemple, une hausse significative
lors de la Journée n°2 peut s’avérer clair au de la note entre le pré-test et le post-test peut
bout de la Journée n°5. Une évaluation finale indiquer que l’atelier a atteint ses objectifs et que
permet également aux participants de réfléchir le curriculum est efficace; cependant l’absence
aux points essentiels d’apprentissage à travers de hausse significative entre les notes obtenues
l’ensemble de l’atelier et évaluer dans quelle demande une analyse et interprétation plus
mesure ils pourront utiliser ce qu’ils ont appris approfondies. L’absence de changement ou une
une fois de retour dans leurs milieux de travail. baisse des notes peuvent démontrer des tests mal
conçus plutôt qu’un problème relatif au curriculum.
Outil n°3: Discussion de groupe ciblé
Les discussions de groupe avec les participants en Une méthode simple pour juger de la pertinence
fin d’atelier peuvent être une méthode efficace pour d’un test consiste à discuter des réponses du test
obtenir des appréciations au sujet de l’atelier et du lors de la formation et après que les participants
curriculum. La méthode de discussion de groupe aient complété leurs propres tests. Ceci permet
encourage des associations pouvant engendrer aux facilitateurs de déterminer si les questions
des discussions riches évoquant des informations sont mal comprises ou s’il existe des fossés entre
différentes de celles formulées sous forme les différents sujets abordés lors de la formation.
rédactionnelle. Ceci permet également d’obtenir Se référer au Guide Technique d’Exécution N°2
les appréciations de personnes qui se sentent plus (Guidelines for Pre- and Post-Testing) d’I-TECH pour
à l’aise pour s’exprimer à l’oral qu’à l’écrit. plus d’informations sur la conception, la validation
et l’interprétation des pré- et post-tests.
Les participants devraient être séparés par
groupe de discussion d’environ 6 à 8 individus.
Les formateurs devraient identifier les individus
qui ne sont pas directement impliqués dans
l’atelier pour faciliter les discussions de groupe et
pour prendre des notes. Un guide de discussion
de groupe devrait être élaboré et utilisé afin
d’organiser la discussion sans pour autant limiter
ou restreindre la discussion. Les thèmes clés
émergeant des groupes de discussion devraient
être identifiés et résumés. Se référer au Guide
Technique d’Exécution N°1 (Organizing and
Conducting Focus Groups) d’I-TECH pour plus
d’informations sur les discussions de groupes.
Outil n°4: Pré- et post-tests
Le but des pré- et post-tests est de fournir une
mesure objective des changements en matière de
connaissances et /ou compétences acquises lors de
la formation, et sert ainsi à fournir des informations
Les participants doivent remplir une évaluation écrite à la fin du dernier jour
pertinentes sur l’efficacité du curriculum. de l’atelier.Piloter un Curriculum: Evaluer l’EfficacitE d’une Nouvelle Formation PAGE 5
Evaluation du Matériel du Curriculum par le Evaluation du Matériel du Curriculum par
Facilitateur l’Observateur
L’évaluation pilote devrait comprendre des L’observateur joue un rôle essentiel dans le
critiques structurées et systématiques de la part processus d’évaluation pilote du curriculum. Puisque
des formateurs ayant recours au curriculum et le les observateurs ne sont pas impliqués de façon
support matériel de la formation. Cette évaluation directe au déroulement de l’atelier, ils sont capables
devrait inclure l’expérience des formateurs dans la de surveiller de près les différents composants tels
manipulation du matériel, leurs critiques en ce qui que l’utilisation de matériels par les formateurs et
concerne l’exactitude et le caractère approprié du les participants, l’interaction entre participants et
contenu, leurs suggestions par rapport aux activités, formateurs et enfin le niveau d’engagement des
histoires, études de cas et des exemples pouvant participants. Il est également possible de leurs
être intégrés aux versions futures du curriculum. demander de prendre en note des histoires, cas
et exemples mentionnés par les formateurs pour
Outil n°1: Evaluation écrite les incorporer au curriculum et de donner leur
Une évaluation écrite devrait être complétée appréciation général pour chaque session.
par chaque facilitateur et ceci à la fin de chaque
session qu’il a facilité. Ce formulaire d’évaluation
devrait demander au facilitateur de commenter
ce qui a été réussi et ce qui a échoué lors de la
session. L’évaluation peut également demander
au facilitateur de commenter de manière
spécifique comment il a utilisé le manuel du
facilitateur et les diapositives pour cette session
en particulier. Bien que ceci semble représenter
beaucoup de travail supplémentaire de la part
des facilitateurs, remplir une évaluation après
chaque session de formation reste un acte
essentiel pour recueillir leurs propres pensées et
appréciations quand elles sont encore fraîches
dans leurs esprits.
Outil n°2: Réunions de compte-rendu quotidiennes
Les formateurs et observateurs (Cf. section qui
suit) devraient tenir une réunion de compte-
rendu brève à la fin de chaque journée. Le but de
ces comptes-rendus est de discuter des activités
menées le jour même (ce qui a été réussi, ce qui
mérite d’être modifié/amélioré) ainsi que de se
préparer pour la journée suivante. Un formulaire
rudimentaire peut être utilisé pour mener la
discussion et une personne chargée de la prise
de note devrait être désignée pour s’assurer que
les points clés soient retenus. Les réunions de
débriefe peuvent être extrêmement efficaces
pour identifier les défis ou inquiétudes par rapport
au curriculum ainsi que les stratégies à adopter Les formateurs et les observateurs devraient tenir une réunion de débriefe à
pour répondre à ces derniers. la fin de chaque journée.Piloter un Curriculum: Evaluer l’EfficacitE d’une Nouvelle Formation PAGE 6
L’observateur peut prendre des notes directement Révision du Curriculum
sur son exemplaire du manuel du facilitateur lors de
la présentation de chaque session. Les observateurs Après avoir complété l’évaluation pilote de la formation,
devraient noter si une activité de groupe n’a pas bien tout ce qui a été appris doit être passé en revue et
fonctionné ou si le facilitateur a sauté une activité ou une utilisé pour modifier le curriculum en conséquence.
session en particulier. L’observateur peut également Comme mentionné plus haut, il s’agit de la partie
prendre note des activités ayant pris plus de temps la plus importante de l’ensemble du processus
que prévu ou celles ayant engendré des discussions d’évaluation pilote. La première étape consiste à
intéressantes sur des sujets importants par rapport compiler et analyser toutes les données collectées.
aux objectifs d’apprentissage du curriculum. Si les Les pré- et post-tests devraient être notés et leurs
participants semblent confus à certains moments résultats entrés dans une grille avec leurs questions
de la session de formation, l’observateur peut noter correspondantes; ceci permet de déterminer si
précisément à quel moment cela s’est produit. De certaines parties du contenu ont été mal comprises
même, si le facilitateur s’écarte du sujet du curriculum par les participants (ceci implique que les pré- et post-
pour éclaircir un point obscur, l’observateur devrait tests ont été validés). Les résultats des évaluations
également en prendre note. remplies par les participants, résultats écrits et ceux
provenant des discussions de groupes, devraient être
Il est utile de développer un “Guide d’Observation” à résumés et analysés pour identifier les thèmes clés
remplir par l’observateur à la fin de chaque session de et les défis rencontrés ainsi que les commentaires
formation. Ce formulaire est un outil utile pour rappeler récurrents sur ce qui a bien marché et ce qui n’a
aux observateurs ce à quoi ils doivent être attentifs pas fonctionné. Les critiques de l’observateur et du
comme par exemple la planification de la session formateur sur des sessions en particulier devraient
et la gestion du temps, l’utilisation des manuels être compilées et classées dans un endroit déterminé
du facilitateur et du participant, la participation de et les appréciations pertinentes résultant des réunions
l’auditoire et la qualité du contenu de la session. de débriefe des formateurs devraient être résumées.
Les observateurs devraient également participer aux Après l’interprétation claire des données, l’étape
réunions de débriefe journalières des facilitateurs suivante consiste à réviser le curriculum et le support
pour aborder ce qui a été réussi et les défis de additionnel basé sur les appréciations collectées.
la session du jour et partager leurs observations. Ce processus peut s’avérer laborieux selon le type
Enfin, les observateurs devraient résumer leurs d’appréciations collectées; il est parfois nécessaire
commentaires détaillés quotidiennement pour de hiérarchiser toutes les modifications suggérées
les intégrer plus facilement lors du processus de afin de répondre aux problèmes les plus importants,
passage en revue du curriculum. dans un premier temps, en fonction du temps et des
Evaluer les Outils de Formation utilisés en dehors de la Classe
Le curriculum devrait inclure des éléments pouvant être utilisés en dehors de la classe, comme par exemple
lors de visites de terrain ou lors du monitorat. Il est possible de développer des outils spécifiques, comme les
vidéos de scénarios à méditer afin d’améliorer le curriculum. Chacun de ses éléments supplémentaires devrait
faire l’objet d’une évaluation individuelle par le biais d’un formulaire d’évaluation distinct ou des discussion
de groupes avec les facilitateurs et les participants. Il est recommandé d’inclure des questions spécifiques
à l’expérience et la manipulation de ces outils aux niveaux du formulaire d’évaluation finale à remplir par les
participants, du guide d’observation et du formulaire d’appréciation à remplir par le facilitateur.Piloter un Curriculum: Evaluer l’EfficacitE d’une Nouvelle Formation PAGE 7
ressources disponibles. Le processus de révision du S’assurer que la révision intègre les changements
curriculum peut comprendre: ou mises à jour des directives locales, régionales
ou nationales pouvant s’avérer pertinentes pour le
n M odification des diapositives et des manuels contenu de la formation.
n Amélioration et développement des notes pour
le facilitateur En cas de changements importants apportés au
n Développer des activités et méthodologies curriculum lors du processus de révision, il est
nouvelles telles que des études de cas utile de mener une deuxième évaluation pilote.
n Ajouter, enlever et restructurer le contenu Ceci implique la répétition des méthodologies
n Réécrire les sections du manuel du facilitateur mentionnées dans ce document lors de la première
n Simplifier le niveau de langue employé présentation du curriculum révisé. Dans le cas
n Ajouter un contenu clinique plus approfondi d’un curriculum technique étendu qui est censé
n D évelopper des ressources supplémentaires être adopté régulièrement pour la formation des
comme un Manuel de Référence pour le membres du personnel en soins de santé, le temps
Participant ou Guide de Poche et l’énergie passés dans l’évaluation du curriculum
n R econsidérer la durée de l’atelier ou prendre des seront au cours du temps payants en ayant pour
décisions parfois difficiles sur les sujets pouvant résultat une formation plus efficace et des membres
être abordés en fonction du temps disponible du personnel en soins de santé mieux préparés.
pour la formation
Remerciements
Fonds
Ce document a été développé grâce aux fonds de l’accord Coopératif U69HA00047 du Département de la Santé et des Services Humains
des Etats-Unis, HRSA (ressources sanitaires et services administratifs américains) ; les auteurs de ce guide sont responsables de son
contenu qui ne représente pas nécessairement les points de vue de HRSA.
A propos d’I-TECH
I-TECH est un programme de formation international dans le domaine du VIH, une collaboration entre l’Université de Washington (Seattle)
et l’Université de Californie (San Francisco), travaillant à la demande de Ministères de la Santé et du gouvernement des Etats-Unis pour
accroitre la capacité humaine et institutionnelle dans les domaines de la prévention, soins et traitements dans les pays les plus touchés
par l’épidémie du SIDA. I-TECH fut créé en 2002 par HRSA en collaboration avec CDC (centres pour le contrôle et la prévention des
maladies des Etats-Unis)
I-TECH
901 Boren Avenue, Suite 1100
Seattle, Washington 98104
USA
www.go2itech.org
© 2007 University of Washington.
Tous droits réservés. Veuillez consulter I-TECH avant toutes reproductions, adaptations ou citations de ce guide.Piloter un Curriculum: Evaluer l’EfficacitE d’une Nouvelle Formation PAGE 8
Traduction française de la version de Mars 2007 ©I-TECHVous pouvez aussi lire
