Les ECNi Pourquoi? Les problèmes - Pr Claire LE JEUNNE Chef du service de médecine interne Cochin Membre du Conseil Scientifique de l'internat DIU ...

Les ECNi
 Pourquoi? Les problèmes
 Pr Claire LE JEUNNE
Chef du service de médecine interne Cochin
Membre du Conseil Scientifique de l’internat
DIU de pédagogie médicale 26 janvier 2018

POURQUOI CETTE REFORME?

Pourquoi la réforme?
• Un classement non discriminant
 aux ECN 2012, 7658 étudiants ont été classés dans 350
 points entiers (3500 au début des ECN)
• Une logistique de plus en plus lourde et couteuse
 400 correcteurs sur 3 semaines ( 400 000 euros)
• Une docimologie limitée et contrainte
 110 items abordés sur les 360 du programme

→ il était indispensable
 de se libérer de la correction manuelle et
 de diversifier les épreuves

Médecine Odonto Maieutique Pharmacie

IdF 1779 =20%

Les attentes de la réforme

• améliorer la pertinence du classement,
• simplifier la logistique actuelle,
• diversifier les épreuves,
• harmoniser les chances de réussite.

 Qu’a-t-on proposé?

ECN i
 simplifier la logistique et diversifier les épreuves

• Les ECN informatisées ou ECN i :
épreuves réalisées sur support numérique avec
correction automatique.

• Le choix du support numérique c’est porté sur
 des tablettes tactiles

Les moyens
Les étudiants,
 – dans leur université respective,
 – composent les épreuves nationales communes,
 simultanément,
 – sur un support informatique standardisé.
• Grace à l’aide des TICE (Technologies de
 l'Information et de la Communication pour
 l'Enseignement)
• Epreuves gérées par le Centre National de
 Gestion CNG

SIDES : outil de préparation des étudiants
 aux ECN partagé par toutes les facultés
• SIDES est une plate-forme numérique nationale
 distribuée dans toutes les Facultés, dédiée à
 l'évaluation en ligne.
• constitue une base de données docimologiques
 nationale d'entraînement ouverte depuis
 novembre 2013.
• il s'agit d'un outil facultaire destiné à
 1. L’entrainement des étudiants
 2. la réalisation d'examens validant informatisés dans
 les UFR
 3. La préparation des étudiants aux ECNi.

Objectifs pédagogiques de la base
Tester :
1. des connaissances factuelles
2. la capacité à résoudre des problèmes cliniques
 simples
3. la capacité à résoudre des problèmes cliniques
 complexes dans des situations d’incertitude

nb: Les connaissances et compétences évaluées restent inchangées

Points forts attendus
• Diversification des contenus ( intelligences
 différentes) plus de chance pour tous

• Valorisation de l’apprentissage clinique en
 stage : souhait de nombreuses images et
 illustrations

• Correction automatique des épreuves

Diversification des épreuves
1. des dossiers cliniques progressifs (DCP)
2. des questions isolées (QI) :
 – QRU (Question à Réponse Unique),
 – QRM (Questions à Réponses Multiples)
3. Une épreuve de LCA ( 2 articles) sans le résumé
 les articles sont en anglais à partir de 2017

• A venir rentrée 2017 pour concours 2020
 – Tests de concordance de script ou TCS

Comment préparer les étudiants de
 DFASM
• chaque faculté de médecine s‘est équipée d'une
 plate-forme informatique commune dédiée à
 l'évaluation et à la préparation aux ECN.
• Cet outil s'intitule SIDES (Système Informatique
 Distribué d’Évaluation en Santé).
• Chaque Faculté est en mesure, via sa plate-forme
 SIDES d'assurer des examens informatisés
 utilisables tout au long du cursus médical.

Lien entre Banque locale et nationale
• Chaque Université est invitée à soumettre au
 niveau national des questions et dossiers
 validés obligatoirement ( passé en tant
 qu’examen à la faculté)

• Objectif : constituer une base de données
 docimologique nationale, validée mise à la
 disposition des étudiants comme support
 national d’entraînement couvrant rapidement
 tous les champs du programme

Adaptation de la docimologie
• les examens facultaires suivent les modalités
 ECN i afin de familiariser le plus possible les
 étudiants à cette docimologie (DCP, QI, LCA)

• Toute nouvelle modalité docimologique doit
 être introduite en DFA 1 et ne sera au concours
 que 3 ans plus tard

Rôle des experts

SIDES (Système Informatisé Distribué d’Évaluation en Santé (SIDE-Santé) : ensemble des
plate-formes facultaires et de leurs interactions

• Sous la direction de l'AUFEMO l'ensemble des
 services administratifs et informatiques des
 facultés de médecine s’ est mobilisé sur ce
 projet
• Les salles d'examens sont équipées à l'aide de
 bornes WiFi de grosse capacité (200
 connexions par borne).
• La faculté est équipée en tablettes tactiles
 dédiées aux épreuves informatisées.

Liens entre SIDES et ECNI

• Le référentiel pour les ECNi est le référentiel
 ECN modifié dans le cadre de la refonte du
 2ème cycle des études médicales (arrêté du 8-
 4-2013 - J.O. du 23-4-2013).

Répartition et Barèmes des différentes
 épreuves
• 70 % de la note sur les DP
• 20 % de la note sur les QI
• 10 % de la note sur la LCA
Les ECNi sont organisées sur 5 demi-journées.
Trois heures d'épreuves sont prévues par demi-
journée. Soit un total de 18 heures cumulées
d'épreuves.
Le barème total est sur 10 400 points.

• pour les DP sur 7000 points:
 30 minutes par DCP
 9 heures d’épreuve soit 18 DCP au total
 tout les dossiers ont la même valeur soit ~389 points par
 DCP
• pour les QI sur 2000 points
 1 demi-journée
 120 QI ( 1,5 minute/question)
 tout les QI ont le même valeur soit ~17 points par QI
• pour la LCA sur 1000 points
 1 demi-journée
 30 questions ayant toutes la même valeur soit ~33 points
 par question
 Deux articles scientifiques 500 points /dossier
 Article en anglais à partir de 2017

La correction des questions à réponses multiples est basée sur le
nombre de discordances entre les réponses de l'étudiant et la grille
de correction.
Les modalités sont celles de 1994 à 2004 pour les concours de
l'Internat où les QCM étaient déjà utilisés.
.
Les QRM à 5 items, sont notées entre 1 et 0.
0 discordance, l'étudiant a la note maximale soit 1.
1 discordance, la note passe à 0,5 sur 1.
2 discordances, la note passe à 0,2 sur 1.
3 discordances ou + la note est de zéro.

L'absence de réponse à une question entraîne zéro à la question

Exemple de discordance
Quelles sont les pathologies osseuses qui peuvent être des
complications de la corticothérapie ?

• Propositions et réponses Réponse de l’étudiant
 attendues
A. Ostéoporose × ×
B. Coxarthrose
C. Nécrose de la tête
 fémorale × 1 discordance
D. Ostéosarcome
E. Ostéomalacie × 2 discordances

 Résultat : 0,2 point

• Une Epreuve Test Nationale est prévue début
 mars 2018 cette année les sujets seront
 prélevés dans la banque d’entrainement SIDES
• Les facultés d’Ile de France organisent 3
 concours blanc
un a eu lieu en décembre : toutes les facultés
fournissent plusieurs DP

Comment construire un dossier
• chaque question doit être rattachée à au
 moins un item du référentiel du 2ème cycle
 des études médicales
• lier chaque question à une discipline clinique
 et/ou à un domaine de connaissances
 transversales
• enrichir leur contenu docimologique de
 commentaires complémentaires afin
 d'expliciter ou de commenter leur démarche.

Contraintes docimologiques
• Pour les QRM ou QRU
 Le nombre de propositions par question est exactement
 de 5
• Un dossier clinique progressif comporte au plus
 15 questions qui portent sur un énoncé de départ
 complété, le plus souvent, par de nouvelles
 données au fil des questions
 – Les questions sont de type QRU, QRM (ou QROC)
 – Les QRU ou QRM doivent obligatoirement être
 construites avec 5 propositions
 – Le nombre maximum de QROC par dossier est de 2

• Chaque question doit être pondérée 1, 2 ou 3.
 Cela permet de donner un poids relatif plus
 important à certaines questions au sein du
 dossier.
 – Contraintes sur les dossiers LCA (DLCA)
les mêmes que pour les DCP

ECNI 2017 : BILAN

Organisation du conseil scientifique au Ministère de l’ES

 Conseil scientifique
 8 membres
 Chacun supervise 2 ou 3
 groupes d’experts

 IPOMEN

 Groupe
 d’experts de la
 Secrétariat
 discipline

2 dossiers ont posé problème
• 1er dossier : fait par le groupe d’experts en
 rhumatologie dont l’expert Lyonnais qui avait
 mis ses dossiers revus pas le groupe

• 2° dossier :tiré au sort 2 fois dans l’urne

Les Questionnaires
 à Choix Multiples
 Pr Claire LE JEUNNE
Ex Membre du conseil scientifique de
 l’internat
Faculté de médecine Paris Descartes

 DIU Pédagogie médicale 26/01/2018

Définition
"une question à laquelle l’étudiant répond en
 opérant une sélection (au moins une)
 parmi plusieurs solutions proposées (au
 moins deux), chacune étant jugée (par le
 constructeur de l’épreuve) correcte ou
 incorrecte en soi et indépendamment de
 l’étudiant interrogé"
 Dieudonné LECLERC (Bruxelles – 1986)
mesure la capacité à reconnaître une « bonne » réponse, pas à la produire.

AVANTAGES –
INCONVENIENTS ?

Avantages et limites de ce type d’évaluation

Avantages Limites

• La correction est rapide, • La conception d’un bon
 beaucoup plus que dans le cas questionnaire demande du
 d’une évaluation classique temps
• La correction est objective et • Une réponse exacte peut être
 fidèle due au hasard
• Le champs d’évaluation est
 vaste • Un questionnaire ne permet
• La constitution progressive pas de tester la capacité à
 d’une banque de questions rédiger, à créer, ou à produire
 permet de faciliter l’élaboration des raisonnements complexes
 ultérieure de nouveaux
 questionnaires

Inconvénients des QCM

• les questions sont
 difficiles à rédiger, • la complexité des
• les leurres sont questions « tirant dans
 les coins »
 complexes à concevoir
 • l’ambiguïté de certaines
• les étudiants répondent propositions,
 de mémoire à des
 questions mises à • ou le caractère discutable
 disposition dans une de certaines réponses.
 banque sans en
 comprendre la réponse

Qualités attendues d’une évaluation ?
Ajustement des questions en cours de route
Retour immédiat sur la compréhension de la question
Diagnostic fin quant à la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capacité à couvrir toute la matière
Temps de passation
Temps de correction
Simplicité de la correction
Valorisation d’une réaction rapide
Capacité à appréhender les processus mentaux de :
 -connaissance
 - compréhension
 - application
 - analyse
 - synthèse
 - évaluation
Capacité à appréhender la créativité
Capacité à appréhender les qualités rédactionnelles
Capacité à appréhender les compétences orales
Capacité à appréhender un raisonnement
Possibilité de feed-back rapide et précis
Risque de mémorisation d’informations erronées

Qualités attendues d’une évaluation : à propos des QCM
Ajustement des questions en cours de route -
Retour immédiat sur la compréhension de la question -
Diagnostic fin quant à la profondeur des connaissances +/-
Standardisation des consignes +
Standardisation des corrections +
Capacité à couvrir toute la matière +
Temps de passation +/-
Temps de correction +
Simplicité de la correction +
Valorisation d’une réaction rapide +
Capacité à appréhender les processus mentaux de :
- connaissance +
- compréhension +
- application +
- analyse +/-
- synthèse -
- évaluation -
Capacité à appréhender la créativité -
Capacité à appréhender les qualités rédactionnelles -
Capacité à appréhender les compétences orales -
Capacité à appréhender un raisonnement -
Possibilité de feed-back rapide et précis +/-
Risque de mémorisation d’informations erronées +

Recommandations pour la
 réalisation des QCM
• Travailler en équipe. La rédaction d’un
 questionnaire satisfaisant demande
 beaucoup de temps et d’imagination, le
 texte doit être parfaitement
 compréhensible et dénué de toute
 ambiguïté
• il est donc plus efficace de travailler en
 équipe.

Identifier les items de
 questionnement
• Dissocier la phase de conception du
 questionnaire de celle de sa réalisation
 technique, afin d’éviter une « surcharge
 cognitive » : il est souvent difficile de réfléchir
 simultanément au sens de la question et à la
 façon de la présenter.
• S’entendre d’abord sur l’ensemble des éléments
 à évaluer, puis sur les moyens d’évaluer chacun
 d’entre eux (en variant les stratégies et
 éventuellement le niveau de difficulté) et
• enfin sur la formulation et la présentation.

Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matière traitée
- traiter d’un seul sujet par question
-permettre de distinguer à quel degré l’élève a assimilé la
matière

il convient de veiller particulièrement à :

- l'univocité : le mot garde le même sens dans des
emplois différents
- la précision : le terme ne laisse place à aucune indécision
- la simplicité : le niveau de langage correspond à celui des
 étudiants
- l'honnêteté : on évitera d'introduire des notions non
 connues des étudiants

La formulation des questions
Les questions doivent
- Etre structurées en faisant une nette séparation entre tronc
et alternatives
- être précises en évitant le vague et les sous-entendus
- être concises en évitant tout ce qui est inutile pour identifier
l’alternative correcte:
- être intelligentes en évitant de fournir des moyens
techniques ou superficiels d’identifier l’alternative correcte ou
les alternatives fausses

 Le pH joue un rôle important dans l’estomac en réglant l’activité des enzymes
 de la digestion sécrétées par les glandes de la muqueuse interne.
 Ce pH est :
 □ basique
 □ acide
 □ neutre

Un item doit cibler une seule notion.
• L’énoncé doit être bref, non ambigu, précis et complet.
• Éviter les propositions sous la forme négative.
• Alterner des questions visant différents types de compétences
(restitution de connaissances, compréhension, analyse, logique,
observation, etc.).
• Les propositions doivent avoir le même degré de vraisemblance.
• Au sein d’un même item, les propositions doivent avoir des longueurs
comparables.
• Pour diminuer l’effet du hasard on peut proposer des réponses du type
 aucune réponse n’est correcte ou
 L’énoncé est incomplet…….

Ce qu’il ne faut pas faire

Il faut éviter les formulations ambiguës telles que les formes
négatives ou a fortiori les doubles négations :
 Dans quel cas la fièvre est absente ?
 Dans quel cas il n’y pas d’apyrexie ?

On préfèrera
 Dans quel cas la température est normale ?

Si la vignette est :

A propos de la péritonite appendiculaire quelles sont les
propositions exactes ?
On notera que la thématique est très générale voire vague, de
sorte que les propositions seront disparates.

 En revanche :
Quels sont les arguments cliniques en faveur d’une sténose
hypertrophique du pylore ?
Cette formulation est beaucoup plus fermée et permettra de
focaliser les propositions de réponse sur la même thématique

Syntaxe
 Structure de la phrase
• Les phrases doivent être aussi courtes que
 possible, dans la vignette, mais aussi dans les
 propositions de réponses.
• Il faut veiller à ce que la structuration de chaque
 proposition de réponse soit identique pour une
 QCM donnée. Toute variation dans la forme ou
 dans l’usage de négation constituera des pièges
 ou des indicateurs pour l’étudiant. Il identifiera
 une proposition donnée non pas pour son
 contenu mais pour sa forme.

Vocabulaire
 Champ lexical
• Les mots utilisés ne doivent pas être
 ambigus ni appartenir à un champ lexical
 autre que celui qui est requis pour nos
 candidats.
• Ne pas chercher à piéger le candidat sur
 l’ambiguïté d’un mot plus qu’à évaluer sa
 connaissance.

Adverbes et formes adverbiales
• Certains adverbes portent en eux une indication
 de fréquence. Il est donc important, si l’on
 souhaite y recourir de rappeler en début
 d’examen la valeur sémantique de chaque
 adverbe :
 – Classiquement : > 90% des cas
 – Typiquement, Habituellement : >60% des cas
 – Souvent, Parfois, Peut… > 30% des cas
 – Est associé à …, est le traitement de choix…, peut
 être vu…, peut être causé par… sont autant de
 formes adverbiales qui ne portent pas en elle
 d’indication de fréquence significative.

Choix des leurres
 Nombre de leurres

• Une bonne QCM doit en règle comporter 4 leurres et une seule
 bonne réponse, au moins pour une évaluation sanctionnante dont
 l’objectif est la validation d’une connaissance.

• Les QCM pour lesquels plusieurs bonnes réponses sont attendues
 doivent être utilisés avec parcimonie.

• Si 3 bonnes réponses sont attendues, la valeur de chacune est
 rarement équivalente, une d’elle est souvent plus rare, moins
 réaliste, plus discutée…

• La multiplication des bonnes réponses possibles dans un QCM
 diminue la valeur discriminante.

• Une seule bonne réponse limite les choix liés au seul hasard

CHOIX DES LEURRES

• Le choix de 4 leurres est une contrainte
 reconnue par tout enseignant s’étant déjà prêté
 à l’exercice de la rédaction de QCM.
 – 1. Le leurre doit être réaliste : son exclusion
 ne doit pas être évidente ou relever d’un
 travail de déduction plus qu’un appel aux
 connaissances.
 – 2. le leurre ne doit comprendre qu’un
 message au risque d’entraîner le doute ou la
 confusion.

CHOIX DES LEURRES

• 3. Le leurre doit être autant que possible recruté
 dans le même domaine que la bonne réponse
 (options cliniques, options para cliniques,
 options thérapeutiques…).
• 4. Si des unités de mesures sont utilisées, il ne
 faut pas chercher à piéger le candidat par des
 unités différentes.
• 5. Enfin, mais c’est une évidence, le leurre doit
 être faux de façon indiscutable et consensuelle.

Les alternatives doivent être
- approximativement de même forme , de même longueur(restreinte) et de même
degré de complexité.
- également plausibles pour un élève non averti
- en nombre restreint
- sans artifices logiques
- disjointes, c.à.d. il faut qu’elles ne se recoupent pas
- distribuées au hasard, c.à.d. que les alternatives vraies ne doivent pas
toujours occuper la même place.

 Dans la réalisation de la structure tertiaire des protéines
 □ n’interviennent pas les acides aminés
 □ il serait faut de prétendre que les acides aminés ne jouent aucun rôle
 □ quelques acides aminés ne peuvent pas participer

Comment différentier les choix dus au
 hasard?
augmenter le nombre de distracteurs afin de réduire les
chances de trouver la bonne réponse au hasard ;

- retirer des points en cas de réponse incorrecte, de manière
 à décourager certains « parieurs » (ex. : -1 en cas de
 mauvaise réponse) et/ou valoriser l’omission (cf. les
 différents barèmes aux pages 5 et 6) ;

- demander à l’étudiant de préciser, pour chacune de ses
réponses, le degré de certitude avec lequel il a opéré son
choix et en tenir compte dans la notation

•Éviter de donner dans un item la réponse à un autre item
du questionnaire.

• Varier la position de la(des) bonne(s) réponse(s).

• Éviter les situations où l’étudiant peut être tenté de s’en
remettre au hasard.

• Plusieurs items de difficulté variée permettent d’évaluer le
degré d’acquisition d’une notion.

• Pour rédiger des distracteurs crédibles, on peut s’aider des
mauvaises réponses les plus fréquemment observées chez
les étudiants.

• Éviter une différence entre deux distracteurs fondée sur
une infime nuance.

Tester le questionnaire

Le questionnaire doit être testé par des collègues ou par des
étudiants, pour affiner
 la rédaction,
 la notation et

estimer le temps nécessaire pour y répondre.
 en général 1,5 minutes par QCM

Durée d’exposition à la QCM

• il faut prévoir un temps de composition pour
 chaque.
• En moyenne on retient le principe d’une QCM
 par minute.
• Mais il est possible de prévoir que certaines
 QCM portant sur des connaissances « basiques
 » doivent être achevées en 30 secondes et que
 d’autres pour lesquelles la lecture de la vignette
 ou des propositions de réponse est longue
 requièrent 3 minutes de réflexion.

L’énoncé sera formulé, sous une forme
Un oeil presbyte positive et interrogative.
a. voit mal de loin
b. voit mal de près Aucun de ces gaz n’est un gaz organique,
c. doit toujours être corrigé sauf un. Lequel ?
d. ne doit être corrigé que pour la a. dioxyde de chlore (ClO2)
 vision proche b. acide sulfhydrique (H2S)
e. Aucune réponse n’est exacte c. amoniac (NH3)
 d. acétone (CH3COCH3)
 e. Méthane (CH4)

Jean-Baptiste Lully
a. était chargé de la direction « des petits
violons »
b. est mort de la gangrène
c. était l’ennemi de Molière
d. était le compositeur de Louis XIV
e. menait ses musiciens à la baguette

Check List de vérification lors de la rédaction d’un QCM
R1 : la question mesure un objectif important d’apprentissage et se
rapporte au référentiel
R2 :l’énoncé est composé d’une phrase, d’une courte histoire clinique ,
d’une iconographie
R3 : l’enoncé présente un seul problème à résoudre
R4: l’enoncé utilise un langage simple et clair sans ambiguité , ni jugement
de valeur
R5 :l’énoncé est formulé à la forme affirmative ou interrogative
R6: les propositions sont au nombre de 5
R7: la bonne réponse ressemble aux autres
R8: propositions homogènes dans leur forme , leur contenu , leur structure
grammaticale
R9 : les propositions ne sont pas synonymes ne se chevauchent pas
R10: tous les distracteurs sont plausibles
R11: les propositions indispensables sont précisées
R 12 : suivent les conseils typographiques A à E pas de majuscule

Conclusion

La technique de rédaction des QCM est cruciale, parce
qu’elle doit permettre de décerner jusqu’à quel degré l’élève
a atteint les objectifs fixés.

Des QCM mal faits ou mal cotés ne peuvent faire cette
évaluation.
- Elle est difficile parce qu’il s’agit d’un travail qui demande de
la patience, de la compétence, de la méfiance, de la faculté
d’anticiper et de se mettre au niveau de celui qui apprend. En
outre l’évaluation correcte des QCM pose des problèmes de
cotation difficiles à établir et à faire accepter.
-Les QCM sont de plus en plus souvent réalisés sur
ordinateur Il faudra probablement creuser ces pistes

Quelques références
 bibliographiques
• L’élaboration des questions à choix
 multiples avec Questy
 http://www.questy.fr/

Les attendus de Parcour Sup pour entrer en Paces

 Disposer de très bonnes connaissances et compétences scientifiques : capacité
à analyser et raisonner, faire preuve de logique, maîtriser des compétences en
physique, chimie, sciences de la vie et de la terre et mathématiques

 Disposer de très bonnes compétences en communication : savoir communiquer
à l’oral et à l’écrit, avoir des compétences en langue étrangère (notamment en
anglais)
 Disposer de très bonnes connaissances et compétences méthodologiques et
comportementales : être curieux et organisé

 Disposer de qualités d’engagement importantes (face à la difficulté de la Paces)

 Disposer de qualités humaines d’empathie, de bienveillance et d’écoute

Définir un système de notation
• Pour cela il faut s’interroger sur les points suivants afin de fixer des règles
qui devront être précisées clairement au début du questionnaire :

- Peut-il y avoir une ou plusieurs bonnes réponses par item (dans le cas de
choix multiples)?
-Comment valorise-t-on les réponses exactes ?
-Attribue-t-on une pénalité en cas de réponse erronée ?
- L’absence de réponse entraîne-t-elle une pénalité ? (pour inciter l’étudiant à
se prononcer)
• Toutes les réponses exactes peuvent être valorisées de manière identique,
ou bien leur valeur peut être pondérée suivant l’importance relative des
éléments évalués.

• Les réponses erronées tout comme les réponses absentes peuvent être
ignorées ou bien générer des pénalités, qui peuvent être fixes ou variables
selon les questions.

Certaines réponses erronées peuvent même dans certaines évaluations
sommatives être éliminatoires.

Modes de pondération
• Mode binaire :le plus couramment utilisé
 – Bonne réponse =1 point,
 – Toute autre réponse = 0 point
• Au prorata : d’autant plus de points que
 de bonnes réponses.
 – Deux bonnes réponses (sur 2) = 1 point
 – Une bonne réponse = ½ point
 – Aucune bonne réponse = 0 point
 – Problème des points négatifs

Cotation variable en fonction du niveau de
 difficulté
 – au niveau de la question : une QCM difficile ne
 comptera que pour 1 point ; une QCM portant sur un
 thème essentiel comptera pour 3 points

 – au sein même de la question : le choix d’un leurre
 jugé inacceptable pourra provoquer un 0 à la question
 ; le choix d’une des deux bonnes réponses attendues
 pourra rapporter 0,75 point, alors que le choix de
 l’autre, jugée moins importante ne rapportera que
 0,25 point.

Réutilisation des épreuves ?
• Il est classique, en France, de laisser aux candidats le
 loisir de conserver à l’issue de l’épreuve la listes des
 questions posées. Cette pratique a des effets délétères
 à plusieurs titres :
 – Les candidats créent des banques de QCM qui permettent
 aux générations qui les suivent un apprentissage avant l’épreuve
 forcément bénéfique. Parfois, on observe malheureusement que
 les étudiants apprennent par coeur la bonne réponse à des
 QCM incomprises.
 – Les banques étudiantes « épuisent » les enseignants qui ne
 sont pas en mesure de produire pour chaque nouvel examen un
 nombre assez élevé de nouvelles QCM de bonne qualité.
 – La sortie régulière de la même question fait bien sûr perdre la
 valeur du taux de bonnes réponses si elle est attendue par les
 étudiants.

• chaque année les épreuves de QCM
 doivent comporter au moins 60% de
 questions nouvelles,
• le renouvellement peut porter sur
 – un leurre
 – une bonne proposition,
 – la formulation de la vignette…

Questions d’ancrage

• A contrario, il est nécessaire de faire usage chaque
 année d’un quota (10% à 30%) de questions d’ancrage
 déjà validées, déjà utilisées et pour lesquelles la
 performance des étudiants est connue.
• Cette pratique permet de mesurer de façon comparative
 les différentes cohortes de candidats.
 – Si une cohorte a réalisé une performance faible, mais qu’elle a
 répondu comme les cohortes précédentes aux questions
 d’ancrage, c’est que l’épreuve était de niveau de difficulté
 supérieure à celle des années précédentes.
 – Si en revanche sa performance était aussi plus faible que les
 années précédentes sur les questions d’ancrage, c’est que le
 niveau de la promotion était inférieur à celui de ses aînés.