ÉVALUER EN CONTEXTE D'INCERTITUDE LE TEST DE CONCORDANCE DE SCRIPT - BERNARD CHARLIN, MD, PHD
←
→
Transcription du contenu de la page
Si votre navigateur ne rend pas la page correctement, lisez s'il vous plaît le contenu de la page ci-dessous
Évaluer en contexte d'incertitude Le test de concordance de script Bernard Charlin, MD, PhD Centre de pédagogie appliquée aux sciences de la santé (CPASS)
Test de concordance de script
(TCS)
Technique d’évaluation du raisonnement clinique, par
une simulation de situations comportant de
l’incertitude
Incertitude
Insuffisance de données cliniques
Au-delà de la médecine fondée sur les preuves
Évaluation standardisée
Même stimuli
Correction objectivePlan Les principes du test Les données de la recherche Applications En savoir plus
Approche du TCS
On présente à l'évalué une série de
problèmes cliniques brefs
Des nouveaux éléments d'information sont
présentés
On lui demande de prendre des décisions
diagnostiques
d'investigation
de traitementÉvaluation du raisonnement clinique en médecine d’urgence
Un scénario clinique
Un bébé de 2 mois est emmené par ses parents car il boit moins
bien depuis 48h. Il s’essouffle rapidement en prenant le biberon.
Il n’a pas présenté de fièvre ou de vomissements. Aucun
antécédent pertinent n’est relevé à l’anamnèse.
Son examen démontre une fréquence cardiaque très rapide
(>200/min), mais un enfant éveillé, bien perfusé.
Urgences médicales pédiatriques
Benoit CarrièreFormat des items du test
Scénario clinique
Si vous pensez à: Et qu'alors vous trouvez: L'effet sur votre
hypothèse est:
Une hypothèse Une nouvelle donnée clinique -2 -1 0 +1 +2
Elle devient
- 2= Très improbable
- 1= Moins probable
0 = Ni plus ni moins probable
+ 1= Plus probable
+ 2= Très probableCAS #16:
Un bébé de 2 mois est emmené par ses parents car il boit moins bien depuis 48h. Il s’essouffle
rapidement en prenant ses biberons. Il n’a pas présenté de fièvre ou de vomissements. Aucun
antécédent pertinent n’est relevé à l’anamnèse. Son examen démontre une fréquence cardiaque très
rapide (>200/min), mais un enfant éveillé, bien perfusé.
L'effet sur votre
Si vous pensez à : Et qu’alors vous trouvez
hypothèse est:
Une fréquence à 220/min,
1 - Une TSV (tachycardie
régulière, avec complexes -2 -1 0 +1 +2
supra-ventriculaire)
QRS étroits
2- Une insuffisance
cardiaque secondaire à
Des pouls fémoraux absents -2 -1 0 +1 +2
une CIV (communication
inter-ventriculaire)
Elle devient:
-2: Très improbable 0: Ni plus ni moins probable +1: plus probable
-1: moins probable +2: Très probableUn enfant de 4 ans se présente à l’urgence au milieu de la nuit pour une otalgie droite soutenue depuis
quelques heures, dans le cadre d’un rhume qui dure depuis environ trois jours. Une fièvre légère est
notée à l’examen, et l’oreille droite montre un tympan bombé, avec un niveau purulent et une
hyperhémie. Le reste de l’examen, incluant l’autre tympan, est normal.
L'effet sur la pertinence
Si vous pensiez : Et qu’alors vous trouvez
de ce geste est :
1- Traiter avec de Des antécédents de
l’amoxicilline à dose myringotomie bilatérale à l’âge -2 -1 0 +1 +2
standard (50 mg/kg/jour) de 18 mois
2- Traiter avec de
Que la plus récente otite a eu
l’amoxicilline à dose -2 -1 0 +1 +2
lieu il y a six semaines
standard (50 mg/kg/jour)
Il devient:
-2: Très peu pertinent (contre-indiqué) 0: Ni plus ni moins pertinent +1: Pertinent
-1: Peu pertinent +2: Très pertinent (indispensable)TCS
Le test est construit pour vérifier dans quelle
mesure les décisions cliniques prises par
l'évalué concordent avec celles prises par un
panel de référence
The Script Concordance Test,
a Tool to Assess the Reflective Clinician.
Teaching and Learning in Medicine,2000, 12: 189-195Scripts
• Connaissances en réseaux
• Organisées pour des tâches spécifiques
diagnostic / investigation / traitement
• Hypothético-déductif, relations: signes
cliniques / entités cliniques
• Micro jugements multiples
Scripts and medical diagnostic knowledge
Academic medicine, 2000, 75: 79-87Radio oncologie (Carole Lambert) Vignette clinique: Une patiente de 56 ans est porteuse d’un NSCLC T2 N2 MX Suggestion de traitement: Vous pensez à un Tx de chimio-radiothérapie à visée curative quand …
Nouvel élément:
… vous palpez un
Gg sus-claviculaire
suspect
Appréciation:
Le traitement
devient:
-2 -1 0 1 2
C.-I. Moins Plus Néces-
indiqué indiqué saireLe principe du score
L'établissement du score mesure la
concordance entre les scripts de
l'évalué et ceux d'un panel d'experts
Score par méthode d'agrégation, pas
par consensusMéthode des scores agrégés
Échelle de
Likert
-2 -1 0 +1 +2
Nombre de fois
choisies par un
0 0 2 9 4
expert
Calcul de la
réponse modale
0/9 0/9 2/9 9/9 4/9
Pointage accordé
par rapport à la
0 0 0,22 1,00 0,44
réponse modaleQCM à contexte riche
Un jeune homme de 20 ans est poignardé dans le
bras avec un couteau. La face dorsale de l’avant
bras est insensible, ainsi que la face dorsale de la
main entre le pouce et l’index. Les extenseurs du
poignet sont paralysés et il ne peut étendre le pouce
entre les articulations métacarpophalangienne et
interphalangienne. Quel nerf a été atteint?
A- Le nerf médian
B- Le nerf cubital
C- Le nerf radial
D- Le nerf interosseux postérieur
E- Le nerf brachial postérieurQuelle tâche?
QCM à contexte riche
L’issue du processus de
raisonnement
Une seule réponse correcte
TCS: un micro-jugement
Au sein du processus
Il n’y a pas une seule réponseAvantages Situations de la vie réelle / complexité Situation avec absence de consensus Pas besoin de préparation (bachotage) Pas de difficulté de recrutement /Panel Construction d’items:pratique quotidienne Correction automatisée
Données de la recherche TCS
Discrimine selon le niveau?
Fidèle?
Quelle place pour la variabilité des
réponses?
Correction:
Combien sur le panel?
Qui sur le panel?
Vers une standardisation des scoresDiscrimine selon le niveau
Validité (mesure bien ce qu’il prétend mesurer)
Si mesure le raisonnement clinique:
scores en fonction de l’expérience
Or tests traditionnels: résidents seniors
Standardized assessment in context of uncertainty: The script concordance
approach. Eval. / Health Professions, 2004, 27: 304-319Validité discriminante en
radio-oncologie
externes
Externes 51,62
Résidents 71,20
residents
groupe
Panel 76,67
panel
30 40 50 60 70 80 90 100
op_totalFidélité du TCS
Sibert L et al. Urologie 2006
Lambert C, Radio oncologie, 2005
Carrière B, urgences pédiatrie, 2005
Métérissian, raisonnement per opératoire, 2005
Alpha de Cronbach: 0.70 à 0.92
(tests d’environ 20 cas / 3 items / 1 h )Panel / combien de membres?
Comment obtenir des scores stables
indépendamment de la composition du
panel?
Assessment in context of uncertainty: How many
members are needed on the panel of reference of a
script concordance test? Medical Education, 2005Mean reliability coefficients for increasing panel size (1 000
random samples per panel size)
0,80
0,75
0,70
0,65
0,60
0,55
0,50
0,45
0,40
n=5 n=10 n=15 n=20 n=25 n=30 n=38
mean (sd) min value max valuePanel: enseignants ou médecins
en exercice?
Panel: enseignants ou médecins de
l’exercice futur?
Fonctions d’enseignement: quel effet
sur les scores et rangs des internes
Composition of the panel of reference for concordance tests: do teaching
functions have an impact on examinees’ ranks and absolute scores?
Medical Teacher, 2006.100,00
80,00
non teaching panel
60,00
40,00
20,00
0,00
0,00 20,00 40,00 60,00 80,00 100,00
teaching panelRéponses panel: variabilité?
Quels sont les items qui détectent
l’expérience clinique?
Ceux avec consensus ?
Ceux avec variabilité ?
Assessment of clinical reasoning: is it necessary to
accept variability of answers within the panel of
reference to detect clinical experience? Medical
Education, 2006Effect size in relation to variability: the subtest that better
discriminates according to level of clinical experience is clearly the
moderate variability subtest.
1,5
1
Residents-students
Staff-students
Staff-residents
0,5
0
Low variability Moderate High
variability variabilityProcessus de score
Étudiants
Résidents
72.1 Concordance 86.3
Panel
0 100Radio-oncologie
externes
Externes 51,62
Résidents 71,20
residents
groupe
Panel 76,67
panel
30 40 50 60 70 80 90 100
op_totalVers une standardisation des
scores
Méthode de standardisation
Scores z: moyenne: 0, écart type: 1
Score T: moyenne: ? , écart type: 1
Moyenne et écart-type du panel
Positions des évalués / écarts-typeExemple en urgences pédiatriques
Moyenne du panel: 80, écart type du panel: 5
Panel: moyenne (80), range (71.1-87.1) compatible
avec une représentation symbolique de l’expertise
Résidents juniors: Moyenne (69.7), range (55.6-82.5)
compatible avec leur niveau de formation
Résidents seniors (75.5), range (72.0-80.3)
compatible / fin de formation / proximité de la
pratique autonomeApplications du TCS Formation en raisonnement clinique Dépistage de résident en difficulté Test de perception / interprétation Test de certification Formation continue
En savoir plus
Site web:
www.cme.umontreal.ca/tcs
Radiologie:
www.cme.umontreal.ca/sctimages/
Courriel :
bernard.charlin@umontreal.caTemps de traitement de l’information
Teaching and Learning in Medicine, 2005
25
20
Mean response time
students
15
physicians
10
5
0
typical atypical not
acceptable
type of informationValidité discriminante en urgence
pédiatrique
externe
panel
gr
résident
30 40 50 60 70 80 90
total_trad5Fidélité
Longueur du Unité de K Alpha de
TCS mesure Cronbach
Total item 60 0.74
Optimisé* item 50 0.79
Total vignette 38 0.71
Optimisé* vignette 30 0.77
*Les items avec une corrélation item-total négative ont été retirésVous pouvez aussi lire
