Agathe Seguin (Bobigny) Marc Braun (Nancy) - COLLOQUE SIDES Les JEUNS ou Les premières Journées de l'Enseignement Universitaire Numérique en Santé

Les JEUNS
                                     ou
Les premières Journées de l’Enseignement Universitaire Numérique en Santé

                            COLLOQUE SIDES
                        Nice 11-13 septembre 2013

       Agathe Seguin (Bobigny)
         Marc Braun (Nancy)

Atelier Dossier Progressif Clinique
     (JP Fournier – O Palombi)

I. Rappels sur l’intérêt du DCP
 vs cas clinique actuels à l’ECN
• Rappels sur l’intérêt du DCP vs cas
  clinique actuels à l’ECN
• Indépendance des questions assurées
• Contenu multimédia valorisé (sons,
  images, vidéo) ATTENTION doit apporter
  une valeur réelle au cas clinique
• Temps de composition réduit (compensé
  par un énoncé plus riche et un temps de
  réflexion plus long)
• Correction automatique

II. Conseils de méthodologie (1)
1) Prévoir 15 questions avec un temps rédactionnel de 30 minutes
2)Le temps de « relecture » disparait : Ceci nécessite un réel apprentissage de la
   part des étudiants (En moyenne 2 minutes par question.)
3)Contenu multimédia.
   – moins de 3 minutes si son ou vidéo.
   – Ne doit pas sortir du champ de compétence d’un étudiant de deuxième cycle.
   – Systématiquement rapporté à un item.
   – Qualité visuelle et sonore irréprochable. ( format JPEG ou PNG)
   – Différents thèmes peuvent être abordés : interrogatoire, sémiologie ; geste
     technique, vidéo relation médecin/patient…Le cahier des charges est LOURD.
4) Référentiel ECN : chaque dossier doit être lié au référentiel ECN ABSOLUMENT.
5) Sur le site SIDES sera mis en ligne une matrice permettant de faire le lien entre ancien
   référentiel et nouveau référentiel ECN 2013

II. Conseils de méthodologie (2)

5) Lors de la conception des questions :
  –   il faut en premier définir la finalité de la question (à savoir : évaluation des
      connaissances (niveau 1) ou utilisation contextuel de ces connaissances (niveau 2).
  –   Puis définir le type de question : QRU / QCM / QROC
6) définir un comité de lecture qui valide les dossiers avant de les
   soumettre en examens : ce comité doit avoir pour objectif de « jouer » le
   dossier (= le faire dans un contexte progressif) et pas seulement le relire
7) Lors de la correction des dossiers : TRES IMPORTANT de donner des
   commentaires et des liens vers des cours ou des références
8) COMMENT transformer un cas clinique ancien en DCP ?
  –   Prendre les erreurs des étudiants retrouvés dans les copies et les mettre en
      « distracteurs » dans les QCM.
  –   Ne pas mettre bcp de distracteurs car sinon n’est plus discriminant. (en moyenne à
      un QCM : environ 5 choix, en mettre plus s’avère finalement inutile, car manque de
      plausibilité)

TECHNIQUE (3)
9) Il sera possible de créer des
   examens locaux à partir de
   l’interface SIDES au 15/10/2013.
10)Une proposition de « duplication »
   de dossier sera proposé pour
   éventuellement reprendre tout ou
   une partie d’un dossier déjà « joué »

Barème
 ●
     Pas de réelle discussion du barème
     dans SIDES
 ●
     Tous les dossiers sont sur 100 points
 ●
     Le système fait en sorte qu’une
     réponse est vraie ou fausse.
     L’enseignant faisant le DCP peut
     indiquer si une réponse est
     indispensable ou inacceptable.
 ●
     La valeur de chaque question peut
     être pondérée par un coefficient
     allant de 1 à 3.
 ●
     La question est notée sur 1.
 ●
     La correction se fait par concordance.

CORRECTIONS
●
    Cette évaluation permet une bonne distribution
    des étudiants
●
    Au vu des résultats des tests : la validation était à
    10 de moyenne et non à 8
●
     Il est possible après un examen local de changer
    la pondération d’une question si il s’avère qu’une
    question était inadéquate ou non discriminante
●
     Quand le dossier est validé et établi comme
    discriminant : il tombera de manière automatique
    dans la banque nationale (pas encore
    complètement établi)

Séminaire / atelier Lecture critique d’Article (J
             Labarère – P Staccini)

Conseils de méthodologie (1)
• Ancienne formule = Epreuve de 3h comportant 6 à
  10 question rédactionnelles
• Nouvelle formule : 12 à 20 questions. Correction
  informatisée. Indépendance des questions MAIS pas
  de progressivité (toutes les questions sont
  accessibles)
• Choix de l’article : étude observationnelle ou
  expérimentale. A priori en 2016, très probable que la
  LCA se fasse sur un article non traduit en langue
  anglaise. Article à utiliser en entier dans la mesure
  du possible

Conseils de
      méthodologie (2)
• Elaboration des questions : ne pas
  demander de nouveau calcul.
• Les questions s’écartant de l’article
  (type question de cours sur la
  pathologie) sont proscrites.
• Une question ne doit pas comporter
  de sous question

Conseils de
                   méthodologie (3)
• Objectifs pédagogiques : évaluer une procédure diagnostique/ un
  traitement / un programme dépistage / une enquête épidémiologique
• Pièges à éviter : article trop long / questions imprécises / attention
  aux termes prêtant à discussion comme le mot « biais ». Pour ce faire,
  se référer au glossaire élaboré par le CNCI
• Outils à disposition pour élaborer des LCA :
  –   site du CNCI (www.cnci.univ-paris5.fr) qui définit les objectifs pédagiogiques, référence
      le glossaire, donne les archives des épreuves des années précédentes des ECN
  –   la plateforme SIDES
  –   Site Be cool (www.proejtbecool.fr ) : recense toutes les questions posées
      aux derniers ECN
  –   Livre D Jolly et al (CUESP). Lecture critique d’article médicaux. Paris Masson
      3° édition

Atelier Tests de concordance de script TCS (B.
               Charlin – L. Sibert)

TCS ?
• B Charlin : Définitions et conception générale
• Script = Stratégie d’organisation de
  connaissances dans un contexte pour accomplir
  une tâche (sciences cognitives)
• Un TCS permet d’évaluer d’incertitude
• Cotation = se fait en comparant la concordance
  avec les réponses d’un panel.

Elaboration d’un TCS

 –   Comprendre la différence entre
     QCM et TCS

Objectifs du TCS

•   diagnostique
•   d’investigation
•   thérapeutique
•   pronostique
•   Ethique
•   inséré dans un LCA…

Notation d’un TCS

• Situation d’incertitude
• Pas de bonne réponse absolue
• La notation est une concordance avec comparaison de la
  réponse du candidat aux réponses fournies par le panel
  utilisant la Méthode des scores combinés : un groupe de
  patriciens expérimentés (mais pas forcément experts) passe
  le test individuellement et constitue le panel de référence.
  Les points sont fonction du nombre de membres du panel qui
  ont fourni la même réponse
• Il existe un correcteur automatique de TCS disponible sur le
  site de l’université de Montréal : www.cme.montreal.ca/tcs

Principes de rédaction (1)

●
    sélection de situations cliniques
●
    sélections d’hypothèses pertinentes / nouvelles
    informations / éléments clefs pour confirmer ou infirmer
●
    rédaction de vignettes
●
    validation du test par des experts (sélection du panel)
●
    rédaction à une ou deux personnes (pas plus)
●
    niveau d’incertitude à gérer : pas de piège/ pas de
    questions sur des réponses disponibles dans des
    guidelines existants ou consensus
●
    données incomplètes

Principes de rédaction
●
               (2)
    possibilité d’introduire le rapport bénéfice/ risque – cout/efficacité
●
    Faire 3 questions INDPENDANTES par vignette clinique. Chaque question doit avoir un
    intitulé différent dans l’information complémentaire donné
●
    Conserver un format homogène pour une même vignette (que des questions de
    thérapeutiques/ que des questions diagnostiques etc…)
●
    Compter 1 minute/question = 75 questions (soit 25 vignettes) en 1h30
●
    lors de la rédaction le texte de la vignette doit inclure : âge, sexe, contexte clinique
    (hôpital, cabinet etc), données cliniques
●
    les hypothèses doivent être pertinentes sans piège
●
    les informations supplémentaires doivent également être pertinentes de type :
    résultat biologique / donnée d’imagerie/ examen clinique/vidéo ou son…
●
    Balayer l’ensemble de l’échelle de Likert (les réponses doivent aller de plus probable
    à moins probable) réparties sur l’ensemble des 25 vignettes
●
    niveau de variabilité équilibré
●
    Prévoir 20% de questions supplémentaires en vue de la suppression de questions
    inadéquates lors du retour des réponses du panel

Panel d’experts
Constitution
La composition du panel a un impact sur les scores des TCS multidisciplinaires. Il vaut mieux
  choisir des experts dans le domaine plutôt que des experts généralistes. 2 groupes différents
  doivent travailler à l’élaboration des TCS . le premier s’occupe de la préparation des
  examens, la validation des scenarii et des questions. Le deuxième groupe (panel d’experts)
  sert à l’établissement des scores.

Réponses du panel
  Le TCS doit être joué par les experts dans les mêmes conditions que les étudiants (délai etc)
  mais sans unité de lieu imposé. Les échanges par courriel sont donc tout à fait possible
  Lors du retour des panels : éliminer a priori les questions qui ont rassemblé un consensus
  des experts (une seule réponse) ainsi que les questions ayant entrainé une trop grande
  dispersion des experts (de-2 à +2)

Echelle de Likert : correspond à l’échelle de réponse soumise à l’étudiant ; Lui redonner pour
  chaque vignette l’ancrage ainsi que la barème : -2 ; -1 ; 0- +1 ; +2…
Attention la valeur « zéro » ne correspond pas à « je ne sais pas » : A préciser +++

TCS = outil de formation

• Le TCS peut devenir un réel outil de formation si il est
  corrigé ensuite par des experts donnant des
  commentaires et offrant des liens pour aller plus loin
  dans la question
• Il est actuellement utilisé comme outil de formation
  continue : site PRACTICUM en Argentine-Espagne
  qui propose la réalisation d’un cas par jour à raison
  de 240 cas par an.

• Le TCS peut aussi devenir un outil de suivi des
  étudiants au cours de leur formation médicale en ce
  sens qu’il dépiste la progression d’un jugement plus
  que des connaissances médicales

Présentation du DIU ETnS : Enseigner et Tutorer par le
            numérique en Science de la Santé

• Projet de formation au long de la vie.
• Réalisation d’un tutorat à distance par groupe de
  10 personnes avec un tuteur assurant un
  « coaching »individuel pour 10 personnes