Guide d'annotation Corpus HAS Santé - limsi
←
→
Transcription du contenu de la page
Si votre navigateur ne rend pas la page correctement, lisez s'il vous plaît le contenu de la page ci-dessous
Guide d’annotation
Corpus HAS Santé
Cyril Grouin
27 septembre 2018
Table des matières
1 Classes des messages 3
1.1 Informations générales et spécifiques autour de la santé . . . . . . . . . . . . . . . . 3
1.2 Appels à témoignages et évaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3 Informations liées au fonctionnement de l’institution . . . . . . . . . . . . . . . . . . 5
1.4 Arbre de décision pour l’annotation en classes . . . . . . . . . . . . . . . . . . . . . . 6
2 Exemples d’annotation 7Introduction
Présentation
Ce guide d’annotation présente les principes d’annotations appliqués sur le corpus HAS Santé. En
particulier, nous détaillons les types d’annotation à produire au moyen de définitions, de règles,
et d’exemples. Les annotations sont réalisées à deux niveaux :
— une annotation globale obligatoire au niveau du tweet parmi 8 classes (voir section 1)
— si le cas s’y prête, l’annotation des entités du texte (travail à venir)
Le travail d’annotation décrit dans ce guide a pour objectif de fournir des exemples annotés
autour de la prise de médicaments, et des informations associées à ces médicaments. Le résultat
de ces annotations peut servir, soit pour évaluer des systèmes existants d’analyse de contenu de
textes médicaux, soit pour entraîner des systèmes par apprentissage statistique pour identifier les
caractéristiques dégagées dans ces annotations.
Corpus
Le corpus se compose de 937 tweets émis par la Haute Autorité de Santé 1 depuis le compte
Twitter @HAS_sante entre le 3 juin 2016 (premier message) et le 28 août 2018 (date de la
collecte 2 ). Le contenu des messages renvoie aux trois missions de l’organisme : (i) l’évaluation
des médicaments et dispositifs médicaux, (ii) la recommandation des bonnes pratiques, et
(iii) la certification et l’accréditation des établissements de soins. Des messages sur l’agence
(communication institutionnelle et offres d’emploi) complètent la liste des contenus produits.
Pour des questions de droits et parce que la HAS est une institution publique, seuls les tweets émis
par l’agence sont présents dans le corpus. Les réponses apportées à ces tweets par les utilisateurs
du réseau social n’ont donc pas été versées dans le corpus. Au-delà des problématiques de respect
de la vie privée mentionnées par Sarker et al. (2015) et du droit de retrait des tweets émis par
un usager, une étude rapide de ces réponses ne nous a pas permis de dégager des informations
intéressantes.
Lectures
Plusieurs études ont porté sur la pharmacovigilance et sur l’utilisation des réseaux sociaux comme
source de données pour augmenter le nombre de témoignages. Nous rapportons ci-après les
éléments mis en avant par les auteurs de quelques articles sur l’intérêt d’utiliser les réseaux
sociaux pour la fouille de texte.
Cameron et al. (2013) ont créé une plateforme d’observation pour la veille épidémiologique
relative au mésusage 3 des médicaments. Ils rappellent la difficulté d’annoter manuellement
1. La Haute Autorité de Santé (HAS) est une institution publique qui remplit trois fonctions majeures : l’évaluation, la
recommandation, et la certification et accréditation d’établissements de soins. https://www.has-sante.fr/
2. Collecte réalisée avec l’outil scrape-twitter. https://github.com/sebinsua/scrape-twitter
3. Le mésusage renvoie au fait de prendre un médicament en dehors des recommandations habituelles. Cela concerne,
soit une modification du dosage, de la fréquence, ou de la durée, soit une utilisation pour soigner une pathologie
différente de celle pour laquelle l’autorisation de mise sur le marché a été accordée. L’exemple de mésusage le plus récentdes contenus issus d’internet, processus long et coûteux, et l’analyse complexe de ces contenus
(vocabulaire et relations sémantiques complexes), nécessitant des approches dédiées.
En matière de pharmacovigilance, Sarker et al. (2015) présentent les avantages d’utiliser les
réseaux sociaux comme source de données complémentaires pour la recherche d’effets secondaires
causés par la prise de médicaments. Ils pointent également les inconvénients, principalement du
fait des utilisateurs mais aussi du format des messages, et proposent de recourir à des systèmes à
base de règles pour traiter ce type de données.
Kalyanam et al. (2017) soulignent la complémentarité des réseaux sociaux avec les enquêtes
traditionnelles, tant pour l’accès rapide aux informations et la masse d’informations collectées,
que pour l’identification d’expressions urbaines permettant de mieux comprendre de futurs
témoignages d’utilisateurs.
1 Classes des messages
Chaque message est classé dans une seule classe qui est donc globale au message.
1.1 Informations générales et spécifiques autour de la santé
INFO-SANTE : informations générales de santé fournies par l’agence (dépistage, prévention,
webzine, etc.) à l’exception des informations portant sur les médicaments (voir classe INFO-
MEDICAMENT). Les messages délivrent l’information principale et pointent vers des articles
parus sur le site internet de l’agence
— Maladie d’#Alzheimer ou apparentée : retrouvez notre guide parcours de soins accompagné
de ses fiches pratiques ici > https://www.has-sante.fr/portail/jcms/c_2851128/fr/maladie-
d-alzheimer-et-maladies-apparentees-diagnostiquer-tot-pour-mettre-en-place-un-parcours-
de-soins-et-d-accompagnement-adapte ... ["id":"1000018932374364160","time":"2018-05-
25T14:21:07.000Z"]
— Démarche d’assurance qualité des pratiques professionnelles en matière de dépistage combiné
de la #trisomie21 >http://www.has-sante.fr/portail/jcms/c_2634917/fr/demarche-d-
assurance-qualite-des-pratiques-professionnelles-en-matiere-de-depistage-combine-de-la-
trisomie-21 ... ["id":"739792623691567104", "time":"2016-06-06T12:14:40.000Z"]
INFO-MEDICAMENT : information d’une évaluation qualitative de médicaments. Cette catégo-
rie fournit des résultats d’évaluation de médicaments, elle n’appelle pas les patients à participer
à une évaluation (voir classe APPEL-EVAL)
— ELMIRON R , Intérêt clinique faible dans le syndrome de la vessie douloureuse de
l’adulte mais pas d’avantage clinique démontré dans la prise en charge de ce syn-
drome > https://www.has-sante.fr/portail/jcms/c_2826597/fr/elmiron-pentosan-sodique-
polysulfate-ou-pps ... ["id":"1000299249123315714", "time":"2018-05-26T08:55:00.000Z"]
et d’ampleur concerne le Baclofène, autorisé comme myorelaxant pour soigner les contractures liées à la sclérose en
plaques, mais prescrit hors autorisation par certains médecins pour résoudre les problèmes d’addiction à l’alcool. Un autre
mésusage est le « purple drank », un mélange de soda et de sirop pour la toux à base de codéine, utilisé abusivement
comme cocktail festif et pouvant conduire à la mort par overdose.— ERWINASE R , progrès thérapeutique mineur dans #leucémie aiguë lymphoblastique princi-
palement chez les enfants>http://www.has-sante.fr/portail/jcms/c_2566486/fr/erwinase-
l-asparaginase-issue-d-erwinia-antineoplasique ... ["id":"738728358427656192",
"time":"2016-06-03T13:45:40.000Z"]
TEMOIGNAGE : témoignages de professionnels de la santé, y compris les retranscriptions des
propos échangés lors de colloques scientifiques, de journées d’études, ou de conférence de presse
— « La maladie d’ #Alzheimer fait peur. Il faut avec ce guide de la @HAS_sante
convaincre que nous avons des interventions utiles à offrir., y compris à des stades débu-
tants », Dr Jean-Philippe Flouzat, gériatre ["id":"999919866445414401", "time":"2018-05-
25T07:47:28.000Z"]
— Nous donnerons une place importante à la médecine générale & les soins primaires ds notre pro-
jet scientifique - A Buzyn pdte HAS #CMGF2017 ["id":"847398229310296068", "time":"2017-
03-30T10:40:56.000Z"]
COLLOQUE : cette classe concerne les colloques scientifiques et journées d’études sur la santé
(quel que soit le public : professionnels de la santé ou grand public) organisés par l’agence
ou auxquels l’agence participe. Sont également inclus dans cette catégorie les tweets de type
communiqué de presse. Ces tweets font la publicité de ces manifestations scientifiques
— [#PHW18] nous vous attendons stand F5 > https://www.has-
sante.fr/portail/jcms/c_2848456/fr/la-has-a-la-paris-healthcare-week-29-au-31-mai-
2018 ... ["id":"1001372849238573056", "time":"2018-05-29T08:01:06.000Z"]
— Ouverture du #colloqueHAS, Agnès Buzyn pdt HAS @HAS_sante
["id":"798804868987113473", "time":"2016-11-16T08:28:16.000Z"]
1.2 Appels à témoignages et évaluation
APPEL-TEMOIN : appel à témoignages d’experts de la santé ou de patients ; cette classe ne
couvre pas les tweets sur l’évaluation de médicaments ou de dispositifs médicaux (voir classe
APPEL-EVAL), ni les tweets visant la constitution de commissions d’experts dont l’objectif est de
produire des résultats (voir classe JOB). Cette catégorie vise uniquement les appels de témoignages
et d’expertises
— Nous recherchons des experts sur la problématique de l’accompagnement à domicile ainsi
que des bénéficiaires de ces services. Clôture de l’appel le 14/06/2018>https://www.has-
sante.fr/portail/jcms/c_2849728/fr/appel-a-candidature-d-experts-en-vue-de-travaux-
sur-personnes-accompagnees-par-des-services-a-domicile-et-projet-personnalise ...
["id":"997058787595964416", "time":"2018-05-17T10:18:34.000Z"]
— Vous avez été hospitalisé(e) ? Vous pouvez donner votre avis sur votre séjour à
l’#hôpital > http://www.has-sante.fr/portail/jcms/c_2660702/fr/donner-son-avis-sur-son-
hospitalisation ... ["id":"783997734906802176", "time":"2016-10-06T11:50:00.000Z"]
APPEL-EVAL : appels à évaluation de médicaments ou de dispositifs médicaux par des patients.
Les messages intégrant des résultats connus d’évaluation de médicaments relèvent de la classe
INFO-MEDICAMENT— Contribuez à évaluer le #médicament IBRANCE / réévaluation dans le #cancer du
#sein localement avancé ou métastatique RH+ et [HER2]-négatif) >https://www.has-
sante.fr/portail/jcms/c_2666643/fr/appels-a-contribution-pour-l-evaluation-des-
medicaments ... ["id":"995926134905884672", "time":"2018-05-14T07:17:48.000Z"]
— Patients, nous évaluons 10 implants orthopédiques/Prothèses de hanche. Donnez-
nous votre avis >https://www.has-sante.fr/portail/jcms/c_2666644/fr/contribution-des-
associations-de-patients-et-d-usagers-aux-evaluations-des-dispositifs-medicaux ... #Dispositif-
Médical ["id":"964084450215841792", "time":"2018-02-15T10:30:19.000Z"]
— Patients, contribuez à l’évaluation du #médicament contre #épilepsies dans la sclé-
rose tubéreuse de Bourneville > http://www.has-sante.fr/portail/jcms/c_2666643/ ...
["id":"836246567552110593", "time":"2017-02-27T16:08:13.000Z"]
1.3 Informations liées au fonctionnement de l’institution
COMMUNICATION : cette classe renvoie à la communication institutionnelle de l’agence (fonc-
tionnement de l’institution, nouvelles missions de santé publique, etc.)
— À présent, la HAS intervient sur tous les enjeux de la #santé > https://www.has-
sante.fr/portail/jcms/c_2841384 ... ["id":"989833286821302273", "time":"2018-04-
27T11:47:00.000Z"]
— La HAS crée une commission technique dédiée aux #vaccinations et nomme ses membres
> http://www.has-sante.fr/portail/jcms/c_2756910/fr/la-has-cree-une-commission-
technique-des-vaccinations-et-nomme-ses-membres ... ["id":"855051614423535616",
"time":"2017-04-20T13:32:45.000Z"]
JOB : cette classe regroupe les offres d’emploi proposées par l’agence (CDD, CDI, stage, etc.),
mais aussi les recherches d’experts pour constituer des commissions qui auront pour objectif de
produire des résultats (par opposition à la recherche de témoins qui n’a pour but que de collecter
des témoignages)
— Nous recherchons un(e) chef de projet en CDD à temps complet - Mission éva-
luation > https://www.has-sante.fr/portail/jcms/c_2850860/fr/chef-de-projet-h/f-
mission-evaluation ... #Recrutement ["id":"999611935841808389", "time":"2018-05-
24T11:23:52.000Z"]
— Nous recrutons un(e) chargé(e) de projets RH mobilités et développement des par-
cours professionnels > https://www.has-sante.fr/portail/jcms/c_2800871/fr/charge-e-
de-projets-rh-mobilites-et-developpement-des-parcours-professionnels-h/f ... #Recrutement
["id":"922799792396304389", "time":"2017-10-24T12:19:49.000Z"]
— Appel à expert sur l’organisation de la filière de diagnostic/prise en charge des enfants atteints
de #troublesdys > http://www.has-sante.fr/portail/jcms/r_1437955/fr/nous-rejoindre ...
["id":"751349224177078272", "time":"2016-07-08T09:36:29.000Z"]1.4 Arbre de décision pour l’annotation en classes
L’arbre de décision suivant a pour but de faciliter l’annotation en classes des tweets. Cependant :
1. il ne se substitue pas aux principes évoqués précédemment
2. il n’est pas exhaustif
3. il ne fournit pas 100 % de bonnes décisions en raison de l’ambiguïté résiduelle liée à la
langue (formulation du message, interprétation personnelle du message et de ce guide),
et du fait que le compte a été alimenté pendant 2 ans (aucune règle ne peut-être valable
sur une période aussi longue)
4. et vous devez le compléter par vos propres règles et observations (et m’indiquer ces ajouts)
Présence de noms de médicament
— Avec résultat d’évaluation insuffisant/faible/modéré/important sur l’intérêt clinique et/ou
le progrès thérapeutique du médicament : INFO-MEDICAMENT
— Sans résultat d’évaluation mais avec un appel à contribuer, évaluer, ou réévaluer (indice
fort : présence de la forme verbale « contribuez » et/ou de termes du champ lexical de
l’évaluation) : APPEL-EVAL
Absence de noms de médicament
— Avec informations cliniques détaillées (dispositif médical, procédure, signe ou symptôme,
maladie) et une éventuelle évaluation du dispositif ou de la procédure (indice fort :
présence des termes « infographie », « guide » ou « webzine ») : INFO-SANTE
— Sans informations précises mais appelant des volontaires à témoigner, à contribuer ou à
constituer des groupes d’experts (indice fort : présence des mots « expert », « personne »
ou « patients ») : APPEL-TEMOIN
Le contenu du tweet est lié à l’agence de santé et ne propose aucune information
de santé
— Avec des informations de nomination ou de prise de fonctions (indice fort : présence
du nom de l’agence « HAS ») : COMMUNICATION
— Avec des informations de recrutement (indice fort : présence des termes CDD, CDI ou
« recrutement ») : JOB
Avec des informations sur une manifestation scientifique (éventuelle présence
d’un hashtag du type #Colloque2018)
— Sans citation d’intervenants (indice fort : présence du hashtag du colloque ou du
mot « colloque ») : COLLOQUE
— Avec citations d’intervenants scientifiques nommés (indice fort : présence de guille-
mets autour de la citation) : TEMOIGNAGE2 Exemples d’annotation
Classe globale Annotations locales
APPEL-EVAL Contribuez à évaluer le #médicament IBRANCE / réévaluation
dans le #maladie cancer du #sein localement avancé ou
métastatique RH+ et [HER2]-négatif) >https ://www.has-
sante.fr/portail/jcms/c_2666643/fr/appels-a-contribution-pour-l-
evaluation-des-medicaments ...
["id":"995926134905884672", "time":"2018-05-14T07:17:48.000Z"]
APPEL-EVAL Nous évaluons le #médicament FANSENRA / inscription : chez
l’adulte, traitement de fond additionnel de l’#asthme sévère
à éosinophiles non contrôlé. Contribuez > https ://www.has-
sante.fr/portail/jcms/c_2666643/fr/appels-a-contribution-pour-l-
evaluation-des-medicaments ...
["id":"979726635783065600", "time":"2018-03-30T14:26:47.000Z"]
APPEL-TEMOIN Autisme de l’adulte : la consultation publique est prolongée jusqu’au
15 août > https ://www.has-sante.fr/portail/jcms/c_2774763/fr/ ...
#autisme
["id":"894484328272601089", "time":"2017-08-07T09:04:17.000Z"]
COLLOQUE #CMGF2018 à 13 h45 discussion/débat sur la réévaluation des
#anticoagulants, nous vous attendons stand 44
["id":"981859624746971136", "time":"2018-04-05T11:42:31.000Z"]
COMMUNICATION Katia Julienne, nouvelle directrice générale de la HAS,
prend ses fonctions aujourd’hui > https ://www.has-
sante.fr/portail/jcms/c_2824914/ ...
["id":"981165770708144129", "time":"2018-04-03T13:45:23.000Z"]
INFO-MEDICAMENT ELMIRON R , Intérêt clinique faible dans le syndrome de la vessie
douloureuse de l’adulte mais pas d’avantage clinique démontré
dans la prise en charge de ce syndrome > https ://www.has-
sante.fr/portail/jcms/c_2826597/fr/elmiron-pentosan-sodique-
polysulfate-ou-pps ...
["id":"1000299249123315714", "time":"2018-05-26T08:55:00.000Z"]
INFO-MEDICAMENT RADIOGARDASE R , intérêt clinique important dans le traitement
des contaminations internes au #césium ou au #thallium mais pas
d’avantage clinique démontré par rapport à la prise en charge actuelle
> https ://www.has-sante.fr/portail/jcms/c_2798546/fr/radiogardase-
bleu-de-prusse-antidote-au-cesium-et-au-thallium ...
["id":"984430941689921538", "time":"2018-04-12T14:00:00.000Z"]
INFO-SANTE Fractures de l’épaule du sujet âgé : la HAS précise les indications
de la prothèse totale inversée de l’épaule et de l’hémiarthroplastie
>https ://www.has-sante.fr/portail/jcms/c_2802686/fr/fracture-de-l-
epaule-quelle-chirurgie-chez-le-sujet-age ...
["id":"931511991281348608", "time":"2017-11-17T13:19:00.000Z"]INFO-SANTE Pour la traction vitréomaculaire isolée ou associée à un trou #maculaire
≤ 400 µm avec ou sans membrane épirétinienne associée et dont la
symptomatologie nécessite d’emblée une #vitrectomie : intérêt clinique
insuffisant pour justifier son remboursement > https ://www.has-
sante.fr/portail/jcms/c_2812575/fr/jetrea-ocriplasmine-forme-
tronquee-de-plasmine-humaine ...
["id":"994186253758291968", "time":"2018-05-09T12:04:08.000Z"]
JOB Nous recrutons un(e) adjoint(e) au chef de service en CDI à temps
complet - Service Systèmes d’information > https ://www.has-
sante.fr/portail/jcms/c_2823915/fr/adjoint-e-au-chef-de-service-
service-systemes-d-information-assistance-aux-utilisateurs-et-
logistique-h/f . . . #recrutement
["id":"958018673356214272", "time":"2018-01-29T16:47:05.000Z"]
TEMOIGNAGE « Sans tomber dans l’angélisme ni empêcher le débat d’idées, nous
devons unir nos efforts au profit d’une amélioration effective de la qualité
de vie des personnes autistes. » Pr Le Guludec, présidente de la HAS
https ://www.has-sante.fr/portail/jcms/c_2829241 ... #autisme
["id":"965305087412330497", "time":"2018-02-18T19:20:41.000Z"]
Références
Cameron, D., Smith, G. A., Daniulaityte, R., Sheth, A. P., Dave, D., Chen, L., Anand, G., Carlson,
R., Watkins, K. Z., and Falck, R. (2013). Predose : A semantic web platform for drug abuse
epidemiology using social media. J Biomed Inform, 46 :985–97.
Kalyanam, J., Katsuki, T., Lanckriet, G. R., and Mackey, T. K. (2017). Exploring trends of
nonmedical use of prescription drugs and polydrug abuse in the twittersphere using unsupervised
machine learning. Addictive Behaviors, 65 :289–95.
Sarker, A., Rachel, R., Nikfarjam, A., O’Connor, K., Smith, K., Jayaraman, S., Upadhaya, T., and
Gonzales, G. (2015). Utilizing social media data for pharmacovigilance : A review. J Biomed
Inform, 54 :202–12.Vous pouvez aussi lire
