Rédaction d'un article original et analyse de la littérature - PneumoCancero.com
←
→
Transcription du contenu de la page
Si votre navigateur ne rend pas la page correctement, lisez s'il vous plaît le contenu de la page ci-dessous
Rédaction d’un article
original et analyse
de la littérature
Hervé Maisonneuve
www.redactionmedicale.fr
Professeur associé, Santé publique
President European Association of Science Editors 1996-1999
Rédacteur en chef adjoint La Presse Médicale 2004-actuel
Médecine factuelle, ULB, Bruxelles, 24 février 2017
Disclosure
• Rédacteur de www.redactionmedicale.fr
• Deputy editor at
• Consultant in medical writing
• Panel member at the French national agency for health care (HAS) on
the journals’ quality (2010-2013)
• Editorial board of
• Author of ‘La rédaction médicale’, Doin, 2010
• Editor of ‘Science Editors’ Handbook’, EASE 2013
Analyse littérature février 2017 2
Les revues biomédicales ?
Analyse littérature février 2017 3
Le pdf est mort
Videos, 3D, ‘Supplementary data’, Crossref, Crossmark…..
Social networks
www.protocol-online.org ; https://clinicaltrials.gov/ , http://www.who.int/ictrp/fr/ , http://www.crd.york.ac.uk/PROSPERO/ ,
http://datadryad.org/ , http://figshare.com/ ; www.openwetware.org
Analyse littérature février 2017 4
Web 2.0
14.1
Analyse littérature février 2017 5
Quelle est la qualité de la littérature
scientifique ?
1. Excellente
2. Bonne
3. Mauvaise
4. Très mauvaise
5. Je ne sais pas
Analyse littérature février 2017 6
La Rédaction
d’un article original
Hervé Maisonneuve
www.redactionmedicale.fr
L’article original
En réponse à une question, présentation de
résultats originaux
• pour la première fois
• à ses pairs
• selon un format permettant de
•comprendre,
•(et de refaire) le travail
Analyse littérature février 2017 8
L’article original : IMRaD
•Pourquoi j’ai fait ce travail ?
•Comment je l’ai fait ?
•Qu’est ce que j’ai observé ?
•Qu’est ce que j’en pense ?
Analyse littérature février 2017 9
L’article original : IMRaD
• Titre
•Introduction • Auteurs
• Résumé
•Méthodes
• Illustrations
•Résultats • Tableaux
• Figures
•Discussion
• Références
• Remerciements
Analyse littérature février 2017 10L’article original : IMRaD
•Pourquoi j’ai fait ce travail ?
•Comment je l’ai fait ?
•Qu’est ce que j’ai observé ?
•Qu’est ce que j’en pense ?
Analyse littérature février 2017 11Question
Answer
Analyse littérature février 2017 12Revue choisie
Titre
Lister tous les auteurs
Analyse littérature février 2017 13Revue choisie
Titre
Lister tous les auteurs
Pourquoi j’ai fait ce travail ? (introduction)
• Connu
• Inconnu
• Ma question
Analyse littérature février 2017 14Revue choisie
Titre
Lister tous les auteurs
Pourquoi j’ai fait ce travail ? (introduction)
• Connu
• Inconnu
• Ma question
Comment j’ai fait ce travail ? (méthodes)
• Sélection
• Interventions / Observations
• Evaluation
Méthodes statistiques, éthique, protocole, données sources
Analyse littérature février 2017 15Revue choisie
Illustrations (résultats)
Titre
Titres des tableaux
Lister tous les auteurs
Pourquoi j’ai fait ce travail ? (introduction)
• Connu Légendes des figures
• Inconnu
• Ma question
Comment j’ai fait ce travail ? (méthodes)
• Sélection
• Interventions / Observations
• Evaluation
Méthodes statistiques, éthique, protocole, données sources
Qu’est ce que j’ai observé ? (résultats)
Les résultats principaux en quelques lignes
Analyse littérature février 2017 16Tableaux et figures
Tous appelés dans le texte
Ne pas répéter les résultats dans le texte
Compris sans se référer au texte
Où est l’information ?
Analyse littérature février 2017 17Analyse littérature février 2017 18
IMRaD : Discussion (1)
• Qu’est ce que je pense de mon travail ?
• Une méthode pour réfléchir avant d’écrire
• Une ‘grille’ en 5 points pour lister les idées à discuter, et
n’exposer que quelques points
• Répondre à la question de la fin de l’introduction
• Peut-être courte pour éviter de donner trop d’idées aux
reviewers,… courte mais pertinente…
Analyse littérature février 2017 19IMRaD : Discussion (2)
Qu’est ce que je pense de mon travail ?
1. Fait principal de mon travail et son implication
majeure, en 5 à 10 lignes
• Répondre à la question de la fin de l’introduction :
c’est le premier paragraphe de la discussion (que l’on
pourrait qualifier de conclusion)
Analyse littérature février 2017 20IMRaD : Discussion (3)
Qu’est ce que je pense de mon travail ?
2. Forces et faiblesses de mon travail : dire d’abord que mon
travail est bon… limites et biais ensuite
• Forces et faiblesses
• de l’introduction : est-ce que mon analyse de littérature était
complète ? a varié depuis le début du travail ? Est-ce que ma
question était bien posée ? Et si je devais la reposer aujourd’hui ?...
• des méthodes : sélection, interventions, critères de jugement, etc.. ;
est-ce que j’utiliserai les mêmes méthodes aujourd’hui ?
• des résultats : ai-je observé ce que j’attendais ? Pertinence clinique
versus signification statistique, etc…
Analyse littérature février 2017 21IMRaD : Discussion (3, suite)
Qu’est ce que je pense de mon travail ?
2. Forces et faiblesses de mon travail : dire d’abord que mon
travail est bon… limites et biais ensuite
• Pertinence clinique versus signification statistique
• Validité interne / validité externe
• NNT / NNH
Analyse littérature février 2017 22IMRaD : Discussion (4)
Qu’est ce que je pense de mon travail ?
3. Forces et faiblesses en comparaison avec les autres
• Se comparer avec 3 à 5 autres travaux (cités dans le ‘connu’
de l’introduction ?) : similitudes et différences..
• Mêmes méthodes ? Mêmes résultats ?
Analyse littérature février 2017 23IMRaD : Discussion (5)
Qu’est ce que je pense de mon travail ?
4. Signification du travail : mécanismes, hypothèses,
changement de pratique, implication en santé
publique, comment expliquer mes résultats…
5. Perspectives et questions sans réponses ?
Analyse littérature février 2017 24Erreurs des discussions
• Les répétitions : trop de discussions ne consistent qu’en
une répétition de tous les résultats, en les malaxant un
peu différemment…. Rien d’original
• La pédagogie : vous écrivez pour vos pairs qui
connaissent l’état de l’art sur la question, et qui ne
lisent pas votre mémoire pour avoir un chapitre de livre
• Pas de conclusion
Analyse littérature février 2017 25Revue choisie
Illustrations (résultats)
Titre
Titres des tableaux
Lister tous les auteurs
Pourquoi j’ai fait ce travail ? (introduction)
• Connu Légendes des figures
• Inconnu
• Ma question
Comment j’ai fait ce travail ? (méthodes) Qu’est-ce que j’en pense ? (discussion)
1. Réponse à la question
• Sélection
• Interventions / Observations 2. Forces et faiblesses de mon travail, validité interne et
• Evaluation externe
Méthodes statistiques, éthique, protocole, données sources
3. Forces et faiblesses pas rapport aux autres (‘connu’)
Qu’est ce que j’ai observé ? (résultats)
4. Comment expliquer les phénomènes ? Hypothèses,
Les résultats principaux en quelques lignes physiopath, changements de pratiques, risques…..
5. Perspectives
Analyse littérature février 2017 26Revue choisie
Illustrations (résultats)
Titre
Titres des tableaux
Lister tous les auteurs
Pourquoi j’ai fait ce travail ? (introduction)
• Connu Légendes des figures
• Inconnu
• Ma question
Comment j’ai fait ce travail ? (méthodes) Qu’est-ce que j’en pense ? (discussion)
1. Réponse à la question
• Sélection
• Interventions / Observations 2. Forces et faiblesses de mon travail, validité interne et
• Evaluation externe
Méthodes statistiques, éthique, protocole, données sources
3. Forces et faiblesses pas rapport aux autres (‘connu’)
Qu’est ce que j’ai observé ? (résultats)
4. Comment expliquer les phénomènes ? Hypothèses,
Les résultats principaux en quelques lignes physiopath, changements de pratiques, risques…..
5. Perspectives
Analyse littérature février 2017 27
L’abondance de références est un excellent indicateur de l’absence d’esprit critique de l’auteurhttp://www.equator-network.org/
Analyse littérature février 2017 28http://www.equator-network.org/
Key reporting guidelines
Analyse littérature février 2017 29Pourquoi et comment
analyser la littérature
Hervé Maisonneuve
www.redactionmedicale.frAveuglement organisationnel
• Les résultats ‘positifs’ sont publiés plusieurs fois quand les
résultats ‘négatifs’ ne sont jamais publiés : distorsion de la
science ? La plupart des publications ont des résultats
‘statistiquement significatifs’
• Environ 50 % des publications seraient ‘embellies’,
étonnant, NON !
• La plupart des publications ne seraient pas reproductibles,
étonnant, NON !
Analyse littérature février 2017 31Statistiques
JAMA 2016;315:1141-8.
CONCLUSIONS In this analysis of P values reported in MEDLINE abstracts and in PMC
articles from 1990-2015, more MEDLINE abstracts and articles reported P values over
time, almost all abstracts and articles with P values reported statistically significant
results, and, in a subgroup analysis, few articles included confidence intervals, Bayes
factors, or effect sizes. Rather than reporting isolated P values, articles should include
effect sizes and uncertainty metrics.
Analyse littérature février 2017 322008, 12 numéros de 3 revues, 3627 p
Analyse littérature février 2017 33Larry Wasserman
https://normaldeviate.wordpress
.com/2012/08/16/p-values-
gone-wild-and-multiscale-
madness/
Analyse littérature février 2017 34www.compare-trials.org 67 ? ? ?
Trials were Outcomes not New outcomes
Trials checked perfect reported silently added
Randomized trials
Oct 2015 - Feb 2016
? ? ? ?
Letters sent Letters Letters Letters rejected
published unpublished by editor
after 4 weeks
Analyse littérature février 2017 35www.compare-trials.org
Randomized trials
Oct 2015 - Feb 2016
Analyse littérature février 2017 36Conclusion
When the FDA finds significant departures from good clinical practice,
those findings are seldom reflected in the peer-reviewed literature,
even when there is evidence of data fabrication or other forms of
research misconduct.
JAMA Intern Med 2015;175:567-577
Analyse littérature février 2017 37
http://archinte.jamanetwork.com/article.aspx?articleid=2109855FDA : inspection des essais
• Nombreuses inspections : 644 en 2013
• 2 % étaient de OAI « Official Action Indicated »
• Autres agences font des inspections
• Pas de mécanismes pour communiquer les résultats
• JAMA Intern Med : analyse des violations sévères
Analyse littérature février 2017 38FDA : 101 essais OAI, 57 inclus dans l’étude
• 1 janvier 1998 au 30 septembre 2013
• Accès aux documents publiés, inclusion de 57 essais avec problèmes
sévères
Nb Raison OAI Official Action Indicated
d’essais
22 Falsification ou soumission d’informations fausses
14 Problèmes d’effets indésirables non rapportés
42 Violation de protocole
35 Archivage inadéquat
30 Défaut de protection des patients ou problèmes de consentement
20 Autres violations
Analyse littérature février 2017 39Pas de corrections de la littérature
• 3 (4 %) des 78 publications mentionnaient les constatations des
inspections
• La correction de la littérature est possible
• Ni corrections
• Ni rétractations
• Ni ‘expression of concern’
• 59 des 78 articles : l’inspection était terminée 6 mois avant la
publication
Analyse littérature février 2017 40Exemples de non-corrections
• 1 amputation de jambe dans un essais de cellules souches avec 26
patients
• Rivaroxabon (essai RECORD) : 8 des 16 inspections de sites ont été
classées OAI, sans mention dans l’article (ou correction)
• Falsification des données concernant un décès dans un essai de
chimiothérapies ; procès et condamnation de l’investigateur : aucune
mention dans l’article
• Apixaban : un site en Chine a altéré des données de patients…. Si on
enlève ce site, les résultats ne sont plus significatifs sur la mortalité..
Discussions FDA/firme non mentionnées dans l’article
Analyse littérature février 2017 41Analyse littérature février 2017 42
Analyse littérature février 2017 43
Analyse littérature février 2017 44
Au moins 50 % des articles sont embellis !
R. Soc. open sci. 2016; 3: 160384.
Science et pseudo-sciences 2016;
Analyse littérature février 2017 318: 45Études animales
Analyse littérature février 2017 46
Perrin S. Make mouse studies work. Nature 2014;507:423-425.• PubPeer, September 2015
Electronic microscopy • Retractation by the editor in June 2016
Analyse littérature février 2017 47http://www.larevuedu
praticien.fr/node/36544
Analyse littérature février 2017 48Méthodes d’analyse de la littérature
• Nombreuses
• Produites par des institutions et des sociétés savantes
• Est-ce un métier d’experts ?
• Consistent en l’application de grilles de lecture, sans
calculer de score…
• Méthode globale des australiens, adaptée en français par le
Dr G Landrivon
Analyse littérature février 2017 49Poser 3 questions sur 8 critères
1. Est-il possible de trouver l’information pour le
critère ?
2. La façon d’aborder le critère, est-elle correcte ?
3. Si incorrect, quelle est la validité de l’article ?
Analyse littérature février 2017 508 critères passés au crible des 3 questions
1. L’objectif
2. Le type d’étude, les méthodes
3. Les facteurs étudiés
4. Les critères de jugement
1. Est-il possible de trouver l’information pour le critère ?
2. La façon d’aborder le critère, est-elle correcte ?
3. févrierSi
Analyse littérature incorrect, quelle est la validité de l’article ? 51
20178 critères passés au crible des 3 questions
5. Population, sujets étudiés
6. Facteurs de confusion, biais
7. Analyses statistiques
8. Conclusion
1. Est-il possible de trouver l’information pour le critère ?
2. La façon d’aborder le critère, est-elle correcte ?
3. févrierSi
Analyse littérature incorrect, quelle est la validité de l’article ? 52
2017Conclusion
L’analyse de la littérature consiste
à jeter les articles !
Analyse littérature février 2017 53Quelle est la qualité de la littérature
scientifique ?
1. Excellente
2. Bonne
3. Mauvaise
4. Très mauvaise
5. Je ne sais pas
Analyse littérature février 2017 54Quelle est la qualité de la littérature
scientifique ?
« A lot of what is published is incorrect »
Richard Horton, Lancet editor
11 April 2015, vol 385, n° 9976, p 1380
Remplaçons p < 0,05 par p < 0,001 !
Analyse littérature février 2017 55The Lancet, 11 avril 2015
R Horton, Rédacteur en chef
La mise ne accusation de la science est simple: une grande partie de la
littérature scientifique, peut-être la moitié, peut être tout simplement
fausse. Gangrénée par des études avec de petits échantillons, des effets
minuscules, des analyses exploratoires invalides, et des conflits
d'intérêts évidents, tout cela avec une obsession de poursuivre les
tendances à la mode d'importance douteuse, la science a pris un virage
vers l’obscurantisme. Comme l’a dit un participant, «des méthodes
nulles donnent des résultats". ....... L'endémicité apparente du mauvais
comportement en recherche est alarmante. Dans leur quête pour
raconter une histoire convaincante, les scientifiques sculptent trop
souvent leurs données en fonction de leur vision préférée du monde. Ou
ils écrivent des hypothèses pour répondre à leurs données.
Analyse littérature février 2017 56The Lancet, 11 avril 2015
R Horton, Rédacteur en chef
Les rédacteurs de revues méritent leur juste part de critique aussi. Nous
aidons et encourageons les pires comportements. Notre acquiescement
aux facteurs d'impact engendre une concurrence malsaine pour gagner
une place dans un petit nombre de revues. Notre amour de
«l’innovation» pollue la littérature avec beaucoup de contes de fée
‘statistiques’. Les revues ne sont pas les seuls mécréants. Les universités
sont dans une lutte perpétuelle pour l'argent et le talent, paramètres
qui favorisent des évaluations réductrices, comme la publication dans
des revues avec un facteur d’impact. Les procédures nationales
d'évaluation, telles que le ‘Research Excellence Framework’, incitent les
mauvaises pratiques. Et les chercheurs eux-mêmes, y compris leurs plus
hauts dirigeants, font peu pour changer une culture de recherche qui
occasionnellement frôle les mauvaises conduites.
Analyse littérature février 2017 57Résumé
• Facile, et à faire en dernier
• Uniquement des informations de l’article
• Structuré pour de nombreuses revues
• Dernière(s) phrase(s) de l’introduction
• 1ère phrase de chaque paragraphe des méthodes
• Une phrase par illustration
• Première(s) phrase(s) de la discussion
Analyse littérature février 2017 58Embellissement des données
• 327 essais randomisés de chirurgie (2007 / 2012)
• 152 enregistrés avec protocole avant la fin de l’essai
• 75 / 152 (49 %) « showed some evidence of discrepancies
between outcomes registered and the outcomes published, most
often related to omitting or introducing a primary outcome »
Analyse littérature février 2017 Janvier 2013, pages591-6Présence du critère sur 152 articles % N Critère principal de jugement du protocole a été omis dans l’article Critère principal de jugement dans l’article n’était pas dans le protocole Variations du critère principal pour favoriser un résultat statistiquement significatif Critère principal de jugement dans l’article était un critère secondaire du protocole Mesure du critère de jugement principal dans l’article n’a pas été faite au moment décrit dans le protocole Critère principal de jugement du protocole était un critère secondaire dans l’article Analyse littérature février 2017 60
Présence du critère sur 152 articles % N Critère principal de jugement du protocole a été omis dans 22 l’article Critère principal de jugement dans l’article n’était pas dans 16 le protocole Variations du critère principal pour favoriser un résultat 14 statistiquement significatif Critère principal de jugement dans l’article était un 9 critère secondaire du protocole Mesure du critère de jugement principal dans l’article n’a 5 pas été faite au moment décrit dans le protocole Critère principal de jugement du protocole était un critère 5 secondaire dans l’article Analyse littérature février 2017 61
Présence du critère sur 152 articles % N Critère principal de jugement du protocole a été omis dans 21,1 32 l’article Critère principal de jugement dans l’article n’était pas dans 15,8 24 le protocole Variations du critère principal pour favoriser un résultat 13,8 21 statistiquement significatif Critère principal de jugement dans l’article était un 9,2 14 critère secondaire du protocole Mesure du critère de jugement principal dans l’article n’a 5,9 9 pas été faite au moment décrit dans le protocole Critère principal de jugement du protocole était un critère 5,3 8 secondaire dans l’article Analyse littérature février 2017 62
Intégrité en recherche
Analyse littérature février 2017 63Rapport publié en octobre 2015
• 6 problèmes identifiés
• 7 stratégies possibles
pour répondre à ces
problèmes
http://www.acmedsci.ac.uk/policy/policy-projects/reproducibility-and-reliability-of-biomedical-research/
Analyse littérature février 2017 646 problèmes 7 stratégies
1. Le ‘draguage’ des données 1. Ouvrir et partager les données
2. L’omission des résultats entre chercheurs
‘négatifs’ 2. Enregistrer les protocoles
3. Études de puissance d’études avant la recherche
insuffisante 3. Collaboration
4. Erreurs 4. Automatisation
5. Méthodes insuffisamment 5. Méthodes ouvertes
décrites 6. Relecture après publication
6. Méthode expérimentale 7. Lignes directrices pour écrire
‘faible’ les articles
Analyse littérature février 2017 65Références sur analyse de littérature
• Guide d’analyse de la littérature et gradation des recommandations, ANAES,
2000
http://www.has-sante.fr/portail/jcms/c_434715/guide-danalyse-de-la-
litterature-et-gradation-des
recommandations?xtmc=guide%20analyse%20de%20la%20litt%C3%A9rature&x
tcr=1
• Niveau de preuve et gradation des recommandations, HAS 2013
http://www.has-sante.fr/portail/upload/docs/application/pdf/2013-
06/etat_des_lieux_niveau_preuve_gradation.pdf
• Landrivon G. Méthode globale de lecture critique d’articles médicaux à
l’usage de l’étudiant et du praticien, Frison-Roche, 2009
http://www.decitre.fr/livres/Methode-globale-de-lecture-critique-d-articles-
medicaux-a-l-usage-de-l-etudiant-et-du-praticien.aspx/9782876715189
Analyse littérature février 2017 66Analyse littérature février 2017 67
Fujii : une communauté très complaisante
• 2001, Anesthesia & Analgesia : Kranke et
al ‘Reported data on granisetron and
postoperative nausea and vomiting by
Fujii et al are incredibly nice!’
• 2002 et 2005 : PONV guidelines
• Méta-analyses
• 2011 : Can J Anesthesia alerte
l’université japonaise Toho
• 2012 : rétractation de 183 articles
Analyse littérature février 2017 68Analyse littérature février 2017 69
Bayer : 67 projets, 20/25 % de données répliquées Nature reviews. Drug discovery. Sept 2011 Analyse littérature février 2017 70
Difficulté de répliquer les recherches
• AMGEN : haematology and oncology departments, Californie
• 53 articles qualifiés de ‘landmark studies’ : 21 dans des revues de
facteur d’impact > 20, et 32 dans des revues de facteur d’impact
entre 5 et 19
• 6 (11 %) ont été reproduits
• Limitations car certains articles décrivaient des données
préliminaires…
Nature, 29 mars 2012:531-533
Analyse littérature février 2017 71http://centerforopenscience.org/ Analyse littérature février 2017 72
Science 2015;349, n°6251. 28 août Analyse littérature février 2017 73
Fiabilité de la recherche biomédicale
• Londres, 1 & 2 avril 2015
The Academy of Medical Sciences
Wellcome Trust
Medical Research Council (MRC)
Biotechnology and Biological Sciences
Research Council (BBSRC)
• 80 experts d’horizons divers
• Objectifs : explorer les challenges
et opportunités pour améliorer la
reproductibilité et la fiabilité de la
recherche biomédicale au
Royaume-Uni.
Analyse littérature février 2017 74Rapport publié en octobre 2015
• 6 problèmes identifiés
• 7 stratégies possibles
pour répondre à ces
problèmes
http://www.acmedsci.ac.uk/policy/policy-projects/reproducibility-and-reliability-of-biomedical-research/
Analyse littérature février 2017 756 problèmes 7 stratégies
1. Le ‘draguage’ des données 1. Ouvrir et partager les données
2. L’omission des résultats entre chercheurs
‘négatifs’ 2. Enregistrer les protocoles
3. Études de puissance d’études avant la recherche
insuffisante 3. Collaboration
4. Erreurs 4. Automatisation
5. Méthodes insuffisamment 5. Méthodes ouvertes
décrites 6. Relecture après publication
6. Méthode expérimentale 7. Lignes directrices pour écrire
‘faible’ les articles
Analyse littérature février 2017 76Les 6 problèmes
• Le ‘draguage’ des données
• P-HACKing
• Recherche d’alternatives pour
devenir ‘significatif’
• L’omission des résultats ‘négatifs’
• Chercheurs et rédacteurs ne
publient que des études ‘positives’
• Études de puissance insuffisante
Analyse littérature février 2017 77Les 6 problèmes
• Erreurs
• Méthodes insuffisamment
décrites
• Ne permettent pas de reproduire
le travail
• Méthode expérimentale ‘faible’
• Un défaut méthodologique ne
permet pas d’avoir des résultats
valides
Analyse littérature février 2017 78Les 7 stratégies
• Ouvrir et partager les données
entre chercheurs
• Draguage de données
• Omission de résultats
• Enregistrer les protocoles
d’études avant la recherche
• Draguage de données
• Omission de résultats
• Puissance insuffisante
• Méthodes insuffisamment décrites
• Méthodes ‘faibles’
Analyse littérature février 2017 79Les 7 stratégies
• Collaboration
• Puissance insuffisante
• Méthodes insuffisamment décrites
• Méthodes ‘faibles’
• Automatisation
• Méthodes insuffisamment décrites
• Erreurs
• Méthodes ouvertes
• Méthodes insuffisamment décrites
• Méthodes ‘faibles’
• Erreurs
Analyse littérature février 2017 80Les 7 stratégies
• Relecture après publication
• Méthodes ‘faibles’
• Méthodes insuffisamment décrites
• Lignes directrices pour écrire les
articles
• Méthodes ‘faibles’
• Méthodes insuffisamment décrites
• Erreurs
Analyse littérature février 2017 81Vous pouvez aussi lire
