Revues systématiques et Méta-analyses : quels critères de qualité ? - Laurence Le Cleach, Directrice du satellite Cochrane Skin Service de ...

Revues systématiques et
Méta-analyses : quels
critères de
qualité ?
Laurence Le Cleach,
Directrice du satellite Cochrane Skin
Service de Dermatologie, Hôpitaux Universitaires Henri Mondor / Epiderme , UPEC,
Créteil

 Académie de Pharmacie 14 avril 2021

 Revue critique de l’ensemble des études réalisées pour
 répondre à une question clinique précise reposant sur
 des méthodes explicites, rigoureuses et reproductibles
  4 principes
Revue  Une définition claire et précise des objectifs
 conditionnant les critères d’éligibilité.
systématique  Une recherche systématique afin d’identifier toutes les
(RS) études répondant aux critères d’éligibilité.
  Une évaluation de la validité des résultats des études
 incluses.
  La présentation d’une synthèse des caractéristiques et
 des résultats des études incluses.

 Résultats d’une revue systématique
  Synthèse qualitative des caractéristiques et des résultats des études
 incluses.

Méta-analyses  Synthèse quantitative : « méta-analyse ».
  Au moins deux des études incluses comparent
(MA)  les mêmes interventions,
  dans des populations comparables
  avec des critères de jugement similaires
  le résultat est une moyenne pondérée de l’effet traitement

  RS sans MA possible mais pas de MA sans RS

Nécessité
d’avoir une
vision globale

 1 ESSAI 1 revue systématique et méta-analyse

 Académie de Pharmacie 14 avril 2021

 Une croissance exponentielle : plus de RS/MA publiées que d’essais
 contrôlés randomisés
  Medline (Pubmed) : Covid 19 AND systematic review : 2097…
  Première source d’information
Pourquoi il est  Base des recommandations et des décisions des autorités de santé
important de
  Et beaucoup ne le sont pas…
savoir John P. A. Ioannidis The Milbank Quarterly 94, no. 3 (2016): 485–514

identifier une
revue
systématique
« fiable »

 Académie de Pharmacie 14 avril 2021

 Intervention
  Interventions for Old World cutaneous leishmaniasis

  Diagnostic
Différents  Thoracic imaging tests for the diagnosis of COVID-19

  Méthodologie
types de  Empirical Evidence of Study Design Biases in Randomized Trials:
revues Systematic Review of Meta-Epidemiological Studies

  Epidémiologie
systématiques  Prevalence of potential respiratory symptoms in survivors of
 hospital admission after coronavirus disease 2019 (COVID-19): A
 systematic review and meta-analysis

 Académie de Pharmacie 14 avril 2021

1. Une question selon les critères PICO
 2. Un enregistrement préalable du protocole
 3. Utilisation de PRISMA pour la publication/transparence
 4. Une recherche exhaustive
 5. La sélection des études par deux auteurs
Les 10 6. L’extraction des données par deux auteurs
commandements 7. Une évaluation du risque de biais et de leur impact
 8. Une description détaillée des études inclues
 9. Une description des études exclues et la raison
 10. Une prise en compte de l’hétérogénéité

 Académie de Pharmacie 14 avril 2021

Cochrane

https://training  Organisation indépendante
.cochrane.org/  130 pays

handbook  35000 contributeurs
  7000 revues
  1 siège à l’OMS

 Académie de Pharmacie 14 avril 2021

 Population/Patients
  La maladie, sa sévérité, les caractéristiques des
 patients..
  Intervention:
  Traitement pharmacologique , dispositif médical,
 chirurgie …
  Comparateur :
PICO-T  Placebo, entre eux ..
  Outcome (critère de jugement)
  L’efficacité, l’amélioration de la fatigue, de la qualité
 de vie, la survie sans récidive, la mortalité …
  Time:
  à long terme, court terme , X mois..

 Therapeutic role of corticosteroids in COVID-19: a
 systematic review of registered clinical trials.
 Quelle population sévérité ?
Contre Rôle sur quoi?

exemples Par rapport à quoi?
  Current evidence for COVID-19 therapies: a
 systematic literature review.

 Académie de Pharmacie 14 avril 2021

 Vérifier la date d’enregistrement , les critères d’inclusion et les
 critères de jugement
Le protocole  Vérifier que les critères ont bien été décidés à priori et pas après
 l’obtention des résultats
  Limiter les biais de publications et les » outcomes reporting bias »

 Académie de Pharmacie 14 avril 2021

PRISMA
 Enumère les points devant être rapporter
 Dans la publication :
 • Rien noté à ce sujet 
 • We followed PRISMA guidelines ce ne sont pas des guidelines
 • Elle n’y est pas 
 • Elle y est les infos ne sont pas justes 
Académie de Pharmacie 14 avril 2021 • Elle y est et les infos sont justes 

1. Les questions de recherche et les critères d’inclusion de la revue comprenaient-ils les éléments PICO
 2. Le rapport de la revue contenait-il un énoncé explicite selon lequel les méthodes de la revue ont été
 établies avant sa réalisation, et le rapport justifiait-il tout écart important par rapport au protocole?
 3. Les auteurs de la revue ont-ils expliqué leur choix de design des étude inclus dans la revue
 4. Les auteurs de la revue ont-ils eu recours à une stratégie exhaustive pour leur recherche de littérature?
 5. Les auteurs de la revue ont-ils réalisé la sélection des études en double?
 6. Les auteurs de la revue ont-ils effectué la récupération des données en double?
AMSTAR: 7. Les auteurs de la revue ont-ils fourni une liste des études exclues et une justification de leur exclusion?

16 questions + 8.
 9.
 Les auteurs de la revue ont-ils décrit suffisamment en détail les études incluses?
 Les auteurs de la revue ont-ils employé une technique satisfaisante pour évaluer le risque de biais des
 études individuelles incluses dans la revue?
explications 10. Les auteurs de la revue ont-ils mentionné les sources de financement des études incluses?
 11. Si une méta-analyse a été effectuée, les auteurs de la revue ont-ils utilisé des méthodes appropriées pour
 réaliser une combinaison statistique des résultats?
https://amstar.ca/Amstar_C 12. Si une méta-analyse a été effectuée, les auteurs de la revue ont-ils évalué les effets potentiels du risque
 de biais des études individuelles sur les résultats de la méta-analyse ou d’autres synthèses des données
hecklist.php probantes?
 13. Les auteurs de la revue ont-ils tenu compte du risque de biais dans les études primaires au moment
 d’interpréter ou de discuter des résultats de la revue?
 14. Les auteurs de la revue ont-ils expliqué et analysé de façon satisfaisante toute hétérogénéité observée
 dans les résultats de la revue?
 15. S’ils ont réalisé une synthèse quantitative, les auteurs de la revue ont-ils effectué un examen adéquat du
 biais de publication (biais résultant de la petite taille des études) et abordé ses effets probables sur les
 résultats de la revue?
 16. Les auteurs de la revue ont-ils déclaré toutes les sources potentielles de conflits d’intérêts, y compris le
 financement reçu pour réaliser la revue?
 Académie de Pharmacie 14 avril 2021

doi:10.1016/j.jid.2020.05.109

 • Objectif: Evaluer la qualité des RS en Dermatologie et identifiés les facteurs prédictif de qualité
 élevée
 • Méthodes : Protocole enregistré dans Prospero (CRD42018093856) Recherche dans PubMed,
 Epistemonikos, Cochrane Database des RS/MA en Dermatologie publiée en 2017.
 Classification selon AMSTAR2 en niveau de confiance haut, modéré, faible, très faible.
 • Résultats: 732 RS. Analyses de 140 RS, sélectionnées aléatoirement.
 • Niveau de confiance dans les réulats haut ou modéré pour 9/140 revues (6%).
 • Protocol enregistré 20/140 (15%)
 • Les facteurs associés à un niveau modéré à haut
 • Publication dans un journal ou l’utilisation de PRISMA est obligatoire (OR [95%
 CI] 27, 0 [1.4-528])
 • Le facteur d’impact du journal (OR : 1,9 [1.3-3]) pour chaque point supplémentaire.

 Académie de Pharmacie 14 avril 2021

 50% des essais ne sont pas publiés
  Les essais positifs sont plus publiés que
 les essais négatifs 1
  OR 3.90; 95% IC 2.68 à 5.68.
  Pour la recherche des essais contrôlés
 randomisés
Pourquoi une  Bases de données (Medline (Pubmed),
 Embase, CENTRAL, LILACS..
recherche  Les registres d’essais : OMS,
 clinicaltrials.ogv
exhaustive?  FDA, EMA

 Hopewell S, Loudon K, Clarke MJ et al. Publication bias in clinical trials due to statistical significance or direction of trial results. Cochrane Database Syst Rev 2009: MR000006.
 Le Cleach L,. Research Techniques Made Simple: Workflow for Searching Databases to Reduce Evidence Selection Bias in Systematic Reviews. J Invest Dermatol. 2016 Dec;136(12):e125-e129.

3 essais
827 patients
FDAaccess.gov

 van der Wouden JC et al. Interventions for cutaneous molluscum contagiosum. Cochrane Database of Systematic Reviews 2017, Issue 5. Art.
 No.: CD004767.

Contre  We searched pubmed for studies published in English language 
exemple

 Académie de Pharmacie 14 avril 2021

Risk of Bias
tool Cochrane
pour les RCTs

 Cochrane Database of Systematic Reviews
 22 DEC 2017 DOI: 10.1002/14651858.CD011535.pub2
 http://onlinelibrary.wiley.com/doi/10.1002/14651858.CD011535.pub2/full#CD011535-fig-0001

0% to 40%: might not be important;
 30% to 60%: may represent moderate heterogeneity*;
 50% to 90%: may represent substantial heterogeneity*;
 75% to 100%: considerable heterogeneity*.

 Meta-analyses
 conventionnelles

 Hétérogénéité

  Toujours présente un minimum
  1ère étape : pertinence clinique
  2 ème étape : test statistique / choix du modèle à effets fixes ou aléatoires
Académie de Pharmacie 14 avril 2021  3ème étape : chercher la cause sous groupes /sensibilité

Combinaison des preuves directes et
 indirectes directe
Meilleure
  Preuve indirecte : A B
efficacité et  comparaison A vs B déduite mathématiquement
tolérance, quel  lorsque A et B ont chacun été évalué contre un
 comparateur commun C (A vs C et B vs C)
traitement?
MA en réseau  Evaluer une comparaison (A vs B) qui n’a
 jamais été évaluée dans un ECR
(MAR) Indirecte
  Classer les traitements: probabilité pour A B
 chacun des traitements d’être à un rang
 donné C

 Transitivité
  Patients : inclusion possible dans tous les bras du réseau
Hétérogénéité  Modificateurs du traitement
  Traitements du réseau : même indication
et incohérence
  Hétérogénéité
  Discordances des effets traitements pour une même
 comparaison
  I2, , intervalles de prédiction
  Cohérence
  Evaluation directe et indirecte

 Chaimani A. Evid Based Ment Health 2017; 20: 88-94.

Réseaux par molécules

Sbidian E, Chaimani A, Afach S, et al. Systemic pharmacological treatments for chronic plaque psoriasis: a network meta-analysis. Cochrane Database of Systematic Reviews
2020, Issue 1. Art. No.: CD011535. DOI: 10.1002/14651858.CD011535.pub3

Serious adverse effects, =0
League Ixekiz
 umab
 0.9
 (0.4-
 1.9)
 1.1
 (0.5-
 2.3)
 1.1
 (0.5-
 2.7)
 2.3
 (0.4-
 12)
 1.3
 (0.7-
 2.5)
 1.1
 (0.5-
 2.3)
 1.1
 (0.7-
 1.9)
 1.3
 (0.6-
 2.9)
 0.4
 (0.05-
 3.5)
 4.9 (1-
 22.9)

table 1.2
 (0.9–
 1.6)
 Secukin
 umab
 1.2
 (0.6-
 2.4)
 1.2
 (0.5-
 2.9)
 2.4
 (0.5-
 12.7)
 1.3
 (0.7-
 2.4)
 1.2
 (0.6-
 2.5)
 1.2
 (0.4-
 2.3)
 1.4
 (0.6-
 3.1)
 0.5
 (0.06-
 3.8)
 5.1
 (1.1-
 24.3)

 1.3 1.0 2.1 1.2 1.1 1.2 0.4
 Brodal 1 (0.4- 1 (0.4- 4.5
 (0.9– (0.8– (0.4- (0.6- (0.6- (0.6- (0.05-
 umab 2.5) 2.1) (0.9-21)
 1.7) 1.3) 11) 2.1) 2) 2.7) 3.4)

 1.5 1.1 0.9 1 1.2 0.2 4.4
 1.3 1.2 Guselk 2 (0.4-
 (0.9– (0.5- (0.1- (0.4- (0.5- (0.01- (0.9-
 (0.8–2) (0.7–2) umab 11.4)
 2.5) 2.6) 2.5) 2.3) 3) 2.5) 21.3)

 1.3 1.1 1.0 0.9 0.6 0.5 0.5 0.6 0.2 2.1
 Certoliz
 (0.2– (0.2– (0.1– (0.1– (0.1- (0.1- (0.1- (0.1- (0.01- (0.3-
 umab
 9.6) 7.8) 7.5) 6.3) 2.8) 2.5) 2.5) 3.1) 2.5) 18.1)

 1.6 1.3 1.3 1.1 0.9 0.9 1.1 0.3 3.9
 1.2 Ustekin
 (1.3– (1.1– (1.1– (0.7– (0.4- (0.5- (0.5- (0.04- (0.8-
 (0.2-9) umab
 2.1) 1.6) 1.5) 1.7) 1.7) 1.6) 2.2) 2.8) 17.7)

 2.2 1.8 1.7 1.4 1.7 1.3 1 1.2 0.4 4.4
 Adalim
 (1.4- (1.2- (1.1- (1.2- (0.2- (0.9- (0.5- (0.6- (0.05- (0.9-
 umab
 3.5) 2.8) 2.7) 1.7) 12.1) 2.1) 2) 3.9) 3.2) 19.8)

 3.0 2.3 1.9 1.4 1.2 0.4 4.3
 2.5 (2- 2.4 2 (1.3- Etane
 (2.5- (0.3- (1.5- (0.9- (0.6- (0.05- (0.9-
 3) (1.8-3) 3) rcept
 3.7) 16.4) 2.3) 2.1) 2.4) 3.1) 19.5)

 4.2 3.5 3.3 2.8 3.2 2.6 1.9 1.4 0.3 3.6
 Apre
 (2.3- (1.9- (1.8- (1.4- (0.4- (1.4- (0.9- (0.8- (0.04- (0.8-
 milast
 7.8) 6.3) 6.1) 5.5) 24.8) 4.7) 3.8) 2.5) 2.7) 17.5)

 4.9 3.9 3.2 3.7 2.3 1.6 1.2 11.2
 4 (0.9- 3 (0.7- Pones
 (1.2- (0.9- (0.8- (0.3- (0.5- (0.4- (0.3- (0.9-
 16.7) 12.5) imod
 20.6) 16) 13.5) 41.4) 9.5) 6.8) 5.3) 137)

 8.3 6.8 6.5 5.4 6.3 5.1 3.8 2.8 2 1.7
 Methot
 (4.2- (3.5- (3.3- (3.2- (0.8- (2.6- (2.3- (1.5- (0.9- (0.4-
 rexate
 16.5) 13.1) 13) 9.1) 48.8) 9.9) 6.4) 5.3) 4.5) 7.7)

 PASI-90, =0.09

100
 METHOTREXATE

 80
 CICLOSPORIN

 CERTOLIZUMAB

 INFLIXIMAB
 60 ALEFACEPT
Ranking score Serious Adverse Events

 FUMARIC
 ACID APREMILAST
 ESTERS
 USTEKINUMAB

 ACITRETIN
 GUSELKUMAB
 ETANERCEPT
 PLACEBO
 40

 TOFACITINIB ADALIMUMAB BRODALUMAB

 TILDRAKIZUMAB IXEKIZUMAB

 SECUKINUMAB
 20

 PONESIMOD

 0

 0 20 40 60 80 100

 Ranking score PsASI 90

1. Une question selon les critères PICO
 2. Un enregistrement préalable du protocole
 3. Utilisation de PRISMA pour la publication/transparence
 4. Une recherche exhaustive
 5. La sélection des études par deux auteurs
Les 10 6. L’extraction des données par deux auteurs
commandements 7. Une évaluation du risque de biais et de leur impact
 8. Une description détaillée des études inclues
 9. Une description des études exclues et la raison
 10. Une prise en compte de l’hétérogénéité

 Académie de Pharmacie 14 avril 2021