Méthodes d'évaluation d'impact - Guigonan Serge Adjognon DIME, World Bank Atelier virtuel sur L'évaluation d'impact pour la relance verte, la ...
←
→
Transcription du contenu de la page
Si votre navigateur ne rend pas la page correctement, lisez s'il vous plaît le contenu de la page ci-dessous
Méthodes d’évaluation d’impact
Guigonan Serge Adjognon
DIME, World Bank
Atelier virtuel sur L’évaluation d’impact pour la relance verte, la transformation rurale,
et la cohésion sociale au Burkina Faso
18 May, 19 May, et 8 Juin, 2021
Défi: de nombreux facteurs de confusion
Ne prend pas le
medicament
Ce medicament augmente-t-
il le poids?
Prend le
medicament
INTRODUCTION
• En général:
– Nous avons des idées ou pressentiments sur ce
qui marche mais ne savons pas toujours si ce
sont les bons
– Nous avons plusieurs options relativement
bonnes mais ne savons pas laquelle est la plus
efficace ou la plus rentable
• Pour savoir:
– Nous avons besoin de réaliser des évaluations
précises et fiables
4
Ce que nous allons apprendre...
• Contrefactuels et Causalité
– L’évaluation d’impact cherche à mesurer l’impact causal d’un projet
– Nécessite de l’information sur ce qui se saurait passé si l’intervention
n’avait pas eu lieu – le contrefactuel
• Biais de selection
– Sélectionner des individus au hasard dans des groupes de traitement
et contrôle et la norme d’excellence pour l’inférence causale
• Opportunités pour évaluer l’impact
– Des opportunités existes dans tout type de projetObjectif
• Evaluer l’impact causal d’une intervention sur un indicateur
de résultat
• Aider à répondre à des questions pratiques de politique de
développement
• Exemples
• De combien une politique de subvention d’intrants agricoles augmente
les rendements des récoltes?
• Quel est l’impact d’un programme de transferts monétaires pour
réfugiés sur la santé?METHODES D’EVALUATION
Participants –
Avant - Après Non Suivi-Evaluation
Participants
Double Différence, Appariement,
Régression de Discontinuité Non-Experimental
Impact Causal
Expérimentations Randomisées
contrôlées
ExperimentalETUDE DE CAS: TRAVAUX A HAUTE INTENSITE DE MAIN D’OEUVRE ET TAUX D’EMPLOI Veuillez lire l’étude de cas jusqu’à la page 2. Question 1 pour discussion – Quelle est la question élémentaire à laquelle votre évaluation d’impact va permettre de répondre?
ETUDE DE CAS: TRAVAUX A HAUTE INTENSITÉ DE MAIN D’OEUVRE ET TAUX D’EMPLOI Question 1 pour discussion – Quelle est la question élémentaire à laquelle votre évaluation d’impact va permettre de répondre? Réponse 1: Quelle est l’impact d’un programme THIMO sur le taux d’emploi à moyen terme? => Poursuivez la lecture jusqu’à la page 3.
ETUDE DE CAS: TRAVAUX A HAUTE INTENSITE DE MAIN D’OEUVRE ET TAUX D’EMPLOI Problème: Région mal desservie affecté par des conflicts avec forte entrée de nouvelles populations (réfugiés). Ainsi, faible niveau d’emploi et donc de source de revenu. Intervention: THIMO (emploi temporaire) pour compenser le manque de revenu et augmenter les compétence et ainsi l’accès à l’emploi des participants. Ciblage sur 2 000 individus interessés: - 1000 remplissent les critères de vulnérabilité - Programme ne peut donner le programme qu’à 500 personnes Indicateur de résultat: taux d’emploi à moyen terme
ETUDE DE CAS:
TRAVAUX A HAUTE INTENSITÉ DE MAIN D’OEUVRE ET TAUX D’EMPLOI
Distribution des candidats
N= 2 000 intéressés
Candidats
ELIGIBLES
n=1000 n=1000
PMT Score
SeuilCOMMENT EVALUER L’INTERVENTION? AVANT-APRES THIMO est offert à 500 participants (les plus vulnérables des 1000) Idée : on compare le niveau d’emploi de ces 500 participants 6 mois avant et 6 mois après le programme.
ETUDE DE CAS:
TRAVAUX A HAUTE INTENSITÉ DE MAIN D’OEUVRE ET TAUX D’EMPLOI
Distribution des candidats
N= 2 000 intéressés
Candidats
Sélectionnés n=500 n=1000
n=500
PMT ScoreMETHODES D’EVALUATION
Participants –
Avant - Après Non Suivi-Evaluation
Participants
Double Différence, Appariement,
Régression de Discontinuité Non-Experimental
Impact Causal
Expériences Randomisées
contrôlées
ExperimentalETUDE DE CAS: TRAVAUX A HAUTE INTENSITE DE MAIN D’OEUVRE ET TAUX D’EMPLOI Question 2 pour discussion – Pensez-vous que cette méthode peut vous donner une idée précise de l’impact réel des THIMO sur le taux d’emploi à moyen terme? Pourquoi ou pourquoi pas? Est-il possible que d’autres chocs puissent impacter les bénéficiaires THIMO au cours de cette période?
AVANT-APRES
2017 2018
Méthode Avant Après Différence
Avant – Après 40% 31% -9%
Problème: Différence dans le temps. D’autres chocs ont put avoir
lieu
- D’autres programmes dans la communauté
- Les conditions économiques générales se sont empiréesETUDE DE CAS: TRAVAUX A HAUTE INTENSITE DE MAIN D’OEUVRE ET TAUX D’EMPLOI Question 2 pour discussion – Pensez-vous que cette méthode peut vous donner une idée précise de l’impact réel des THIMO sur le taux d’emploi à moyen terme? Réponse: NON Pourquoi ou pourquoi pas? Est-il possible que d’autres chocs puissent impacter les bénéficiaires THIMO au cours de cette période? Réponse: D’autres chocs, tel que le niveau général de l’économie peut impact l’emploi dans la region.
AVANT-APRÈS ET LE S&E • Le S&E suit des indicateurs à travers le temps parmi les participants • C’est une analyse descriptive (qui a ses propres fins) • Cela nous dit si les choses vont dans la bonne direction • Cela ne nous dit pas pourquoi les choses arrivent or comment faire mieux! => Poursuivez la lecture jusqu’à la page 4.
METHODES D’EVALUATION
Participants –
Avant - Après Non Suivi-Evaluation
Participants
Double Différence, Appariement,
Régression de Discontinuité Non-Experimental
Impact Causal
Expériences Randomisées
contrôlées
ExperimentalCOMMENT EVALUER L’INTERVENTION? PARTICIPANTS – NON PARTICIPANTS THIMO est toujours offert aux 500 participants (les plus vulnérables des 1000) Idée: On compare alors les 500 participants avec le taux de vulnérabilité le plus faible, au 500 qui remplissent ce critère (sous le seuil) mais qui ne sont pas selectionnés
ETUDE DE CAS:
TRAVAUX A HAUTE INTENSITÉ DE MAIN D’OEUVRE ET TAUX D’EMPLOI
Distribution des candidats
N= 2 000 intéressés
Candidats
Non-Sélectionné
Sélectionnés n=500 n=1000
n=500
PMT Score
SeuilPARTICIPANTS – NON PARTICIPANTS
Méthode Avec Sans Différence
Avec-sans 31% 34% -3%
Problème: Biais de sélection
- Revenu plus élevés ou meilleur capacité (observable)
- Plus motives (inobservable)ETUDE DE CAS: TRAVAUX A HAUTE INTENSITE DE MAIN D’OEUVRE ET TAUX D’EMPLOI Question 3 pour discussion – Pensez-vous que cette méthode peut vous donner une idée précise de l’impact réel des THIMO sur le taux d’emploi à moyen terme? Pourquoi ou pourquoi pas? Est-il possible que des individus qui ont reçu le programme THIMO soient différents de ceux qui ne l’ont pas reçu ?
ETUDE DE CAS: TRAVAUX A HAUTE INTENSITE DE MAIN D’OEUVRE ET TAUX D’EMPLOI Question 3 pour discussion – Pensez-vous que cette méthode peut vous donner une idée précise de l’impact réel des THIMO sur le taux d’emploi à moyen terme? Réponse: NON Pourquoi ou pourquoi pas? Est-il possible que des individus qui ont reçu le programme THIMO soient différents de ceux qui ne l’ont pas reçu ? Réponse: Les individus qui participant aux programmes sont dès le début du programme moins “performants” que ceux qui n’y participent pas. C’est un BIAIS DE SELECTION.
Biais de sélection
• Présence de biais de sélection lorsque les groupes de contrôle
et de traitement ne sont pas comparables
• Problème majeur de validité interne
– Les projets commencent à des moments spécifiques et pour des raisons
particulières
– Participants peuvent s’auto-sélectionner dans les programmes pour des
raisons particulières
– Les personnes qui ont déjà un emploi risque d’être très différents des autresCES 2 MÉTHODES SONT INSUFFISANTES POUR
MESURER L’IMPACT
Avant-Après Participants – Non Participants
Compare: les mêmes sujets Compare: Groupe traité
Avant et Après l’intervention (participants) au groupe qui a
un taux de vulnérabilité plus
élevé (non participants)
Problème: D’autres choses on Problème: Biais de sélection.
put arriver au cours du Ces deux groupes sont
programme différents pour une raison.
Les deux contrefactuels (groupe de
comparaison) peuvent mener à des biais
d’estimation de l’impactDéfi Pratique
• Avoir un bon countrefactuel permet de dire ce qui serait
arrivé…
• Les groupes de traitement et de comparaison doivent avoir:
• Caractéristique moyenne identique (observables et non observable)
• En moyenne, aucune différence sur les indicateur de résultat
• La seule différence est le traitement
• Ainsi ce qui est arrivé au groupe de contrôle est une estimation raisonnable du
contrefactuel=ce qui se serait passé si l ’intervention n’avait pas eu lieu
30Expérience parfaite
Les groupes de traitement et de comparaison ont
les mêmes caractéristiques
Deux clones Identiques à l'extérieur (observables)
Identiques à l'intérieur (non observables)
Nous sommes tous les deux
Kami des marionnettes Tami
Nous aimons tous
les deux participer à
Kami de nouveaux
programmes
agricoles!L’expérience parfaite Apportez le programme à un clone (Tami) Kami Tami La seule différence est le projet ou traitement
L’expérience parfaite
Observez quelque temps après
Kami Tami
Comme Tami et Kami sont identiques (à l’interieur comme à l’exterieur),
nous savons que le résultat est dû au programmeL’expérience parfaite qui est impossible à
réaliser
• Identifier des bénéficiaires et les cloner!
– Identique à l’extérieur (observable)
– Identique à l’intérieur (inobservable)
• Donner l ’intervention à un lot de clone
• Observer la différence après un certain temps
• La différence serait l’impact de l’intervention!
34Alors que faire?
Utiliser des méthodes d’évaluation d’impact pour trouver un
bon contrefactuel!
35L’évaluation d’impact
• Suit la moyenne des indicateurs dans les temps pour
– Le group de traitement en relation au
– Groupe de contrôle
• Compare
– Ce qui S’EST passé avec
– Ce qui SE SERAIT passé (countrefactuel)
• Identifie les liens de cause à effet
– Controllant pour TOUS les autres facteurs qui varient dans
le tempsMETHODES D’EVALUATION
Participants –
Avant - Après Non Suivi-Evaluation
Participants
Double Différence, Appariement,
Régression de Discontinuité Non-Experimental
Impact Causal
Expériences Randomisées
contrôlées
ExperimentalCOMMENT EVALUER L’IMPACT? DOUBLE DIFFERENCE Idée: combine la dimension du temps (avant après) avec la participation (participants-non participants) (sous quelques hypothèses) cela résout Différences dans le temps. D’autres choses ont put arriver Biais de sélection. Les participants sont plus pauvres que les non-participants => Veuillez lire jusqu’à la page X
ETUDE DE CAS:
TRAVAUX A HAUTE INTENSITÉ DE MAIN D’OEUVRE ET TAUX D’EMPLOI
Distribution des candidats
N= 2 000 intéressés
Candidats
Non-Sélectionné
Sélectionnés n=500 n=1000
n=500
PMT Score
SeuilCOMMENT EVALUER L’IMPACT?
DOUBLE DIFFERENCE
57
52
47 P
NP
42
37
2016 2017 2018
Avec Sans Différence
en 2018 52 % 55 % -3 %
en 2017 44 % 45 % 1%
en 2016 40 % 42 % 2%
Différence entre 8% 10 % -2 % *
l'emploi mensuelle (52-44) (55-45) (8 - 10)
moyenne en 2018 et =(52-44) - (55-45)
2017 = (Double de la
différence)COMMENT EVALUER L’IMPACT?
DOUBLE DIFFERENCE
Avec Sans Différence
en 2018 52 % 55 % -3 %
en 2017 44 % 45 % 1%
en 2016 40 % 42 % 2%
Différence entre 8% 10 % -2 % *
l'emploi mensuelle (52-44) (55-45) (8 - 10)
moyenne en 2018 et =(52-44) - (55-45)
2017 = (Double de la
différence)
Question 4 pour discussion – Comment pourriez-vous utiliser ces données sur l’emploi dans
les années précèdent la mise en œuvre du programme pour améliorer la qualité de votre
analyse? En se basant sur les informations fournies dans le Tableau 3, quelle serait votre
nouvelle estimation de l’impact des THIMO sur le taux d’emploi?
Question 5 pour discussion – Pensez-vous que l’impact estimé par les Méthodes 1, 2 et 3
représente l’impact causal véritable des THIMO sur le taux d’emploi? Pourquoi ou pourquoi
pas?COMMENT EVALUER L’IMPACT?
DOUBLE DIFFERENCE
Avec Sans Différence
en 2018 52 % 55 % -3 %
en 2017 44 % 45 % 1%
en 2016 40 % 42 % 2%
Différence entre 8% 10 % -2 % *
l'emploi mensuelle (52-44) (55-45) (8 - 10)
moyenne en 2018 et =(52-44) - (55-45)
2017 = (Double de la
différence)
Question 4 pour discussion – Comment pourriez-vous utiliser ces données sur l’emploi dans
les années précèdent la mise en œuvre du programme RefugeAid pour améliorer la qualité
de votre analyse? En se basant sur les informations fournies dans le Tableau 3, quelle serait
votre nouvelle estimation de l’impact des THIMO sur le taux d’emploi?
Question 5 pour discussion – Pensez-vous que l’impact estimé par les Méthodes 1, 2 et 3
représente l’impact causal véritable des THIMO sur le taux d’emploi? Pourquoi ou pourquoi
pas?
=> Méthode 3 est la seule qui permet de mesure l’impact car elle permet de controller
pour les différences entre les deux groupes avant le programme. Ceci étant cela requiert
une condition, bien que différents les deux groupes doivent suivre les mêmes tendances
dans le temps. Cela implique qu’ils sont affectés de la même ampleur par tout choc
externe.COMMENT EVALUER L’IMPACT?
DOUBLE DIFFERENCE
Avant-après P1
Taux d’emploi
Participants
P0
NP1
Non-participants
NP0 Participants –
Non participants
T=0 T=1 Temps
(2017) (2018)COMMENT EVALUER L’IMPACT?
DOUBLE DIFFERENCE
P1
Taux d’emploi
Participants
P0
NP1
Non-participants
NP0
Traitement et contrôle
suivent la même tendance
T=0 T=1 Temps
(2017) (2018)METHODES D’EVALUATION
Participants –
Avant - Après Non Suivi-Evaluation
Participants
Double Différence, Appariement,
Régression de Discontinuité Non-Experimental
Impact Causal
Expériences Randomisées
contrôlées
ExperimentalCOMMENT EVALUER L’IMPACT? EXPERIENCE RANDOMISEE CONTROLEE C’ est une technique qui assigne les participants du programme (individus, ménages, villages, associations) d’une façon aléatoire Tous les individus ont la même probabilité d’être assignés au programme Le contrefactuel c’ est le group qui n’ a pas été choisit pour participer au programme (sous quelques hypothèses) cela résout Différences dans le temps. D’autres choses ont put arriver Biais de sélection. Les participants sont plus pauvres que les non- participants
COMMENT EVALUER L’IMPACT? EXPERIENCE RANDOMISEE CONTROLEE Par construction: Les groupes de traitement et de comparaison ont les mêmes caractéristiques (observées et non-observées) La seule différence entre les deux groupes est le programme La méthode permet d’obtenir un bon contrefactuel et donc une mesure d’impact non biaisée
COMMENT FAIRE?
COMMENCER PAR UN ECHANTILLON DE TOUS LES PARTICIPANTS POTENTIELS DU PROGRAMME
CHOISIR QUI FERA PARTIE DE
L’EVALUATION D’IMPACT
Echantillon d’EI: peut faire partie du
groupe de traitement ou contrôle
Sortie de l’échantillon: Inéligible
pour le programme, or
obligation de traitementRANDOMIZER L’ÉCHANTILLON EI DANS LE GROUPE
DE TRAITEMENT ET DE CONTRÔLE
Echantillon d’EI: groupes de traitement
et contrôle par sélection randomisée
Sortie de l’échantillon: Inéligible
pour le programme, or
obligation de traitementETUDIER SI LES GROUPES DE TRAITEMENT ET CONTRÔLE SONT SIMILAIRES AU NIVEAU DES CARACTÉRISTIQUES QUI COMPTENT • Toutes les variables clés sont équilibrées à la période de référence • Ce qui veut dire: la différence entre le groupe de traitement et de comparaison est de 0 (ou pas significativement différente de 0) avant que le programme ne commence • Ceci est grâce à la loterie/ randomisation
ETUDE DE CAS:
TRAVAUX A HAUTE INTENSITÉ DE MAIN D’OEUVRE ET TAUX D’EMPLOI
Distribution des candidats
N= 2 000 intéressés
Sélectionnés : 500
Candidats
Non-Sélectionné : 500
n=1000
PMT Score
SeuilETUDE DE CAS:
TRAVAUX A HAUTE INTENSITE DE MAIN D’OEUVRE ET TAUX D’EMPLOI
Tableau 5: Caractéristiques des groupes de traitement et de comparaison
Traitement Groupe de comparaison Différence
Age 21 22 -1
Revenu / jour 2000 2098 -98
Taux d’emploi 32 33 -1
Pourcentage de Réfugiés 26 26.5 -.5
Distance à l’ école (min) 26 27 -1
Distance au centre de santé 31 30 -1
Taille de l'échantillon 500 500
Tableau 6: Pourcentage moyen des individus employés par mois en 2018
Traitement Groupe de Impact
comparaison estimé
Méthode 4 – Expérience aléatoire 60,7 % 52,1 % 8,6* %ETUDE DE CAS: TRAVAUX A HAUTE INTENSITE DE MAIN D’OEUVRE ET TAUX D’EMPLOI Question 6 pour discussion – Remarquez que les deux groups semblent très similaires dans le Tableau 5. Etait-ce attendu? Pourquoi ou pourquoi pas? Comment est-ce que l’on peut comparer cette similarité par rapport à celle obtenue par les Méthodes 1, 2 et 3?
ETUDE DE CAS: TRAVAUX A HAUTE INTENSITE DE MAIN D’OEUVRE ET TAUX D’EMPLOI Question 6 pour discussion – Remarquez que les deux groups semblent très similaires dans le Tableau 4. Etait-ce attendu? Pourquoi ou pourquoi pas? Comment est-ce que l’on peut comparer cette similarité par rapport à celle obtenue par les Méthodes 1, 2 et 3? Réponse: Oui, cela est dû à la randomisation.
ETUDE DE CAS: TRAVAUX A HAUTE INTENSITE DE MAIN D’OEUVRE ET TAUX D’EMPLOI Question 7 pour discussion – En se fondant sur les résultats obtenus au Tableau 5, recommanderiez-vous la mise en œuvre de cette politique THIMO dans les autres communautés de la région frontalière? Réponse: Oui, le programme à un impact positif sur les participants!
OPPORTUNITES POUR LA RANDOMISATION
Contraintes budgétaires à limite une couverture totale
Assignation aléatoire (loterie) est juste et transparente
Capacité de mise en œuvre limitée
Randomisation par phase donne à tous la même chance d’avoir le
programme en premier
Aucune preuve sur la meilleure alternative
Variation au hasard dans l’approche de l’intervention avec des chances
égales ex-ante de succès
74L’ÉVALUATION D’IMPACT EN BREF
• Les extrants / produits d’un projet
Observe • Nombre de bénéficiaires, rendement
agricoles etc.
• L’impact d’un projet basé sur un principe de
contrefactuel
Mesure • « Est-ce que le programme a augmenté
l’emploi? »
•Introduire une variation au sein du
Comprendre programme pour comprendre le mécanisme
• « Comment et pourquoi? »Evaluation d’Impact 1
Question 1:
Quel est l’impact de l’intervention
HIMO + sur le bien-être économique
(revenus, accès à l’emploi, résistance
aux chocs…)?Evaluation d’Impact 1
Modèle 1:
Population
éligible
Travailleurs HIMO Non-travailleurs
+
32 000 individus 32 000 individusEvaluation d’Impact 2
Question 2:
Comment améliorer le programme
HIMO +? Soit, quel est l’impact
additionnel d’une intervention sur
l’intégration sociale?Evaluation d’Impact 2
Modèle 2:
Communautés éligibles
Comparaison
(communautés
HIMO ++ HIMO + similaires)
45 communautés 46 communautés 45 communautésModèle général
Communautés éligibles
Comparaison
(communautés
HIMO ++ HIMO + similaires)
Population Population
éligible éligible
Travailleurs Non- Travailleurs Non-
HIMO + + travailleurs HIMO + travailleursVous pouvez aussi lire
