EVALUation Matters - Préparer l'évaluation du futur : big data, technologies modernes et évolution des priorités en matière de développement dans ...
←
→
Transcription du contenu de la page
Si votre navigateur ne rend pas la page correctement, lisez s'il vous plaît le contenu de la page ci-dessous
eVALUation Matters
Publication trimestrielle de connaissances sur l’évaluation du développement
Préparer l’évaluation
du futur : big data,
technologies modernes et
évolution des priorités en
matière de développement
dans le monde
Deuxième trimestre 2020
eVALUation Matters Évaluateur général:
est une publication trimestrielle de l’Évaluation Indépendante Roland Michelitsch r.michelitsch@afdb.org
du Développement du groupe de la Banque africaine de
développement. Elle propose différentes perspectives et perceptions Chefs de division :
sur des questions liées à l’évaluation et au développement.
Rufael Fassil r.fassil@afdb.org
Madhusoodhanan
Rédacteur en chef :
Mampuzhasseril m.mampuzhasseril@afdb.org
Kobena Hanson, Chargé principal du renforcement Karen Rot-Münstermann k.rot@afdb.org
des capacités d'évaluation
Des questions ?
Remerciements:
Téléphone (IDEV) +225 2026 2841
IDEV remercie tous les contributeurs, réviseurs et relecteurs qui ont travaillé
Téléphone (Standard BAD) +225 2026 4444
sur ce numéro, en particulier : Karen Rot-Münstermann, Racky Balde,
Olive Bonga, Aminata Kouma, Abdoul-Aziz Ouattara and Tomas Zak.
Nous écrire : 01 BP 1387
Avenue Joseph Anoma,
Édition et traduction :
Abidjan 01, Côte d’Ivoire
Dieudonné Toukam
Courriel : idevhelpdesk@afdb.org
Conception et mise en page :
Créon (www.creondesign.net) Web : idev.afdb.org
afdb.org
Crédits photos : Communiquer avec nous sur: @evaluationafdb
❙❙ Shutterstock®, Envato® IDEV AfDB
À propos de l'Évaluation indépendante du développement
La mission de l'Évaluation indépendante du développement de la BAD est
d'améliorer l'efficacité de l'institution en matière de développement dans
ses pays membres régionaux, à travers des évaluations indépendantes et
pertinentes, ainsi que des partenariats pour le partage des connaissances.
Avertissement :
Les opinions exprimées dans cette publication sont uniquement
celles des auteurs et ne réflètent pas nécessairement celles de
l'employeur, l'organisation ou tout autre groupe ou individu.
© 2020 – African Development Bank (AfDB)
Deuxième trimestre 2020 Les avancées technologiques rapides dues à la quatrième révolution industrielle (4RI) et le processus de digitalisation qui a suivi ont changé la façon dont les informations et les connaissances sont créées, utilisées et partagées. Comment ces transformations ont-elles influencé l’évaluation ? Comment les évaluateurs devraient-ils s’adapter au chiffrement accru du big data et de la blockchain (chaîne de blocs) afin de rester au fait de l’évolution technologique ? Que devons-nous exploiter, et comment ? Les priorités en matière de développement dans le monde ont évolué de façon simultanée ; c’est le cas par exemple du passage des OMD aux ODD. Les nouveaux outils et technologies dont nous disposons peuvent-ils permettre de faire face à ces demandes qui évoluent ? Comment peuvent-ils permettre aux évaluateurs de relever de nouveaux défis ? La pandémie du Coronavirus (COVID-19) en cours a mis en exergue bon nombre des problèmes susmentionnés qui ont été signalés par les défenseurs de la 4RI, qui ont noté que la 4RI, la digitalisation et les technologies transformatrices devraient changer la façon d’approcher le travail et le développement. La présente édition d’eVALUation Matters explore non seulement la manière dont la quatrième révolution industrielle, la digitalisation et l’expansion des technologies transformatrices qui en a découlé façonnent la pratique de l’évaluation, surtout en Afrique, mais également les répercussions sur le travail de la Banque africaine de développement.
IDEV
projets de
IDEV
groupée
groupée de projets
uation
sectorielle IDEV
Une éval
Une évaluation
Une évaluation
estation lations
he de pr ine de Atteindre les popu
e approc ma les plus vulnérable
s:
Vers un ces dans le do u potable es
de servi nement en ea lieu rural Intensifier les servic
ts IDEV
ision en mi ment en eau
de proje
l’app rov ent upée d’app rovisionne
Evaluation de l’app inissem t d'évaluation gro ment
de la BAD au secte ui et assa potable et assainisseurbain
groupée
Rappor
en milieu
de l’eau (2005-201 ur
2020
Janvier
ation groupée
uation
6) Rapport d'évalu
Au-delà du dével
Une éval
d’infrastructure : oppement Janvier 2020
services et le chan vers la prestation
gement de comp de
ortement
Rapport de synthè
se
Renfor
de l’eau cer la gestion
February
Janvier 2020
2018
ag
« Nourrir ricole pour
Rappor l’Afriqu
t d'éval
uation
e»
groupé
e
Janvier
2020
L'actualité en images , page 90
4 Mot de l’Évaluateur général
Roland Michelitsch, IDEV, Banque africaine de développement
Cette édition d’eVALUation Matters explore l’interaction entre les innovations et les technologies trans-
formatrices par rapport à la discipline et la pratique de l’évaluation surtout en Afrique, ainsi que les
implications sur le travail de la Banque.
10 Transformer l’évaluation dans la 4e révolution industrielle :
Opportunités intéressantes et nouveaux défis
Michael Bamberger, Consultant indépendant en évaluation & Peter
York, BCT Partners
Cet article interroge l’impact transformateur de la 4e révolution industrielle sur l’évaluation, en dégage
des perspectives intéressantes, ainsi que les défis qui sont charriés.
24 Le recours au « machine learning » pour des évaluations d’impact liées
au climat
Ben Leo, Shaan Pattni, Catherine Winn, Quinn Lewis,
Table des matières
Christina Paton & Melissa Persaud, Fraym
Cet article montre comment l’apprentissage statistique (« machine learning ») et l’intelligence artificielle
ouvrent de nouvelles voies pour évaluer l’impact des programmes, en effectuant davantage de mesures
et en donnant un aperçu global du contexte initial et final, entre autres.
38 L’intégration du big data analytics et de l’intelligence artificielle dans le
suivi et l’évaluation dans un contexte de développement en pleine expansion
Bernard Okpe, Département pays pour le Nigéria, Banque africaine
de développement
Le présent article applique un cadre de décomposition au big data et à l’intelligence artificielle en tant
que facteurs déterminants du suivi et de l’évaluation. Le cadre retenu pour ce faire est axé sur des
technologies transformatrices ainsi que sur la quatrième révolution industrielle.
48 Blog : L’intégration du big geodata (méga-géodonnées) dans l’évaluation :
que faut-il savoir ?
Anupam Anand, Bureau de l’évaluation indépendante, Fonds pour
l’environnement mondial (FEM)
Ce blog traite de l’application des méga-géodonnées (issues notamment des systèmes d’alerte rapide par
satellite, de drones et des technologies basées sur le téléphone portable) à la pratique de l’évaluation d’impact.
56 L’évaluation de la gouvernance en Afrique sous l’influence des
technologies et innovations transformatrices et du big data
Peter Arthur, Département des sciences politiques, Université
Dalhousie (Canada)
Publié en
Cet article montre comment les innovations technologiques transformatrices façonnent et redé-
finissent le modèle d’évaluation de la gouvernance en Afrique, tout en indiquant qu’elles facilitent
Juin 2020
l’échange d’informations, vecteur de la promotion de l’efficacité de la gouvernance et des politiques.
Calendrier éditorial
66 Institutions et politiques agricoles : technologies
transformatrices et recherche sur l’évaluation en Afrique
Q3 2020
Korbla P. Puplampu, Département de sociologie, Grant Mac
La Semaine de
Ewan University
Cet article examine le rôle des technologies transformatrices dans le développement de l’agriculture et
l’évaluation de
suggère que la recherche en évaluation tient compte de l’interaction complexe entre les producteurs la BAD 2020
et les utilisateurs des connaissances tout en reconnaissant leurs intérêts et objectifs communs.
Q4 2020
76 Digitalisation du secteur énergétique et évaluation d’impact
Les OSC et ONG
Yang Liu, Département de la politique macroéconomique, des dans l’évaluation
prévisions et de la recherche , Banque africaine de développement
Q1 2021
Le présent article présente la digitalisation de l’énergie et montre comment elle transforme
l’offre et la consommation de l’électricité, brouille la distinction entre l’offre et la demande,
en offrant des perspectives valorisantes aux évaluateurs d’impact en vue de l’utilisation des Apprendre
données spécifiques à un lieu et à un temps donné.
des succès et
des échecs en
82 Application de la technologie de collecte de données mobile à
l’aide de SurveyCTO dans les enquêtes auprès des ménages : Le
évaluation
cas de l’évaluation d’impact du projet de gestion communautaire
intégrée des ressources en eau du Niger
Andrew Anguko, Évaluation indépendante du développement,
Banque africaine de développement Calendrier éditorial 2020
d'eVALUation Matters :
Cet article promeut l’utilisation de l’outil Survey CTO pour la collecte mobile de données d’appui à
Le calendrier éditorial
une évaluation d’impact. Il présente les avantages et les inconvénients de Survey CTO et indique pour 2020 a été publié.
comment cet outil peut être utilisé au sein des organisations et des contextes tels que la Banque.
Veuillez trouver le calendrier
et les directives pour les
contributions ici : http://idev.
90 L’actualité en images afdb.org/fr/document/
calendrier-%C3%A-
9ditorial-2020
94 Fraichement publié
« La 4RI offre l’énorme occasion d’incorporer
eVALUation Matters
Premier trimestre 2020
Publication trimestrielle de connaissances sur l’évaluation du développement
le S&E dans les politiques de développement
ainsi que dans les approches d’évaluation
eVALUation Matters : Promouvoir une culture de l’évaluation en 2020 et au-delà
de programmes en Afrique et dans le
monde. Lorsqu’ils sont bien menés, le suivi Promouvoir
une culture de l’évaluation
et l’évaluation ont beaucoup de chances
en 2020 et au-delà
d’évoluer et de s’adapter à un environnement
eVALU
idev.afdb.org Premier trimestre 2020
Banque africaine de développement
Avenue Joseph Anoma, 01 BP 1387, Abidjan 01, Côte d’Ivoire
en pleine mutation, tout en répondant à la
Tél : +225 20 26 28 41
Courriel : idevhelpdesk@afdb.org
Cover-EM Q1-2020-(Fr)-.indd 1-3 25/06/2020 4:09 PM
demande publique à l’échelle mondiale ».
Trouver eVALUation
Matters sur :
https://idev.afdb.org/
fr/page/evaluation-
Bernard Okpe, Département pays pour le Nigéria, matters-magazine
Banque africaine de développement
3
eVALUation Matters Deuxième trimestre 2020
La quatrième révolution industrielle (4RI), la digitalisation
et l’émergence des technologies transformatrices
changent actuellement les possibilités qui s’offrent aux
évaluateurs pour collecter, analyser, utiliser et présenter
des données sur un large éventail de variables, y compris
les variables contextuelles, mais aussi pour explorer
d’une nouvelle façon les relations entre elles. L’évolution
de l’environnement a donné lieu à des appels en direction
des théoriciens et praticiens de l’évaluation afin qu’ils
Mot de l’Évaluateur général
améliorent leurs capacités intellectuelles en profitant
des occasions que les innovations technologiques
leur offrent pour développer des solutions pratiques,
adéquates et disponibles face aux problèmes de suivi
et d’évaluation (S&E). La définition et la vulgarisation
du terme « technologies transformatrices » par Clayton
Christensen, professeur de Harvard, de regrettée mémoire,
nous ont permis de cerner non pas seulement la façon dont
les innovations technologiques influencent les entreprises
et les industries, mais également la manière dont elles
influent sur les comportements des consommateurs, des
marchés et des systèmes socioéconomiques, etc. De plus,
ces technologies façonnent la façon dont nous mesurons
la performance de différentes initiatives. Le développement
rapide de l’intelligence artificielle, du machine learning, des
interfaces entre l’homme et la machine, et de la biologie
synthétique, démontre de plus en plus que les avancées
technologiques induisent des effets sociaux, culturels,
4 Mot de l’Évaluateur général
eVALUation Matters Deuxième trimestre 2020 politiques et économiques. De nos jours, la technologie fait partie intégrante de toutes choses, et c’est un problème qui nécessite des approches globales et axées sur l’humain. Cela dit, la technologie présente autant de défis que de possibilités et d’enjeux. À cet égard, la 4RI et l’émergence induite de la digitalisation et des technologies transformatrices apparaissent comme un couteau à double tranchant, avec des enjeux et des défis énormes. Les enjeux s’expliquent par la possibilité d’obtenir des gains en termes d’efficacité et de productivité qui feront naître de nouvelles manières de faire, créeront de nouvelles opportunités d’emploi et porteront la croissance économique. Dans le même temps, ces technologies posent des problèmes liés à la vie privée et à la possibilité d’accroître les inégalités, particulièrement du fait de leur capacité à perturber le marché du travail – les nouvelles technologies devant écarter les anciens modus operandi ainsi que les employés incapables ou peu enthousiastes pour remettre leurs compétences à jour. Ce point est bien articulé par Bamberger et York, et est repris par d’autres contributeurs dans cette édition. Dans la discipline qu’est le suivi-évaluation, la 4RI et les technologies transformatrices associées devraient révolutionner le mode de collecte, de gestion, d’interprétation et d’utilisation de données. Comme le rappellent Teddy Nalubega & Dominique Emmanuel Uwizeyimana dans leur publication de 2019 intitulée « Public Sector Monitoring and Evaluation in the Fourth Industrial Revolution: Implications for Africa », ces innovations technologiques émergentes sont en mesure de capter et d’analyser des informations multidimensionnelles à partir de multiples variables contextuelles, avec des coûts minimums et dans les délais requis, dans des formats tant quantitatifs que qualitatifs. La vitesse à laquelle ces technologies sont en train de transformer nos vies est tout simplement exponentielle. Que ce soient les organismes de régulations, les entreprises ou les individus et assimilés, tous doivent s’adapter, au risque d’être d’une autre époque. La négociation de l’environnement en pleine mutation créée par l’émergence de nouvelles technologies, ainsi que les défis qu’elles charrient, requiert le développement des capacités, y compris celles des principaux acteurs de l’évaluation (gouvernements, VOPE, associations et réseaux, partenaires Mot de l’Évaluateur général 5
eVALUation Matters Deuxième trimestre 2020
au développement, institutions de formation), pour tirer
durablement parti des synergies internes existantes et exploiter
les occasions attribuables à l’évolution du cadre technologique.
C’est dans un contexte marqué par les répercussions des
technologies, un sujet toujours au cœur du débat, que la
présente édition d’eVALUation Matters, qui est guidée
par le thème « Préparer l’évaluation du futur : big data,
technologies modernes et évolution des priorités en matière
de développement dans le monde », se propose d’explorer
l’interaction entre l’impact des innovations et technologies
innovantes sur la discipline et la pratique de l’évaluation
surtout en Afrique, ainsi que leurs implications sur le travail
de la Banque. En s’appuyant sur leur compréhension nuancée
du continent ainsi que sur la littérature relative à la 4RI et à
l’évaluation, les différents contributeurs à cette édition ont
tenté de dévoiler la façon dont l’expansion des technologies
transformatrices change la sphère évaluative. Individuellement
et collectivement, ils ont souligné les défis, les enjeux et les
possibilités que ces technologies apportent, et la manière
dont leur évolution poussera les évaluateurs à repenser la
conception et la gestion des évaluations, ainsi que l’utilisation
qui est faite de leurs conclusions. Les opinions exprimées par
les contributeurs illustrent l’optimisme de la Banque envers
la capacité de la 4RI, des technologies transformatrices
associées et l’économie numérique, tel qu’articulé dans deux
publications récentes, à savoir : Les perspectives économiques
en Afrique 2020 – Former la main-d’œuvre africaine de demain ;
et le Rapport d’études 2019 – Libérer le potentiel de la quatrième
Révolution industrielle en Afrique.
En tant qu’Évaluateur général, je vois également la capacité
des technologies émergentes à révolutionner le S&E dans le
monde, notamment en Afrique. L’impact de la COVID‑19, qui a
déjà amené les évaluateurs à explorer de nouvelles méthodes
de collecte de données à l’appui des évaluations robustes et de
haute qualité, devrait accélérer ce processus. Par exemple, les
restrictions dues à la pandémie du Coronavirus accentueront la
nécessité pour les évaluateurs d’embrasser les technologies
6 Mot de l’Évaluateur général
eVALUation Matters Deuxième trimestre 2020
innovantes si nous devons rester cohérents. La limitation de
la mobilité impliquera le recours à des entretiens à distance (par
téléphone, téléconférence), l’utilisation des mégadonnées (big
data), de l’imagerie par satellite et des systèmes d’information
géographique, afin de surmonter l’incapacité à aller sur le
terrain, et l’emploi de l’intelligence artificielle et du machine
learning, réduit la portée du sujet évalué (sujet d’évaluation).
De même, nous examinerons minutieusement comment et dans
quelle mesure les nouvelles technologies peuvent compenser les
défaillances essentielles de la qualité des données de base, ce qui
constitue un défi dans les pays en développement. D’autre part,
les avantages de ces approches ne s’obtiendront que si nous les
utilisons pour mieux cerner les effets sur les populations pauvres
et vulnérables et éviter le risque d’exclusion de ces dernières,
puisqu’elles sont « moins connectées ».
Je reconnais la nécessité, pour les décideurs du continent, les
évaluateurs et la communauté du développement dans son
ensemble, de mettre un accent particulier sur l’évolution de la 4RI,
y compris notamment les effets des innovations technologiques
sur les emplois futurs, l’éducation, le développement des
capacités et les politiques. Pour y parvenir de manière efficiente,
les praticiens du S&E, les spécialistes de la data science et les
développeurs des technologies doivent se former pour acquérir
de nouvelles compétences et établir d’importantes plateformes
de débat, afin d’améliorer la qualité, la validité et la fiabilité des
données recueillies par les technologies. Bien plus important
encore, si l’Afrique cherche à profiter de la 4RI comme l’indiquent
les contributeurs à cette édition, ce continent devra faire
émerger son propre type d’évaluation reposant sur ses propres
innovations et outils connexes (conception, big data, intelligence
artificielle, systèmes d’information géographique, analytique
prédictive, etc.), qui facilitent l’appréhension de son rôle dans
le monde, au-delà des clichés, afin de jouir d’un développement
pour la transformation.
J’espère que les contributions diverses des idées et enseignements
précis sur l’interaction entre les technologies transformatrices
et l’évaluation, ainsi que sur la façon dont tout cela pourrait
Mot de l’Évaluateur général 7
eVALUation Matters Deuxième trimestre 2020
restructurer la discipline et la pratique du S&E en Afrique – mais
aussi, éventuellement, sur la manière dont la Banque effectuera
ses évaluations à l’avenir. Elles apportent de nouvelles perspectives
qui, en plus d’éclairer, outillent les générations actuelle et future
des évaluateurs afin qu’ils s’approprient la technologie et essaient
de nouvelles façons de réaliser et d’apprécier des évaluations.
Bonne lecture !
À propos de l’Évaluateur général
Roland Michelitsch est l’Évaluateur général de la Banque africaine de développement (BAD).
Avant de rejoindre la BAD en 2019, il a officié à la Banque interaméricaine de développement (BID),
où il a dirigé des évaluations d’activités des secteurs privé et public. Tout comme il a géré l’unité
des investissements du département de l’impact du développement lorsqu’il travaillait à la Société
financière internationale (SFI). Il a également dirigé le système et le cadre d’évaluation des projets
de la SFI, ainsi que des évaluations dans divers domaines. Roland est titulaire d’un doctorat et
d’une maîtrise en économie de l’Université de l’Arizona (États-Unis) et d’un MBA de l’Université
de Graz (Autriche).
8 Mot de l’Évaluateur généralTransformer l’évaluation dans la 4e révolution industrielle :
Opportunités intéressantes et nouveaux défis
L’Afrique, comme le reste du monde, est en train
de vivre une quatrième révolution industrielle,
qui s’accompagne de la digitalisation et des
technologies transformatrices. Ces mutations
ont un impact sur de nombreux pans de la
société, et l’évaluation n’est pas en reste. Si
quelques‑unes de ces technologies peuvent
être étrangères aux évaluateurs opérant en
Afrique, le fait que ces nouvelles technologies
deviennent rapidement peu onéreuses et, donc
plus accessibles, concourt à accroître leur taux
d’application, offrant ainsi l’occasion inouïe de
renforcer la contribution de l’évaluation à la
résolution des problèmes de développement.eVALUation Matters Deuxième trimestre 2020
Michael Bamberger, Consultant indépendant en évaluation, et Peter York, BCT Partners.
Messages clés
❚❚ La 4RI poussera les évaluateurs à repenser la façon dont ils conçoivent et gèrent les
évaluations, et utilisent les résultats issus de celles-ci.
❚❚ Certes, il importe de s’adapter à un écosystème de données nouveau et complexe, mais
la 4RI offre un éventail de ressources et d’opportunités excitantes pour les évaluateurs.
❚❚ La formation des évaluateurs doit être sensiblement mise à jour en intégrant des outils et
techniques de la data science, ainsi que leur application à l’évaluation.
Introduction : La nouvelle sphère menacés et résisteront à elles, car les
de la 4e Révolution industrielle nouveaux modes de collecte et d’analyse de
et les « éléments perturbateurs » données semblent défier les paradigmes
I
et « meilleures pratiques » acceptées en
l est largement connu que l’Afrique matière d’évaluation.
entre dans une 4 e révolution
industrielle (4RI) portée par la
digitalisation et les nouvelles Le nouvel environnement
technologies de l’information. Alors de la 4RI et les implications
que la 4RI offre d’énormes opportunités pour l’évaluation
tant aux secteurs public et privé qu’à la
société civile, elle entraînera d’importants Les changements technologiques
changements qui influenceront les présentés dans la publication de la Banque
paradigmes conventionnels de l’industrie africaine de développement intitulée
et du développement, tout en produisant Libérer le potentiel de la quatrième
des gagnants et des perdants. Comme révolution industrielle en Afrique (2019), et
on le verra, les nouvelles technologies de qui sont abordés dans la section suivante,
l’information présentent d’extraordinaires auront de profondes répercussions sur la
opportunités concernant le mode façon dont les évaluations sont conçues et
d’évaluation de programmes et politiques, évaluées. Ces technologies seront toutefois
ainsi que l’utilisation des résultats incorporées dans des changements
des évaluations en vue d’améliorer la structurels plus vastes qui créeront le
conception et la gestion de programmes. nouvel écosystème de la data science dans
Toutefois, ces technologies entraîneront lequel les évaluations seront réalisées.
également des perturbations et, que Parmi ces changements structurels, qui
les évaluateurs le veuillent ou non, ils influeront profondément sur la pratique
devront repenser non seulement les évaluative, on peut citer les suivants :
évaluations sont conçues et gérées, mais
aussi la manière dont les résultats des ❚❚ Une interconnexion plus étroite entre
évaluations sont utilisés. Si beaucoup les différentes parties des systèmes
d’entre eux accueillent favorablement économiques, politiques et autres. Cela
ces mutations, d’autres peuvent se sentir nécessitera que de nombreuses
Transformer l’évaluation dans la 4e révolution industrielle : Opportunités intéressantes et nouveaux défis 11eVALUation Matters Deuxième trimestre 2020
évaluations adoptent une perspective toutes sortes de données nécessaires
plus globale d’analyse de systèmes afin pour modeler les complexités1.
de modeler et suivre les interactions qui
évolueront et changeront également ❚❚ La concentration des pouvoirs et
sur la durée. la fracture numérique. Afin de tirer
parti des nouvelles technologies
❚❚ Les évaluations auront besoin de l’information, les évaluateurs
d’apprendre à naviguer à travers ce de programmes auront besoin
nouvel écosystème d’information. Les de ressources pour produire ou
données utilisées par les évaluateurs accéder à des volumes importants de
devront être produites, contrôlées données et effectuer des extractions,
et transmises selon de nouvelles transformations et analyses plus
méthodes, en impliquant de nombreux sophistiquées. Le risque potentiel
nouveaux acteurs dans la régulation, le à encourir à cet égard est une
marketing et la création de nouvelles aggravation de la fracture numérique
applications. et des disparités entre les organisations
et les groupes socioéconomiques qui
❚❚ La vitesse de changement sera ont ou n’ont pas accès à ces ressources.
nettement plus importante. Cela Un autre souci lié au déséquilibre entre
aura un impact non seulement sur le les pouvoirs réside dans l’utilisation
rythme de mise au point et d’expansion potentielle des données collectées sur
des nouvelles technologies, mais les populations pauvres et vulnérables,
également sur le rythme de mise sans que les concernés aient été
en œuvre et de changement de informés ou aient consenti à un tel
programmes. usage. Les évaluateurs devront faire
preuve de prudence en s’engageant à
❚❚ L’échelle de nombreux programmes utiliser ces types de données.
et interventions augmentera. Cet
accroissement s’expliquera en partie
par le volume et la vitesse des retours Les éléments perturbateurs
d’information rendus possibles à
travers un développement rapide Hormis ces changements structurels dans
des solutions et applications un sens général, la publication de 2019
technologiques pour ceux en de la Banque a identifié six technologies
première ligne. Cela mettra en retour émergentes qui « transformeront » le
la pression sur les évaluateurs afin développement social et économique
qu’ils se montrent à même de faire de l’Afrique. Même si cette publication
leur travail de manière plus efficace n’aborde pas directement les répercussions
et opportune. Ces changements sur l’évaluation, tout porte à croire que
ne seront possibles que si l’arsenal cinq de ces technologies induiront un effet
méthodologique de l’évaluation direct sur le champ évaluatif2 :
intègre des techniques de la science
des données en temps réel.
Nouvelles technologies
❚❚ Toute intervention est influencée par de collecte de données
le contexte plus général dans lequel
elle a lieu. Cela nécessite le recours à 1. Big data : Forte augmentation du
des conceptions d’évaluations tenant volume des données de divers types
compte des complexités, ainsi qu’à qui sont faciles à collecter, et réduction
des systèmes de collecte de données drastique du temps et du coût de la
susceptibles de générer et d’analyser collecte de ces données.
12 Transformer l’évaluation dans la 4e révolution industrielle : Opportunités intéressantes et nouveaux défiseVALUation Matters Deuxième trimestre 2020
2. Internet des objets (IdO). Capacité les ressources qui sont généralement
à collecter des données objectives requis pour conduire une évaluation.
sur les comportements humains, les
choix, l’état de santé, les conditions
environnementales, les interactions, Nouvelles technologies pour
etc., par exemple via des veilles la sécurité, le caractère privé
intelligentes pouvant contrôler et la propriété des données
l’emplacement, le mouvement et l’état
physiologique d’une personne ainsi 5. Blockchain. La plus grande inquiétude
que ses communications avec un tiers, concernant l’utilisation du big data,
contrôles au cours desquels le nombre quel que soit l’objectif (l’évaluation,
de personnes utilisant les adductions par exemple), a trait à la sécurité,
d’eau et toilettes communautaires au caractère privé et à la propriété
peut être cerné. L’IdO produit et stocke des données, particulièrement
des données qui sont mobilisées ce l l es qui s o nt co l l e c té es
pour des évaluations de programmes « inconsciemment » – c’est‑à‑dire sans
plus complexes. que les personnes concernées ne
comprennent clairement pourquoi
3. Drones [et satellites]. Capacité à leurs transactions virtuelles sont
collecter de manière continue les utilisées à une fin autre que celle
images aériennes des infrastructures, de la transaction, et encore moins
de l’activité économique, des schémas y consentir. La blockchain est une
migratoires, de la température, solution à ce problème. Elle crypte les
des niveaux d’humidité et d’autres échanges virtuels à travers un registre
caractéristiques de la nature. Les de distribution décentralisé. Lorsque
images haute résolution de faible les données sont conservées au niveau
niveau provenant des drones central, elles sont plus exposées à un
peuvent être combinées à des images piratage. Avec la blockchain, toutes
satellitaires de haut niveau couvrant les transactions sont enregistrées
des zones géographiques très étendues. dans une chaîne (registre séquentiel),
et il existe de nombreux « nœuds »
décentralisés (ordinateurs) qui
Nouvelles technologies d’analyse conservent copie de chaque opération
de données et de prédiction en chaîne de blocs. Si quelqu’un essaie
de modifier un bloc d’informations
4. Intelligence artificielle [et data (données), toutes les autres copies
mining]. Les algorithmes du machine de la chaîne permettent de vérifier
learning peuvent être formés pour la transaction (qui est cryptée). Si
trouver des expérimentations les mêmes copies de blocs (données
naturelles en matière de big data transactionnelles) conservées dans
historique, et donc, faire émerger des d’autres ordinateurs ne concordent
conclusions quasi expérimentales pas, alors les données ne sont pas
sur l’attribution ou la contribution échangées. Cela garantit un très haut
de programmes et politiques à niveau de sécurité et de propriété
des résultats sur la population ou privée des données. L’avantage de la
la communauté. Une fois que ces blockchain est que non seulement
algorithmes sont entraînés sur une elle protège les données et permet à
ou plusieurs bases de données, il est des individus de jouir de leur droit
possible d’automatiser le processus de propriété, mais également elle ne
d’évaluation et d’apprentissage, ce qui donne accès à des données que si leur(s)
réduit considérablement le temps et propriétaires(s) l’autorise(nt).
Transformer l’évaluation dans la 4e révolution industrielle : Opportunités intéressantes et nouveaux défis 13eVALUation Matters Deuxième trimestre 2020
Pourquoi ces nouvelles ❚❚ Enfin, à niveau structurel plus
technologies sont‑elles global, il pourrait être plus facile
susceptibles de bouleverser pour des organisations plus vastes
le domaine de l’évaluation ? et mieux outillées d’être écartées de
certains programmes potentiels et
Certes, ces nouvelles technologies de ne pas accéder à certaines sources
présentent d’énormes avantages potentiels de financement. Par exemple, les
pour une grande variété d’organisations organismes de financement peuvent
d’évaluation, mais les mêmes technologies préférer soutenir uniquement les
entraîneront inéluctablement des organisations qui sont déjà en mesure
perturbations notables dans la d’utiliser des mégadonnées dans leurs
pratique évaluative. systèmes de gestion et d’évaluation.
❚❚ Premièrement, de nombreux
évaluateurs ne se sont pas familiarisés Des enjeux intéressants pour
avec ces nouvelles technologies pour la l’évaluation à l’ère de la 4RI
collecte et l’analyse de données, et, par
conséquent, seront tenus de renforcer Certes, il importe de s’adapter à un
considérablement leurs capacités sur écosystème de données nouveau et
ce point ; complexe, mais la 4RI offre un éventail de
ressources et d’opportunités intéressantes
❚❚ Deuxièmement, la collecte et pour les évaluateurs afin qu’ils le fassent
l’analyse de nouveaux types de dans l’environnement en pleine mutation
données nécessiteront parfois où s’opèrent les programmes.
d’importants investissements dans les
équipements, les logiciels, le personnel ❚❚ L’accès à des données est devenu plus
et les consultants ; rapide et moins onéreux, et les types de
données se multiplient rapidement. Les
❚❚ Troisièmement, il faudra souvent nouveaux outils analytiques nécessaires
restructurer les relations entre les pour créer des bases de données intégrées
bureaux d’évaluation, les centres permettent de combiner de multiples
de données et les départements types de données dans une seule base de
opérationnels ; données. Autrement dit, il est désormais
possible de combiner par exemple des
❚❚ Quatrièmement, il est probable que données d’enquête avec des données
ces changements fassent l’objet de géospatiales, des enregistrements
résistance, car les évaluateurs seniors d’appels téléphoniques, des posts sur les
peuvent se sentir menacés par ces réseaux sociaux, des enregistrements
nouvelles technologies ou résister à de transactions au niveau des guichets
la nécessité de se recycler ; automatiques (GAB) et des données
audiovisuelles pour obtenir une seule
❚❚ Cinquièmement, il conviendra plateforme de données. L’analytique
de réorganiser l’activité et de textuelle permet également d’analyser
constituer des équipes au sein des d’énormes volumes de documents
bureaux d’évaluation, étant donné PDF que la plupart d’organismes ont
le personnel et les consultants ayant accumulés durant des années3.
des compétences nouvelles en data
science devront être intégrés dans ❚❚ Le coût de collecte de données fait que
des bureaux où peu de membres du la majorité des évaluations s’efforce
personnel disponibles bénéficient de de réduire la taille de l’échantillon au
telles aptitudes ; et strict minimum afin d’atteindre le
Transformer l’évaluation dans la 4e révolution industrielle : Opportunités intéressantes et nouveaux défis 15eVALUation Matters Deuxième trimestre 2020
niveau de puissance statistique requis. connu le domaine du big data et de la data
Il est pourtant désormais possible science, qui commencent déjà à être testés
de travailler avec l’ensemble de la dans le champ de l’évaluation. Si certaines
population d’étude, ce qui permet une de ces applications seront étrangères à
analyse plus granulaire et des modèles beaucoup d’évaluateurs évoluant dans
analytiques plus sophistiqués. des pays en développement ou dans des
régions accusant un retard technologique
❚❚ S’il est largement reconnu que aux États‑Unis et dans d’autres nations
la plupart des programmes sont riches, le rythme auquel les coûts de ces
« complexes » et que les résultats applications baisse et auquel ils deviennent
de programmes sont influencés accessibles à de non‑spécialistes prouve
par un vaste ensemble de variables que leur utilisation va croître rapidement
contextuelles (économiques, politiques, à travers le globe. Alors que, par le passé, la
démographiques, environnementales), plupart de ces applications s’acquéraient
le coût et la complexité de la collecte au moyen de l’achat de logiciels de marque
de données sur les plus importantes onéreux et techniquement complexes
d’entre elles montrent que, jusqu’à ou en engageant des consultants à
maintenant, l’incorporation de ces un coût élevé, un plus grand nombre
variables contextuelles dans la d’organisations, y compris les ONG
conception des évaluations était encore nationales et les organismes publics sans
impossible. Désormais, il est possible ressources peuvent désormais les obtenir
de les incorporer et de commencer rapidement. Compte tenu de la vitesse
à utiliser des méthodes d’évaluation à laquelle ces technologies pourraient
« tenant compte de la complexité ». s’introduire sur le continent, il faut
s’attendre à une transformation encore
❚❚ L’analyse systématique (un élément plus rapide que jamais de la pratique de
clé de la théorie de la complexité) peut l’évaluation. Cette section se termine sur
aussi être maintenant prise en compte une brève présentation de quelques‑uns
dans l’évaluation. des problèmes qui méritent d’être traités
au cours de cette transformation.
❚❚ De même, le big data peut offrir assez
de cas nécessaires pour approfondir
l’analyse des externalités et déviants Technologies de pointe
positifs, et affiner notre compréhension pour l’évaluation4
de ce qui fonctionne.
La technologie du big data combinée
❚❚ Des techniques telles que l’analyse aux algorithmes du machine learning
géospatiale permet désormais de donnera un coup d’accélérateur à la
collecter des données sur de longues pratique d’évaluation. Les évaluations de
périodes, notamment avant le programmes utilisant les données et les
démarrage d’un projet ou à sa clôture. techniques de correspondance statistique
Par conséquent, on peut évaluer la disponibles pour réduire les biais de
durabilité d’un programme, ce qui a sélection (l’appariement des scores de
rarement été fait jusqu’ici. propension, par exemple) ont été utilisées
pendant longtemps pour 100 000 études
dans des domaines tels que la médecine
Transformer la nature de et l’économie. À la faveur des avancées
l’évaluation à l’ère du big data enregistrées dans la capture du big data et
l’application des algorithmes du machine
Cette section identifie quelques‑unes des learning, le temps et le coût de conduite
transformations de premier plan qu’a des évaluations recourant à des
16 Transformer l’évaluation dans la 4e révolution industrielle : Opportunités intéressantes et nouveaux défiseVALUation Matters Deuxième trimestre 2020
données d’observation seront réduits membres du groupe de comparaison qui
de façon exponentielle dans les quelques conviennent et de l’appariement de chaque
années à venir. En reliant les données individu avec l’un des quatre résultats
administratives à des données d’enquête suivants : a) Succès attribuable – a eu
et des données contextuelles pour usage obtenu le nécessaire (recommandations à
personnel, de suivi ou issues des réseaux forte probabilité spécifique à un groupe) et
sociaux, et donc disponibles au grand a réussi ; b) besoins inconnus – a obtenu le
public, le domaine de l’évaluation assurera nécessaire, mais n’a pas réussi ; c) succès non
une capacité à faible coût pour mesurer de attribuable – n’a pas obtenu le nécessaire,
manière quasi expérimentale les résultats mais a quand même réussi ; et d) besoins
de programmes, identifier les tendances non satisfaits – n’a pas obtenu le nécessaire
émergentes des pratiques prometteuses et n’a pas réussi.
et produits des informations pour la
formation des organes d’exécution en Les évaluations qui utilisent des données
première ligne. de programmes structurées seront
davantage renforcées sur le plan qualitatif
Les avancées technologiques ont amené à travers des algorithmes de traitement de
les plateformes de l’analytique, qui langage naturel qui évoluent rapidement
associent les outils de modélisation et la capacité à mener des enquêtes
statistique au machine learning afin de qualitatives plus ciblées et précises.
réaliser des évaluations beaucoup plus Les organismes publics commencent à
rapidement, avec plus de fréquences et employer et à appliquer des algorithmes
de manière plus économe. Les États‑Unis de traitement du langage naturel qui
regorgent de prestataires qui ont établi permettent de mieux cerner le contexte
des plans d’évaluation rigoureux, quasi en se formant moyennant des bases
expérimentaux et reposant sur une de données telles que Wikipédia dans
méthode mixte ; ce plan se nourrit de son ensemble. Par exemple, ces types
données administratives à l’appui de d’algorithmes de traitement de langage
leurs programmes. Ces plans d’évaluation naturel ont été formés pour rehausser
automatisés extraient, transforment le niveau d’examen de la présentation
et chargent les données d’analyse des propositions et des rapports, de
longitudinale de programmes des manière à ce qu’un humain assisté par
organisations dans une chaîne analytique ; des algorithmes de machine learning
procèdent à tout le travail de nettoyage et soit huit fois plus rapide que des codeurs
de transformation de données, notamment humanoïdes, sans aucune perte de
en calculant les échelles et les concepts ; l’exactitude. Des prestataires de soins
repèrent toutes les expérimentations qui mentaux ont développé des algorithmes
surviennent naturellement dans l’histoire d’évaluation qui peuvent coder et attribuer
avec des groupes de comparaison de cas des notes de psychiatrie susceptibles
correspondants ; effectuent des analyses d’être utilisées pour obtenir des résultats
par déduction afin de tester et d’accepter ou d’évaluation testables. En plus des
de rejeter des hypothèses concernant des avancées en matière de traitement du
programmes, notamment en déterminant langage naturel, l’identification de la
les tailles des effets, les tableaux et situation du résultat de chaque cas
visualisations dynamiques des résultats ; (besoins non satisfaits, succès attribuable,
et produisent un langage guidé par l’organe etc.) à travers des algorithmes a amené
d’exécution en vue des recommandations les médecins à mener des recherches
qui amélioreront les chances de succès pour qualitatives et à cocréer la signification
chaque cas/bénéficiaire. Des programmes des cas spécifiques dévoilés par le
peuvent désormais évaluer chaque cas processus analytique. Ces « échanges
de manière probabiliste, en fonction des d’apprentissage » étaient opportuns,
Transformer l’évaluation dans la 4e révolution industrielle : Opportunités intéressantes et nouveaux défis 17eVALUation Matters Deuxième trimestre 2020
plus ciblés et moins coûteux que les niveau de développement technologique
méthodes d’évaluation qualitative basées avancé, de sorte que le financement destiné
sur des plans d’échantillonnage moins aux organismes moins avancés sur le plan
ciblés. De même, les médecins ont souvent technologique pourrait être réduit, ce
émis de nouvelles hypothèses et demandé qui entraînerait une perte de ressources
des points/métriques plus adéquats par des organismes expérimentés, mais
pour aller de l’avant. Par conséquent, technologiquement moins développés.
en s’appropriant le processus qualitatif Le processus de transformation peut
de détermination de la signification, ils également s’avérer perturbant (les
ont eu plus de motivation pour collecter systèmes de suivi, de gestion de données
de nouvelles données. L’automatisation et d’évaluation mis en place pouvant
de l’évaluation quasi expérimentale changer), ce qui non seulement accroîtrait la
reposant sur des méthodes d’observation demande d’un nouveau personnel ayant de
structurées basées sur la data science l’expérience en data science, mais également
diminuera la nécessité pour les individus les menaces à la sécurité de l’emploi de
de prendre tant de temps pour obtenir, nombreux employés technologiquement
préparer et analyser manuellement les moins habiles. L’expérience a montré que
données, les dépouiller afin d’approfondir l’évolution technologique apporte toujours
la manière dont ils comprennent, d’un plus de transformations que ne l’admettent
point de vue qualitatif, une expérience ses défenseurs.
liée à un programme. De même, les progrès
qualitatifs permettront de cerner encore
plus la complexité. Applications potentielles du big
data aux évaluations de la Banque :
cas de l’évaluation d’impact
Les défis liés à la transformation d’un projet routier au Ghana
La vitesse à laquelle ces technologies Il s’agit d’un exemple hypothétique pour
innovantes pourraient évoluer implique illustrer l’éventail des outils et techniques
que les organismes de développement et du big data qui pourraient servir dans les
le secteur de l’évaluation doivent anticiper évaluations conduites par la Banque. Ce
et initier un plan pour ces mutations, afin n’est pas une recommandation que ces
de se préparer lorsque ces innovations techniques soient absolument utilisées
commenceront à être introduites. Le dans une évaluation.
domaine de l’évaluation est souvent
conservateur et résiste aux changements ; Le projet routier Fufulso‑Sawla road
il faudra donc concevoir une approche plus au Ghana 5 a été choisi par IDEV, en
dynamique de gestion des innovations. Le consultation avec le Département
premier défi à relever sera de comprendre du développement urbain et des
et de naviguer à travers l’écosystème non infrastructures de la Banque, comme un
familier du big data (question abordée exemple convenable pour une évaluation
dans l’introduction). Les décideurs doivent d’impact rigoureuse, dans un échantillon
également s’attaquer à la longue aux risques de nouveaux projets de transport 6.
potentiels, et les organismes mieux nantis Le projet comprend la construction
pourront profiter de ces technologies, d’une route de 147,5 kilomètres de
tandis que ceux ayant peu ou moins de long entre Fufulso et Sawla, avec des
ressources pourraient rester à la traîne. La routes secondaires vers des localités
fracture numérique potentielle pourrait principales, mais aussi des infrastructures
avoir des répercussions plus lourdes, complémentaires comme des forages,
car certains organismes de financement l’indemnisation et la réinstallation des
pourraient être attirés par ceux ayant un familles à déguerpir. Le projet a pour
18 Transformer l’évaluation dans la 4e révolution industrielle : Opportunités intéressantes et nouveaux défisVous pouvez aussi lire
