Dans les secteurs de la petite enfance et de la lutte contre la pauvreté - En partenariat avec - King Baudouin Foundation
←
→
Transcription du contenu de la page
Si votre navigateur ne rend pas la page correctement, lisez s'il vous plaît le contenu de la page ci-dessous
Guide pratique
pour réussir
l’auto-évaluation
de son projet
Dans les secteurs de la petite enfance
et de la lutte contre la pauvreté
En partenariat avec
Colophon
Titre Guide pratique pour réussir l'auto-évaluation
de son projet dans les secteurs de la petite
enfance et de la lutte contre la pauvreté
Auteur Claire Kramme, Meaningful Impact
Coordination pour la Françoise Pissart, directrice
Fondation Roi Baudouin Anne-Françoise Genel, coordinatrice de
projet senior
Nathalie Troupée, collaboratrice de projet
Conception graphique et Meaningful Impact
mise en page
Cette publication peut être téléchargée
(gratuitement) sur le site www.kbs-frb.be
Dépôt légal D/2848/2018/19
Numéro de commande 3596
Date de publication Octobre 2018
Avec le soutien de la Loterie Nationale
2018
Colophon
Membres du comité de suivi Séverine Acerbis, Badje, directrice
du projet générale
Stéphane Aujean, Observatoire de
l’Enfant, COCOF, attaché
Geneviève Bazier, Direction Etudes et
Stratégies, ONE, directrice
Nicolas De Kuyssche, Forum Bruxellois de
Lutte contre la Pauvreté, directeur
Anne-Marie Dieu, Observatoire de
l’Enfance, de la Jeunesse et de l’Aide à la
Jeunesse, FWB, directrice de recherche
Fabiola Frippiat, Fédération des Initiatives
Locales pour l'Enfance, directrice
Isabelle Gaspard, Fédération des
Institutions Médico-Sociales, directrice
Martin Wagener, RIEPP, membre du
conseil d'administration
Illustrations Frank Toussaint
Foto593
2018Sommaire
Pourquoi ce guide et pour qui ? 4
Pourquoi se lancer dans une demarche d’auto-évaluation? 7
La parole donnée aux acteurs de terrain
QUIZZ : Ce guide est-il fait pour vous ? 9
Glossaire 11
Etape 1 : Planifier le projet et définir la théorie du changement 19
1.1 Cartographier la théorie du changement de son projet 19
1.2 Elaborer son cadre évaluatif 25
Etape 2 : Mettre en œuvre le projet et collecter les données 34
2.1 Le plan d'évaluation et les outils de collecte des données 34
2.2 La collecte des données 39
2.3 Le tableau de bord 41
Etape 3 : Analyser les résultats et en tirer les enseignements 46
3.1 Analyse des données 46
3.2 Tirer les enseignements du travail d'évaluation 48
Etape 4 : Agir et communiquer 49
4.1 Agir pour améliorer le service offert 49
4.2 Communication 49
Synthèse : les 10 choses à savoir à propos de l’évaluation 56
Présentation des 10 asbl ayant participé au programme CB 57
ANNEXE 1 : Proposition de ressources « pour aller plus loin » 60
ANNEXE 2 : Le cadre d'évaluation 62
ANNEXE 3 : Liste indicative d’objectifs et d’indicateurs relatifs aux activités de 63
soutien à la parentalité, d'accueil et d'éducation du jeune enfant
ANNEXE 4 : La fiche indicateur 70
ANNEXE 5 : Les outils de collecte (exemples) 72
ANNEXE 5-1 : Fiche d'inscription 73
ANNEXE 5-2 : Outils de diagnostic 75
ANNEXE 5-3 : Fiche de renseignements / anamnèse 77
ANNEXE 5-4 : Grille d'observation de l'enfant 81
ANNEXE 5-5 : Fiche de suivi du bénéficiaire 85
ANNEXE 5-6 : Grille d'évaluation 86
ANNEXE 5-7 : Guide d'entretien 89
3GUIDE PRATIQUE POUR RÉUSSIR L’AUTO-ÉVALUATION DE SON PROJET
Pourquoi ce guide et pour qui ?
Introduction
Votre association est active sur le terrain de la petite enfance et de la lutte contre la
pauvreté. Vous avez à cœur de contribuer positivement au bien-être ainsi qu’au
développement des enfants et de soutenir leurs parents en situation de
vulnérabilité. Bien sûr, vous savez que l’impact de vos interventions est influencé par
de nombreux autres facteurs. Néanmoins, vous souhaitez mieux cerner ‘ce qui marche’
et ce qui peut être amélioré. Dans une perspective d’apprentissage, vous voulez
renforcer la capacité de votre équipe à mesurer les résultats et à en tirer des
enseignements utiles - par exemple pour mieux toucher votre public cible. Vous avez
aussi à cœur de communiquer de façon convaincante sur votre projet et de mettre en
évidence la valeur ajoutée qu’il crée pour ses bénéficiaires et pour la société.
Ces préoccupations sont partagées par de plus en plus d’intervenants de terrain,
soucieux d’améliorer en permanence la qualité des services fournis. Ils sont conscients
qu’un système efficace de suivi et d’évaluation leur fournit de précieuses informations
pour s’assurer de l’adéquation et de la pertinence du projet ou du programme qui est
mis en œuvre. De plus, les mentalités et les pratiques évoluent aussi en raison de
l’intérêt croissant des financeurs et du grand public pour connaître les effets des
actions menées. L’impact de l’accès précoce des enfants et des familles à des services
de qualité en matière d’accueil et d’éducation a été largement démontré par le
monde de la recherche. Nous sommes cependant convaincus que cette
démonstration doit également pouvoir se faire sur le terrain, par les acteurs de
première ligne qui agissent quotidiennement auprès des parents et des enfants de
milieux précarisés.
C’est pourquoi la Fondation Roi Baudouin et CAP48 ont mis sur pied en 2015 un
programme visant le renforcement des compétences en matière de pilotage et
d’évaluation de projet. Ce programme de ‘capacity building’ est destiné aux
associations soutenues dans le cadre de l’opération Viva for Life. Il leur propose
d’approfondir les principales étapes d’une démarche d’auto-évaluation de projet :
clarifier les objectifs, définir un cadre d’évaluation, construire des indicateurs, collecter
les données nécessaires, développer un tableau de bord pour suivre l’avancement du
projet et en tirer des enseignements et enfin communiquer les résultats en interne et
en externe. Ce programme de 12 mois comprend des sessions collectives de formation
et d’échange, un accompagnement individualisé et un soutien financier couvrant
l’investissement en temps et le recours à des outils de pilotage et d’évaluation.
2018
4GUIDE PRATIQUE POUR RÉUSSIR L’AUTO-ÉVALUATION DE SON PROJET
Au travers de ce guide, la Fondation Roi Baudouin et CAP48 souhaitent que tout le
secteur associatif intervenant auprès des jeunes enfants, en particulier ceux issus de
milieux précarisés, puisse bénéficier des enseignements tirés de ce programme.
Certes, des ouvrages existent déjà sur le sujet. La Fondation elle-même a déjà publié
un guide pratique*, qui s’adresse à l’ensemble des acteurs associatifs désireux de se
lancer dans une démarche d’évaluation. L’originalité de la présente publication est
double : non seulement elle est spécifiquement ciblée sur le domaine de la petite
enfance, mais elle est aussi le fruit d’un travail commun et d’un processus de co-
construction entre des associations de première ligne, une consultante spécialisée
dans la mesure de l’impact social et une chercheuse experte des questions de la petite
enfance.
Ce guide est donc le reflet du parcours suivi par les 10 associations ayant participé à la
première édition du programme de ‘capacity building’ en 2016 et 2017 (liste des asbl
page p56). Chaque étape de l’auto-évaluation est illustrée par des exemples et des
témoignages de ces associations et les outils pratiques proposés ont été construits en
commun par les participants au programme et la consultante spécialisée.
Nous espérons qu’il pourra être utile à un maximum d’acteurs de terrain. Parce que,
comme en témoignait l’une des responsables impliquées dans le programme, “la mise
en œuvre de la démarche d’auto-évaluation permet clairement d’être au plus juste
dans l’analyse des besoins des familles et de pouvoir rectifier le tir au fur et à mesure
de l’avancement de l’accompagnement”.
Le programme de ‘capacity building’ et l’élaboration du guide ont bénéficié des
réactions et suggestions d’un comité de suivi (voir colophon) que la Fondation Roi
Baudouin et CAP48 tiennent à remercier sincèrement. Un grand merci aussi aux
associations pour leur contribution active au programme de ‘capacity building’, ainsi
qu’à Perrine Humblet pour ses apports pertinents dont ont bénéficié tant les
associations que le programme. Enfin, ce projet n’aurait pas pu être mené à bonne fin
sans la qualité du travail de Claire Kramme, qui a conçu le programme et a rédigé le
présent guide. Qu’elle en soit chaleureusement remerciée.
* Réfléchir et agir pour avoir de l’impact. Quelles solutions pour votre initiative ? Fondation Roi
Baudouin, Bruxelles, mars 2018
2018
5GUIDE PRATIQUE POUR RÉUSSIR L’AUTO-ÉVALUATION DE SON PROJET
Témoignage du Petit Vélo Jaune (PVJ)
Le PVJ est l’une des dix asbl ayant bénéficié du programme de Capacity Building en
matière de pilotage et d'évaluation de projet mis en oeuvre par la Fondation Roi
Baudouin et CAP 48 entre mars 2016 et octobre 2017.
Le PVJ est un service de prévention et de soutien à la parentalité créé en 2013. Il
propose à des parents en situation de précarité, de fragilité et/ou d'isolement un
accompagnement de proximité régulier et gratuit:
- en dehors de toute structure professionnelle
- au domicile de la famille
- réalisé par des bénévoles
- ancré dans la vie de quartier
- prenant appui sur les forces et compétences des parents, pour mieux les
autonomiser.
http://petitvelojaune.be
2018
6GUIDE PRATIQUE POUR RÉUSSIR L’AUTO-ÉVALUATION DE SON PROJET
Pourquoi vous êtes-vous lancé dans une démarche d’ auto-évaluation ?
On n’y pensait pas forcément car compte tenu de la création récente de l’asbl, nous
disposions de peu de recul, de peu de ressources humaines, et surtout de peu de temps à
consacrer à une matière qui nous était peu familière, l’évaluation. Et puis on s’est dit qu’une
telle démarche nous permettrait de mieux connaitre le travail de terrain mené par nos
bénévoles et de mieux mesurer les effets concrets de notre action sur les familles
accompagnées.
Comment vous y êtes-vous pris et qu’ avez-vous mis en place concrètement ?
Nous avons organisé 3 réunions d’équipe pour mettre en place des procédures communes et
définir des indicateurs clé qui devaient nous permettre de mieux objectiver notre travail.
Lors de la réunion 1, nous avons réfléchi collectivement à notre mission, notre public cible et
aux besoins des familles que nous souhaitions soutenir. Nous avons aussi passé en revue nos
pratiques. Cette première réunion a permis de repérer les différences de pratiques auprès
des familles selon les intervenants. Elle a aussi été l’occasion de prendre conscience de la
nécessité de mieux structurer notre activité, gage de qualité de nos interventions auprès des
familles et de nos partenaires.
La réunion 2 avait pour objectif d’élaborer des procédures et des documents supports de
notre travail avec les familles. Nous avons conçu des documents simples d’utilisation,
construits et testés par l’équipe. Ce deuxième temps de travail a permis de créer un cadre de
référence commun à l’ensemble des intervenants auprès des familles et qui facilite l’échange
d’information et l’intégration des nouveaux collaborateurs dans une équipe en pleine
croissance.
La réunion 3 était centrée sur les indicateurs. Nous avons identifié quelques questions
auxquelles nous souhaitions pouvoir répondre, en lien direct avec nos missions et nos
objectifs (réunion 1). Nous avons alors élaboré un questionnaire simple articulé autour de nos
grands objectifs. Le questionnaire est désormais utilisé pour un entretien avec la famille deux
à trois fois durant l’accompagnement et permet de suivre les progrès réalisés par rapport à la
situation de départ.
Quels effets avez-vous pu déjà observer ?
Sur le travail d'équipe? La construction d’outils communs a permis de renforcer la cohérence
et la qualité du projet. Impliquer l’ensemble de l’équipe a aussi permis de fédérer des
personnalités très différentes autour d’un projet commun.
Sur la qualité du service offert au public cible ? L’analyse des données récoltées permet de
mieux cerner les besoins des familles. L’élaboration du diagnostic est facilitée et structure le
travail entre le bénévole et la famille accompagnée. On repère plus rapidement les
difficultés. On peut ainsi proposer des solutions mieux adaptées dans de meilleurs délais
(directement ou via des services relais).
Quel(s) conseil(s) donneriez-vous à une asbl qui souhaiterait se lancer ?
- Rester simple notamment lors du choix des indicateurs.
- Impliquer l’équipe à chaque étape, en prenant soin de mobiliser toutes les compétences
utiles pour le projet.
- Rester ouvert, à l’écoute du terrain et être prêt à adapter les outils.
2018
7GUIDE PRATIQUE POUR RÉUSSIR L’AUTO-ÉVALUATION DE SON PROJET
Pourquoi se lancer dans une démarche d’ auto-
évaluation? La parole donnée aux acteurs
de terrain
« C’est un chantier très mobilisateur »
« L’exercice permet de se poser beaucoup de questions sur ce qu’on fait et pourquoi ; ça fait avancer »
« La mise en œuvre de la démarche d’auto-évaluation permet clairement d’être au plus juste dans
l’analyse des besoins des familles et de pouvoir rectifier le tir au fur et à mesure de l’avancement de
l’accompagnement »
« S’entendre sur des objectifs et une manière d’y parvenir, ça permet de fixer un cap commun pour
l’équipe »
« Tout le travail engagé jusqu' ici nous a (…) permis d’élaborer des outils de travail et de mettre en
place des procédures qui ont réellement boosté notre développement »
« Questionner nos pratiques nous a permis d’améliorer notre offre de services et aussi de mieux
valoriser le travail que l’on fait avec les familles »
« Les outils et méthodologies mis en place permettent d’augmenter l’interaction avec les parents dans
l’accompagnement (plus de moments individuels, inclusion des papas) et permettent de rendre les
parents acteurs par rapport aux objectifs définis (mettre des mots sur leurs besoins et leur permettre
d’exprimer leurs observations) »
« Ce travail a permis de donner de l'envergure à notre projet, cela m' a permis de centrer ma
réflexion, de mettre en place des processus... Il a été une balise importante pour le développement de
mon asbl »
« On comprend mieux les attentes des financeurs car on sait alors parler le même langage ; ça ouvre
des portes »
" Les outils créés sont déjà très utiles dans la communication auprès des autres services, des pouvoirs
financeurs. Nous parlons plus objectivement et nous avons des supports visuels à présenter, cela s’en
ressent auprès d’eux lors de présentations, de rapports (les présidents des CPAS, les donateurs, les
services partenaires…) »
Source : citations des participants au programme de Capacity Building édition 2016-2017.
2018
8GUIDE PRATIQUE POUR RÉUSSIR L’AUTO-ÉVALUATION DE SON PROJET
Quizz : ce guide est-il fait pour vous ?
Vous vous demandez si vous avez un intérêt à poursuivre la lecture de ce guide ?
Pour le savoir, nous vous invitons à répondre aux 7 questions suivantes :
1. Est-ce que votre organisation a des objectifs clairement formulés et partagés (avec
les intervenants de terrain, le public cible, les partenaires, etc.) pour chacun des
projets qu’elle porte ?
O Oui O Non
2. Est-ce que votre organisation collecte régulièrement des données sur les
caractéristiques socio-économiques et démographiques du public accueilli ?
O Oui O Non
3. Est-ce que votre organisation collecte régulièrement des données plus
qualitatives sur les bénéficiaires pour suivre l’évolution dans le temps de leurs
attitudes, savoirs, perceptions, compétences ou satisfaction ?
O Oui O Non
4. Est-ce que votre organisation dispose actuellement d’outils de pilotage (de type
tableau de bord) pour suivre la mise en œuvre des projets dans le temps ?
O Oui O Non
5. Est-ce que votre organisation dispose des compétences en interne pour analyser
les données collectées de manière systématique et organisée ?
O Oui O Non
6. Est-ce que les données collectées sont utilisées pour « éclairer » les orientations
prises par le conseil d’administration et/ou la direction ?
O Oui O Non
7. Seriez-vous capable de présenter, en quelques lignes, à un partenaire
potentiel : le problème auquel votre organisation s’attaque, votre public cible, les
objectifs poursuivis par le projet et quelques données clé qui témoignent de votre
impact sur ce public ?
O Oui O Non
2018
9GUIDE PRATIQUE POUR RÉUSSIR L’AUTO-ÉVALUATION DE SON PROJET
Si vous avez une majorité de « Non », alors ce guide devrait vous aider à mettre en
place quelques outils concrets pour :
- professionnaliser le suivi des projets portés par votre organisation et repérer de
manière plus objective ce qui fonctionne/ne fonctionne pas sur le terrain;
- améliorer votre capacité à « rendre des comptes » à vos financeurs;
- engager vos équipes (direction et travailleurs de terrain) dans une démarche
qualitative et participative qui améliorera rapidement la visibilité de leur travail;
- offrir à vos bénéficiaires l’ occasion de donner leur avis sur les services qu’ ils
reçoivent;
- mieux communiquer sur vos résultats et sur votre impact;
- enfin et surtout, être en capacité d’ améliorer en continu la qualité de vos
services proposés aux enfants et aux familles.
2018
10Glossaire: termes clés pour bien
comprendre ce dont on parle
Activité : Ensemble des outils, processus et actions mis en œuvre par l’organisation dans le
but d’atteindre les résultats escomptés.
Auto-évaluation : Démarche d’évaluation qui consiste à être en capacité de mesurer par
soi-même ses résultats et l’atteinte de ses objectifs.
Evaluation : Processus de nature analytique, réflexif qui nécessite de prendre du recul. En
évaluant, on mesure les résultats de moyen et long terme mais aussi les processus (le
comment). L’évaluation permet de tirer des enseignements pour éventuellement
réorienter la stratégie et l’offre de services.
Impact (résultats de long terme) : Ensemble des effets positifs et négatifs de long terme,
anticipés et non anticipés, générés par l’activité d’une organisation sur ses bénéficiaires.
Indicateur : Permet d’apprécier un phénomène qualitativement ou quantitativement à
l’aide de données ou d’informations utilisées comme points de repère.
Objectif : But, résultat vers lequel tend l’organisation au travers de son activité.
Pilotage : Permet de suivre en continu l’utilisation des ressources, la consommation du
budget, l’activité mise en oeuvre et les résultats immédiats de cette activité. Autrement
dit le pilotage c’est le suivi de l’exécution. Le pilotage permet de s’assurer que le projet est
mis en œuvre dans les conditions prévues et de rectifier, si besoin, la trajectoire.
Question d’évaluation : Cadre la démarche d’évaluation. C’est sur la base des questions
évaluation que l’on sera en mesure d’identifier les informations pertinentes à collecter
pour vérifier l’atteinte des objectifs visés.
Ressources (input) : Ensemble des moyens financiers, humains et matériels mis à
contribution pour mener à bien le projet.
Résultat de court terme (output) : Résultats directement liés aux activités menées ; les
outputs sont souvent de nature plus descriptive et quantitative (nombre de personnes
touchées, nombre d’ateliers effectivement menés par rapport à ce qui était prévu, etc.).
Résultat de moyen terme (outcome) : Changements que l’on souhaite observer à terme
sur le public servi (changements dans les savoirs, les attitudes, les comportements, les
compétences, etc.).
2018
11GUIDE PRATIQUE POUR RÉUSSIR L’AUTO-ÉVALUATION DE SON PROJET
Focus : l’ articulation entre le pilotage et
l’ évaluation
Le pilotage et l’évaluation sont deux notions bien distinctes mais intimement liées
(voir schéma page suivante).
Le pilotage (ou monitoring) permet de :
- suivre en continu l’utilisation des ressources (humaines et budgétaires),
l’avancement des activités et leurs résultats immédiats;
- s’assurer que le projet est mis en œuvre dans les conditions (calendrier, budget,
etc.) prévues au départ;
- repérer, le cas échéant, les points de blocage et/ou les marges de progrès afin
de guider la mise en œuvre du projet et d’effectuer les ajustements nécessaires en
temps utile.
Le pilotage s’inscrit dans le processus de gestion de projet et est généralement
réalisé directement par l’équipe responsable du projet. Les informations collectées
dans le cadre du pilotage vont permettre de nourrir le travail d’évaluation.
L’évaluation est une action plus ponctuelle qui permet de mesurer :
- la qualité des processus mis en place (la manière dont on fait les choses pour
atteindre les objectifs visés);
- les résultats sur le plus long terme (impact);
- la pertinence du projet.
L’ évaluation est un processus de nature plus analytique, réflexif qui intervient
dans un second temps. L’ évaluation nécessite de prendre du recul, elle permet
de mesurer le niveau d’ atteinte des objectifs de plus long terme mais aussi de
comprendre comment on en est arrivé là. On s’ intéresse au
« quoi » et au « comment ».
L’évaluation permet de tirer des enseignements utiles pour améliorer la qualité des
actions futures et, si nécessaire, réorienter la stratégie de l’organisation.
L’évaluation permet aussi de rendre des comptes auprès des différentes parties
prenantes (partenaires, financeurs, bénéficiaires) en mettant en évidence les effets
de ce qui a été réalisé, en particulier sur les bénéficiaires.
2018
12GUIDE PRATIQUE POUR RÉUSSIR L’AUTO-ÉVALUATION DE SON PROJET
L’évaluation peut être externalisée et confiée à des experts (chercheur universitaire,
cabinet de conseil, etc.). Elle peut également être menée en interne soit par une
équipe dédiée (cf. dans les grosses structures) soit directement par l’équipe en
charge du projet. C’est sur cette dernière forme d’évaluation, appelée « auto-
évaluation », que porte le présent guide.
Auto-évaluation et évaluation externe ont chacune leurs points forts.
L’auto-évaluation contribue à l’apprentissage, au partage des connaissances et à la
réflexivité de l’équipe du projet. Elle favorise l’appropriation des enseignements tirés
de l’exercice.
L’évaluation externe, quant à elle, apporte une plus grande objectivité car elle est
réalisée avec plus de distance. Davantage axée sur la redevabilité, elle permet de
recourir à l’expertise nécessaire. Elle est également plus coûteuse.
Le choix de la méthode dépendra notamment des objectifs poursuivis et du
commanditaire de l’évaluation. Auto-évaluation et évaluation externe peuvent être
complémentaires ; l’une n’exclut pas l’autre. Le fait qu’une organisation ou une
équipe soit familiarisée avec la démarche d’auto-évaluation facilitera, dans un
deuxième temps, la mise en place d’une démarche d’évaluation externe en
l’alimentant avec les données déjà récoltées et en favorisant le partage des
connaissances entre les différentes personnes impliquées.
Pilotage
Suivre les progrès par Créer de la "mémoire"
rapport aux objectifs au sein de l'asbl
Evaluation
Savoir ce qui marche
Mesurer l'impact
et pourquoi
Utiliser les ressources
de manière
plus efficiente
Prendre des décisions Rendre compte
plus éclairées aux financeurs
Améliorer la qualité du service rendu
aux familles et aux jeunes enfants
2018
13GUIDE PRATIQUE POUR RÉUSSIR L’AUTO-ÉVALUATION DE SON PROJET
L’ évaluation, pour quoi faire ?
Quelques idées reçues
Evaluer, ça sert à rendre des comptes : c’est vrai mais en partie seulement car cela permet aussi
de se rendre compte de ce qui fonctionne bien et de ce qui fonctionne moins bien.
L’évaluation permet avant tout de disposer d’une information plus objective (on n’est plus
seulement sur le « ressenti ») pour mieux connaître et reconnaître le travail réalisé, mieux piloter
le projet, prendre des décisions plus éclairées et in fine améliorer son activité au profit des
familles accompagnées.
Evaluer se fait toujours à la fin d’un projet : c’est faux. Premièrement l’évaluation n’est pas
pertinente pour tous les projets. Dans le cas d’une organisation qui mène plusieurs projets, on
évaluera en priorité le projet qui touche le plus de personnes et/ou celui qui mobilise le plus de
ressources et/ou celui qui a un potentiel d’impact important et pourrait être étendu si son
efficacité pouvait être démontrée. Ensuite, l’évaluation se décide idéalement avant
le lancement d’un projet. Car, pour évaluer les résultats, il faut savoir par rapport à quels
objectifs on évalue. En outre, il est nécessaire de prévoir la collecte de données le plus en
amont possible du projet pour en disposer le moment venu.
Evaluer, c’est compliqué : c’est à la fois vrai et faux. Il existe de nombreuses méthodes et outils
d’évaluation. Peu font consensus. L’enjeu consiste donc à adopter une approche et des outils
qui seront adaptés au projet, à sa complexité et à sa « taille ». L’évaluation nécessitant un
investissement important en temps, il est essentiel de bien réfléchir au préalable aux raisons
pour lesquelles on veut se lancer et ce que l’on cherche à montrer. Plus la démarche sera
préparée en amont et associera les « bonnes personnes », plus sa mise en œuvre s’en trouvera
facilitée.
Evaluer, c’est réservé aux « grosses » structures : c’est faux. Toutes les structures peuvent
s’interroger sur les effets qu’elles produisent sur le public cible, questionner leurs pratiques et
réfléchir à comment les améliorer. En revanche une condition essentielle à la réussite d’une
démarche d’évaluation est de pouvoir y associer plusieurs personnes clé du projet
(ex : les membres du conseil d’administration, la direction de l’organisation, le coordinateur ou
la coordinatrice du projet, les intervenants de terrain, etc.) afin de pouvoir croiser les regards et
s’entendre sur un cadre évaluatif. Dans le cas d’une structure portée par une seule personne, la
mise en place d’une telle démarche semble difficile voire impossible.
Evaluer, ça coûte cher : c’est à la fois vrai et faux. C’est faux dans le sens où une démarche
d’évaluation conduite en interne (auto-évaluation) ne requiert pas l’intervention d’un
prestataire extérieur (ex : consultant). Exceptionnellement, l’évaluation peut également être
prise en charge en « pro bono » par un expert extérieur (ex : Université). C’est vrai dans le sens
où même si la démarche est internalisée, il faut prévoir du temps de travail dédié à la réflexion,
à l’appropriation de la démarche par tous les intervenants impliqués dans le projet, à la collecte
des données, à l’analyse et à la valorisation des résultats. L’investissement pourra paraître
particulièrement important durant les premiers mois mais l’intégration progressive des
nouveaux outils dans les pratiques de travail courantes permettra, dans un deuxième temps,
de gagner en efficacité en matière de pilotage.
2018
14GUIDE PRATIQUE POUR RÉUSSIR L’AUTO-ÉVALUATION DE SON PROJET
Convaincu(e) ? Vous avez décidé de vous lancer ?
Suivez le guide…
Il existe de nombreuses théories, méthodes et outils pour réaliser une évaluation :
analyse coût-bénéfice, calcul des coûts évités, évaluation avec groupe témoin, etc.
Nous ne présenterons pas ces méthodes ici car elles nous semblent plus difficiles à
mettre en œuvre dans le cadre d’une démarche d’auto-évaluation, menée en
interne, directement par l’équipe porteuse du projet. Vous trouverez en annexe un
certain nombre d’informations utiles pour approfondir ces sujets si vous le souhaitez
(voir Annexe 1).
Le cadre d’évaluation privilégié dans ce guide s’appuie sur la théorie du changement.
La théorie du changement (ou TdC) permet de décomposer en différentes étapes le
processus de changement social attendu par la mise en œuvre d’une activité, d’un
programme ou d’un projet. Elle facilite le travail de définition des objectifs et permet
de dessiner les « connexions » logiques entre les objectifs poursuivis, les moyens
mobilisés et les activités concrètes que le projet propose au public cible.
Concrètement, la réflexion autour de la théorie du changement s’organise en
plusieurs séquences (voir le schéma explicatif p 20). On commence par poser le
problème que l’on souhaite adresser (1) et identifier précisément les besoins du
public ciblé (2). On précise les objectifs et les résultats attendus à court, moyen et
long termes (3). On s’interroge sur les facteurs extérieurs qui peuvent influencer le
projet (4). Enfin, on définit les activités et les ressources (5) en explicitant les
conditions de succès du projet (6).
Exemple : L’asbl Form’Anim s’investit depuis sa création dans l’aide à
l’intégration des demandeurs d’asile et des réfugiés sur son territoire. En
2017, elle décide d’étendre son offre de services (FLE, ateliers d'insertion
sociale, halte-accueil, ateliers créatifs, etc.) en ouvrant une crèche dans ses
locaux, pour accueillir les jeunes enfants de son public cible.
De manière schématique, la théorie du changement de cette asbl
pourrait être présentée ainsi :
1. Le problème identifié
Absence, sur le territoire de Seraing et ses environs, d’une offre d’accueil
de la petite enfance adaptée aux besoins des familles arrivées récemment
en Belgique avec de jeunes enfants (0-3 ans).
2018
15GUIDE PRATIQUE POUR RÉUSSIR L’AUTO-ÉVALUATION DE SON PROJET
2. Le public cible
Les familles ciblées en priorité par le projet de crèche sont des familles
fragilisées, en situation d’exil, en particulier les mères seules avec enfants
de 3 mois à 3 ans et participant aux ateliers et formations proposés par
Form’Anim ou engagés, avec une structure extérieure, dans une
démarche de qualification ou d’insertion professionnelle.
3. Les objectifs
De long terme : promouvoir l’égalité des chances et améliorer les
conditions d’intégration de tous les enfants et de leurs familles.
De moyen terme :
- soutenir le développement des enfants dans toutes ses
dimensions (cognitif, psychomoteur, émotionnel et relationnel);
- impliquer les parents dans un processus de co-éducation;
- renforcer les compétences interculturelles du personnel
accueillant.
De court terme :
- améliorer l’accessibilité (primaire et secondaire) d’un accueil de
qualité pour les jeunes enfants issus de familles en situation d’exil;
- permettre aux parents de s’engager dans une démarche
d’intégration.
4. Les facteurs d’influence (extérieurs)
- une grande diversité des besoins de prise en charge, en fonction
du parcours migratoire et de la situation sociale des familles ;
- une diversité des référentiels en matière d’éducation du jeune
enfant, des repères culturels et des codes sociaux ;
- des évolutions possibles en matière de politique sociale et de
politique d’accueil des nouveaux migrants.
5. Les activités et les ressources
Offrir, 5 jours par semaine, un accueil de qualité, valorisant la diversité et
la participation des familles pour environ 50 enfants (21 places) répartis
dans un espace adapté, sécurisé et accessible.
6. Les conditions de succès
- une fréquentation d’un minimum de deux demi-journées par
semaine pour faciliter l’adaptation de l’enfant et du parent ;
- un personnel qualifié et engagé ;
- des partenariats dans la durée avec des structures extérieures
(asbl Emma, asbl Tabane, bibliothèque communale, etc.).
2018
16GUIDE PRATIQUE POUR RÉUSSIR L’AUTO-ÉVALUATION DE SON PROJET
La théorie du changement est particulièrement adaptée au champ socio-éducatif
puisqu’elle prévoit des « aller-retour » possibles entre les différentes étapes
intermédiaires qui vont contribuer à l’atteinte des objectifs de long terme. On ne se
situe donc pas dans un cadre de raisonnement « linéaire », où toutes les étapes
s’enchainent logiquement et de manière successive. Le cadre de la théorie du
changement est suffisamment souple pour coller à la réalité du vécu des associations
dont l’activité est souvent fort dépendante d’une multitude de facteurs extérieurs.
La théorie du changement est à la fois un processus (cartographie des différentes
composantes du projet : que dois-je faire pour réussir à atteindre mon but ?) et un
« produit » puisqu’elle offre un support à la stratégie (le plan d’action).
L’exercice d’auto-évaluation se décompose en quatre grandes étapes :
- planifier le projet et définir la théorie du changement (Etape 1)
- mettre en œuvre le projet et collecter les données (Etape 2)
- analyser les résultats et en tirer les enseignements (Etape 3)
- agir et communiquer (Etape 4)
JANVIER 2018
17GUIDE PRATIQUE POUR RÉUSSIR L’AUTO-ÉVALUATION DE SON PROJET
L’enchainement des 4 étapes* est présenté ci-dessous. Chacune des étapes est
explicitée et illustrée d’exemples concrets dans les sections suivantes du guide.
Acter des Identifier les
changements résultats visés
pour améliorer Définir les objectifs
les services Identifier les
Communiquer informations à
sur les résultats et collecter
l'impact du projet Planifier le projet et
Agir et
définir la théorie du
communiquer
changement
Mettre
Analyser
en oeuvre
Analyser les Réaliser le projet
résultats Collecter les
Tirer les données
enseignements
D’après « The Cycle of Good Impact Practice », New Philanthropy Capital
*Le modèle en 4 temps (Plan, Do ,Assess, Review) est aujourd’hui largement utilisé aux Etats-
Unis et en Europe (en Grande Bretagne notamment) dans le secteur social, tant par les
acteurs de terrain que par les bailleurs de fonds.
2018
18GUIDE PRATIQUE POUR RÉUSSIR L’AUTO-ÉVALUATION DE SON PROJET
Etape 1 : Planifier le projet et définir la théorie du
changement
Parce qu’elle permet de planifier le projet, d’identifier les objectifs et les résultats
souhaités, la théorie du changement constitue le point de départ d’une démarche
d’auto-évaluation réussie, centrée sur l’amélioration de la qualité du service rendu
aux familles.
Cette première étape est clé puisqu’elle pose le cadre : la vision, les objectifs et la
stratégie qui en découle. Idéalement, elle doit être menée de manière collective au
cours de plusieurs séances de travail (cf. témoignage de l'asbl Le Petit Vélo Jaune).
Vous pouvez éventuellement solliciter l’aide d’un facilitateur extérieur (personne
ressource issue de votre réseau par exemple) pour vous aider à cartographier les
différentes composantes de votre théorie du changement.
1.1 Cartographier la théorie du changement de son projet
Le travail de cartographie se fait « à rebours », via une succession d’étapes telles que
décrites dans les deux pages suivantes*.
* D’après le Logic Model Development Guide, W.K Kellogg Foundation
2018
19GUIDE PRATIQUE POUR RÉUSSIR L’AUTO-ÉVALUATION DE SON PROJET
Ce travail intervient idéalement au lancement du projet pour asseoir la stratégie.
Mais dans le cadre de l’auto-évaluation, il peut avoir lieu a posteriori. Il va alors
permettre de décomposer le processus de changement(s) souhaité(s) afin de vérifier
que les résultats sont en ligne avec les attentes. Quel que soit le stade de la
démarche, on retiendra l’idée que toute organisation qui œuvre pour une finalité
sociale a sa propre théorie du changement même si cette dernière n’a pas encore
été formalisée.
Activités et Conditions de
ressources succès
Objectif de Objectif
Facteurs Problème(s)
court terme de moyen
d'influence identifié(s)
(output) terme
(outcome)
Besoins de la
communauté /
Objectif de long
du public cible
terme
(impact)
2018
20GUIDE PRATIQUE POUR RÉUSSIR L’AUTO-ÉVALUATION DE SON PROJET
Comprendre ce cadre
Les pastilles chiffrées indiquent l’ordre dans lequel la réflexion autour de la théorie
du changement doit être conduite. On commence par poser le problème (1) et
identifier clairement les besoins du public ciblé (2), on précise les objectifs et les
résultats attendus à court, moyen et long termes (3), on s’interroge sur les facteurs
extérieurs qui peuvent influencer le projet (4), on présente et on explicite les activités
et les ressources (5) en précisant les conditions de succès du projet (6).
Les flèches permettent de visualiser les interactions entre les différentes étapes de la
construction du cadre.
Comment renseigner ce cadre ?
Le(s) problème(s) et les acteurs : Quel est le problème ? Quelles sont les causes sous-
jacentes du (des) problème(s) ? Quelles sont les actions déjà entreprises qui ne
répondent que partiellement au(x) problème(s) ? Qui sont les acteurs impliqués ?
Les besoins du (des) public(s) cible(s) : Quel est/quels sont le(s) public(s) ciblé(s) par le
projet (ex : les familles monoparentales, les jeunes parents vivant dans le quartier X,
les professionnels du secteur)? Quels sont les besoins spécifiques de chacun de ces
publics?
Les objectifs et les résultats attendus : Qu’est-ce que l’on cherche à améliorer grâce
au projet? Quels effets cherche-t-on à avoir sur le(s) public(s) cible(s) à court terme
(output), à moyen terme (outcome) et à long terme (impact) ? Quels sont les
différents objectifs poursuivis ?
Les facteurs d’influence : Lister ici tous les facteurs extérieurs au projet qui font partie
du contexte dans lequel le projet se déroule. Exemples : un changement possible de
législation, un intérêt politique pour des solutions innovantes dans le secteur,
l’appauvrissement de la population du quartier dans lequel l’organisation intervient,
etc.
Les activités et les ressources : Il s’agit ici de développer le plan d’action envisagé
pour répondre au(x) besoin(s) identifié(s) et maximiser les chances d’atteindre les
objectifs. Il faut donc préciser les activités mises en œuvre ou à mettre en œuvre et
les moyens mobilisés (RH, compétences, budget, locaux, équipement) pour y arriver.
Les conditions de succès : Il s’agit ici de préciser les conditions nécessaires à la
concrétisation du projet. Exemples : le soutien financier de la fondation X garanti sur
les deux prochaines années, le partenariat avec l’hôpital de X, la formation du
personnel intervenant, l’implication des familles, etc.
2018
21GUIDE PRATIQUE POUR RÉUSSIR L’AUTO-ÉVALUATION DE SON PROJET
Quelques conseils et astuces pour élaborer sa propre théorie du
changement
Eviter de se fixer un objectif de long terme irréaliste au risque de
décourager les équipes de terrain au moment du bilan mais aussi de
perdre en crédibilité et en légitimité vis-à-vis des partenaires et autres
financeurs.
Accepter de « simplifier un peu les choses ». La complexité de la
mission portée par votre organisation ne pourra jamais être résumée
dans un schéma. Mais la force de la théorie du changement, c’est
justement de capturer l’essentiel de votre projet. En s’appuyant sur la
théorie du changement pour mener un exercice d’évaluation, on se
concentre sur les résultats prioritaires que l’on souhaite obtenir.
Une fois les différents objectifs définis, prendre le temps de les
hiérarchiser et de bien les articuler entre eux. Tous ne se situent pas au
même plan. Les objectifs de court terme portent sur les résultats
directement « produits » par les activités (outputs) (ex. le nombre de
participants à un atelier). Ils concourent à l’atteinte des objectifs de
moyen terme (outcomes) qui portent sur les changements (de
capacités, de comportements, de savoirs, de compétences…) que le
porteur du programme aimerait observer chez les bénéficiaires
concernés. Ces objectifs de moyen terme contribuent à leur tour à
l’atteinte de l’objectif de long terme, qui est le changement durable
attendu. Certains objectifs seront « prioritaires » car incontournables
pour atteindre l’objectif de long terme. D’autres seront « secondaires »
et ne devront pas nécessairement faire l’objet d’une évaluation.
Certains objectifs de long terme ne seront pas faciles à mesurer.
Particulièrement s’ils concernent des effets à observer plus tard sur des
enfants (ex : réussite scolaire, meilleure intégration sociale). En
travaillant sur la théorie du changement du projet, vous serez amené(e)
à décomposer les différentes étapes qui vont permettre d’arriver à ce
changement de long terme. De cette manière, vous serez en capacité
de mieux expliquer en quoi votre travail d’aujourd’hui va contribuer à
améliorer les conditions de vie des enfants dans le futur.
2018
22GUIDE PRATIQUE POUR RÉUSSIR L’AUTO-ÉVALUATION DE SON PROJET
Les différents objectifs doivent pouvoir être directement reliés aux
différentes activités que vous envisagez dans votre projet. Une même
activité peut concourir à l’atteinte de plusieurs objectifs. A l’inverse, un
objectif peut se traduire par plusieurs activités. Mais dans tous les cas un
objectif = au moins une activité !
Ne pas négliger le travail de repérage des facteurs extérieurs au projet
qui soit conditionnent sa réussite, soit peuvent influencer ses conditions
de réalisation (en positif ou en négatif). Intégrer ces éléments est
essentiel au moment de l’analyse et de la mise en perspective des
résultats.
Savoir qu’une théorie du changement n’est jamais ni parfaite ni
définitive puisqu’elle doit évoluer en fonction des résultats et des
ajustements de stratégie qui pourront être faits le cas échéant. Elle
devrait être remise en question régulièrement pour rester « à jour ».
2018
23GUIDE PRATIQUE POUR RÉUSSIR L’AUTO-ÉVALUATION DE SON PROJET
Théorie du changement du projet : " 1,2,3 mon bébé et moi, 4,5,6, soleils et sourires,
7,8,9 un avenir tout neuf, 10,11,12 dépassons nos coups de blues ".
Activités : Conditions de succès:
Accueil des mamans et de leurs bébés A court terme : maintien du soutien de
deux fois par mois Viva for Life
Aménagement de l'espace dédié au projet A long terme : chercher un soutien
RV (ateliers créatifs) pour faciliter structurel pour l'emploi avec les autres
l'accueil des mamans avec enfants de 0-3 projets de l'asbl ainsi qu'un soutien plus
ans ponctuel pour adapter l'équipement à
Ressources : l'accueil des tout petits
1/2 temps réparti sur deux professionnels
- adéquation et complémentarité des
professionnels - locaux et infrastructures
de l'asbl - collaboration (infirmière
pédiatrique, planning familiaux, asbl Fil à
Fil, ONE)
Facteurs d'influence: Problème(s) identifié(s): Objectifs visés :
- Augmentation du - Beaucoup de jeunes mamans du Moyen terme :
nombre de migrants dans quartier vivent dans l'isolement - Faciliter l'entrée à
le quartier - Entrée brutale à l'école pour l'école maternelle
des enfants n'ayant connu que le
- Instabilité des moyens - Renforcer le sentiment
milieu familial
financiers de compétence des
Causes sous-jacentes : précarité -
- Fragilité du public déracinement culturel - non parents
(illégaux par ex.) maîtrise de la langue et des codes
du pays d'accueil Long terme :
- Rompre l'isolement
chez les jeunes parents du
quartier
Besoins de la communauté / du - Favoriser la
public cible: socialisation et le
Public : les mamans du quartier et développement des
les enfants de 0-3 ans 0-3 ans
Besoins : se rencontrer (entre
mamans/ enfants), pouvoir poser
des questions et recevoir une
information sur le développement
des petits, offrir une première
expérience de socialisation hors du
cadre familial avant 3 ans
2018
24GUIDE PRATIQUE POUR RÉUSSIR L’AUTO-ÉVALUATION DE SON PROJET
Une fois le cadre de la théorie du changement en place : Comment suivre
l’avancement du projet ? Comment évaluer le degré d’atteinte des objectifs fixés au
départ ?
Pour cela, nous proposons un second outil, le cadre évaluatif.
1.2 Elaborer son cadre évaluatif
Le cadre évaluatif s’élabore à partir des objectifs qui ont été définis lors de l’étape
1.1.
1.2.1 Hiérarchiser et articuler entre eux les objectifs visés par le projet
A l’aide du cadre qui vous est proposé en Annexe 2, il s'agit de lister chacun des
objectifs dans la première colonne (« Objectif ») en prenant soin au préalable de
distinguer les différents niveaux d’objectifs.
Exemple : Le projet de l’asbl Alpha poursuit les objectifs (O) suivants :
- les enfants réussissent mieux à l’école (O 1)
- les enfants issus de milieux précarisés sont mieux préparés pour entrer à
l’école (O 2)
- les parents des enfants du public cible sont plus sensibles à l’importance du
langage (O 3)
- les compétences de communication en groupe des enfants s’améliorent
(O 4)
- le champ lexical des enfants du public cible se stabilise et s’enrichit (O 5)
- les enfants ont accès à un accompagnement de qualité dans le cadre des
ateliers langage (O 6)
- les parents sont outillés pour jouer un rôle actif dans le développement des
compétences langagières de leur enfant (O 7)
1ère question : ces 7 objectifs se situent-ils au même niveau ? L’asbl pourra-t-elle
les atteindre de manière simultanée ?
Réponse : a priori NON
2ème question : comment, dans ce cas, les différents objectifs sont-ils articulés
entre eux ?
Réponse : dans le projet tel qu’il a été conçu par l’équipe Alpha (hypothèse de
travail qui sera peut-être remise en cause par les résultats de l’auto-évaluation), les
objectifs (O 7), (O6), sont des objectifs de court terme (output), étapes nécessaires
pour accéder aux objectifs (O 5), (O 4), (O 3) et (O 2) qui sont les objectifs de plus
long terme (outcome) visés par le projet.
2018
25Vous pouvez aussi lire
