EVALUATION EN BIBLIOTHEQUE - Formation Auxiliaire de bibliothèques ABF-Médiad'Oc 2020-2021
←
→
Transcription du contenu de la page
Si votre navigateur ne rend pas la page correctement, lisez s'il vous plaît le contenu de la page ci-dessous
EVALUATION EN BIBLIOTHEQUE Formation Auxiliaire de bibliothèques ABF-Médiad’Oc 2020-2021 Ann-Sarah Laroche
Plan
du cours
Préambule : l’évaluation en question
Evaluer :
1. Pourquoi ?
2. Pour qui ?
3. Comment ? Avec quels outils ?
4. Présenter, communiquer
2
L’évaluation
en question
Mener une évaluation, établir un rapport d’activités, faire un bilan
des actions et projets…
▪ Pour qui ? Pourquoi ?
▪ A quoi va-t-il servir ?
▪ Est-ce uniquement un outil de contrôle ?
▪ Une tâche administrative supplémentaire dont on se serait bien
passé ?
▪ Et finalement, qu’est-ce que les bibliothécaires en ont réellement à
faire ?
3
L’évaluation
en question
Apparue dans les années 1980, l’évaluation des politiques
publiques a été transposée dans les bibliothèques à partir des
années 1990.
Aujourd'hui encore, la question de l’évaluation fait débat dans le
secteur culturel :
elle nécessite du temps, de l’énergie, une expertise parfois absente
elle est parfois trop proche des logiques d’audit et de contrôle
elle est considérée comme inadaptée au champ artistique, où
règnent le sensible, le subjectif… le non quantifiable
4
“ Oui la culture est inquantifiable et sa
nécessité dépasse si hautement la légitimité
économique qu'elle échappe aux hommes
sans espoirs.
Olivier Py - Avant-programme du 70e festival d’Avignon,
2017
5
L’évaluation
en question
Et pourtant :
elle est un levier de changement et d’optimisation des projets
elle représente un enjeu de démocratie dans l’optique de « rendre
compte » au citoyen de l’utilisation d’argent public
elle peut être un levier pour intéresser davantage les
représentants des pouvoirs organisateurs et les responsables
politiques à l’action des bibliothèques
6
1.
Evaluer : pourquoi ?
7
L’évaluation des
politiques publiques
▪ Une pratique née aux États-Unis
Les premiers programmes d’évaluation ont vu le jour aux États-Unis au
début du 20e siècle.
En France, un développement tardif
Il faut attendre les années 1970 et 1980 pour voir s’imposer
l’évaluation comme un outil de la modernisation de l’État visant à
améliorer l’efficacité de l’action publique dans un contexte de
contrainte budgétaire.
8
L’évaluation des
politiques publiques
▪ prise en considération des effets des politiques publiques
▪ rapprochement entre les secteurs privé́ et public
▪ introduction des notions de management et de productivité́ au sein
de la fonction publique
▪ influence du marketing
9
Une pratique
nécessaire…
Une pratique nécessaire à la rationalisation de l'action publique
compte tenu des contraintes qui s’exercent sur elle dans un contexte
de crises :
▪ crise des valeurs
▪ crise du lien social
▪ crise économique : rigueur, pression budgétaire
▪ crise de confiance entre le peuple et ses dirigeants
10… mais difficile à
définir
S’agit-il d’une connaissance objective ou d’une construction sociale ?
Si l’évaluation doit tendre à l’objectivité, ses résultats ne sont jamais
neutres.
Chaque étape du processus implique des choix qui pourront orienter
(volontairement ou non) le résultat final :
Quels actions / services évaluer ? Avec quelle méthode ? Quelles
données collecter et traiter ? Quels résultats mettre en valeur ?
11L’évaluation
des bibliothèques…
L’utilité, pertinence de la bibliothèque en question :
▪ Fermetures de bibliothèques dans certains pays
▪ Questionnement sur leur coût dans un contexte budgétaire contraint
▪ Elévation des attentes des usagers en termes de ressources et services
▪ Mise en concurrence de la bibliothèque est avec d’autres dispositifs
d’accès à l’information et aux connaissances, dont Internet, d’autres
établissements culturels ou sportifs, de formation ou de recherche
▪ Nécessité de développer le storytelling, le plaidoyer (advocacy )
12rendre
Pourquoi
vérifier
compte
évaluer ? Evaluer le service fourni Justifier les
moyens alloués
Mesurer la satisfaction
et la performance
Connaître
Renforcer la
Mesurer
place du service
Maitriser apprendre
communiquer
dans la
l’activité du
collectivité
service
Déterminer des Répondre aux
objectifs, des besoins des usagers
priorités Améliorer le service
décider optimiser
132.
Evaluer : pour qui ?
14Pour qui
évaluer ?
ETAT
Ministères de la Culture, de l’Enseignement
supérieur, de la Recherche et de l’Innovation…
Etablir le bilan de la lecture en France
Mesurer les déséquilibres territoriaux
Planifier des évolutions budgétaires
Répondre aux obligations réglementaires
enquête statistique générale auprès des bibliothèques universitaires (eSGBU)
enquête sur les données d’activité des bibliothèques municipales et
intercommunales (Observatoire de la lecture publique du Service du livre et de la
lecture)
15Pour qui
évaluer ?
COLLECTIVITE TERITORIALE
Région, Département, Intercommunalités, Communes
Rendre compte de l’activité et de son impact sur la collectivité
Justifier des moyens, de l’usage des subventions
Argumenter des arbitrages
Prévoir des actions
Valoriser l’action de la collectivité et ses partenariats interservices
Analyser la situation d’un réseau
16Pour qui
évaluer ?
ELUS
Rendre des comptes (le budget de la bibliothèque relève des
finances locales)
Rendre lisible l’action de la bibliothèque
Valoriser son image comme service public
Montrer son engagement sur le territoire
Présenter des projets pour faire évoluer la bibliothèque
Envisager les évolutions nécessaires pour répondre aux
nouveaux usages des publics
17Pour qui
évaluer ?
DIRECTION
de la bibliothèque
Avoir une vision d’ensemble et une approche hiérarchisée de la
bibliothèque, de son orientation et de ses priorités
Un outil d’aide à la décision pour la direction et son équipe
Positionner la bibliothèque par rapport aux enjeux de
l’environnement / la collectivité
Répartir les ressources entre différentes fonctions ou projets
Avoir une gestion plus opérationnelle des activités
18Pour qui
évaluer ?
EQUIPE
Donner une vision globale de l’activité à chaque membre
l’équipe, quel que soit son rôle dans la bibliothèque
Contribuer au sentiment d’appartenance à une structure
commune
Valoriser le travail effectué par l’équipe (collectif)
Rendre lisible et valoriser le travail de chacun
Motiver les équipes (lisibilité des objectifs)
Donner du sens, faire le lien avec les politiques publiques
19Pour qui
évaluer ?
PUBLICS
Rendre lisible l’activité de la bibliothèque (y compris interne)
Rendre publiques des données
Donner envie de venir / de rester
Valoriser l’importance du public dans le succès de la bibliothèque
203.
Evaluer : comment ?
Méthodes, outils
21Le processus
d’évaluation
Cibler Collecter Traiter Interpréter Présenter
OBJECTIFS DONNEES RESULTATS
22Essai de
définition
L’évaluation est une succession de trois mouvements :
1. la détermination des objectifs d’une action ;
2. la collecte et de l’analyse des résultats de cette action ;
3. l’appréciation des résultats et de l’écart éventuel entre
ce qui était recherché et ce qui est atteint.
▪ D’après Anne Kupiec – Bibliothèques et évaluation. Cercle de la librairie. 1994
23Essai de
définition
« L’évaluation des politiques publiques est une démarche
complexe qui, en se fondant sur l'identification des
objectifs, des moyens et des résultats d'une politique vise à
mesurer son efficacité́, son efficience, sa cohérence et sa
pertinence…»
▪ Bernard Perret, L’évaluation des politiques publiques, Paris, La Découverte,
collection « Repères », 2001 (dernière édition 2014).
24Evaluation • objectifs
des • moyens
politiques identifier • résultats
publiques
• efficacité
• efficience
• cohérence
mesurer • pertinence
25Evaluation Objectifs
des
politiques
publiques
performance
Moyens efficience Résultats
26Comment sont évaluées les politiques publiques ?
https://www.modernisation.gouv.fr/home/evaluer-les-politiques-publiques
27Les critères
évaluatifs
Efficacité Efficience
Les objectifs du projet (des S’y prend-on correctement ? Une évaluation cherche
prestations fournies sur la Les moyens mis en œuvre se souvent à analyser
durée) sont-ils atteints ? justifient-ils ? Quel rapport plusieurs aspects, qui
coûts / résultats ? ne s’excluent pas les
. uns les autres, mais
Pertinence Impact
se complètent.
Le projet qu’on évalue fait-il Quel effet le projet sous
ce qu’on attend de lui (par évaluation a t-il sur le
rapport au contexte, au contexte ? Si ses effets vont
besoin de changement, aux au-delà des objectifs, quels
besoins des groupes cibles) ? sont ces effets ?
28Exercice ► associer chaque question
au critère d’évaluation correspondant :
pertinence, efficacité, efficience, impact ? Les résultats sont-ils à la
mesure des sommes dépensées ?
? Les résultats attendus ont-ils été
atteints ? Dans quelle mesure ?
? Les moyens déployés étaient-ils
adaptés aux objectifs poursuivis ?
? Des effets non escomptés ont-ils été produits ?
? Les structures ou les pratiques engendrées
?
par l'action sont-elles viables ?
Quels effets à moyen ou long
?
terme, dans ce domaine ou
Faut-il poursuivre l'action ?
L'interrompre ? La réorienter ? dans un autre, faut-il attendre
L’étendre ? de ces actions ?
29De la mesure
de l’activité, de la performance…
▪ Décret du 22 janvier 1990 relatif à l’évaluation des
politiques publiques
rechercher si les moyens mis en œuvre permettent de produire les effets
attendus et d’atteindre les objectifs assignés
Loi organique relative aux lois de finances (LOLF) du 1er
août 2001 qui introduit une culture de la performance
rendre des comptes sur l’efficacité de l’utilisation des crédits attribués, en
rapport avec des objectifs précis à atteindre, assortis d’indicateurs de
performance
30… à la mesure
d’impact
▪ En 2007, la RGPP (« révision générale des politiques
publiques ») vise la réforme de l’état et l’amélioration des
politiques publiques
l’objectif est la baisse des dépenses publiques à travers le prisme de
l’efficience
2012, l’évaluation des politiques publiques (EPP) dans le
cadre de la modernisation de l’action publique (MAP)
une méthode pour analyser les effets des politiques publiques, leur
efficacité, leur efficience, leur cohérence et leur utilité, savoir comment
l’action publique répond aux besoins de la société
31De la mesure de l’activité…
à la mesure d’impact des bibliothèques
< 1990 Les collections au centre, politique de l’offre
Evaluer l’activité
1990 Internet, évolution pratiques culturelles, le public au centre
Evaluer les services rendus
>2010
Un monde concurrentiel, justifier son utilité, plaidoyer
Evaluer l’impact et la satisfaction des usagers
32Validité
Pertinence Convivialité
Des termes
Comparabilité
à définir Faisabilité
Fiabilité
Statistique Indicateur
Le mot statistique désigne à la Matérialisation d’un événement
fois un ensemble de données observé, prélevé, mesuré, déterminé
d'observations et l'activité qui par le calcul et permettant
consiste dans leur recueil, leur d’identifier qualitativement ou
traitement et leur quantitativement une évolution du
interprétation. comportement d’un processus.
Encyclopédie Universalis Combinaison de plusieurs données
brutes, ou une donnée brute suivie
dans le temps.
Afnor
33Cas pratique
Un indicateur ne se limite pas à la mesure ; sa valeur est fonction de l’objectif défini.
Pour illustrer la nécessité d’adosser les indicateurs à des objectifs, voici un exemple
choisi en bibliothèque et relatif à la formation des personnels :
▪ L’objectif stratégique fixé dans le cadre du contrat quinquennal de l’université est de
renforcer la formation continue des personnels.
Quels indicateurs de suivi associer à cet objectif ?
34Des outils :
les normes AFNOR
Norme ISO 2789 Norme ISO 11620 Norme ISO 16439 + Livre blanc
1974 1998 2014 2016
Statistiques Indicateurs de Méthodes et Qu'est-ce qui fait la
internationales de performance des procédures pour valeur des
bibliothèques bibliothèques évaluer l'impact des bibliothèques ?
5ème édition révisée en 3ème édition révisée en bibliothèques. Février 2016
2013 2014 1ère édition
actuellement en cours actuellement en cours actuellement en cours
d'examen d'examen d'examen
35Des outils :
les normes AFNOR
Ces 3 normes s’emboitent comme
des poupées russes.
- la plus quantitative est la norme
ISO 2789 qui s’attache à la mesure
et à la fourniture de données
chiffrées (statistiques)
- la plus qualitative est la norme ISO
16439 qui s’intéresse à l’impact des
bibliothèques sur l’usager et
l’environnement
Évaluer une bibliothèque : indicateurs et tableaux de bord
Odile Jullien-Cottart / ENSSIB / Fomation à distance
36Statistiques internationales de bibliothèques
ISO 2789
Etablir des statistiques : Objectifs principaux :
compter, traiter – comparer les résultats aux normes en la matière et aux
données d'établissements similaires
Définir et harmoniser les – évaluer les tendances dans le temps ainsi que les résultats des
procédures de comptage innovations
– fonder la programmation, la prise de décision, l'amélioration
pour tous les types de
de la qualité du service
ressources et services / – fournir des informations aux institutions nationales ou
activités des bibliothèques régionales qui ont un rôle de soutien, de financement, de tutelle
– démontrer la valeur des services rendus aux usagers
37Statistiques internationales de bibliothèques
ISO 2789
le socle de base des outils destinés à décrire et évaluer les activités
des bibliothèques
interrogent les bibliothèques sur leur activité : personnel ; budgets ;
volumes de prêts ; collections ; places assises ; nombre d’inscrits
actifs…
s’adressent à tout type de bibliothèque
soumettent aux mêmes indicateurs l’ensemble des établissements
: peuvent se comparer et disposer de séries chronologiques
38Ce qui est
compté
▪ Moyens dont dispose la ▪ Résultats obtenus :
bibliothèque : - Inscrits (usagers inscrits, nouveaux
- Surface inscrits, usagers actifs,…)
- Budgets - Prêts (nombre de prêts, emprunteurs
- Collections actifs…)
- Horaires d’ouverture - Fréquentation
- Informatique, internet - Actions réalisées et services rendus
- Équipe (séances scolaires, nombre de
recherches bibliographiques…)
39Médiathèque
d’Arles
Chiffres
clés 2016
40Bibliothèque
de Lyon
Chiffres
clés 2018
https://www.bm-
lyon.fr/rapports-d-
activite/rapport-d-activite-
2018/article/les-chiffres-
cles-2018 41Médiathèque
Saint-Quentin
en-Yvelines
Chiffres
clés 2017
https://e-
mediatheque.sqy.fr/default
/le-saviez-
vous.aspx?_lg=fr-FR
42Médiathèque
Départementale
de l’Oise
Chiffres clés
https://mdo.oise.fr/la-
mdo/la-mdo-en-chiffres
43L'enquête
annuelle Synthèse nationale annuelle des données d'activité des
pour les bibliothèques municipales et intercommunales :
bibliothèques − missions réglementaire du Ministère de la Culture depuis
1969.
de lecture
− menée et publiée par l'Observatoire de la lecture publique
publique du Service du livre et de la lecture.
Ministère de la − une obligation réglementaire pour les collectivités
Culture territoriales.
− les Conseils départementaux sont chargés de suivre
l’exécution de cette collecte pour les villes < 20 000
habitants
Synthèse nationale des données d'activité 2016 des
bibliothèques municipales et intercommunales (éditée en 2019)
44L'enquête
annuelle − 2 types de questionnaires : complet ou abrégé
pour les − 500 champs pour les BM / 700 pour les BDP
bibliothèques
de lecture coordonnées
publique lieux du réseau
Ministère de la accès et installations
Culture 8 axes : collections
usages et usagers
budget
personnel et formation
action culturelle
45Synthèses et
chiffres clés Synthèses et chiffres clés de la culture
de la culture − Le département des Études de la prospective et des
Ministère de la Statistiques (DEPS) du MCC est à l’origine des collections «
Culture Culture chiffres » et « Chiffres clés » qui présentent sous
forme de synthèses, tableaux et graphiques les statistiques
relatives à la vie culturelle en France.
− L'étude aborde le spectre très large du champ culturel
(patrimoine, spectacle, enseignements artistiques...) et
évoque notamment les données relatives aux
bibliothèques.
− Jusqu’en 2013, les chiffres clés étaient accessibles
gratuitement sur le site du Ministère de la Culture. Ils sont
désormais depuis 2016 proposés en version payante
Chiffres clés de la culture et de la communication
46L'enquête
annuelle Enquête statistique générale auprès des bibliothèques
pour les universitaires (ESGBU) :
bibliothèques − réalisée par le ministère de l’Enseignement supérieur et de la
Recherche (MESR) depuis 1976
universitaires
− bibliothèques universitaires, interuniversitaires, et pour
Ministère
certaines données, les services documentaires des IUFM et
l’Enseignement
les bibliothèques des grands établissements (Collège de
supérieur et de la
France, ENS...).
Recherche
− L’ESGBU a connu quelques évolutions successives, sous
forme de strates ajoutées, la dernière étant l’enquête sur les
ressources électroniques (ERE) en 2012, la saisie se fait en
ligne via ce formulaire : Formulaire ESGBU 2019
Enquête statistique générale des bibliothèques universitaires
47Indicateurs de performance en bibliothèque
ISO 11620
Définir des indicateurs Objectifs principaux :
permettant d’évaluer la - articule les indicateurs en 4 domaines principaux :
ressources, accès et infrastructure ; utilisation ; efficience ;
performance potentiel de développement
Évaluer la qualité et - la bibliothèque peut comparer ses performances d'une année
à l'autre : autodiagnostic
l’efficacité des services
- ces indicateurs servent aussi à la réalisation de
fournis par les comparaisons entre bibliothèques
bibliothèques, évaluer
l’efficience des ressources
utilisées
48Ressources – Infrastructure Utilisation
adéquation et disponibilité des ressources utilisation des ressources et des services :
et des services :
surface de services publics par personne, prêts, les téléchargements et l’utilisation
heures d’ouverture hebdomadaire, nombre des équipements.
d’agents par personne, etc.
Efficience Potentialités et développement
efficience des ressources et des degré d'investissement de la bibliothèque
services : dans des domaines de services et de
coûts par prêt, par accès ou téléchargement
de ressources électroniques, délai ressources émergents et son aptitude à
nécessaire pour acquérir et traiter des obtenir un financement suffisant pour son
documents, etc. développement.
49Cas pratiques
BnF
Objectifs Indicateurs
Recruter et fidéliser le Fréquentation des espaces de lecture de la bibliothèque
public «cœur de cible» *Nombre de visites
*Nombre de lecteurs
Fréquentation de l’offre pédagogique sur place et hors les murs
Diversifier les publics Evolution du nombre de lecteurs non-académiques
sur place et en ligne
Fréquentation Gallica : Nombre de visites
Rapport de performance BnF 2017-2019
50De la mesure de la performance
à la mesure d’impact
Les indicateurs de performance sont utilisés pour
évaluer si les bibliothèques fournissent des services
efficaces et efficients, mais ils ne peuvent pas
démontrer si ces services ont un impact positif sur les
usagers et l’environnement.
► C’est pourquoi les bibliothèques ont développé des
méthodes afin de prouver leur valeur, leur impact.
51Evaluer l’impact des bibliothèques
ISO 16439
Méthodes et procédures Objectifs principaux :
pour mesurer l’impact des - éclairer le rôle et la valeur des bibliothèques sur le plan de la
formation et de la recherche, de l’éducation et de la culture, de la
bibliothèques société et de la vie économique, et du bien-être individuel.
Définit la notion d’impact - donner des éléments de réflexion pour éclairer les choix
comme la différence ou le politiques aussi bien en termes d’objectifs stratégiques que de
changement pour un individu niveau de service
ou un groupe que provoque le
contact avec les services de la
bibliothèque.
52Qu'est-ce qui fait la valeur des bibliothèques ?
Livre blanc
Méthodes et procédures Objectifs principaux :
pour mesurer l’impact des - vulgariser les concepts proposés pas la norme ISO 16439
- Méthodes et outils destinés aux élus et aux décideurs
bibliothèques financiers, pour la construction et le maintien des moyens
Introduit le notion de valeur des bibliothèques
4 parties : la définition de - adopter une approche systémique de l’influence de la
l’impact, la mesure de la bibliothèque dans un ensemble de relations : évaluer les
satisfaction des usagers, conséquences de l’action de la bibliothèque sur la société, les
l’impact sociétal des individus, les groupes, le quartier, les usagers et les non-
usagers.
bibliothèques et la mesure
économique des bibliothèques.
53► La notion de valeur y est
Livre blanc essentiellement étudiée du point de vue
AFNOR économique : méthodologies de mesure
du retour sur investissement (RSI, ou
2016 ROI en anglais).
► Aujourd’hui, la valeur de la
bibliothèque se mesure également en
termes d’impact sociétal :
le VOI (value of Investment ou valeur
sur investissement) prend en compte à
la fois les bénéfices financiers et les
bénéfices intangibles.
https://www.enssib.fr/bibliotheque-
numerique/documents/65997-qu-est-ce-qui-
fait-la-valeur-des-bibliotheques-livre-blanc.pdf
54individu groupe
Mesurer l’impact quartier
Étude d’impact
société
Analyse coûts-
bénéfices
usagers
(non)-usagers
55collectées auprès observations et
croiser les chiffres collectés
des usagers grâce à méthodologies
automatiquement :
méthodes entrées, prêts, des questionnaires, inspirées de
entretiens l'ethnologie
d’enquête consultations…
données données données
induites sollicitées observées
Impact sociétal des bibliothèques
56https://www.culture.gouv.fr/Sites-thematiques/Livre-et-lecture/Documentation/Publications/Etudes-et-rapports-
Lecture-et-bibliotheques/Publication-du-rapport-comment-apprecier-les-effets-de-l-action-des-bibliotheques-publiques
57https://www.culture.gouv.fr/Sites-thematiques/Livre-et-lecture/Documentation/Publications/Etudes-et-rapports-
Lecture-et-bibliotheques/Publication-du-rapport-comment-apprecier-les-effets-de-l-action-des-bibliotheques-publiques
58https://www.culture.gouv.fr/Sites-thematiques/Livre-et-lecture/Documentation/Publications/Etudes-et-rapports-
Lecture-et-bibliotheques/Publication-du-rapport-comment-apprecier-les-effets-de-l-action-des-bibliotheques-publiques
59Calcul des impacts
Mesures objectivées via des
équivalents monétaires
Données déclaratives d’enquêtes Market pricing : coût d’un service
par entretiens, questionnaires marchand alternatif comparable
Valeur contingente (valeur que Retour sur investissement (ROI)
l’usager est prêt/consent à payer ) Mesure des externalités
Valeur d’existence, valeur de legs positives : retombées
Valeur d’option (attribuée à un économiques sur le territoire
usage potentiel futur)
Mesure de la satisfaction Ex : Calculatrice de la valeur des
bibliothèques (Massachusetts Library
Qualification des effets Association)
60La démarche d’évaluation
orientée usagers
Approche UX (User Experience)
► se mettre dans la peau des usagers et chercher à mieux
cerner ce qui leur convient ou non.
Les techniques ethnographiques & l’observation directe pour
comprendre les besoins et comportements des utilisateurs
de manière fine :
cartes de comportement ; observations, entretiens
photographiques, visites témoins guidées par un utilisateur ou
visites inversées, cartes d’itinéraires (observer le parcours de
l’utilisateurs), entretiens libres / semi-directifs,…
61La démarche d’évaluation
orientée usagers
Vérifier si :
− Les gens trouvent ce dont ils ont besoin (Utile)
- Les services sont faciles à utiliser (Utilisable)
- Les gens reviennent et en veulent encore ( Désirable )
Expériences et information sur l’UX : ici (Blog de Nicolas Beudon) et ici
(La Canopée)
62Libqual+ Libqual+
Association of − Créée par l’Association of Research Library (ARL), Libqual+
Research Library est une enquête permettant de mesurer la satisfaction des
(ARL) usagers d’une bibliothèque.
− Elle se compose de 22 questions obligatoires ciblant les
thématiques suivantes : les espaces et les bâtiments, le
personnel, les ressources documentaires et de questions
optionnelles.
− La mesure se fait au travers d’un sondage en ligne d'une
vingtaine de questions diffusé à l’ensemble des utilisateurs
de la bibliothèque. Il recense les écarts entre la qualité de
service minimale, souhaitée et perçue.
− L’équipe de la société Alterline basée à Manchester a
expérimenté une enquête alternative, Library Life Pulse
Le site de Libqual+
Enquête Libqual+ à la Bibliothèque de Sciences-Po en 2014
Réflexions sur Libqual+ 63La valeur des
Il est ressorti de l’étude
bibliothèques pour la que les bibliothèques
recherche et les constituent un apport
chercheurs important pour la
recherche notamment en
2009 - 2011 termes de de
rayonnement et
Etude menée au Royaume-Uni sous l’égide
du RIN (Research Information network) et d’accompagnement, mais
du RULK (Research Libraries UK) basée sur qu’il est très difficile de le
une étude quantitative (67 institutions) et
une autre qualitative (9 études de cas). quantifier…
https://www.rluk.ac.uk/wp-content/uploads/2014/02/Value-of-
Libraries-report.pdf
64La valeur des
bibliothèques
académiques
mars 2011
Etude menée au Etas-Unis par l’ACRL
(Association of College et Research
Libraries)
“Les études montrent que les étudiants qui
utilisent les ressources des bibliothèques “Utiliser les ressources de la bibliothèque peut
ont de meilleurs taux de persévérance et vous aider à réussir.
de meilleures moyennes générales.”
https://www.acrl.ala.org/value/
http://www.ala.org/acrl/sites/ala.org.acrl/files/conten
t/issues/value/val_report.pdf
65Mesurer les impacts
1 usager sur 5
des bibliothèques éprouvait un sentiment de connexion
publiques / avec la société grâce à la bibliothèque.
Pays-Bas
2013-2015
Recherches pour démontrer
l’impact sociétal de la
bibliothèque.
La valeur des bibliothèques est
mesurée à travers 5 dimensions :
culturelle, sociale, éducative,
économique et affective.
C. Evans. Autour de la Valeur. Journée d'étude Occitanie
Livre et Lecture / ENSSIB, 2019 66Enquête FESABID
2013-2015 17,20 € par an
de valeur estimée usagers
Etude publiée début 2014 par la FESABID 32,10 € par an
(Federacion Española de Sociedades de prêts à être payés par les non-
Archivistica, Biblioteconomia,
Documentacion y Museistica) portant sur usagers
l’ensemble des bibliothèques espagnoles.
Le but clairement affiché est de démontrer
entre 2,8 et 3,8 €
l’utilité économique et sociale – souvent de retour sur investissement
souterraine et peu perçue- des structures RSI (ROI) par euro investi
documentaires à disposition de l’ensemble
de la population espagnole.
http://www.fesabid.org/documentos/economic_social_v
alue_information_service_libraries.pdf
67Mesurer les impacts 1 milliard $ canadiens
impact économique total de la Bibliothèque
des bibliothèques publique de Toronto sur la ville de Toronto
publiques / Toronto 5,63 $ can.
de valeur en retour pour chaque dollar investi
2013 dans la bibliothèque
500 $ can.
Martin Prosperity Institute, So Much More : « valeur » représentée par la valeur de leur
The Economic Impact of the Toronto Public adhésion à la bibliothèque pour les usagers
Library on the City of Toronto, 6 décembre de la bibliothèque
2013
La ville de Toronto a évalué l’impact
financier de ses bibliothèques.
http://martinprosperity.org/content/so-much-more-the-
economic-impact-of-the-toronto-public-library-on-the-city-of-
toronto/.
Cité par Touitou, Cécile. « Retour sur investissement… ». Bulletin
des bibliothèques de France (BBF),2016, n° 8, p. 20-29.
http://bbf.enssib.fr/consulter/bbf-2016-08-0020-002 68Conseil départemental
du Val d’Oise
Etude 2016
Cette étude s’intéresse aux impacts de la
bibliothèque du point de vue de l’activité
économique, de l'inclusion sociale, du
développement éducatif et culturel.
Lire le rapport
69Conseil départemental du Val d’Oise
Etude 2016
Quelles questions
pour quelles
thématiques ?
70Conseil départemental
Un outil de communication
du Val d’Oise
Etude 2016 4 vidéos pour présenter les nombreuses
fonctionnalités de la bibliothèque présentée
comme « un produit innovant qui a des implications
dans le domaine économique, social, éducatif et
culturel ».
Des données statistiques
3/4 des usagers
ont déclaré que fréquenter la bibliothèque
influait positivement sur leur état d’esprit
1 usager / 5
disait y faire des rencontres
…
714.
Evaluation : présenter,
communiquer
72différents rythmes / formats
d’évaluation
diagnostics tableau rapport études d’impact
préalables de bord d’activité sur 1 action, 1
annuel domaine…
73Différents rythmes / formats
d’évaluation
▪ Un rapport d’activité ou bilan annuel (parfois, nécessité d’un retour
d’information à la tutelle plus régulièrement).
Evaluation a postériori / « ex post »
▪ Des diagnostics / état des lieux préalables pour chaque problème important
détecté ou projet d’ampleur engagé.
Evaluation en préalable / « ex ante »
▪ Un tableau de bord de gestion mensuel ou trimestriel pour corriger et
réorienter l’activité en cours si nécessaire, identifier les problèmes en amont.
5 à 20 indicateurs selon la taille de la bibliothèque.
Evaluation en continu / « ex tempore »
74Mener une évaluation
pas à pas
▪ Définir ses missions
▪ Connaître son territoire et les publics à desservir
▪ Choisir les « bons » indicateurs
▪ Exploiter les chiffres disponibles (les données induites)
▪ S’inspirer des recommandations des normes en bibliothèque
▪ Se comparer dans le temps : la notion de diachronie
▪ Se comparer aux autres : de l’usage du benchmark
▪ Collecter la satisfaction en connaissant le niveau des attentes
▪ Mesurer l’impact auprès de l’ensemble de la population
▪ Croiser les données induites, sollicitées, observées
▪ Revenir à « la grande image » : mesurer l’impact en fonction des
effets produits (outcomes)
▪ Construire un plaidoyer Cécile Touitou (dir.), Évaluer la bibliothèque par les mesures d’impacts.
Villeurbanne, Presses de l’ENSSIB, collection « Boîte à outils », 2016.
75Mener une évaluation
pas à pas
Comparer aux autres bibliothèques (au niveau local, national,
international...), aux bibliothèques des communes de même taille,…
Mesurer l’évolution d’un ou de plusieurs indicateurs de la bibliothèque
sur plusieurs mois, plusieurs années, etc.
Contextualiser les données relatives à la bibliothèque, en les comparant
aux données locales de population par exemple
Décloisonner les données, en les comparant à des données ayant trait à
d’autres établissements culturels comme les musées par exemple
Mener des enquêtes qualitatives et / ou quantitatives sur un sujet
précis
76Bâtir un tableau de bord ▪ Qu’est ce qu’un tableau de bord ? une démarche structurée, qui met les statistiques au service de l’action en repartant d’une analyse des missions et des priorités d’action de la bibliothèque. ► Bâtir le tableau de bord de la bibliothèque, consiste à identifier les questions essentielles que l’on veut traiter pour rendre compte de son action, à trouver les indicateurs les plus pertinents et à en effectuer le calcul et l’analyse périodique. ► L’approche systémique permet d’orienter la réflexion « Construire un tableau de bord » par Marc Maisonneuve in Construire des indicateurs et tableaux de bord / dir. Pierre Carbone. - Paris - Tec et Document ; Villeurbanne : Presses de l'ENSSIB, 2002. - (p. 205-218) 77
Exemples d’indicateurs identifiés dans le cadre d’une approche systémique
« Construire un tableau de bord » par Marc Maisonneuve in Construire des indicateurs et tableaux de bord / dir. Pierre
Carbone. - Paris - Tec et Document ; Villeurbanne : Presses de l'ENSSIB, 2002. - (p. 205-218)
78Exemples d’indicateurs identifiés dans le cadre d’une approche systémique
« Construire un tableau de bord » par Marc Maisonneuve in Construire des indicateurs et tableaux de bord / dir. Pierre
Carbone. - Paris - Tec et Document ; Villeurbanne : Presses de l'ENSSIB, 2002. - (p. 205-218)
79L’évaluation :
perspectives
L’évaluation est un moyen pour la gestion de la bibliothèque,
elle n’est pas une solution, elle ne permettra pas à la bibliothèque
de résoudre tous les problèmes auxquels elle est confrontée.
Mais elle est un outil indispensable pour mieux comprendre la
dynamique dans laquelle est engagée la bibliothèque, affiner ses
analyses, identifier des choix possibles (parfois des orientations
alternatives), dialoguer dans l’équipe et se sentir mieux armé dans
la négociation avec les décideurs.
80L’évaluation :
perspectives
Plutôt que d’être évaluée au regard d’objectifs extérieurs
(l’économie ou l’emploi) la politique culturelle devrait être
évaluée aussi et peut-être davantage selon ses propres
objectifs, plus symboliques (liberté, bien-être des publics,
créativité)… mais plus difficilement mesurables.
C. Veyrat-Durebex en synthèse du colloque Évaluer les politiques publiques de la
culture, Yann Nicolas, Olivier Gergaud, Paris, ministère de la Culture et de la
Communication, 2017. Citée par François Deschamps in L'Observatoire 2017/2
(N° 50), pages 71 à 72
81Merci!
Des questions?
annsa31@gmail.com
82Bibliographie
Bibliothèques et évaluation, sous la direction de Anne KUPIEC. Paris : Cercle de
la Librairie, 1994.
CARBONE, Pierre - Construire des indicateurs et tableaux de bord - Paris :
ENSSIB ; Éd. Tec et Doc, cop. 2002 - La Boîte à outils, 15
TOUITOU, Cécile (dir.), Évaluer la bibliothèque par les mesures d’impacts.
Villeurbanne, Presses de l’ENSSIB, collection « Boîte à outils », 2016.
TOUITOU, Cécile (dir.), La Valeur sociétale des bibliothèques. Construire un
plaidoyer pour les décideurs. Paris, Éditions du Cercle de la Librairie, collection «
Bibliothèques », 2017.
EVANS, Christophe - Mener l’enquête ! Guide des études de publics en
bibliothèque – Lyon : Enssib, 2011- (La Boîte à outils)
Culture : et si on parlait d’argent ? Bulletin des bibliothèques de France (BBF),
N°8, Avril 2016
83Bibliographie RIEDINGER, Françoise. « Qu’est-ce qui fait la valeur des bibliothèques ?». Bulletin des bibliothèques de France (BBF), 2016, n° 8, p. -. Disponible en ligne : http://bbf.enssib.fr/tour-d-horizon/qu-est-ce-qui-fait-la-valeur-des- bibliotheques_66504 La bibliothèque vaut-elle le "coût" ? Journée d'étude en partenariat avec l'Enssib et Médiad'Oc, Occitanie Livre et Lecture, 2019. Disponible en ligne : https://www.occitanielivre.fr/journee-detude-la-bibliotheque-vaut-elle-le-cout LE QUÉAU, Pierre ; ZERBIB, Olivier - Comment apprécier les effets de l’action des bibliothèques publiques ? : rapport d'étude 2018 - Ministère de la culture et de la communication, Direction générale des médias et des industries culturelles ; Observatoire des politiques culturelles ; Université Grenoble Alpes, mars 2019. [en ligne] http://www.culture.gouv.fr/Thematiques/Livre-et- Lecture/Documentation/Publications/Etudes-et-rapport-Lecture- etbibliotheques/Publication-du-rapport-comment-apprecier-les-effets-de-l-action- des-bibliotheques-publiques 84
Bibliographie
Norme ISO 2789, Information et documentation – Statistiques internationales
de bibliothèques, 5e éd., 2014. (Version française)
Norme ISO 11620, Information et documentation – Indicateurs de performance
des bibliothèques, 3e éd., 2015 (Version française)
Norme ISO 16349, Information et documentation – Méthodes et procédures
pour évaluer l’impact des bibliothèques. 1ère éd 2014.
Livre blanc "Qu'est-ce qui fait la valeur des bibliothèques ?" - AFNOR/CN46-8
Qualité -Statistiques et évaluation des résultats – Février 2016 - [en ligne]
http://portailgroupe.afnor.fr/public_espacenormalisation/AFNORCN46-
8/Livre%20Blanc%20fev2016.pdf
85Exemples d’outils
Modèle d’infographie « Bilan d’activité « à compléter par les bibliothèques
fourni par la Bibliothèque Départementale du Lot (46) :
https://bibliotheque.lot.fr/Default/infographie-communiquer-aupres-des-elus.aspx
Outils pour l’évaluation fournis par la BDP 59 (Amandine Jacquet / cabinet
Fabienne Aumont) :
- Exemple d'un bilan d'activité type :
https://mediathequedepartementale.lenord.fr/images/PDF/Formation2015/Bilan-
activite-type-1-sept-2015.doc
- Bilan de l'activité de la bibliothèque sur 5 ans :
https://mediathequedepartementale.lenord.fr/images/PDF/Formation2015/Bilan_b
ib_sur_5_ans.xls
Exemple de questionnaire de satisfaction du Pavillon Blanc (Colomiers) :
https://www.pavillonblanc-colomiers.fr/images/EnqueteA4-PB-Marianne2019.pdf
86Cas pratique : indicateurs et objectifs
BnF
Objectifs Indicateurs
Simplifier et fluidifier les Nombre de cartes annuelles
processus d’accueil,
d’accès et d’information
Développer des Fréquentation des expositions
médiations et de *Nombre de visites sur place
nouvelles manières de *Nombre de visites en ligne
s’adresser aux publics
Fréquentation du site bnf.fr
Rapport de performance BnF 2017-2019
87Cas pratique
BnF
Objectifs Indicateurs
Développer une Volumétrie des documents numériques entrés par DL :
approche patrimoniale Livres numériques
du numérique en veillant Doc.sonores dématérialisés
à la cohérence globale de Doc.vidéo dématérialisés
l’offre documentaire Jeux vidéo dématérialisés
physique et numérique Périodiques dématérialisés
Volumétrie de la numérisation, dont :
Vues de livres et revues
dont vues numérisées dont vues océrisées
Vues de presse
Vues de collections spécialisées
Supports audiovisuels et diapositives
Rapport de performance BnF 2017-2019
88Cas pratique
BnF
Objectifs Indicateurs
Réaffirmer le rôle Délai de catalogage
d’acteur de confiance de Délai médian de catalogage des livres entrant par dépôt légal (en semaines)
la BnF dans le Délai médian de catalogage des livres entrant par acquisition (en semaines)
signalement et le
référencement
Poursuivre la maîtrise Dépenses de fonctionnement courant (exploitation et maintenance des sites,
des dépenses de fonc- informatiques, logistique...)
tionnement
Rapport de performance BnF 2017-2019
89Cas pratique : indicateurs et objectifs
Choisy-le-Roi
Objectif Objectif détaillé Indicateurs Actions
Innover et faire De la veille professionnelle et habitude et fréquence Mise en place d’un
preuve de un suivi de l’actualité et des de la veille circuit de veille
créativité pour innovations pour tenir notre rôle professionnelle au professionnelle
anticiper et d’informateurs sein de l’équipe
préparer la Un plan de formation pour se degré de créativité et Construire un plan
médiathèque de préparer à ces évolutions d’innovation dans les de formation
demain Passer tous nos services au services et modes
crible d’un regard créatif et ne d’organisation
pas hésiter à oser et tester de
nouvelles idées.
90Cas pratique
Choisy-le-Roi
Objectif Objectif détaillé Indicateurs Actions
Fidéliser les Réaliser un diagnostic de la fréquentation et Une fréquentation qui Enquête de
publics de la population sur le territoire. ne baisse pas, voire fréquentation et de
récemment Suivre les mutations de l'urbanisme et de la s’accroît. satisfaction
conquis et population pour adapter notre offre de Des actions
toucher de services partenariales et hors les Diagnostic de
nouveaux Cibler les quartiers que nous touchons le murs ciblées en territoire : suivi des
publics moins actuellement direction de publics que mutations de
Cibler des publics ayant les besoins culturels nous touchons peu l’urbanisme et de la
et d'information les plus importants et mettre actuellement et qui population, ciblage
en place des actions pour qu'ils utilisent nos génèrent de la des quartiers et
ressources. fréquentation. publics prioritaires
Repréciser le rôle de proximité des Des médiathèques de
médiathèques de quartier pour les rendre plus quartier attractives, Mise en place
attrayantes fréquentées, d’actions de terrain
Développer et pérenniser des actions hors satisfaisant leur public hors les murs
les murs de proximité innovantes : Nombre de personnes
bibliothèques éphémères, permanences, utilisant les services
dépôts de livres, relais, bibliambules, etc. hors les murs. 91Cas pratique
Choisy-le-Roi
Objectif Objectif détaillé Indicateurs Actions
Améliorer l’accueil, Formaliser et mettre en cohérence nos Des procédures Formation de
notamment en pratiques d’accueil pour proposer au public formalisées et une l’équipe,
direction des et notamment jeune la même qualité équipe formée formalisation
jeunes d'accueil Une diminution des des procédures,
Définir les modalités d'accueil notamment conflits avec les pré- définition du
en direction des jeunes séjourneurs et des ados et adolescents rôle du référent
adolescents : services à proposer, rôle du Une cohabitation ados
médiateur, gestion des incivilités, lien avec sereine des publics
les parents, etc. Construire un
Favoriser une mixité des publics sereine et projet en
conviviale : intergénérationnel, mélange direction du
groupes et individuels, etc. public jeune :
Repenser les espaces pour favoriser la objectifs,
cohabitation et la circulation des publics projets, mise en
oeuvre
92Cas pratique
Choisy-le-Roi
Objectif Objectif détaillé Indicateurs Actions
Adopter une Rendre les médiathèques plus Une signalétique urbaine Groupe de travail
communication visibles et + faciles à trouver dans bien positionnée et communication +
plus efficace l'espace public via la signalétique suffisante, des retours travail avec le
urbaine d’usagers indiquant que les service comm +
Faire mieux connaître l'éventail des médiathèques sont faciles avec le cadre de vie
services aux usagers via des actions à trouver : définition des
de communication Indicateur qualitatif : actions à mettre en
Se doter d'outils de communication lorsque nous dialoguons œuvre
plus efficaces et originaux pour lutter avec les usagers, nous
contre une vision restreinte et cliché avons moins de retours du Réaménagement
du service (lieu austère d’étude, du type « je ne savais pas », « du rez de chaussée
livre) vous proposez ça ? »
Réhabiliter le RDC de la médiathèque Un RDC accueillant, plus de
via de la signalétique, de retours de type « pourquoi
l’aménagement urbain cet espace n’est pas fini ? »
93Cas pratique
Choisy-le-Roi
Objectif Objectif détaillé Indicateurs Actions
Développer des Développer des actions de Quantité. Des actions de Mise en place d’une
outils et circuits de recommandation et notamment de recommandation charte éditoriale et
médiation production de contenus (écrits, régulièrement produites et d’un groupe de
pérennes photos, vidéos) pour que le public disponibles en permanence travail médiation
s'approprie davantage nos dans les médiathèques.
ressources Qualité des recommandations Mise en place des
Faire en sorte que toute action de et de leur diffusion : qualité actions de
médiation physique ait son rédactionnelle, diversité des recommandation
pendant numérique et vice-versa ressources représentées, dans le travail
Mettre en place une charte pendant numérique/physique courant.
éditoriale systématique, respect de la
charte éditoriale
Taux d’emprunt / consultation
des ressources ainsi signalées
94Cas pratique : indicateurs et objectifs
Nantes
Axes Objectifs Description Indicateurs
Renforcer l'accessibilité des établissements : signalisation Fréquentation et
urbaine, accès et abords, documents d'accueil et de utilisation de la
communication et site Internet en différentes langues ou Bibliothèque
adaptés aux différents handicaps.
Faciliter les inscriptions : inscriptions et paiement en ligne, Fréquentation et
carte dématérialisée, possibilité de modifier son compte satisfaction du public
lecteur en ligne
BIBLIOTHEQUE Simplifier l'accès Automatiser les transactions par le déploiement de la Avancement de la BNR
FACILE à la Bibliothèque technologie RFID dans tous les établissements
Organiser un système de réservation permettant de faire Mise en place en fonction
circuler les documents entre tous les établissements. du déploiement de la RFID
Simplifier les procédures : circuit des litiges, acquisitions, Allègement des
catalogage procédures pour le public
et les agents
Repenser les tarifications : inscriptions, actions culturelles, Satisfaction du public.
reprographie Lisibilité et simplification 95Cas pratique
Nantes
Axes Objectifs Description Indicateurs
Mettre en application la Charte d’accueil et Évaluation de la satisfaction du
organiser des formations à l'accueil physique, public.
téléphonique et par correspondance Montée en compétences des
agents
Rendre les horaires plus attractifs et plus Évaluation de la satisfaction du
Poursuivre la adaptés aux différents publics : éventuelle public.
BIBLIOTHEQUE
démarche Qualité de ouverture le dimanche, extension des horaires
FACILE
l'accueil du samedi, réflexion sur les horaires d'été,
possibilité de nocturnes
Restructurer les espaces pour les rendre plus Évaluation de la satisfaction du
agréables aux usagers : espaces d’accueil plus public.
confidentiels, espaces plus conviviaux, mieux
climatisés…
96Cas pratique
Nantes
Axes Objectifs Description Indicateurs
Mettre en place en partenariat un service Faisabilité technique
de portage à domicile ou dans les lieux
collectifs (maisons de retraite, hôpital..)
Renforcer l’accessibilité des collections : Utilisation des collections et
Proposer des collections publication, déclinaison, évaluation et développement des publics
BIBLIOTHEQUE et des médiations actualisation de la Charte
FACILE adaptées aux différents documentaire/collections en langues
publics étrangères/collections « faciles à lire
»/éditorialisation des collections
patrimoniales numérisées…
Mettre en place une communication ciblée Fréquentation des actions
pour les actions culturelles : réseaux culturelles et satisfaction du
sociaux, lettre de diffusion, médias public
97Vous pouvez aussi lire
