Performance des ministères du gouvernement du Québec - L'actualité
←
→
Transcription du contenu de la page
Si votre navigateur ne rend pas la page correctement, lisez s'il vous plaît le contenu de la page ci-dessous
RAPPORT 2018 SUR LA
performance
des ministères du
gouvernement
du Québec
Pour l’atteinte
de résultats
pour
les citoyens
du Québec
Une analyse de l’application de la Loi sur l’administration
publique (2011-2017) et de ses impacts
MARC-NICOLAS KOBRYNSKY
BULLETIN DES MINISTÈRES
08/01/2018
2
Analyse du plan stratégique 2012-17
Table des matières Avant-propos................................................................................................................................... 5 Introduction..................................................................................................................................... 7 Première partie — La Loi sur l’administration publique.................................................................11 Deuxième partie — Respect des obligations légales de la LAP..................................................... 15 Troisième partie — Atteinte des objectifs de la LAP..................................................................... 25 Quatrième partie — Résultats du gouvernement.......................................................................... 37 Cinquième partie — le Bulletin des ministères.............................................................................43 Conclusion finale - Machine de 100 milliards cherche conducteur...............................................49 Prochaines étapes....................................................................................................................... 51 ANNEXES....................................................................................................................................... 53
4
Analyse du plan stratégique 2012-17AVANT-PROPOS
Cette démarche est née d’une conversation entre amis — au départ banale, mais sûrement maintes fois répétée dans les foyers
politisés du Québec — où les participants déploraient l’impossibilité d’évaluer la performance de prestations de services et des
missions de l’administration publique. Cette absence d’information est un déficit démocratique grave qui a servi d’inspiration
lors de la rédaction du premier rapport et qui est au cœur de notre démarche subséquente.
La premier Bulletin des ministères 2017 a connu une notoriété qui dépassait largement les attentes de l’auteur. Discuté à la
radio, repris dans les chroniques et débattu à la Chambre des communes, il a marqué le débat public et a mené à des engage-
ments du parti au pouvoir. Onze nouveaux plans stratégiques ont été déposés depuis la parution du Bulletin 2017. Dix mois plus
tard, ce deuxième rapport vient faire le point sur ces changements et présenter l’état de la situation pour 2018.
La deuxième mouture du rapport s’est élargie pour passer de treize à dix-neuf ministères. Elle a bénéficié de commentaires
constructifs et s’est raffinée en termes de méthodologie. L’effort pour produire ce rapport reste significatif et entraîne son lot de
sacrifices pour l’auteur, mais à la lumière des constats soulevés, est toujours aussi nécessaire.
C’est notre espoir que notre démarche mène à des changements significatifs dans l’administration publique. Nous serons de
retour l’année prochaine et les années subséquentes pour nous en assurer.
Née d’un effort citoyen, cette étude est non partisane et n’est pas affiliée à quelque parti ou organisme politique. De plus, l’auteur
n’a reçu aucune compensation financière ou autre pour sa réalisation.
Les conclusions sont basées en partie sur des méthodologies déjà reconnues ou développées par l’auteur. Celui-ci s’est aussi
appuyé sur l’expertise acquise au cours d’un B.A. aux HEC, d’une M. Sc. en Management au London School of Economics et de
ses 15 ans d’expérience en consultation de processus et de stratégies dans le secteur privé.
Sur une note plus personnelle, bien que j’en sois le seul signataire, cette étude a grandement profité de conseils, de direction,
de critiques éclairées et du soutien de quelques individus, qui se reconnaîtront, et à qui j’aimerais spécialement exprimer ma
gratitude. Mes remerciements vont aussi à la revue d’affaires publiques l’Actualité, une équipe passionnée avec qui c’est un
immense plaisir de collaborer. Finalement, mes remerciements à ma conjointe qui comprend et encourage cette implication
citoyenne bénévole et prend (généralement) avec philosophie les contraintes qu’elle peut apporter à une vie de couple. Analyse du plan stratégique 2012-17
56
Analyse du plan stratégique 2012-17INTRODUCTION
Plusieurs événements des dernières années nous ont amenés à nous intéresser à la gestion gouvernementale :
n Surplus budgétaires obtenus concurremment à des augmentations d’impôt et de taxes et d’une apparente diminution dans le
niveau de prestation de services à la population ;
n Nombreux changements dans la vision de la gestion administrative du gouvernement (abandon de la réforme de programmes
et de la réforme de la fiscalité, etc.) ;
n Crises ponctuelles démontrant des lacunes de gestion dans plusieurs ministères, par exemple à la Justice, au point où des
procès sont annulés à la suite de délais judiciaires inacceptables.
Pourquoi publier ce rapport ?
Maintenant que le gouvernement a atteint son objectif du déficit zéro :
n Qu’en est-il de l’évolution de la qualité des services offerts aux citoyens et de la capacité des ministères à remplir leur
mission ?
n Comment la population peut-elle suivre cette évolution et obtenir des données factuelles et crédibles, mises à jour régulière-
ment et de façon conviviale ?
n Le gouvernement atteint-il les cibles qu’il se fixe ?
n Et dans une optique plus large, peut-on faire mieux en matière de services tout en conservant un équilibre budgétaire dans
les finances publiques ?
Pour répondre à ces questions, nous avons donc entrepris de faire un travail de recherche sur la gestion gouvernementale.
Au Québec, La Loi de l’administration publique (LAP), établie en 2000, oblige les ministères et organismes du gouvernement
à choisir des indicateurs représentatifs des services aux citoyens, à se fixer des objectifs, et à rapporter annuellement la
progression du ministère sur ces indicateurs. Le but de la Loi est de forcer les ministères à l’imputabilité quant à la livraison
de résultats tangibles pour la population, et à la transparence vis-à-vis non seulement de ces résultats, mais aussi de l’état
général de leur mission.
Analyse du plan stratégique 2012-17
Il s’agit donc ici, pour nous, de voir si le gouvernement du Québec répond à la propre gouvernance qu’il a mise en place en 2000
pour atteindre ses objectifs. Notre but est donc double :
n Évaluer la situation actuelle ;
– Évaluer l’adhésion des ministères à la forme (obligations légales LAP) et au fond (réel effort d’atteindre les objectifs de la
LAP) de la Loi sur l’administration publique (A-6.01 - 2000) qui introduisait la philosophie de gestion par résultat.
–B
rosser un portrait de l’atteinte des résultats par les ministères aux cibles qu’ils s’étaient eux-mêmes fixées.
n Suivre l’évolution de la performance des ministères dans le temps ;
Produire une forme de tableau de bord des résultats pour suivre la progression du gouvernement dans sa gestion gouverne-
mentale.
7La première édition du Bulletin 2017 comportait l’analyse de 13 ministères responsables ensemble de 93 % des dépenses de
programmes du gouvernement. Pour l’édition de 2018, nous avons ajouté 6 autres ministères, portant le total à 19 et couvrant
ainsi de façon générale l’ensemble des ministères visés par la LAP.
Seuls deux ministères, celui de l’Assemblée nationale et celui des Affaires municipales et de l’Occupation du territoire (MAMOT),
ont été écartés parce qu’ils ont des fonctions majoritairement législatives ou administratives et donc ne revêtent que peu d’in-
térêt pour l’étude.
Pour ce faire, nous avons étudié :
n Les rapports de gestion annuels de chaque ministère sur un horizon de cinq à huit ans, plus particulièrement la qualité et
l’adhésion aux indicateurs inscrits aux plans stratégiques ;
n Les rapports pertinents du président du Conseil sur la LAP et les rapports de la Commission de l’AP ;
n Les rapports et études d’experts ayant déjà étudié l’implantation ou les effets de la LAP.
L’analyse de la performance gouvernementale s’est faite à travers le prisme des meilleures pratiques de gestion dans le choix
et le suivi d’indicateurs, mais s’est aussi inspirée des conclusions de plusieurs spécialistes ayant déjà étudié la question de la
gestion gouvernementale autant au Québec qu’ailleurs dans le monde.
Notre analyse est inédite pour plusieurs raisons :
n Elle est détaillée. À notre connaissance, c’est la seule étude qui va jusqu’au détail de chaque indicateur, des cibles et des
résultats. Ce serait aussi la seule qui présente les performances par ministères, le rapport du Conseil du trésor agrégeant
l’information sans jamais en présenter le détail.
n Elle est qualitative. À notre connaissance, c’est la première étude qui évalue la qualité des indicateurs et des cibles en se
basant sur une méthodologie reconnue, SMARTER, et non simplement sur leur présence ou leur absence, comme le fait le
rapport d’implantation du président du Conseil du trésor.
n Elle présente les résultats. À notre connaissance, c’est la première étude qui recense la performance des ministères en
matière d’adhésion aux engagements et aux cibles qu’ils se sont fixées eux-mêmes. Le rapport d’implantation du président
du Conseil du trésor s’astreint à recenser les ministères qui présentent leurs engagements et non l’atteinte de leurs cibles.
n Elle est récurrente. Le Bulletin des ministères sera mis à jour tous les ans à la suite du dépôt des rapports de gestion des
ministères. Cette récurrence permettra de suivre l’évolution des ministères à travers le temps.
«
»
Analyse du plan stratégique 2012-17
Pour l’édition de 2018, nous avons ajouté 6 autres ministères,
portant le total à 19 et couvrant ainsi de façon générale
l’ensemble des ministères visés par la LAP.
8Les grandes parties du Rapport sur la performance des ministères du Québec 2018
L’analyse se décline toujours en cinq grandes parties :
n La première présente les objectifs et les obligations de Loi sur l’administration publique ;
n La seconde s’attarde à l’analyse de l’adhésion des ministères aux obligations légales de la LAP ;
n La troisième se penche sur la qualité des indicateurs et des cibles présentes aux plans stratégiques des ministères ;
n La quatrième s’intéresse à la présentation de l’atteinte des cibles par les ministères respectifs ;
n La dernière présente le classement des ministères basé sur les résultats obtenus dans les trois premières parties.
Le rapport a connu quelques changements depuis sa dernière édition en 2017. En voici un sommaire :
n Dans la seconde partie, l’analyse des moyens de contrôle de la LAP n’a pas été renouvelée cette année. En effet, il n’y a eu
aucune amélioration apportée dans l’année en cours et les déficiences relevées en 2017 sont toujours aussi présentes. Ce
sujet sera donc discuté en conclusion ;
n Dans la troisième partie, l’analyse de l’adéquation des missions et des indicateurs choisis a été abandonnée, remplacée par
un critère plus simple, celui des cibles intermédiaires (annuelles). Ce choix n’a pas été fait à la légère, puisque l’auteur consi-
dère toujours cette adéquation comme primordiale pour l’atteinte de résultats significatifs pour la population du Québec. Il se
propose d’en faire un rapport séparé au courant de 2019 ;
n L’ajout du critère de la présence de cibles annuelles dans des plans pluriannuels était un choix naturel puisqu’il est un vecteur
important d’imputabilité. Sans ces cibles intermédiaires, il est plus complexe de mesurer la performance des ministères sur
une base régulière ;
n Dans la quatrième partie, l’atteinte des résultats est maintenant mesurée sur la dernière année fiscale complétée et non sur
l’ensemble d’un plan stratégique. Les rapports annuels de 2016-17 et les plans stratégiques en vigueur pour cette année
fiscale ont donc servi de base pour l’analyse.
Analyse du plan stratégique 2012-17
910
Analyse du plan stratégique 2012-17PREMIÈRE
PARTIE
La Loi sur l’administration publique
La Loi sur l’administration publique (LAP) a été adoptée à la majorité le 25 mai 2000 et a pris effet cinq jours plus tard, le 30
mai 2000. La Loi vise à transformer l’ensemble de la fonction publique pour la faire progresser vers une gestion basée sur les
résultats, imputable, axée sur le citoyen et transparente.
Voici un extrait de la présentation de la Loi sur le site de l’Assemblée nationale :
« La Loi sur l’administration publique (chapitre A-6.01) affirme la priorité accordée à la qualité des services aux
citoyens. Elle prescrit un cadre de gestion axée sur l’atteinte des résultats et elle est basée sur le respect du principe
de la transparence. Elle favorise l’obligation de rendre compte de l’Administration gouvernementale devant l’Assem-
blée nationale. »
Pour atteindre ces résultats, la LAP introduit pour les ministères deux types d’obligations de divulgation d’informations aux
citoyens, toutes deux produites annuellement dans un document intitulé Rapport de gestion du ministère X, 20XX-20XX
n La Déclaration de services aux citoyens (DSC)
n Le plan stratégique (PS)
L’objectif, dans les deux cas, est de forcer les ministères à passer à une gestion basée sur les résultats et de rendre ceux-ci
publics. Chaque ministère doit s’informer, généralement à l’aide de sondages, des attentes et besoins de la population, s’as-
treindre à des cibles et compiler les informations nécessaires pour rendre compte de ses résultats.
Déclaration de services aux citoyens
Dans la Déclaration de services aux citoyens, les ministères ont choisi de publier les résultats liés à la prestation de services
administratifs directs. Pour ce type de services, on doit donc retrouver :
n Les attentes des citoyens quant aux services et au niveau de services offerts ; Analyse du plan stratégique 2012-17
n Une définition claire de chaque prestation de service fournie ;
n Les objectifs de niveau et de qualité de service pour les prestations de services aux citoyens ;
– Accessibilité,
– Délai,
– Qualité,
n Les résultats de prestations de services aux citoyens.
11«
»
La Loi vise à transformer l’ensemble de la fonction
publique pour la faire progresser vers une gestion
basée sur les résultats, imputable, axée sur le citoyen
et transparente.
Analyse du plan stratégique 2012-17
12Plan stratégique
D’après le texte de la Loi, le but du plan stratégique est de forcer les ministères à s’astreindre à un plan stratégique qui couvre
plus d’un an, et où l’on retrouve :
n La description du ministère ;
n Le contexte dans lequel le ministère évolue et les enjeux auquel il fait face ;
n Les résultats visés au terme de la période couverte par le plan ;
n Les indicateurs de performance utilisés pour mesurer l’atteinte des résultats.
L’esprit de la Loi
Le but de la LAP est clairement d’infuser dans la fonction publique :
n Une clarification des services offerts et des attentes des citoyens ;
n Une imputabilité de résultats dans les opérations courantes en forçant l’établissement de cibles et la reddition de comptes ;
n Une imputabilité de résultat dans la planification stratégique qui se décline en résultats concrets, mesurés par des indicateurs
d’effets-impacts.
La reddition de compte
La reddition de compte se fait par les ministères, le Conseil du trésor et la Commission de l’AP :
n Chacun des ministères doit produire un rapport de gestion annuel qui comprend une présentation des résultats obtenus par
rapport aux objectifs prévus par le plan stratégique visé ;
– Le délai maximal prévu est de quatre mois suivant la fin de l’année financière, ou, si l’Assemblée ne siège pas, dans les 15
jours suivant la reprise des travaux.
n Le président du Conseil du trésor dépose à l’Assemblée nationale, chaque année, un rapport concernant l’application de la
LAP ;
n La Commission parlementaire de l’AP de l’Assemblée nationale doit entendre au moins une fois tous les quatre ans le ministre,
si celui-ci le juge opportun, et, selon le cas, le sous-ministre ou le dirigeant d’organisme afin de discuter de leur gestion admi-
nistrative.
Analyse du plan stratégique 2012-17
1314
Analyse du plan stratégique 2012-17DEUXIÈME
PARTIE
Respect des obligations légales de la LAP
Introduction
La première étape de cette étude est d’évaluer le taux de conformité des ministères aux obligations légales prescrite par la
LAP. Avant même d’analyser les indicateurs ou les plans stratégiques, il importe de s’assurer que chaque ministère s’acquitte
de ses devoirs au sens de la LAP, ce qui nous donnera une première indication générale du degré d’implantation de la Loi dans
l’administration publique.
Nous évaluerons donc le taux de conformité à la Section II — La Déclaration de services aux citoyens, à la Section III — Le plan
stratégique ainsi qu’au système de reddition de compte.
La Déclaration de services aux citoyens
La Déclaration de services aux citoyens est d’un faible intérêt aux termes de cette étude parce qu’elle ne contient qu’un portrait
des services des employés d’un ministère aux citoyens, sans intermédiaire, comme les demandes de renseignements par
téléphone ou les plaintes. En d’autres mots, on peut dire que la DSC porte sur les indicateurs de services administratifs à la
population et non sur les indicateurs de missions des ministères envers la population. De plus, les indicateurs de la DSC offrent
un portait très limité sur ces mêmes services parce qu’ils portent exclusivement sur l’atteinte d’objectifs de délais de réponses
et jamais sur les résultats finaux.
De façon générale, les indicateurs de la DSC portent sur les délais de réponses pour les renseignements généraux, les plaintes
et certaines fonctions administratives. Voici les indicateurs de la Déclaration de services aux citoyens 2015-20 du ministère de
la Justice, laquelle est représentative des autres DSC des ministères à l’étude.
Justice 2016-2017
Justice Délai - Demande de renseignement concernant les infractions et amendes - téléphone
Justice Délai - Demande de renseignement généraux - téléphone Analyse du plan stratégique 2012-17
Justice % - Gestion de l'information envoyé aux jurés
Justice Délai - Paiement des jurés
Justice Délai - Entrevue avec un greffier des petites créances pour rédaction de la demande d'assistance
Justice % - Célébrants contactés pour outils et devoirs
Justice Délai - Copie de document
Justice Délai - Registre et certifications - téléphone
Justice Délai - Publication des droits
Justice Délai - 1ere commission aux comissaires à l'assermentation
Justice Délai - Livraison de lettre patentes
Justice Délai - Livraison de signatures numériques
Justice Délai - Révocation de signatures numériques
Justice Délai - Réponse aux plaintes 15Bien que certainement importants pour les usagers des services fournis plus haut, les indicateurs de cette Déclaration de
services aux citoyens ne portent en rien sur la mission fondamentale du ministère de la Justice et ne représentent aucunement
des services de justice tels l’accessibilité, l’équité, les délais, le taux de succès des procureurs, le soutien aux victimes d’actes
criminels, etc.
L’auteur de cette étude reconnaît l’importance pour les ministères de prendre des engagements pour leurs services administra-
tifs directs à la population. Cela dit, cette étude s’intéresse en premier lieu à la capacité des ministères de fournir les services
liés à leur mission fondamentale, puisque la bonne performance de leurs services administratifs n’est en rien garant de la
réalisation de leur mission.
En effet, il n’y a pas de corrélation entre l’atteinte des cibles de performance de services administratifs et celle de l’atteinte de
la mission du ministère. C’est donc pourquoi le type, la qualité des indicateurs ainsi que les résultats atteints à la DSC ne feront
pas partie de la portée de cette étude. Seule l’existence de la DSC dans le rapport de gestion de 2016-17 des ministères servira
de critère à la pondération.
À ce propos, l’auteur se permet de réitérer les mêmes réserves que l’année précédente sur la façon dont les ministères ont
interprété les articles de la LAP et sur le choix de la répartition des indicateurs entre la DSC et les plans stratégiques. Pour
prendre connaissance de ces réserves, prière de vous référer à l’Annexe 1, qui reprend intégralement les critiques publiées
dans le Bulletin 2017.
En fait, on ne note aucun changement positif dans les DSC des ministères pour l’année de référence 2016-17. Cette partie du
rapport annuel des ministères demeure toujours relativement insignifiante en ce qui a trait à l’information sur l’atteinte des
missions fondamentales des ministères. Même au niveau administratif, les indicateurs de satisfaction de la clientèle brillent
encore par leur absence dans les différentes DSC des ministères. Les indicateurs de délais sont inutiles pour permettre à la
population de juger de la performance des ministères s’ils ne sont pas accompagnés d’indicateurs de résultats.
De plus, à la lumière des travaux qu’il a réalisés cette année, l’auteur se permet d’ajouter une critique importante de la DSC
quant à l’imputabilité et la transparence. En effet, aucun ministère ne présente des statistiques de délais de réponse pour
les demandes d’accès à l’information. Cette omission évidente d’indicateurs sur un aspect de services aux citoyens que
chaque ministère a la responsabilité de fournir est un autre exemple du peu d’utilité de la DSC en termes d’imputabilité et de
transparence pour les citoyens.
La Loi sur l’accès à l’information est un des outils citoyen fondamentaux pour demander des comptes à l’appareil administratif
sur l’utilisation des fonds publics et sur l’atteinte de résultats probants pour la population. L’absence d’indicateurs des délais et
des résultats de demandes d’accès à l’information est un grave déficit démocratique et une démonstration supplémentaire de
l’insignifiance de la DSC dans son format présent.
Analyse du plan stratégique 2012-17
16Tableau 3 — Taux de conformité à la section II de la LAP —
la Déclaration des services aux citoyens par ministères – 2016/17
Tableau 3 - Etat de la Déclaration de Services aux Citoyens dans le rapport de gestion
de 2016-17 des ministères
Finance Santé Travail Culture Justice Education
Rapports
Présence
Présence
Présence
Présence
Présence
Présence
# indic.
# indic.
# indic.
# indic.
# indic.
# indic.
de Gestion
2016-17 nY n4 nY n8 nY n7 nY n7 n Y n 15 n y n 13
Note -Sommaire
Global n5 n5 n5 n5 n5 n5
Economie Immigration Sécurité Pub. Environnem. Energie & RN MAPAQ Transport
Rapports
Présence
Présence
Présence
Présence
Présence
Présence
Présence
# indic.
# indic.
# indic.
# indic.
# indic.
# indic.
# indic.
de Gestion
2016-17 n Y n 14 n Y n 10 n Y n7 n Y n 12 n Y n 18 n N n0 nY n6
Note -Sommaire
Global n5 n5 n5 n3 n5 n3 n5
Conseil Conseil Faune & Rel Int &
Tourisme Famille
Executif Trésor Forest Franco
Rapports
Présence
Présence
Présence
Présence
Présence
Présence
# indic.
# indic.
# indic.
# indic.
# indic.
# indic.
de Gestion
2016-17 n N n 4* n Y n2 nY n4 nY n6 n Y n 2*
Note -Sommaire
Global n0 n3 n5 n5 n3 n5
Le rapport de gestion le plus récent (2016-17) a été utilisé comme base pour l’évaluation de la conformité à la LAP des
Déclarations des services aux citoyens de chaque ministère.
n Vert : Quatorze des dix-neuf ministères répondent aux exigences de la Loi en ayant une section DSC qui possède des indica-
teurs et des cibles détaillées.
n Jaune : Trois des ministères (Environnement, Tourisme, Conseil du trésor) possèdent une section DSC où l’identification des
indicateurs, de leurs cibles et des résultats n’est pas transparente.
– Un quatrième ministère, le MAPAQ, a choisi de ne pas publier une DSC dans son rapport annuel de 2016-17. Il explique cette
absence par une baisse de satisfaction de sa clientèle et une volonté de revoir les fondements de sa DSC.
n Rouge : Un seul des ministères, celui du Conseil exécutif, n’avait pas de Déclaration de services aux citoyens en vigueur pour
l’année de référence 2016-17. Analyse du plan stratégique 2012-17
– Il est à noter que le ministère a publié une nouvelle Déclaration de services aux citoyens en octobre 2016, mais que celle-ci
est encore largement déficiente. Seul un engagement sur sept compte des cibles (celui de la diligence), et ces dernières
portent uniquement sur les délais de réponses (efforts), et non sur la satisfaction des citoyens envers les réponses.
La pondération
Un ministère qui compte une DSC conforme aux directives de la LAP obtient la note verte et la pondération qui s’y rattache au
Bulletin dès des ministères.
Un ministère qui compte une DSC qui n’est pas transparente dans son contenu ou son format obtient une note jaune et la pondé-
ration qui s’y rattache au Bulletin des ministères.
Un ministère qui ne compte aucune DSC obtient la note rouge et la pondération qui s’y rattache au Bulletin des ministères.
17Le plan stratégique
Le plan stratégique revêt une importance particulière au terme de cette étude puisqu’il comporte les indicateurs de mission,
c’est-à-dire ceux qui informent sur la capacité des ministères de remplir leur mission fondamentale (l’Éducation, la Santé, la
Sécurité publique, etc.)
Tableau 4 — Taux de conformité à la section III de la LAP —
Le plan stratégique par ministères, pour l’année 2016-2017
Tableau 4 - Sommaire des éléments de conformité légale à la section III de la LAP (2016-17)
Plan
Stratégique à Cibles (D)
Plan stratégique à jour
jour pendant ( % indicateurs Résultats Note -
(En date de sortie du Indicateurs
l'année de sans cibles - récents Tableau
rapport) (C)
référence plan le plus (E) sommaire
(A)
2016-17 récent)
(B)
Finance O 2017-20 n N* O n 6% O n6
Education O 2017-22 nN O n 12 % N n0
Sante O (2015-20) Y O n 0% O n 10
Travail O (2015-18) Y O n 0% O n 10
Culture O (2018-2021) nN O n 0% O n0
Famille O (2017-2022) Y O n 4% O n 10
Rel. Int & Franco O (2014-18) Y O n 0% O n 10
Conseil Executif O (2018-22) Y O n 59 % O n6
Conseil du Trésor O (2016-19) Y O n 9% O n6
Forest, Faune & Parc O (2014-18) Y O n 14 % O n6
Tourisme O (2017-20) n N* O n 18 % O n6
Justice O (2015-20) Y O n 62 % O n6
Economie O (2016-19) Y O n 0% O n 10
Immigration O (2016-21) Y O n 15 % O n6
Sécurité Pub. O (2017-21) nN O n 14 % O n0
Environnem. O (2017-21) nN O n 25 % N n0
Energie & RN O (2018-21) Y O n 8% O n6
MAPAQ O (2015-18) Y O n 0% O n 10
Transport O (2017-20) nN O n 0% O n0
Analyse du plan stratégique 2012-17
Taux de conformité 100 % 63 % 100 % 42 % 89 %
Légende n A,B,C,D,E = O n B,C,D,E = N n A=N
Les douze derniers mois ont été fastes en matière de production de nouveaux plans stratégiques. Pas moins de onze ministères
sur dix-neuf ont fait l’exercice. Bien que les ministères aient maintenant régularisé leur situation envers les exigences de la LAP,
les résultats du Bulletin 2018 reflètent leur situation en 2016-17, l’année de référence, et non leur situation actuelle.
18Le rapport de gestion le plus récent (2016-17) ainsi que les plans stratégiques publiés jusqu’au 31 mars 2018 ont été utilisés
comme base pour l’évaluation de la conformité à la LAP des plans stratégiques de chaque ministère.
n Vert : Six ministères possèdent un plan stratégique pluriannuel à jour, qui comporte des indicateurs, des cibles et des résultats
récents.
n Jaune : Huit ministères possèdent un plan stratégique récent, mais, selon les ministères, qui n’est pas à jour ou comporte plus
de 5 % d’indicateurs sans cibles.
n Rouge : Cinq ministères n’ont pas de plans stratégiques à jour.
Puisqu’il contient les indicateurs ayant le plus d’impact sur la population, un plan stratégique qui n’est pas à jour est particuliè-
rement inquiétant pour la population, puisque :
n Un plan stratégique reconduit tend, de facto, à démontrer l’échec de l’atteinte de ses objectifs. Si les objectifs et les projets
étaient atteints, le ministère passerait à une nouvelle planification stratégique.
n Un plan stratégique reconduit après son expiration tend à démontrer des lacunes dans le processus de planification stra-
tégique du ministère en question, puisqu’une planification stratégique est une obligation de la LAP. Elle n’est donc pas une
surprise.
n Un plan stratégique reconduit après son expiration n’est plus efficace puisque les hypothèses et le contexte dans lequel il a
été construit ne sont plus valides. Plus le plan stratégique est reconduit, moins il est connecté à la réalité et aux besoins de la
population et moins il est pertinent.
n La reconduction d’un plan stratégique après son expiration brouille les cartes en matière d’imputabilité de résultats, puisque
le ministère se donne une année (ou plus) pour atteindre les objectifs qu’il devait déjà avoir atteints.
n Son absence tend à indiquer le peu d’importance que le ministère accorde à la LAP, puisqu’un plan stratégique à jour est une
obligation de la LAP.
« Les douze derniers mois ont été fastes en matière
de production de nouveaux plans stratégiques.
Pas moins de onze ministères sur dix-neuf ont fait
l’exercice. Bien que les ministères aient maintenant
»
régularisé leur situation envers les exigences de la LAP,
Analyse du plan stratégique 2012-17
les résultats du Bulletin 2018 reflètent leur situation
en 2016-17, l’année de référence, et non leur
situation actuelle.
19L’absence de cibles chez plusieurs ministères est une autre des grandes découvertes de l’analyse des indicateurs du plan
stratégique. En effet, selon l’article 9.4 de la LAP, « Un plan stratégique doit comporter les résultats visés au terme de la période
couverte par le plan. » En conséquence, chaque indicateur des plans stratégiques devrait avoir une cible.
Lors du Bulletin 2017, les 13 ministères à l’étude représentaient un total de 402 indicateurs, dont 115 (21 %) n’avaient pas de
cibles. Cette année, les 19 ministères à l’étude représentent un total de 586 indicateurs, dont 72 (11 %) n’ont pas de cibles.
C’est donc dire que seulement 89 % des indicateurs respectent les exigences de la LAP. Voici une ventilation plus précise des
indicateurs sans cibles par ministères.
Tableau 5- Nombre d'indicateurs sans cibles dans les plans stratégiques
les plus récents des ministères du Québec
Ministères # ind sans cibles # indic total % indicateurs sans cibles
Finance 1 17 n 6%
Education 11 95 n 12 %
Sante 0 50 n 0%
Travail 0 17 n 0%
Culture 0 15 n 0%
Famille 1 26 n 4%
Rel. Int & Franco 0 18 n 0%
Conseil Executif 10 17 n 59 %
Conseil du Trésor 2 23 n 9%
Forest, Faune & Parc 5 36 n 14 %
Tourisme 2 11 n 18 %
Justice 16 26 n 62 %
Economie 0 32 n 0%
Immigration 4 26 n 15 %
Sécurité Pub. 6 44 n 14 %
Environnem. 13 52 n 25 %
Energie & RN 1 12 n 8%
MAPAQ 0 29 n 0%
Transport 0 40 n 0%
Total 72 581 11 %
Légende ( % indic sans cible vs total indic) nLa pondération
Un ministère qui possède une planification stratégique à jour, pluriannuelle, avec une combinaison d’indicateurs et de cibles
ainsi que des résultats récents obtient la note verte et la pondération qui s’y rattache au classement des ministères.
Un ministère qui possède une planification stratégique à jour, mais qui échoue au critère des cibles ou de l’information récente
obtient la note jaune et la pondération qui s’y rattache au classement des ministères.
Un ministère qui ne possède pas de planification stratégique à jour obtient la note rouge et la pondération qui s’y rattache au
classement des ministères, peu importe si les autres composantes du plan stratégique sont respectées.
La reddition de compte de la LAP
Comme indiqué dans l’introduction, les analyses sur la reddition de compte ont été abandonnées dans cette édition du Bulletin
2018 en faveur de l’ajout de l’ensemble des ministères du Québec.
Il est important de noter que la reddition de compte ne faisait pas partie des critères de pondération des ministères dans le
Bulletin 2017. En effet, on ne peut mettre le blâme sur les ministères si le processus de reddition de compte et de contrôle de
la LAP est déficient.
Dans le Bulletin 2017, la reddition de compte a été introduite dans le rapport pour donner du contexte au lecteur et tenter d’ex-
pliquer les piètres résultats des ministères.
Puisque peu de choses ont changé entre le premier Bulletin et le second en matière de reddition de compte et de contrôle, il
semblait inutile de revenir sur ce sujet. Les critiques formulées dans le Bulletin 2017 restent sensiblement inchangées en 2018
et le lecteur peut s’y référer pour une explication complète.
Il faut toutefois souligner les efforts du ministère du Conseil du trésor pour faire respecter les obligations de la LAP. Nous voyons
dans les onze nouveaux plans stratégiques publiés dans les douze derniers mois la somme de ses efforts.
De plus, le Conseil du trésor a resserré les contrôles dans la revue des premières moutures des plans stratégiques pour tenter
d’introduire plus d’indicateurs de résultats possédant des cibles chiffrées. Malheureusement, les déficiences relevées dans les
résultats présentés dans ce Bulletin, comprenant l’analyse des tout nouveaux plans stratégiques ministériels, démontrent les
limites de l’approche du Conseil du trésor à ce sujet.
De son côté, la CAP continue son excellent travail, mais ne compte toujours pas les moyens nécessaires pour faire respecter ses
demandes et recommandations.
Toute cette situation revient à un seul facteur – le choix des indicateurs est un choix politique; ultimement, chaque ministère
est responsable de ses indicateurs. Le ministère du Conseil du trésor peut bien conseiller, mais ne peut décider des indicateurs
que les autres ministères devraient suivre.
Aussi longtemps que le Conseil du trésor ou le Conseil exécutif refuseront de prendre la responsabilité, pour le bien du public,
d’imposer aux ministères des indicateurs qui mènent à des résultats significatifs pour la population du Québec, ceux-ci pourront
continuer impunément de trahir l’esprit et la lettre de la LAP et de se soustraire à ses objectifs d’imputabilité, de transparence
et de résultat.
Analyse du plan stratégique 2012-17
21«
»
Cette année, les 19 ministères à l’étude représentent
un total de 586 indicateurs, dont 72 (11 %) n’ont pas
de cibles. C’est donc dire que seulement 89 % des
indicateurs respectent les exigences de la LAP.
Analyse du plan stratégique 2012-17
22CONCLUSION
de la deuxième partie
L’édition 2017 du Bulletin concluait à de sérieuses lacunes dans le taux de conformité de plusieurs ministères aux plus simples
obligations de la Loi sur l’administration publique, particulièrement en matière de plans stratégiques échus et d’indicateurs
sans cible. En 2017, ces derniers représentaient 22 % de l’ensemble des indicateurs. En 2018, c’est 11 % seulement, une
amélioration à noter.
D’ailleurs, le rapport 2017 semble avoir eu un impact positif sur le respect des obligations légales de la LAP par les ministères.
Sous l’impulsion du Conseil du trésor, onze nouveaux plans stratégiques ont été déposés dans la dernière année. En date de la
parution du rapport, tous les ministères avaient un plan stratégique à jour. C’est un timide début.
On doit souligner ces timides avancées, mais elles offrent peu de raisons de célébrer. Globalement, il reste encore onze pourcent
des indicateurs qui possèdent des cibles tellement déficientes qu’elles ne veulent rien dire. Les nouveaux plans stratégiques
du Conseil exécutif, de l’Environnement et de l’Éducation en contiennent respectivement 59 %, 25 % et 12 %, une situation
inexplicable. Ces plans sont maintenant en vigueur pour les trois à cinq prochaines années et ils sont rarement modifiés une fois
déposés. Le ministère de la Justice n’a rien changé à son plan stratégique malgré des lacunes évidentes mises en lumière dans
l’édition précédente du rapport. Son plan stratégique possède toujours 62 % de cibles qui ne veulent rien dire et le ministère ne
semble pas s’en formaliser.
Considérant que le respect des obligations légales est l’absolu minimum pour espérer l’atteinte de résultats significatifs pour la
population, on est encore loin de la coupe aux lèvres alors qu’il connait encore des ratés dans plusieurs ministères.
Analyse du plan stratégique 2012-17
23Analyse du plan stratégique 2012-17 24
TROISIÈME
PARTIE
Atteinte des objectifs de la LAP
Introduction
Comme expliqués plus haut, les grands objectifs de la Loi sont de forcer un changement de philosophie dans l’appareil gouver-
nemental afin de favoriser la transparence, l’imputabilité et, ultimement, l’obtention de résultat.
n En démontrant l’état de la situation à travers des indicateurs fiables et réalistes, la LAP vise la transparence, mais constitue
aussi une véritable base d’amélioration ;
– Si l’indicateur est un baromètre fiable d’une réalité, l’amélioration de celui-ci démontrera avec certitude l’amélioration de la
réalité,
n En exigeant d’inclure dans un plan stratégique pluriannuel des actions susceptibles d’influencer les indicateurs et des cibles
mesurables, la LAP force l’imputabilité et l’action ;
n Des indicateurs, un plan, des cibles et une reddition de compte publique devraient normalement apporter l’amélioration
tangible d’une réalité ;
– S’il n’y a pas d’amélioration tangible, l’échec du plan est constaté de façon transparente et un nouveau plan est formulé
pour atteindre la cible recherchée,
n Finalement, bien que sous-entendue, une adéquation entre les indicateurs choisis et la mission fondamentale du ministère en
question doit exister.
Le succès et la pertinence de la gestion par résultat reposent sur la qualité des indicateurs. L’indicateur doit être lié à la
mission du ministère, doit faire référence à des résultats, doit être de qualité et posséder une cible de qualité. L’échec d’un
seul de ces critères rend inatteignables les objectifs de la gestion par résultats.
La deuxième partie de l’étude vise à analyser la qualité des indicateurs présentés dans les différents plans stratégiques pour
évaluer s’ils respectent l’esprit de la Loi. En premier lieu, nous présentons une définition du terme « indicateur » ainsi que la
méthodologie choisie pour évaluer sa qualité. Analyse du plan stratégique 2012-17
Par la suite, l’analyse se porte sur la notion de présence de cibles annuelles ou intermédiaires. Enfin, nous présentons le portrait
des types d’indicateurs présents dans les rapports stratégiques. Finalement, nous utilisons la grille SMARTER pour évaluer la
qualité de chaque indicateur et des cibles.
25Indicateurs — définition et catégorisation
D’abord et avant tout, il est primordial de définir ce qu’est un indicateur de performance. Il existe un nombre incalculable de
variations dans la définition de ce terme, mais par souci de cohérence avec le sujet traité, nous retiendrons celle du Conseil du
trésor.
L’indicateur est une information ou une mesure qui permet de juger des progrès accomplis en vue de l’atteinte de
l’objectif. Il illustre concrètement, en tout ou en partie, le résultat, le phénomène ou l’objet qu’on veut mesurer.
Généralement, un énoncé de l’indicateur contient sa cible. Par exemple, « Atteindre une marge de profit par unité de 17 % » est
un indicateur qui contient aussi l’objectif que la compagnie cherche à atteindre.
Les ministères ont choisi, de leur côté, de faire des énoncés d’indicateurs qui ne contiennent pas de cible et d’indiquer la cible
séparément, comme dans cet exemple du rapport de gestion du ministère de la Santé 2015-16.
Indicateur Résultat 2015-2016 Cible
Proportion de fumeurs actuels de 12 ans ou plus 21 % 1
16
Ce n’est ni bon, ni mauvais, mais cela oblige l’auteur de la recherche à évaluer la combinaison de l’énoncé et de la cible et non
simplement celle de l’énoncé de l’indicateur. C’est-à-dire que pour qu’un indicateur soit considéré comme pertinent, l’ensemble
de son énoncé et de sa cible doit être de qualité. Pour simplifier l’écriture, le terme indicateur dans la suite du texte référera donc
toujours à cette combinaison de l’énoncé et de la cible de l’indicateur.
L’indicateur est une mesure d’une réalité ou d’un phénomène concret. Dans son glossaire des indicateurs, le Conseil du trésor
indique quatre types d’indicateurs.
n Intrants — Indicateurs qui illustrent la capacité de l’organisation à commettre assez de ressources pour atteindre l’objectif
– Exemple — 10 procureurs par tranche de 100 000 habitants
– E xemple — 10 millions de dollars de budget par tranche de 100 000 habitants
n Extrants — Indicateurs qui illustrent la capacité de l’organisation à obtenir un résultat avec les ressources engagées
– Exemple — 10 procès complétés par procureurs par année
n Activités — Indicateurs qui illustrent la capacité de l’organisation à compléter les activités/projets/stratégies internes reliés à
l’objectif
– Compléter quatre projets d’améliorations continues par an
n Effets — Impacts — Indicateurs qui sont la finalité de la philosophie de la gestion par résultat. Ce sont les indicateurs qui
démontrent qu’un impact réel a eu lieu dans le domaine financier, social, économique, environnemental ou dans la perception
de la population
– Taux de tabagisme chez les jeunes de moins de 18 ans
– Taux d’emploi chez les immigrants 18-55 ans
Dans le monde des affaires, on réduit simplement cette catégorisation à deux types d’indicateurs :
n Processus, qui regroupe Intrants et Activités
Analyse du plan stratégique 2012-17
n Résultat, qui regroupe Extrants et Effets-Impacts
26Il est fondamental de comprendre qu’un indicateur de processus ne garantit en rien le résultat. C’est pourquoi on leur
privilégie fortement les indicateurs de résultats dans la gestion par résultat, dans une proportion de 80 % — 20 %.
Pour être bien clair, le fait d’embaucher de nouvelles ressources, de commettre plus de budget, de voter un projet de loi et de
l’appliquer ou de réaliser des actions d’un plan d’action et de produire un certain volume d’actions administratives ne garantit
en rien l’atteinte d’une des missions d’un ministère. Ce sont tous des indicateurs du processus, des efforts déployés par un
ministère dans l’atteinte de l’objectif, mais n’indiquent en rien le résultat final.
En fait, il faut même se méfier des indicateurs d’extrants. Souvent, ceux-ci manquent de relativité par rapport au contexte, ce
qui nous empêche d’en mesurer l’impact. Pour reprendre l’exemple plus haut de l’indicateur d’extrant, l’augmentation de 10 %
du nombre de procès complétés par procureur par année pourrait donner une fausse indication positive sur le délai d’accès à la
justice. En effet, cette hausse pourrait facilement être contrecarrée par une hausse du volume de cas égale ou supérieure dans
le système de justice. C’est pourquoi un indicateur d’effet-impact comme « nombres de semaines avant la tenue d’un procès »
est un bien meilleur choix pour faire la démonstration à la population de l’atteinte de la mission du ministère de la Justice. Cela
dit, pour les besoins de cette étude, les indicateurs d’extrants ont été recensés comme résultats. Des itérations futures de cette
analyse verront s’il y a un avantage supplémentaire à les séparer.
Si la LAP est réellement adoptée par les entités gouvernementales, l’étude des indicateurs devrait démontrer une prépondérance
significative (80 %) d’indicateurs de résultats par rapport aux indicateurs de processus.
«
»
Si la LAP est réellement adoptée par les entités
gouvernementales, l’étude des indicateurs devrait démontrer
une prépondérance significative (80 %) d’indicateurs de
résultats par rapport aux indicateurs de processus.
Analyse du plan stratégique 2012-17
27Méthodologie d’analyse et de pondération de la qualité des indicateurs
Il y a un large consensus sur l’utilisation de la grille d’analyse SMART ou SMARTER pour évaluer la qualité d’un indicateur. Cette
grille a connu plusieurs itérations depuis sa proposition par George Duran en 1981, mais reste encore la plus pertinente pour
évaluer la qualité des indicateurs du gouvernement.
La grille SMARTER a été appliquée à chacun des indicateurs et des cibles des rapports de gestion de chacun des 13 ministères
pour les cinq dernières années, souvent couvrant plus d’un plan stratégique. Vous retrouverez une description détaillée de la
méthode SMARTER à l’Annexe 2.
La pondération finale dépend de la combinaison de la pondération donnée à l’indicateur et de celle donnée à sa cible. Les
tableaux suivants résument la logique de pondération. Vous trouverez une explication complète de celle-ci à l’Annexe 3
Section 2 Méthode – Évaluation des indicateurs du gouvernement
Notation de l'indicateur
Note attribué à l'indicateur
Éléments SMARTER Acronyme
si élément manque
Spécifique S n Jaune
Mesurable M n Rouge
Atteignable A N/A
Relevant (Pertinent) Rel n Jaune
Temps T n Jaune
Explicable E n Jaune
Relatif R n Jaune
*** Par souci d’objectivité, A, Rel & E ont très rarement été utilisés***
Notation de la cible
Note attribué à la cible si
Élément de la cible Acronyme
élément manque
Présence (absence) A n Rouge
Mesurable M n Rouge
Spécifique S n Rouge
Absolu / fini F n Jaune
Date / Projet P n Rouge
Note Globale combinée indicateur + cible
Indicateur Cible Note globale
Analyse du plan stratégique 2012-17
n Vert n Vert n Vert
n Vert n Jaune n Jaune
n Vert n Rouge n Rouge
n Jaune n Vert n Jaune
n Jaune n Jaune n Jaune
n Jaune n Rouge n Rouge
n Rouge n Vert n Rouge
n Rouge n Jaune n Rouge
28 n Rouge n Rouge n RougeVous pouvez aussi lire
