Version finale. 27 juin 2018

 
Version finale. 27 juin 2018

Suivi de la mise en œuvre de la science
ouverte dans les ministères et organismes
à vocation scientifique fédéraux : éléments
de mesure et indicateurs.
Rapport du Groupe de travail sur les éléments de mesure de la science ouverte des ministères et
organismes à vocation scientifique (MOVS) fédéraux

Contexte

Dans son troisième Plan biannuel dans le cadre du Partenariat pour un Gouvernement Ouvert
2016-2018, le gouvernement fédéral s’engage à accroître l’ouverture de ses activités
scientifiques, en « [prenant] les mesures appropriées pour rendre la science effectuée pour
appuyer les programmes et la prise de décisions du gouvernement ouverte et transparente pour
les Canadiens et les Canadiennes ». 1 Cet objectif s’accorde avec l’adoption de la politique de
l’ouverture par défaut énoncée dans la Directive sur le gouvernement ouvert, qui promeut les
pratiques de gestion de l’information permettant la communication proactive et continue de
l’information gouvernementale. 2 Plus précisément, le troisième plan d’action pour un
gouvernement ouvert (PAGO3) définit six jalons en matière de science ouverte, dont l’un est
l’élaboration d’éléments de mesure pour « suivre les progrès collectifs réalisés dans les activités
de science ouverte ». 3 L’Annexe 1 présente un glossaire des termes communément associés à la
science ouverte.

Dans le respect de cet engagement, ce rapport présente un ensemble d’éléments de mesure
développés par les représentants des ministères et organismes à vocation scientifique (MOVS)
fédéraux formant le Groupe de travail sur les éléments de mesure de la science ouverte (voir
Annexe 2). Ces éléments de mesure seront mis en œuvre à compter de juillet 2018. Ils seront
également utilisés dans la création de rapports annuels à partir de juin 2019. Les MOVS ont aussi

1 Gouvernement du Canada (2016). Troisième plan bisannuel dans le cadre du Partenariat pour un
gouvernement ouvert 2016-2018. URL : https://ouvert.canada.ca/fr/contenu/troisieme-plan-biannuel-
partenariat-gouvernement-ouvert.
2 Gouvernement du Canada (2017). Directive sur le gouvernement ouvert. URL : https://www.tbs-sct.gc.ca/pol/doc-

fra.aspx?id=28108.
3 Gouvernement du Canada (2016). Troisième plan bisannuel dans le cadre du Partenariat pour un

gouvernement ouvert 2016-2018.
                                                       1
Version finale. 27 juin 2018

désigné l’établissement d’éléments de mesure de la science ouverte comme l’une de leurs cinq
priorités lors du processus de co-création du PAGO4.

Le cadre méthodologique proposé ici s’applique seulement aux activités de recherches intra-
muros. Il ne s'applique pas aux organismes subventionnaires fédéraux 4 en reconnaissance des
défis particuliers auxquels ils sont confrontés dans la mesure des activités scientifiques ouvertes
menées dans le cadre de la recherche universitaire subventionnée.

Toutefois, les organismes subventionnaires se sont engagés à travailler en étroite collaboration
avec les autres MOVS et le Secrétariat du Conseil du Trésor pour harmoniser les processus, les
mesures et les indicateurs de la science ouverte avec ceux proposés ici.

La science ouverte
Dans le contexte des politiques publiques, la science ouverte se conçoit généralement comme le
résultat des efforts déployés pour accroître l’accessibilité en format numérique de la recherche
financée par les fonds publics pour la communauté scientifique, au secteur des affaires et à la
société en général, en format numérique. 5 La notion de la « science ouverte » s’appuie à la fois
sur la tradition d’ouverture dans de nombreuses disciplines scientifiques et sur le développement
de nouvelles technologies de l’information et de la communication, qui pourraient être utilisées
pour accroître considérablement notre capacité à accéder aux résultats scientifiques et à les
utiliser.

Pour les MOVS, la science ouverte englobe une vaste gamme d’activités, y compris la
publication d’articles évalués par les pairs, la publication d’ensembles de données et les activités
de mobilisation mettant en contact les scientifiques et contributeurs scientifiques fédéraux avec
le public.

L’un des principaux avantages de la science ouverte est l’augmentation de l’efficacité et de la
productivité des activités scientifiques par la réduction des dédoublements dans la collecte, la
création, le transfert et la réutilisation des données et des produits scientifiques en général 6. Il est
également de plus en plus évident que les scientifiques, le public et les entreprises mettent à
profit les articles et les bases de données en libre accès pour créer des solutions, des produits et
des services innovateurs. 7 Enfin, la science ouverte favorise un examen plus approfondi des

4 Les organismes subventionnaires fédéraux sont le Conseil de recherches en sciences humaines (CRSH),
l'Institut canadien de recherche en santé (IRSC) et le Conseil de recherches en sciences naturelles et en génie
du Canada (CRSNG).
5
  OCDE (2015). Faire de la science ouverte une réalité. URL : http://dx.doi.org/10.1787/23074957.
6 OCDE (2015). Faire de la science ouverte une réalité, p. 10.
7
  OCDE (2015). Faire de la science ouverte une réalité.
                                                       2
Version finale. 27 juin 2018

conseils basés sur la science, ce qui permet la vérification des résultats scientifiques et une plus
grande participation du public en science. 8

Éléments de mesure de la science ouverte

Ce rapport propose un ensemble d’éléments de mesure et d’indicateurs connexes pour faire le
suivi des initiatives des MOVS fédéraux en matière de science ouverte. Ces éléments de mesure
et indicateurs serviront de fondement à la planification et à l’évaluation des progrès de la mise en
œuvre de la science ouverte. De plus, l’utilisation de manière cohérente d’éléments de mesure
interministériels facilitera la collaboration et favorisera la diffusion des pratiques exemplaires et
des innovations. Les éléments de mesure présentés ici seront mis en place à compter de
juillet 2018, la production du premier rapport devant se terminer en juin 2019. Ce rapport
couvrira la période allant du 1er janvier au 31 décembre 2018. Entre-temps, les MOVS
continueront d’envisager l’élaboration et la mise en œuvre d’autres éléments de mesure.

Une approche souple pour mesurer la science ouverte

Étant donné que les MOVS ont leur propre culture, mandat et priorités, les membres du Groupe
de travail ont souligné la nécessité d’adopter une approche souple pour l’élaboration et la mise
en œuvre d’éléments de mesure de la Science ouverte. La diversité des mandats des MOVS
implique différentes capacités et restrictions en ce qui a trait au développement d’activités
relevant de la science ouverte. Ainsi, une partie de l’information que génère les ministères et
agences fédérales détenant un mandat réglementaire ne peut être offerte en libre accès, soit parce
qqu’elle tombe sous la juridiction de la Loi sur la protection des renseignements personnels ou
parce qu’elle est classifiée comme confidentielle dans l’intérêt de la sécurité nationale. 9

De plus, la disponibilité de nouvelles ressources pour renforcer les capacités du gouvernement
fédéral en matière de science ouverte est limitée pour tous les MOVS. Les membres du Groupe
de travail ont désigné les ressources supplémentaires et un engagement additionnel comme des
facteurs clés qui permettraient plus d’ambition en ce qui concerne le suivi des progrès de la
science ouverte et l’élaboration et de la mise en œuvre d’éléments de mesure. .

Bien que certaines organisations fédérales, dont Statistique Canada, rendent accessibles des
ensembles de données de haute qualité et faciles à utiliser depuis des décennies, d’autres
ministères et organismes n’ont commencé à le faire que récemment. Puisque les pratiques en

8
  OCDE (2015). Faire de la science ouverte une réalité, p. 9-11.
9
  Loi sur la protection des renseignements personnels (L.R.C., 1985, ch. P-21). URL : http://laws-
lois.justice.gc.ca/fra/lois/P-21/.
                                                         3
Version finale. 27 juin 2018

matière de science ouverte varient d’un MOVS à l’autre et d’une discipline scientifique à l’autre,
la publication d’information et de données dans un format prêt à l’emploi en temps opportun
pourrait représentée un défi important pour certains MOVS. D’autres ministères craignent que,
même si la publication de bases de données semble inoffensive individuellement, l’intégration de
ces ensembles avec d’autres pourrait mener à la perte du contexte d’origine ou à la
communication involontaire d’information pouvant susciter des préoccupations au niveau de la
sécurité nationale. 10 Étant donné le volume et la complexité des données disponibles, leur
publication dans des formats prêts à l'emploi représente un défi important. Cette complexité
reflète également les enjeux émergeant liés à l’avènement du « Big Data » tels que le stockage,
l'accès et la capacité de partager.

De plus, les scientifiques et autres contributeurs à la science au niveau fédéral utilisent de
multiples répertoires et portails pour partager leurs publications et bases de données. Même si
ces pratiques permettent de mettre à la disposition des Canadiennes et des Canadiens des
données scientifiques, elles peuvent aussi affecter la traçabilité des bases de données fédérales
ayant été publiées. Les scientifiques et contributeurs scientifiques fédéraux partagent également
les résultats de leurs recherches dans une variété de types de publications, ce qui n’incluent pas
seulement les articles scientifiques revus par des pairs, mais aussi les livres, les chapitres de
livres, les rapports, etc. Bien que de nombreuses bases de données soient disponibles pour suivre
les articles revus par des pairs, le suivi d’autres types de publication constitue un défi que les
MOVS ont identifié.

Pour faire progresser la mise en œuvre des éléments de mesure de la science ouverte tout en
tenant compte des besoins et des défis identifiés plus haut, le présent rapport propose une
approche souple qui s’appuie à la fois sur des éléments de mesure fondamentaux devant être mis
en œuvre par tous les MOVS, et sur des éléments de mesure complémentaires que les MOVS
intéressés devront mettre à l’essai. La dernière section du rapport, intitulée « Prochaines étapes »,
mentionne aussi les éléments de mesure présentement à l’étude en vue d’une mise en œuvre
future.

Les mesures sélectionnées et présentés dans ce rapport offrirent aux MOVS l’opportunité de
recueillir davantage d'informations sur les aspects procéduraux de la science ouverte. .
Cependant, il est largement reconnu dans la communauté des MOVS que les indicateurs de la
science ouverte devront être développés davantage pour permettre, entre autres, de mesurer les
avantages des activités scientifiques fédérales ouvertes pour les Canadiennes et le Canadiens.

10
  Loi sur la protection des renseignements personnels (L.R.C., 1985, ch. P-21). URL : http://laws-
lois.justice.gc.ca/fra/lois/P-21/.
                                                         4
Version finale. 27 juin 2018

Éléments de mesures sélectionnés

Les éléments de mesure présentés ici visent à faciliter le suivi et la production de rapports sur les
activités relevant de la science ouverte tout en reconnaissant la grande variété de défis auxquels
font face les ministères et les organismes pour surveiller leurs progrès. Ce rapport présente les
éléments de mesure et indicateurs recommandés pour accomplir cette tâche. Cependant, la
complexité de certains indicateurs associés à ces éléments de mesure et la nécessité de
promouvoir une approche cohérente pour tous les MOVS exigent la publication de
renseignements supplémentaires sur leur mise en œuvre, y compris leurs définitions et les
méthodes de collecte de données. À cette fin, le présent rapport fournis quatre schémas, soit un
par élément de mesure fondamental. Ils décrivent la méthodologie d’évaluation et offrent un
cadre uniforme pour la création de rapports (voir les annexe 3 à 6). Alors que deux de ces
éléments de mesure nécessitent des schémas plus détaillés, le schéma sur les publications en libre
accès et celui sur la mobilisation du public à l’égard de la science ouverte 11 (voir le tableau 1 et
les annexes 3 et 4), les deux autres éléments de mesure, qui portent sur les bases de données
ouvertes du Gouvernement du Canada et de l’application « Cartes ouvertes », sont relativement
simples à mettre en œuvre et ne requièrent qu’un court schéma (voir les annexes 5 et 6).

Définir les éléments mesurables

Alors que les éléments de mesure fondamentaux serviront à évaluer les progrès dans les activités
de la Science ouverte qui sont menées par tous les MOVS, les éléments de mesure
complémentaires (ou facultatifs) serviront à évaluer les progrès accomplis relativement à des
initiatives qui peuvent ne pas être communes à tous les MOVS et, par conséquent, dont certains
ministères et organismes seulement rendent compte. Aux fins de comparaison, on s’attend à ce
que les éléments de mesure fondamentaux fassent l’objet d’un rapport uniforme pour tous les
MOVS, afin de permettre l’intégration à l’échelle fédérale. Ces éléments sont résumés dans le
tableau 1 et décrits plus en détail dans les schémas.

Divers indicateurs sont proposés pour évaluer les éléments mesure fondamentaux et
complémentaires. Ceux-ci permettront également aux MOVS d’observer les tendances au fil du
temps et de démontrer les progrès réalisés dans la mise en œuvre de la Science ouverte.

11
  Afin de développer le schéma de méthodologie détaillé, le Groupe de travail a pu se baser sur un certain nombre
d’études préexistantes commandées par les MOVS, notamment: Science-Metrix (2017). Bibliometric assessment of
Open Access for Environment and Climate Change Canada, Methods Report; Science-Metrix (2018). Bibliometric
assessment of Open Access for Environment and Climate Change Canada; NIVA Inc. (2016a). Open Science
Engagement, Volume 1: A Federal Inventory and Analysis; and, NIVA Inc. (2016b). Open Science Engagement,
Volume 2: International Environmental Scan: https://gcconnex.gc.ca/file/download/24869440
                                                        5
Version finale. 27 juin 2018

Un des objectifs visés par la mise en place d’éléments de mesure complémentaires est
d’encourager les MOVS à acquérir de l’expérience dans la mise place d’éléments de mesure qui
pourraient plus tard être ajoutés comme des éléments de mesure additionnels ou fondamentaux à
l’avenir. Ces éléments de mesure sont résumés dans le tableau 2. Cependant, la méthodologie à
employer pour ces éléments de mesure n’est pas détaillée à l’aide de schémas, ce qui donnera
l’opportunité aux MOVS d’expérimenter différentes méthodologies pour leur mise en œuvre et
de comparer leur efficacité et efficience.

Définir les indicateurs

On entend généralement par « indicateur » un « facteur ou (une) variable de nature quantitative
ou qualitative, qui constitue un moyen simple et fiable de mesurer et d’informer des
changements liés à l’intervention ou d’aider à apprécier la performance d’un acteur ». 12 Par
exemple, un des indicateurs pour l’élément de mesure relatif aux publications de la science
ouverte est le pourcentage d’articles revus par les pairs qui sont disponibles en libre accès pour
chaque MOVS (voir le tableau 1).

Comme c’est le cas pour les autres indicateurs de rendement du gouvernement, les indicateurs
quantitatifs pour les éléments de mesure de la Science ouverte se composent d’un nombre et
d’une unité. Le nombre indique l’ampleur (répondant à la question : combien?) et l’unité donne
au nombre sa signification (répondant à la question : quoi?). 13

Les indicateurs qualitatifs prennent parfois la forme d’un énoncé, par exemple une évaluation de
la qualité de la recherche référant à une échelle de notation. 14 Toutefois, dans le contexte du
présent rapport, l’expression « indicateur qualitatif » désigne un indicateur pour lequel des
renseignements ont été recueillis par l’application de méthodes de recherche qualitative dont la
création d’inventaires, la classification des activités par l’application de typologies descriptives
et l’étude de cas. Ces méthodes sont utilisées à l’égard des activités de la Science ouverte pour
lesquelles les indicateurs quantitatifs sont encore inexistants ou ne fournissent pas suffisamment
de détails.

12
   OCDE (2002). Glossaire des termes clés de l’évaluation et de la gestion axée sur les résultats. URL :
http://www.oecd.org/development/peer-reviews/2754804.pdf.
13
   Secrétariat du Conseil du Trésor (2010). Pour soutenir des évaluations efficaces : Guide d’élaboration de
stratégies de mesure du rendement URL : https://www.canada.ca/fr/secretariat-conseil-tresor/services/verifications-
evaluations/centre-excellence-en-evaluation/guide-elaboration-strategies-mesure-rendement.html.
14
   Secrétariat du Conseil du Trésor (2010). Pour soutenir des évaluations efficaces : Guide d’élaboration de
stratégies de mesure du rendement.

                                                         6
Version finale. 27 juin 2018

En fonction des activités de la Science ouverte à l’étude, des indicateurs qualitatifs, quantitatifs
ou une combinaison des deux peuvent être utilisés pour raconter l’histoire des MOVS par rapport
à un élément de mesure donné. Une liste des éléments de mesure et indicateurs fondamentaux
qui ont été retenus pour être mis en œuvre à compter de juillet 2018 figure dans le tableau 1. Le
tableau 2 présente la liste des éléments de mesures et indicateurs complémentaires pour lesquels
au moins un ministère ou organisme a confirmé être en mesure de rapporter des résultats.

                                                 7
Version finale. 27 juin 2018

          Tableau 1. Éléments de mesure fondamentaux retenus pour la mise en œuvre à compter de juillet 2018 et leur(s) indicateur(s) 15
Mesure             Indicateurs                                                                                   Type           Source de            Données de        Observa-
                                                                                                                                données              base              tion
Publications en    1. Pourcentage d’articles évalués par des pairs qui sont disponibles en libre accès par       Quantitatif    Contrat avec un      Étude ECCC-       Années
libre accès        ministère et organisme à vocation scientifique (MOVS).                                                       fournisseur de       Science           précédente
(schéma            Nécessite l’évaluation des indicateurs ci-dessous :                                                          services de          Metrix (2012-     s (2016-
détaillé)          o Nombre d’articles en libre accès évalués par des pairs par MOVS. 16                                        bibliométrie.        2015) pour 14     2017)
                   o Nombre d’articles en libre accès évalués par des pairs par MOVS fournis par l’éditeur.                     Système de suivi     MOVS.
                   o Nombre d’articles revus par des pairs par MOVS qui ne sont pas fournis par l’éditeur. 17                   interne des
                   o Nombre total d’articles évalués par des pairs publiés par MOVS.                                            MOVS.

Mobilisation du    2. Inventaire des activités de mobilisation du public à l’égard de la Science ouverte         Qualitatif     Suivi interne des    Rapport de        Année en
public à l’égard   auxquelles ont participé des citoyens, des scientifiques et des contributeurs scientifiques                  MOVS.                NIVA              cours
de la Science      fédéraux.                                                                                                                                           (2018)
ouverte (schéma
détaillé)
Données de la      3. Pourcentage des bases de données admissibles des MOVS identifiées dans le répertoire       Quantitatif    Répertoire des       Réper-toire       Année en
Science ouverte    des données ouvertes ayant été publiés. 18                                                                   données ouvertes.    des données       cours
                   Nécessite l’évaluation des indicateurs ci-dessous :                                                                               ouvertes.         (2018)
                   o Nombre de bases de données admissibles des MOVS identifiées dans l’inventaire des
                        données ouvertes ayant été publiés.
                   o Nombre de bases de données des MOVS identifiées dans l’inventaire des données
                        ouvertes.
Autres produits    4. Inventaire des bases de données des MOVS disponibles sur l’application « Cartes            Qualitatif     Portail du          Portail du        Année en
de la Science      ouvertes. »                                                                                                  gouvernement        gouvernement cours
ouverte                                                                                                                         ouvert (Cartes      ouvert (Cartes (2018)
                                                                                                                                ouvertes).          ouvertes). 19
Remarques : Tous les indicateurs seront mis en œuvre chaque année civile. Les données collectées seront ensuite utilisée dans la production de rapports dans différents contextes,
y compris pour le Plan d’action pour un gouvernement ouvert. Les éléments de mesures faisant l’objet d’un schéma détaillé sont ceux nécessitant davantage d’explications en
raison de leur niveau de complexité.

15
   Voir le glossaire en annexe pour des précisions au sujet de la terminologie. Voir les schémas des annexes 3 à 6 pour la méthodologie détaillée concernant
chaque indicateur.
16
   Cela comprend toutes les publications pour lesquelles au moins un des auteurs a indiqué son affiliation avec un MOVS ou une composante (p. ex. un
laboratoire de recherche) de ce MOVS.
17 Sans s’y limiter, cela inclut l’accès libre auto-archivé, fourni par l’auteur par l’entremise d’un dépôt institutionnel.
18
   Cette mesure est déjà incluse dans le Système du suivi du troisième Plan biannuel dans le cadre du Partenariat pour un gouvernement ouvert, sous
« Engagement 14 : Accroître l’ouverture des activités scientifiques fédérales (science ouverte) » avec un objectif de 20 % d’ici juin 2018. URL :
https://ouvert.canada.ca/fr/engagement-14-accroitre-louverture-activites-scientifiques-federales-science-ouverte.
19 En date du 24 avril 2018, l’application « Cartes ouvertes » rassemblait 729 bases de données provenant de 8 MOVS.

                                                                                           8
Version finale. 27 juin 2018

 Tableau 2. Éléments mesurables complémentaires à mettre en œuvre en juillet 2018 et leurs indicateurs
     Mesure                              Indicateurs                                Type        Source de      Obser-
                                                                                                 données       vation

 Données      1. Inventaire des bases de données en libre accès des MOVS          Qualita    Projet pilote     Année
 de la           offertes via des portails ou des répertoires autres que Cartes   -tif       des MOVS          en
 Science         ouvertes et le Portail du gouvernement ouvert.                              pour la           cours
 ouverte      Nécessite l’évaluation des indicateurs ci-dessous :                            surveillance      (2018)
                  o Inventaire des bases de données en libre accès des                       interne
                       MOVS offertes via des répertoires ou des portails
                       fédéraux, à l’exception de Cartes ouvertes et du Portail
                       du gouvernement ouvert.
                  o Inventaire des bases de données en libre accès des
                       MOVS offertes via des portails ou des répertoires
                       d’une tierce partie. 20

              2. Inventaire des portails ou répertoires utilisés par les MOVS
                 afin d’offrir leurs bases de données en libre accès autres que
                 Cartes ouvertes ou le Portail du gouvernement ouvert.
              Nécessite l’évaluation des indicateurs ci-dessous :
                 o Inventaire des portails fédéraux ou des répertoires
                      utilisés par les SBDAs afin d’offrir des bases de
                      données en libre accès autre Cartes ouvertes ou le
                      Portail du gouvernement ouvert.
                 o Inventaires des portails ou répertoires de collaborateurs
                      externes utilisés par les MOVS afin d’offrir leurs bases
                      de données en libre accès.

 Mobilisat 3. « Altmetrics » pour certaines publications.                         Quanti-    Projet pilote     Année
 ion à     Nécessite l’évaluation de l’indicateur ci-dessous :                    tatif/     des MOVS          en
 l’égard       o Indice d’attention « Altmetrics » (personnalisé) pour            Qualita    pour la           cours
 de la              une publication spécifique. 21                                -tif       surveillance      (2018)
 Science                                                                                     interne
 ouverte

 Autres       4. Liste et description de logiciels liés à la Science ouverte      Qualita    Projet pilote     Année
 produits                                                                         -tif       des MOVS          en
 de la                                                                                       pour la           cours
 Science                                                                                     surveillance      (2018)
 ouverte                                                                                     interne

20
   Une tierce partie se définit ici comme une organisation offrant un service de portail ou de répertoire au MOVS
fédéraux sans faire partie du gouvernement fédéral. Cela peut inclure les répertoires contrôlés par des
gouvernements municipaux, provinciaux ou territoriaux, des universités, des gouvernements étrangers et leurs
agences, des organismes sans but lucratifs, des organisations internationales, etc.
21
   Alors que l’indice d’attention « altmetric » (Altmetric Attention Score) représente un compte pondéré de toute
l’attention qu’un résultat de recherche reçoit et peut être calculé automatiquement pour les publications scientifiques
fédérales, il peut aussi être personnalisé pour répondre aux besoins de certaines organisations. Dans le cas des
MOVS, cela supposerait, par exemple, de se concentrer sur des documents de politique contenant des références à la
recherche scientifique fédérale plutôt qu’à d’autres sources (p. ex. des blogues). L’indice peut aussi servir
d’indicateur qualitatif pour mettre en évidence des exemples précis d’innovation découlant de la recherche
scientifique fédérale.

                                                           9
Version finale. 27 juin 2018

Prochaines étapes

Dans l’immédiat, la prochaine étape sera la mise en œuvre des éléments de mesure convenus par
les MOVS. À cette fin, les MOVS devront élaborer un plan de mise en œuvre fournissant des
échéanciers pour la collecte de données de base et la production de rapports. Bien que les détails
associés au plan de mise en œuvre restent à venir, l’échéance proposée pour la publication des
données de base et des résultats des éléments de mesure de la science ouverte est juin 2019 pour
la période d’étude allant du 1er janvier au 31 décembre 2018. Une autre tâche importante sera
d’identifier les parties prenantes et les utilisateurs finaux de la science ouverte et de travailler
avec eux à faire évoluer les éléments de mesure.

Grâce à leur participation continue au Quatrième plan d’action pour le gouvernement ouvert
(PAGO4) de 2018-2020, les MOVS se pencheront sur l’élaboration de nouveaux éléments de
mesures et d’indicateurs pour la science ouverte. Les activités susceptibles d’être l’objet de
nouveaux éléments de mesures et indicateurs incluent :
     • La publication de bases de données liées à des publications revues par des pairs et libre
          d’accès;
     • Inventaires de bases de données scientifiques excluant les inventaires de bases de
          données ouvertes;
     • Les politiques internes et externes visant à promouvoir la science ouverte;
     • L’utilisation d’identifiant unique pour les chercheurs (p. ex. ORCID);

De plus, des éléments de mesure de la science ouverte seront développées dans le futur afin
d’évaluer l’impact et les bénéfices de la science ouverte pour les Canadiennes et les Canadiens.
Les éléments de mesure alternatifs (« Altmetrics ») ont déjà été identifiés en tant qu’indicateur
optionnel, ce qui permettra de suivre la diffusion des résultats de la recherche fédérale dans les
médias sociaux. En supplément, de nouveaux éléments de mesure de l’impact des activités de
science ouverte fédérales pourraient s’intéresser à :

   •   Des études de cas portant sur l’innovation suscitée par les publications et bases de
       données fédérales en libre accès;
   •   L’inventaire de nouveaux récits portant les engagements publics en science ouverte au
       niveau fédéral;
   •   Les citations des publications et des bases de données fédérales en libre accès dans les
       brevets;
   •   Les citations des publications fédérales en libre accès dans le contexte académique;
   •   Les citations des bases de données fédérales en libre accès;

                                                 10
Version finale. 27 juin 2018

•   Les citations des publications et des bases de données fédérales en libre accès dans les
    rapports gouvernementaux, les analyses réglementaires, les documents de consultation,
    etc.;
•   Les citations des publications et des bases de données fédérales en libre accès dans la
    réglementation, la législation, les plans d’action et autres documents relatifs aux
    interventions des politiques publiques.

                                            11
Version finale. 27 juin 2018

Annexe 1 : Glossaire

« Altmetrics » : une autre façon de faire le suivi et de mesurer l’usage et l’incidence des résultats
de la recherche. Plutôt que de compter uniquement le nombre de citations d’un ouvrage dans la
littérature scientifique, les « altmetrics » mesurent et analysent les mentions en ligne des résultats
scientifiques dans diverses sources incluant : les médias traditionnels, les documents associés
aux politiques publiques, les brevets, les médias sociaux (p. ex. Facebook, Twitter, etc.), les
blogues, les téléchargements, les liens vers la publication, les documents de recherche non
publiés ainsi que les autres utilisations de la littérature scientifique. Cela permet une mesure plus
complète de la portée et de l’incidence d’une publication scientifique. 22

Indice d’attention « Altmetrics » : il s’agit d’un compte pondéré de l’attention qu’un résultat
scientifique reçoit 23. Il peut être personnalisé pour l’adapter aux besoins spécifiques des
organisations.

Indicateur : Facteur ou variable, de nature quantitative ou qualitative, qui constitue un moyen
simple et fiable de mesurer les changements découlant d’une intervention et d’en rendre compte,
ou d’aider à apprécier le rendement d’un acteur. 24

Libre accès: dans le contexte des publications scientifiques, il s’agit de rendre des manuscrits et
autres publications scientifiques revus par les pairs librement accessibles au moyen d’Internet,
permettant à tout utilisateur de lire, télécharger, copier, distribuer, imprimer, rechercher ou
établir un lien vers le texte intégral des articles, les indexer, les transmettre comme données à un
logiciel ou les utiliser à des fins légitimes, sans obstacle financier, juridique ou technique autre
que ceux qui sont inséparables de l’accès à Internet lui-même. La seule contrainte à la
reproduction et à la distribution et le seul rôle du droit d’auteur dans ce domaine devraient être
de donner aux auteurs le contrôle de l’intégrité de leur travail et le droit d’être dûment reconnus
et cités. Il existe plusieurs types de publications en libre accès (libre accès « or »,
« vert », « hybride » et « bronze »). Aux fins de la mise en œuvre des éléments de mesure, une
distinction est faite uniquement entre les articles en libre accès fournis par l’éditeur sur son site
Web et les articles qui sont librement accessible à travers d’autres sources que l’éditeur, comme
les articles auto-archivés qui peuvent être consultés par l’intermédiaire de répertoires
institutionnels, par exemple. 25

22
   Altmetric (2018). What are Altmetrics? Capturing the online attention surrounding scholarly content. URL :
https://www.altmetric.com/about-altmetrics/what-are-altmetrics/.
23
   Altmetric (2018). The donut and Altmetric Attention Score. URL : https://www.altmetric.com/about-our-data/the-
donut-and-score/.
24
   OCDE (2002). Glossaire des termes clés de l’évaluation et de la gestion axée sur les résultats.
25
   Adapté de : Science-Metrix (2017). : Science-Metrix (2017). Bibliometric assessment of Open Access for
Environment and Climate Change Canada, Methods Report.
                                                       12
Version finale. 27 juin 2018

Science ouverte : Se réfère aux efforts déployés pour accroître l’accessibilité de la recherche
scientifique financée par les fonds publics pour la communauté scientifique, le secteur des
affaires et la société en général via l’utilisation de formats numériques. La science ouverte
émerge de la convergence entre la tradition d’ouverture de la science avec les technologies de
l’information et des communications 26.

Mobilisation du public : la mobilisation à l’égard de la science ouverte s’entend des
contributions et collaborations de différentes personnes et de divers groupes de la société, du
citoyen moyen à l’expert scientifique , qui prennent part à des processus de Science ouverte,
allant de l’élaboration préliminaire de politiques à l’exécution d’activités scientifiques. La
mobilisation du public prends diverses formes : 1) collaboration du public avec les scientifiques
(communication bidirectionnelle); 2) activités de communication et de sensibilisation menées par
des scientifiques auprès du public (communication unidirectionnelle); ou de 3) consultation
publique ou (communication unidirectionnelle des citoyens aux scientifiques). 27

Indicateur quantitatif : indicateur qui se compose d’un nombre et d’une unité. Le nombre
indique l’ampleur (répondant à la question : combien?) et l’unité donne au nombre sa
signification (répondant à la question : quoi?). 28

Indicateur qualitatif : indicateur pour lequel des renseignements ont été recueillis par
l’application de méthodes de recherche qualitative, dont la création d’inventaires, la
classification des activités par l’application de typologies descriptives et l’étude de cas. Ces
méthodes sont utilisées à l’égard des activités de science ouverte pour lesquelles les indicateurs
quantitatifs sont inexistants ou ne fournissent pas suffisamment de détails.

Répertoire (institutionnel) : base de données en ligne conçue pour recueillir la production
intellectuelle d’une organisation ou d’une université, y compris les collections numériques telles
que les thèses et mémoires électroniques, les préimpressions ou les bourses d’études du corps
professoral, qui présente les métadonnées associées à cette production. 29

26
   OCDE (2015). Making Open Science a Reality.
27
   NIVA Inc. (2016). Engagement en matière de science ouverte, volume 1 : Inventaire et analyse du gouvernement
fédéral.
28
   Secrétariat du Conseil du Trésor (2010). Pour soutenir des évaluations efficaces : Guide d’élaboration de
stratégies de mesure du rendement. URL: https://www.canada.ca/fr/secretariat-conseil-tresor/services/verifications-
evaluations/centre-excellence-en-evaluation/guide-elaboration-strategies-mesure-rendement.html.
29
   University of Pittsburg Library System (2018). Glossary. URL :
http://www.righttoresearch.org/resources/openresearchglossary/.

                                                        13
Version finale. 27 juin 2018

Contributeur scientifique : employé du gouvernement du Canada qui est principalement
rattaché à un MOVS fédéral et qui participe à des activités scientifiques sans produire de
résultats scientifiques (communications, GI et TI, recherche, etc.).

Scientifique : employé du gouvernement du Canada qui est principalement rattaché à un MOVS
fédéral et qui a comme tâche principale de participer à la recherche scientifique.

Bases de données scientifiques : Dans le contexte du présent rapport, les bases de données
scientifiques sont celles qui peuvent être utilisées pour la mobilisation du public. Elles incluent
les bases de données scientifiques jugées importantes pour comprendre ou reproduire le
processus scientifique présenté dans un article revu par les pairs, les données recueillies dans le
cadre de programmes de surveillance ou de réglementation et les statistiques pertinentes.

                                                 14
Version finale. 27 juin 2018

Annexe 2. Liste des membres du Groupe de travail sur les éléments de
mesure de la science ouverte des ministères et organismes à vocation
scientifique (MOVS) fédéraux

Nom                                 Courriel                                     MOVS
Hurd, Brad                          brad.hurd@canada.ca                          AAC
Brunet, Bryan                       bryan.brunet@inspection.gc.ca                ACIA
Carrillo, Catherine                 catherine.carrillo@inspection.gc.ca          ACIA
Petriw, Simone                      simone.petriw@inspection.gc.ca               ACIA
Kwedom, Annick Yolande              annickyolande.kwedom@canada.ca               ASC
Laurin, Josianne                    josianne.laurin@canada.ca                    ASC
Levesque, Nathalie                  nathalie.levesque@canada.ca                  ASC
Belanger, Micheline                 micheline.belanger@forces.gc.ca              RDDC
Akerman, Richard                    richard.akerman@canada.ca                    ECCC
Copland, Lindsay                    lindsay.copland@canada.ca                    ECCC
Grostern, Ariel                     ariel.grostern@canada.ca                     ECCC
Jamieson, Mike                      mike.jamieson@canada.ca                      ECCC
May, Kristin                        kristin.may@canada.ca                        ECCC
Nakamura, Takuma                    takuma.nakamura@canada.ca                    ECCC
Houle, David                        david.houle@canada.ca                        ECCC
Morin, Mathieu                      mathieu.morin3@canada.ca                     ECCC
Lysyk, Mary                         mary.lysyk@canada.ca                         SC
Vanderloo, Saskia                   saskia.vanderloo@canada.ca                   SC
Madeleine Marshall                  madeleine.marshall@canada.ca                 SC
Bower, Tara                         tara.bower@canada.ca                         SC
Lister, Sandra                      sandra.lister@canada.ca                      ISDE
Astell, Paul                        paul.astell@canada.ca                        ISDE/CRC
Kemp, Mandy                         mandy.kemp@ic.gc.ca                          ISDE /CRC
Sinare, Stephanie                   stephanie.sinare@canada.ca                   ISDE/CRC
White, Autumn                       autumn.white@canada.ca                       ISDE/CRC
Morgenroth, Karen                   karen.morgenroth@canada.ca                   CNRC
Ripp, Chantal                       chantal.ripp@canada.ca                       CNRC
Batho, Meghan                       meghan.batho@canada.ca                       RNCan
Bridge, Simon                       simon.bridge@canada.ca                       RNCan
Fernandez de Castro, Maria Teresa   mariateresa.fernandezdecastro@canada.ca      RNCan
Foran, Angela                       angela.foran@canada.ca                       RNCan
Hewgill, Jennifer                   jennifer.hewgill@ceaa-acee.gc.ca             RNCan
Laviolette, Annie                   annie.laviolette@canada.ca                   RNCan
Miller, Liam                        liam.miller@canada.ca                        RNCan
Ste-Marie, Catherine                catherine.ste-marie@canada.ca                RNCan
Edge, Victoria                      victoria.edge@canada.ca                      ASPC
Regier, Ryan                        ryan.regier@canada.ca                        ASPC
Sanmartin, Claudia                  claudia.sanmartin@canada.ca                  STATCAN
Taylor, Portia                      portia.taylor@tbs-sct.gc.ca                  SCT

                                               15
Version finale. 27 juin 2018

Annexe 3. Schéma pour les publications en libre accès
Champ          Description
Nom            Publications en libre accès
Peut
s’appliquer
à              Publications individuelles évaluées par les pairs (articles de revues)
(unité
d’analyse)
               Cette mesure vise à déterminer le nombre et la proportion d’articles en libre
               accès, évalués par les pairs qui sont produits par les ministères et organismes à
               vocation scientifique (MOVS). Dans le cadre du rapport sur les éléments de
               mesure de la science ouverte, les mesures suivantes seront prises en compte aux
               fins de comparabilité interministérielle :

              1. Pourcentage d’articles évalués par des pairs qui sont disponibles en libre
              accès par ministère et organisme à vocation scientifique (MOVS).
              o    Nombre d’articles en libre accès évalués par des pairs par MOVS.
                   Nombre d’articles en libre accès évalués par des pairs par MOVS
Définition de
                     fournis par l’éditeur.
la mesure
                   Nombre d’articles revus par des pairs par MOVS qui ne sont pas fournis
                     par l’éditeur (p. ex. libre accès auto-archivé, fourni par l’auteur par
                     l’entremise d’un dépôt institutionnel).
              2. Nombre total d’articles évalués par des pairs publiés par MOVS.

               La classification des publications dans les catégories « autoarchivées » ou
               « disponibles sur le site Web de l’éditeur » se fera au moment où la liste est
               créée aux fins de production de rapport; on ne tiendra pas compte des
               publications en libre accès différé ou en libre accès vert (publications frappées
               d’embargo).
               Il s’agit d’une mesure quantitative. Les MOVS produiront une liste de
               publications évaluées par les pairs dont au moins un auteur est un employé des
               MOVS. Cette liste servira à déterminer le nombre de publications en libre accès
Calcul de la   et le pourcentage des publications en libre accès produites par les MOVS.
mesure
               Les MOVS devraient tenir compte du fait que leurs scientiques ont
               probablement de multiples affiliations, et formater les requêtes de recherche
               dans les bases de données de publications en conséquence.

                                                16
Version finale. 27 juin 2018

Champ           Description
                Il est possible de se procurer des listes de publications auprès de diverses
                sources, notamment :
                     ● Scopus
                     ● Web of Science
                     ● Contrat externe avec des fournisseurs de données bibliométriques
                     ● Bases de données internes de suivi des publications des MOVS

                Il est également possible de savoir si des publications sont en libre en
                consultant diverses sources, y compris :
Sources de           ● 1Science
données              ● Web of Science
                     ● Unpaywall
                     ● Bases de données internes de suivi des publications des MOVS
                     ● Scopus

                Par l'intermédiaire du Groupe de travail sur les éléments de mesure de la science
                ouverte, les MOVS seront encouragés à coordonner leurs efforts pour s'assurer que la
                source d'information employée sur les publications en accès libre est exhaustive et
                cohérente. Cela pourrait se faire par le biais d'un contrat commun avec un fournisseur
                de services bibliométriques.
Cas             Cette mesure vise à observer la quantité et la proportion de publications
d’utilisation   évaluées par les pairs que les MOVS publient en libre accès, ainsi que le type
appropriée      de libre accès utilisé (autoarchivé ou disponible sur le site Web de l’éditeur).

                                                  17
Version finale. 27 juin 2018

Champ            Description
                 ● Délimitation des ensembles de données : Les taux de libre accès sont
                   généralement beaucoup plus faibles pendant les deux (2) années qui
                   précèdent l’évaluation de la mesure. C’est ce qu’on appelle l’effet
                   d’embargo. De nombreux éditeurs n’autorisent la publication de documents
                   en libre accès qu’après une période d’embargo, pendant laquelle les éditeurs
                   eux-mêmes conservent le droit exclusif de distribution. Après la période
                   d’embargo, qui ne dépasse généralement pas 24 mois, les documents peuvent
                   alors être légalement rendus disponibles en ligne. Pour cette raison, les
                   mesures de libre accès pour les années les plus récentes ne correspondront
                   pas aux résultats stables, à long terme. 30
Restrictions
                 ● Certaines publications appartiennent à la fois à la catégorie « vert » et à la
                   catégorie « disponible sur le site Web de l’éditeur ».
                 ● Le droit d’auteur doit être respecté, et l’autorisation de droit d’auteur aux fins
                   d’utilisation de dépôts peut différer selon l’éditeur, les ententes entre
                   l’institution et l’éditeur, etc.
                 ● Il convient d’user de prudence lorsqu’on compare les ministères et
                   organismes et, à tout le moins, de se baser sur la proportion de publications
                   en libre accès plutôt que sur le nombre total de publications, afin de tenir
                   compte du fait que, par exemple, chaque ministère et organisme n’emploie
                   pas le même nombre de scientifiques.
Cas              Au moment d’évaluer cette mesure, les MOVS doivent se méfier de la collecte
d’utilisation    erronée de données sur des sujets non reliés tels que des résumés de conférence
inappropriée     ou des rapports internes, par exemple.
Sources
                 Les données de référence de 14 MOVS sont présentées dans une étude de
disponibles
                 Science-Metrix, réalisée pour le compte d’Environnement et changements
pour les
                 climatiques Canada (ECCC). Cette étude porte sur des publications
données de
                 de 2012 à 2015 (figure 2).
référence
                 Puisque cet indicateur est lié au nombre et au pourcentage de publications en
                 libre accès évaluées par les pairs, une liste de publications doit être créée dans
Trans-           un format complet et prêt à partager. Cette liste de publications doit répertorier
parence          les publications en libre accès, en plus d’inclure le type de libre accès au
                 moment de la création de la liste, ainsi qu’un identificateur d’objets numériques
                 (DOI) qui permet de localiser la publication en ligne. Voir la figure 1.

30Éric, ARCHAMBAULT, et autres (2014). Evolution of open access policies and availability, 1996–2013, RTD-
B6-PP-2011-2 : Study to develop a set of indicators to measure open access. Montréal, Canada. Préparé pour la
Commission européenne. Extrait de http://science-metrix.com/files/science-
metrix/publications/d_4.5_sm_ec_dg-rtd_oa_policies_proportion_oa_1996-2013_v05p_0.pdf.
                                                     18
Version finale. 27 juin 2018

Champ        Description
             Scopus : https://www.elsevier.com/solutions/scopus
             Web of Science (Clarivate Analytics) : https://clarivate.com/products/web-of-
             science/
Site Web
             1Science : https://1science.com/
             Interface de programme d’application (API) ou outil de requête simple
             Unpaywall : http://unpaywall.org/
             La période d’observation s’étend sur deux années consécutives précédant
             l’année de rédaction du rapport.

             Par exemple, les observations recueillies pour la période du 1er janvier 2016 au
             31 décembre 2017 feront l’objet d’un rapport en 2018.

Calendrier   Cette façon de procéder vise à tenir compte des publications frappées
             d’embargo et en libre accès différé, ce qui permet d’atténuer la sous-estimation
             du nombre de publications en libre accès et de fournir des observations
             relativement opportunes.

             Néanmoins, compte tenu de la variation de la période d’embargo pour les
             publications, il faudra fournir des chiffres révisés pour les périodes suivantes.
             Évaluation bibliométrique des publications en libre accès pour Environnement
             et Changement climatique Canada. Science-Metrix, janvier 2018.
Références   Évaluation bibliométrique des publications en libre accès pour Environnement
             et Changement climatique Canada, rapport de méthodes. Science-Metrix,
             décembre 2017.

                                             19
Version finale. 27 juin 2018

Tableau A1. Exemple de tableau de suivi des publications en libre accès.

Année de       Citation (y compris l’identificateur     Statut de   Libre         Ministère ou    Date d’éva-
publication    d’objet numérique)                       l’accès :   accès :       organisme du    luation de
(selon la                                               libre ou    auto-         gouvernement    libre accès
citation)                                               restreint   archivé       du Canada       (car l’accès
                                                                    ou site                       peut
                                                                    Web de                        changer au
                                                                    l’éditeur                     fil du
                                                                                                  temps)

2017           Spoelstra J., Senger N.D. et Schiff      Libre       Auto-         ECCC            Décembre2
               S.L. (2017) « Artificial sweeteners                  archivé                       017
               reveal septic system effluent in rural
               groundwater ». Journal of
               Environmental Quality, vol 46,
               p. 1434 à 1443.
               10.2134/jeq2017.06.0233

2017           Howell S.E.L., Komarov A.S.,             Restreint   S.O.          ECCC            Avril 2018
               Dabboor M., Montpetit B., Brady M.,
               Scharien R.K., Mahmud M.S.,
               Nandan V., Geldzetser T. et Yackel
               J.J. (2017) « Comparing L- and C-
               band synthetic aperture radar
               estimates of sea ice motion over
               different ice regimes ». Remote
               Sensing of Environment vol. 204,
               p 380 à 391.
               10.1016/j.rse.2017.10.017

2017           Crouse D.L., Pinault L., Balram A.,      Libre       Fourni        ECCC            Décembre
               Hystad P., Peters P.A., van                          par l’édi-                    2017
               Donkelaar A., Martin R.V., Ménard                    teur
               R., Robichaud A. et Villeneuve, P.J.
               (2017, october) « Urban greenness
               and mortality in Canada’s largest
               cities: A national cohort study ».
               Lancet Planet Earth, vol. 1, p. e289.
               10.1016/S2542-5196(17)30118-3

                                                        20
Version finale. 27 juin 2018

Données de référence

ECCC a commandé une étude de référence dans le cadre d’un contrat faisant appel à la société
de bibliométrie Science-Metrix. L’étude visait à examiner le nombre de publications évaluées
par les pairs qui ont été produites par chaque organisation au cours de la période d’étude (2012-
2015. La figure 2 présente une synthèse des résultats de l’étude.

      Tableau A2. Production de publications entre 2012 et 2015 dans le monde, au Canada et dans
         14 ministères et organismes canadiens à vocation scientifique (Science-Metrix, 2018).

                                                          Production (2012-2015)
Organisme                     Toutes les     Accès              Total         Accès ouvert    Accès ouvert
                             publications   restreint       (accès ouvert)       « or »         « vert »
Monde                          5 826 333     2 858 572             2 967 761      1 285 953       1 967 900
Canada                           259 007       116 372               142 635         62 564          95 352
Famille fédérale                   17 695        7 569                10 126          3 964           7 292
AAC                                 4 056        1 958                 2 098            786           1 588
CRNC                                3 483        1 621                 2 222            991           1 519
ECCC                                2 835        1 010                 1 825            522           1 389
RNCan                               2 549        1 209                 1 340            351             980
MPO                                 1 768          563                 1 205            370             896
ASPC                                1 171          348                   823            634             533
Santé Canada                          945          421                   524            318             342
RDDC                                  436          242                   194             63             134
EACL                                  404          218                   186             40             147
ACIA                                  361          151                   210            121             147
ISDE                                  190          149                    41             27              21
Parcs Canada                          129           53                    76             20              57
Agence spatiale canadienne             95           48                    46             16              41
Transports Canada                      11             5                    6              1               3

Sources des données et méthodologie

L’étude Science-Metrix (2018) a utilisé deux bases de données interreliées pour produire des
indicateurs bibliométriques associés aux articles relevés comme étant disponibles en libre accès.
Les indicateurs bibliométriques ont été calculés à partir des données de Web of Science. La
disponibilité en libre accès des articles a été mesurée à l’aide de la base de données qui, à ce jour,
est la plus complète pour l’indexation des articles disponibles en libre accès : la base de données
1science. La base de données 1science a un meilleur alignement avec Web of Science qu’avec
Scopus (son principal concurrent) dans le flux de travail normal de Science-Metrix. Il s’agit de
l’une des fonctionnalités qui ont motivé le choix de Web of Science pour cette étude.
La base de données produite par 1science (la société sœur de Science-Metrix) est une base de
données bibliographique contenant les enregistrements de 28,3 millions d’articles de recherche
disponibles en libre accès publiés depuis l’an 2000 dans plus de 30 000 revues évaluées par les

                                                  21
Vous pouvez aussi lire
DIAPOSITIVES SUIVANTES ... Annuler