Version finale. 27 juin 2018
←
→
Transcription du contenu de la page
Si votre navigateur ne rend pas la page correctement, lisez s'il vous plaît le contenu de la page ci-dessous
Version finale. 27 juin 2018
Suivi de la mise en œuvre de la science
ouverte dans les ministères et organismes
à vocation scientifique fédéraux : éléments
de mesure et indicateurs.
Rapport du Groupe de travail sur les éléments de mesure de la science ouverte des ministères et
organismes à vocation scientifique (MOVS) fédéraux
Contexte
Dans son troisième Plan biannuel dans le cadre du Partenariat pour un Gouvernement Ouvert
2016-2018, le gouvernement fédéral s’engage à accroître l’ouverture de ses activités
scientifiques, en « [prenant] les mesures appropriées pour rendre la science effectuée pour
appuyer les programmes et la prise de décisions du gouvernement ouverte et transparente pour
les Canadiens et les Canadiennes ». 1 Cet objectif s’accorde avec l’adoption de la politique de
l’ouverture par défaut énoncée dans la Directive sur le gouvernement ouvert, qui promeut les
pratiques de gestion de l’information permettant la communication proactive et continue de
l’information gouvernementale. 2 Plus précisément, le troisième plan d’action pour un
gouvernement ouvert (PAGO3) définit six jalons en matière de science ouverte, dont l’un est
l’élaboration d’éléments de mesure pour « suivre les progrès collectifs réalisés dans les activités
de science ouverte ». 3 L’Annexe 1 présente un glossaire des termes communément associés à la
science ouverte.
Dans le respect de cet engagement, ce rapport présente un ensemble d’éléments de mesure
développés par les représentants des ministères et organismes à vocation scientifique (MOVS)
fédéraux formant le Groupe de travail sur les éléments de mesure de la science ouverte (voir
Annexe 2). Ces éléments de mesure seront mis en œuvre à compter de juillet 2018. Ils seront
également utilisés dans la création de rapports annuels à partir de juin 2019. Les MOVS ont aussi
1 Gouvernement du Canada (2016). Troisième plan bisannuel dans le cadre du Partenariat pour un
gouvernement ouvert 2016-2018. URL : https://ouvert.canada.ca/fr/contenu/troisieme-plan-biannuel-
partenariat-gouvernement-ouvert.
2 Gouvernement du Canada (2017). Directive sur le gouvernement ouvert. URL : https://www.tbs-sct.gc.ca/pol/doc-
fra.aspx?id=28108.
3 Gouvernement du Canada (2016). Troisième plan bisannuel dans le cadre du Partenariat pour un
gouvernement ouvert 2016-2018.
1Version finale. 27 juin 2018
désigné l’établissement d’éléments de mesure de la science ouverte comme l’une de leurs cinq
priorités lors du processus de co-création du PAGO4.
Le cadre méthodologique proposé ici s’applique seulement aux activités de recherches intra-
muros. Il ne s'applique pas aux organismes subventionnaires fédéraux 4 en reconnaissance des
défis particuliers auxquels ils sont confrontés dans la mesure des activités scientifiques ouvertes
menées dans le cadre de la recherche universitaire subventionnée.
Toutefois, les organismes subventionnaires se sont engagés à travailler en étroite collaboration
avec les autres MOVS et le Secrétariat du Conseil du Trésor pour harmoniser les processus, les
mesures et les indicateurs de la science ouverte avec ceux proposés ici.
La science ouverte
Dans le contexte des politiques publiques, la science ouverte se conçoit généralement comme le
résultat des efforts déployés pour accroître l’accessibilité en format numérique de la recherche
financée par les fonds publics pour la communauté scientifique, au secteur des affaires et à la
société en général, en format numérique. 5 La notion de la « science ouverte » s’appuie à la fois
sur la tradition d’ouverture dans de nombreuses disciplines scientifiques et sur le développement
de nouvelles technologies de l’information et de la communication, qui pourraient être utilisées
pour accroître considérablement notre capacité à accéder aux résultats scientifiques et à les
utiliser.
Pour les MOVS, la science ouverte englobe une vaste gamme d’activités, y compris la
publication d’articles évalués par les pairs, la publication d’ensembles de données et les activités
de mobilisation mettant en contact les scientifiques et contributeurs scientifiques fédéraux avec
le public.
L’un des principaux avantages de la science ouverte est l’augmentation de l’efficacité et de la
productivité des activités scientifiques par la réduction des dédoublements dans la collecte, la
création, le transfert et la réutilisation des données et des produits scientifiques en général 6. Il est
également de plus en plus évident que les scientifiques, le public et les entreprises mettent à
profit les articles et les bases de données en libre accès pour créer des solutions, des produits et
des services innovateurs. 7 Enfin, la science ouverte favorise un examen plus approfondi des
4 Les organismes subventionnaires fédéraux sont le Conseil de recherches en sciences humaines (CRSH),
l'Institut canadien de recherche en santé (IRSC) et le Conseil de recherches en sciences naturelles et en génie
du Canada (CRSNG).
5
OCDE (2015). Faire de la science ouverte une réalité. URL : http://dx.doi.org/10.1787/23074957.
6 OCDE (2015). Faire de la science ouverte une réalité, p. 10.
7
OCDE (2015). Faire de la science ouverte une réalité.
2Version finale. 27 juin 2018
conseils basés sur la science, ce qui permet la vérification des résultats scientifiques et une plus
grande participation du public en science. 8
Éléments de mesure de la science ouverte
Ce rapport propose un ensemble d’éléments de mesure et d’indicateurs connexes pour faire le
suivi des initiatives des MOVS fédéraux en matière de science ouverte. Ces éléments de mesure
et indicateurs serviront de fondement à la planification et à l’évaluation des progrès de la mise en
œuvre de la science ouverte. De plus, l’utilisation de manière cohérente d’éléments de mesure
interministériels facilitera la collaboration et favorisera la diffusion des pratiques exemplaires et
des innovations. Les éléments de mesure présentés ici seront mis en place à compter de
juillet 2018, la production du premier rapport devant se terminer en juin 2019. Ce rapport
couvrira la période allant du 1er janvier au 31 décembre 2018. Entre-temps, les MOVS
continueront d’envisager l’élaboration et la mise en œuvre d’autres éléments de mesure.
Une approche souple pour mesurer la science ouverte
Étant donné que les MOVS ont leur propre culture, mandat et priorités, les membres du Groupe
de travail ont souligné la nécessité d’adopter une approche souple pour l’élaboration et la mise
en œuvre d’éléments de mesure de la Science ouverte. La diversité des mandats des MOVS
implique différentes capacités et restrictions en ce qui a trait au développement d’activités
relevant de la science ouverte. Ainsi, une partie de l’information que génère les ministères et
agences fédérales détenant un mandat réglementaire ne peut être offerte en libre accès, soit parce
qqu’elle tombe sous la juridiction de la Loi sur la protection des renseignements personnels ou
parce qu’elle est classifiée comme confidentielle dans l’intérêt de la sécurité nationale. 9
De plus, la disponibilité de nouvelles ressources pour renforcer les capacités du gouvernement
fédéral en matière de science ouverte est limitée pour tous les MOVS. Les membres du Groupe
de travail ont désigné les ressources supplémentaires et un engagement additionnel comme des
facteurs clés qui permettraient plus d’ambition en ce qui concerne le suivi des progrès de la
science ouverte et l’élaboration et de la mise en œuvre d’éléments de mesure. .
Bien que certaines organisations fédérales, dont Statistique Canada, rendent accessibles des
ensembles de données de haute qualité et faciles à utiliser depuis des décennies, d’autres
ministères et organismes n’ont commencé à le faire que récemment. Puisque les pratiques en
8
OCDE (2015). Faire de la science ouverte une réalité, p. 9-11.
9
Loi sur la protection des renseignements personnels (L.R.C., 1985, ch. P-21). URL : http://laws-
lois.justice.gc.ca/fra/lois/P-21/.
3Version finale. 27 juin 2018
matière de science ouverte varient d’un MOVS à l’autre et d’une discipline scientifique à l’autre,
la publication d’information et de données dans un format prêt à l’emploi en temps opportun
pourrait représentée un défi important pour certains MOVS. D’autres ministères craignent que,
même si la publication de bases de données semble inoffensive individuellement, l’intégration de
ces ensembles avec d’autres pourrait mener à la perte du contexte d’origine ou à la
communication involontaire d’information pouvant susciter des préoccupations au niveau de la
sécurité nationale. 10 Étant donné le volume et la complexité des données disponibles, leur
publication dans des formats prêts à l'emploi représente un défi important. Cette complexité
reflète également les enjeux émergeant liés à l’avènement du « Big Data » tels que le stockage,
l'accès et la capacité de partager.
De plus, les scientifiques et autres contributeurs à la science au niveau fédéral utilisent de
multiples répertoires et portails pour partager leurs publications et bases de données. Même si
ces pratiques permettent de mettre à la disposition des Canadiennes et des Canadiens des
données scientifiques, elles peuvent aussi affecter la traçabilité des bases de données fédérales
ayant été publiées. Les scientifiques et contributeurs scientifiques fédéraux partagent également
les résultats de leurs recherches dans une variété de types de publications, ce qui n’incluent pas
seulement les articles scientifiques revus par des pairs, mais aussi les livres, les chapitres de
livres, les rapports, etc. Bien que de nombreuses bases de données soient disponibles pour suivre
les articles revus par des pairs, le suivi d’autres types de publication constitue un défi que les
MOVS ont identifié.
Pour faire progresser la mise en œuvre des éléments de mesure de la science ouverte tout en
tenant compte des besoins et des défis identifiés plus haut, le présent rapport propose une
approche souple qui s’appuie à la fois sur des éléments de mesure fondamentaux devant être mis
en œuvre par tous les MOVS, et sur des éléments de mesure complémentaires que les MOVS
intéressés devront mettre à l’essai. La dernière section du rapport, intitulée « Prochaines étapes »,
mentionne aussi les éléments de mesure présentement à l’étude en vue d’une mise en œuvre
future.
Les mesures sélectionnées et présentés dans ce rapport offrirent aux MOVS l’opportunité de
recueillir davantage d'informations sur les aspects procéduraux de la science ouverte. .
Cependant, il est largement reconnu dans la communauté des MOVS que les indicateurs de la
science ouverte devront être développés davantage pour permettre, entre autres, de mesurer les
avantages des activités scientifiques fédérales ouvertes pour les Canadiennes et le Canadiens.
10
Loi sur la protection des renseignements personnels (L.R.C., 1985, ch. P-21). URL : http://laws-
lois.justice.gc.ca/fra/lois/P-21/.
4Version finale. 27 juin 2018
Éléments de mesures sélectionnés
Les éléments de mesure présentés ici visent à faciliter le suivi et la production de rapports sur les
activités relevant de la science ouverte tout en reconnaissant la grande variété de défis auxquels
font face les ministères et les organismes pour surveiller leurs progrès. Ce rapport présente les
éléments de mesure et indicateurs recommandés pour accomplir cette tâche. Cependant, la
complexité de certains indicateurs associés à ces éléments de mesure et la nécessité de
promouvoir une approche cohérente pour tous les MOVS exigent la publication de
renseignements supplémentaires sur leur mise en œuvre, y compris leurs définitions et les
méthodes de collecte de données. À cette fin, le présent rapport fournis quatre schémas, soit un
par élément de mesure fondamental. Ils décrivent la méthodologie d’évaluation et offrent un
cadre uniforme pour la création de rapports (voir les annexe 3 à 6). Alors que deux de ces
éléments de mesure nécessitent des schémas plus détaillés, le schéma sur les publications en libre
accès et celui sur la mobilisation du public à l’égard de la science ouverte 11 (voir le tableau 1 et
les annexes 3 et 4), les deux autres éléments de mesure, qui portent sur les bases de données
ouvertes du Gouvernement du Canada et de l’application « Cartes ouvertes », sont relativement
simples à mettre en œuvre et ne requièrent qu’un court schéma (voir les annexes 5 et 6).
Définir les éléments mesurables
Alors que les éléments de mesure fondamentaux serviront à évaluer les progrès dans les activités
de la Science ouverte qui sont menées par tous les MOVS, les éléments de mesure
complémentaires (ou facultatifs) serviront à évaluer les progrès accomplis relativement à des
initiatives qui peuvent ne pas être communes à tous les MOVS et, par conséquent, dont certains
ministères et organismes seulement rendent compte. Aux fins de comparaison, on s’attend à ce
que les éléments de mesure fondamentaux fassent l’objet d’un rapport uniforme pour tous les
MOVS, afin de permettre l’intégration à l’échelle fédérale. Ces éléments sont résumés dans le
tableau 1 et décrits plus en détail dans les schémas.
Divers indicateurs sont proposés pour évaluer les éléments mesure fondamentaux et
complémentaires. Ceux-ci permettront également aux MOVS d’observer les tendances au fil du
temps et de démontrer les progrès réalisés dans la mise en œuvre de la Science ouverte.
11
Afin de développer le schéma de méthodologie détaillé, le Groupe de travail a pu se baser sur un certain nombre
d’études préexistantes commandées par les MOVS, notamment: Science-Metrix (2017). Bibliometric assessment of
Open Access for Environment and Climate Change Canada, Methods Report; Science-Metrix (2018). Bibliometric
assessment of Open Access for Environment and Climate Change Canada; NIVA Inc. (2016a). Open Science
Engagement, Volume 1: A Federal Inventory and Analysis; and, NIVA Inc. (2016b). Open Science Engagement,
Volume 2: International Environmental Scan: https://gcconnex.gc.ca/file/download/24869440
5Version finale. 27 juin 2018
Un des objectifs visés par la mise en place d’éléments de mesure complémentaires est
d’encourager les MOVS à acquérir de l’expérience dans la mise place d’éléments de mesure qui
pourraient plus tard être ajoutés comme des éléments de mesure additionnels ou fondamentaux à
l’avenir. Ces éléments de mesure sont résumés dans le tableau 2. Cependant, la méthodologie à
employer pour ces éléments de mesure n’est pas détaillée à l’aide de schémas, ce qui donnera
l’opportunité aux MOVS d’expérimenter différentes méthodologies pour leur mise en œuvre et
de comparer leur efficacité et efficience.
Définir les indicateurs
On entend généralement par « indicateur » un « facteur ou (une) variable de nature quantitative
ou qualitative, qui constitue un moyen simple et fiable de mesurer et d’informer des
changements liés à l’intervention ou d’aider à apprécier la performance d’un acteur ». 12 Par
exemple, un des indicateurs pour l’élément de mesure relatif aux publications de la science
ouverte est le pourcentage d’articles revus par les pairs qui sont disponibles en libre accès pour
chaque MOVS (voir le tableau 1).
Comme c’est le cas pour les autres indicateurs de rendement du gouvernement, les indicateurs
quantitatifs pour les éléments de mesure de la Science ouverte se composent d’un nombre et
d’une unité. Le nombre indique l’ampleur (répondant à la question : combien?) et l’unité donne
au nombre sa signification (répondant à la question : quoi?). 13
Les indicateurs qualitatifs prennent parfois la forme d’un énoncé, par exemple une évaluation de
la qualité de la recherche référant à une échelle de notation. 14 Toutefois, dans le contexte du
présent rapport, l’expression « indicateur qualitatif » désigne un indicateur pour lequel des
renseignements ont été recueillis par l’application de méthodes de recherche qualitative dont la
création d’inventaires, la classification des activités par l’application de typologies descriptives
et l’étude de cas. Ces méthodes sont utilisées à l’égard des activités de la Science ouverte pour
lesquelles les indicateurs quantitatifs sont encore inexistants ou ne fournissent pas suffisamment
de détails.
12
OCDE (2002). Glossaire des termes clés de l’évaluation et de la gestion axée sur les résultats. URL :
http://www.oecd.org/development/peer-reviews/2754804.pdf.
13
Secrétariat du Conseil du Trésor (2010). Pour soutenir des évaluations efficaces : Guide d’élaboration de
stratégies de mesure du rendement URL : https://www.canada.ca/fr/secretariat-conseil-tresor/services/verifications-
evaluations/centre-excellence-en-evaluation/guide-elaboration-strategies-mesure-rendement.html.
14
Secrétariat du Conseil du Trésor (2010). Pour soutenir des évaluations efficaces : Guide d’élaboration de
stratégies de mesure du rendement.
6Version finale. 27 juin 2018
En fonction des activités de la Science ouverte à l’étude, des indicateurs qualitatifs, quantitatifs
ou une combinaison des deux peuvent être utilisés pour raconter l’histoire des MOVS par rapport
à un élément de mesure donné. Une liste des éléments de mesure et indicateurs fondamentaux
qui ont été retenus pour être mis en œuvre à compter de juillet 2018 figure dans le tableau 1. Le
tableau 2 présente la liste des éléments de mesures et indicateurs complémentaires pour lesquels
au moins un ministère ou organisme a confirmé être en mesure de rapporter des résultats.
7Version finale. 27 juin 2018
Tableau 1. Éléments de mesure fondamentaux retenus pour la mise en œuvre à compter de juillet 2018 et leur(s) indicateur(s) 15
Mesure Indicateurs Type Source de Données de Observa-
données base tion
Publications en 1. Pourcentage d’articles évalués par des pairs qui sont disponibles en libre accès par Quantitatif Contrat avec un Étude ECCC- Années
libre accès ministère et organisme à vocation scientifique (MOVS). fournisseur de Science précédente
(schéma Nécessite l’évaluation des indicateurs ci-dessous : services de Metrix (2012- s (2016-
détaillé) o Nombre d’articles en libre accès évalués par des pairs par MOVS. 16 bibliométrie. 2015) pour 14 2017)
o Nombre d’articles en libre accès évalués par des pairs par MOVS fournis par l’éditeur. Système de suivi MOVS.
o Nombre d’articles revus par des pairs par MOVS qui ne sont pas fournis par l’éditeur. 17 interne des
o Nombre total d’articles évalués par des pairs publiés par MOVS. MOVS.
Mobilisation du 2. Inventaire des activités de mobilisation du public à l’égard de la Science ouverte Qualitatif Suivi interne des Rapport de Année en
public à l’égard auxquelles ont participé des citoyens, des scientifiques et des contributeurs scientifiques MOVS. NIVA cours
de la Science fédéraux. (2018)
ouverte (schéma
détaillé)
Données de la 3. Pourcentage des bases de données admissibles des MOVS identifiées dans le répertoire Quantitatif Répertoire des Réper-toire Année en
Science ouverte des données ouvertes ayant été publiés. 18 données ouvertes. des données cours
Nécessite l’évaluation des indicateurs ci-dessous : ouvertes. (2018)
o Nombre de bases de données admissibles des MOVS identifiées dans l’inventaire des
données ouvertes ayant été publiés.
o Nombre de bases de données des MOVS identifiées dans l’inventaire des données
ouvertes.
Autres produits 4. Inventaire des bases de données des MOVS disponibles sur l’application « Cartes Qualitatif Portail du Portail du Année en
de la Science ouvertes. » gouvernement gouvernement cours
ouverte ouvert (Cartes ouvert (Cartes (2018)
ouvertes). ouvertes). 19
Remarques : Tous les indicateurs seront mis en œuvre chaque année civile. Les données collectées seront ensuite utilisée dans la production de rapports dans différents contextes,
y compris pour le Plan d’action pour un gouvernement ouvert. Les éléments de mesures faisant l’objet d’un schéma détaillé sont ceux nécessitant davantage d’explications en
raison de leur niveau de complexité.
15
Voir le glossaire en annexe pour des précisions au sujet de la terminologie. Voir les schémas des annexes 3 à 6 pour la méthodologie détaillée concernant
chaque indicateur.
16
Cela comprend toutes les publications pour lesquelles au moins un des auteurs a indiqué son affiliation avec un MOVS ou une composante (p. ex. un
laboratoire de recherche) de ce MOVS.
17 Sans s’y limiter, cela inclut l’accès libre auto-archivé, fourni par l’auteur par l’entremise d’un dépôt institutionnel.
18
Cette mesure est déjà incluse dans le Système du suivi du troisième Plan biannuel dans le cadre du Partenariat pour un gouvernement ouvert, sous
« Engagement 14 : Accroître l’ouverture des activités scientifiques fédérales (science ouverte) » avec un objectif de 20 % d’ici juin 2018. URL :
https://ouvert.canada.ca/fr/engagement-14-accroitre-louverture-activites-scientifiques-federales-science-ouverte.
19 En date du 24 avril 2018, l’application « Cartes ouvertes » rassemblait 729 bases de données provenant de 8 MOVS.
8Version finale. 27 juin 2018
Tableau 2. Éléments mesurables complémentaires à mettre en œuvre en juillet 2018 et leurs indicateurs
Mesure Indicateurs Type Source de Obser-
données vation
Données 1. Inventaire des bases de données en libre accès des MOVS Qualita Projet pilote Année
de la offertes via des portails ou des répertoires autres que Cartes -tif des MOVS en
Science ouvertes et le Portail du gouvernement ouvert. pour la cours
ouverte Nécessite l’évaluation des indicateurs ci-dessous : surveillance (2018)
o Inventaire des bases de données en libre accès des interne
MOVS offertes via des répertoires ou des portails
fédéraux, à l’exception de Cartes ouvertes et du Portail
du gouvernement ouvert.
o Inventaire des bases de données en libre accès des
MOVS offertes via des portails ou des répertoires
d’une tierce partie. 20
2. Inventaire des portails ou répertoires utilisés par les MOVS
afin d’offrir leurs bases de données en libre accès autres que
Cartes ouvertes ou le Portail du gouvernement ouvert.
Nécessite l’évaluation des indicateurs ci-dessous :
o Inventaire des portails fédéraux ou des répertoires
utilisés par les SBDAs afin d’offrir des bases de
données en libre accès autre Cartes ouvertes ou le
Portail du gouvernement ouvert.
o Inventaires des portails ou répertoires de collaborateurs
externes utilisés par les MOVS afin d’offrir leurs bases
de données en libre accès.
Mobilisat 3. « Altmetrics » pour certaines publications. Quanti- Projet pilote Année
ion à Nécessite l’évaluation de l’indicateur ci-dessous : tatif/ des MOVS en
l’égard o Indice d’attention « Altmetrics » (personnalisé) pour Qualita pour la cours
de la une publication spécifique. 21 -tif surveillance (2018)
Science interne
ouverte
Autres 4. Liste et description de logiciels liés à la Science ouverte Qualita Projet pilote Année
produits -tif des MOVS en
de la pour la cours
Science surveillance (2018)
ouverte interne
20
Une tierce partie se définit ici comme une organisation offrant un service de portail ou de répertoire au MOVS
fédéraux sans faire partie du gouvernement fédéral. Cela peut inclure les répertoires contrôlés par des
gouvernements municipaux, provinciaux ou territoriaux, des universités, des gouvernements étrangers et leurs
agences, des organismes sans but lucratifs, des organisations internationales, etc.
21
Alors que l’indice d’attention « altmetric » (Altmetric Attention Score) représente un compte pondéré de toute
l’attention qu’un résultat de recherche reçoit et peut être calculé automatiquement pour les publications scientifiques
fédérales, il peut aussi être personnalisé pour répondre aux besoins de certaines organisations. Dans le cas des
MOVS, cela supposerait, par exemple, de se concentrer sur des documents de politique contenant des références à la
recherche scientifique fédérale plutôt qu’à d’autres sources (p. ex. des blogues). L’indice peut aussi servir
d’indicateur qualitatif pour mettre en évidence des exemples précis d’innovation découlant de la recherche
scientifique fédérale.
9Version finale. 27 juin 2018
Prochaines étapes
Dans l’immédiat, la prochaine étape sera la mise en œuvre des éléments de mesure convenus par
les MOVS. À cette fin, les MOVS devront élaborer un plan de mise en œuvre fournissant des
échéanciers pour la collecte de données de base et la production de rapports. Bien que les détails
associés au plan de mise en œuvre restent à venir, l’échéance proposée pour la publication des
données de base et des résultats des éléments de mesure de la science ouverte est juin 2019 pour
la période d’étude allant du 1er janvier au 31 décembre 2018. Une autre tâche importante sera
d’identifier les parties prenantes et les utilisateurs finaux de la science ouverte et de travailler
avec eux à faire évoluer les éléments de mesure.
Grâce à leur participation continue au Quatrième plan d’action pour le gouvernement ouvert
(PAGO4) de 2018-2020, les MOVS se pencheront sur l’élaboration de nouveaux éléments de
mesures et d’indicateurs pour la science ouverte. Les activités susceptibles d’être l’objet de
nouveaux éléments de mesures et indicateurs incluent :
• La publication de bases de données liées à des publications revues par des pairs et libre
d’accès;
• Inventaires de bases de données scientifiques excluant les inventaires de bases de
données ouvertes;
• Les politiques internes et externes visant à promouvoir la science ouverte;
• L’utilisation d’identifiant unique pour les chercheurs (p. ex. ORCID);
De plus, des éléments de mesure de la science ouverte seront développées dans le futur afin
d’évaluer l’impact et les bénéfices de la science ouverte pour les Canadiennes et les Canadiens.
Les éléments de mesure alternatifs (« Altmetrics ») ont déjà été identifiés en tant qu’indicateur
optionnel, ce qui permettra de suivre la diffusion des résultats de la recherche fédérale dans les
médias sociaux. En supplément, de nouveaux éléments de mesure de l’impact des activités de
science ouverte fédérales pourraient s’intéresser à :
• Des études de cas portant sur l’innovation suscitée par les publications et bases de
données fédérales en libre accès;
• L’inventaire de nouveaux récits portant les engagements publics en science ouverte au
niveau fédéral;
• Les citations des publications et des bases de données fédérales en libre accès dans les
brevets;
• Les citations des publications fédérales en libre accès dans le contexte académique;
• Les citations des bases de données fédérales en libre accès;
10Version finale. 27 juin 2018
• Les citations des publications et des bases de données fédérales en libre accès dans les
rapports gouvernementaux, les analyses réglementaires, les documents de consultation,
etc.;
• Les citations des publications et des bases de données fédérales en libre accès dans la
réglementation, la législation, les plans d’action et autres documents relatifs aux
interventions des politiques publiques.
11Version finale. 27 juin 2018
Annexe 1 : Glossaire
« Altmetrics » : une autre façon de faire le suivi et de mesurer l’usage et l’incidence des résultats
de la recherche. Plutôt que de compter uniquement le nombre de citations d’un ouvrage dans la
littérature scientifique, les « altmetrics » mesurent et analysent les mentions en ligne des résultats
scientifiques dans diverses sources incluant : les médias traditionnels, les documents associés
aux politiques publiques, les brevets, les médias sociaux (p. ex. Facebook, Twitter, etc.), les
blogues, les téléchargements, les liens vers la publication, les documents de recherche non
publiés ainsi que les autres utilisations de la littérature scientifique. Cela permet une mesure plus
complète de la portée et de l’incidence d’une publication scientifique. 22
Indice d’attention « Altmetrics » : il s’agit d’un compte pondéré de l’attention qu’un résultat
scientifique reçoit 23. Il peut être personnalisé pour l’adapter aux besoins spécifiques des
organisations.
Indicateur : Facteur ou variable, de nature quantitative ou qualitative, qui constitue un moyen
simple et fiable de mesurer les changements découlant d’une intervention et d’en rendre compte,
ou d’aider à apprécier le rendement d’un acteur. 24
Libre accès: dans le contexte des publications scientifiques, il s’agit de rendre des manuscrits et
autres publications scientifiques revus par les pairs librement accessibles au moyen d’Internet,
permettant à tout utilisateur de lire, télécharger, copier, distribuer, imprimer, rechercher ou
établir un lien vers le texte intégral des articles, les indexer, les transmettre comme données à un
logiciel ou les utiliser à des fins légitimes, sans obstacle financier, juridique ou technique autre
que ceux qui sont inséparables de l’accès à Internet lui-même. La seule contrainte à la
reproduction et à la distribution et le seul rôle du droit d’auteur dans ce domaine devraient être
de donner aux auteurs le contrôle de l’intégrité de leur travail et le droit d’être dûment reconnus
et cités. Il existe plusieurs types de publications en libre accès (libre accès « or »,
« vert », « hybride » et « bronze »). Aux fins de la mise en œuvre des éléments de mesure, une
distinction est faite uniquement entre les articles en libre accès fournis par l’éditeur sur son site
Web et les articles qui sont librement accessible à travers d’autres sources que l’éditeur, comme
les articles auto-archivés qui peuvent être consultés par l’intermédiaire de répertoires
institutionnels, par exemple. 25
22
Altmetric (2018). What are Altmetrics? Capturing the online attention surrounding scholarly content. URL :
https://www.altmetric.com/about-altmetrics/what-are-altmetrics/.
23
Altmetric (2018). The donut and Altmetric Attention Score. URL : https://www.altmetric.com/about-our-data/the-
donut-and-score/.
24
OCDE (2002). Glossaire des termes clés de l’évaluation et de la gestion axée sur les résultats.
25
Adapté de : Science-Metrix (2017). : Science-Metrix (2017). Bibliometric assessment of Open Access for
Environment and Climate Change Canada, Methods Report.
12Version finale. 27 juin 2018
Science ouverte : Se réfère aux efforts déployés pour accroître l’accessibilité de la recherche
scientifique financée par les fonds publics pour la communauté scientifique, le secteur des
affaires et la société en général via l’utilisation de formats numériques. La science ouverte
émerge de la convergence entre la tradition d’ouverture de la science avec les technologies de
l’information et des communications 26.
Mobilisation du public : la mobilisation à l’égard de la science ouverte s’entend des
contributions et collaborations de différentes personnes et de divers groupes de la société, du
citoyen moyen à l’expert scientifique , qui prennent part à des processus de Science ouverte,
allant de l’élaboration préliminaire de politiques à l’exécution d’activités scientifiques. La
mobilisation du public prends diverses formes : 1) collaboration du public avec les scientifiques
(communication bidirectionnelle); 2) activités de communication et de sensibilisation menées par
des scientifiques auprès du public (communication unidirectionnelle); ou de 3) consultation
publique ou (communication unidirectionnelle des citoyens aux scientifiques). 27
Indicateur quantitatif : indicateur qui se compose d’un nombre et d’une unité. Le nombre
indique l’ampleur (répondant à la question : combien?) et l’unité donne au nombre sa
signification (répondant à la question : quoi?). 28
Indicateur qualitatif : indicateur pour lequel des renseignements ont été recueillis par
l’application de méthodes de recherche qualitative, dont la création d’inventaires, la
classification des activités par l’application de typologies descriptives et l’étude de cas. Ces
méthodes sont utilisées à l’égard des activités de science ouverte pour lesquelles les indicateurs
quantitatifs sont inexistants ou ne fournissent pas suffisamment de détails.
Répertoire (institutionnel) : base de données en ligne conçue pour recueillir la production
intellectuelle d’une organisation ou d’une université, y compris les collections numériques telles
que les thèses et mémoires électroniques, les préimpressions ou les bourses d’études du corps
professoral, qui présente les métadonnées associées à cette production. 29
26
OCDE (2015). Making Open Science a Reality.
27
NIVA Inc. (2016). Engagement en matière de science ouverte, volume 1 : Inventaire et analyse du gouvernement
fédéral.
28
Secrétariat du Conseil du Trésor (2010). Pour soutenir des évaluations efficaces : Guide d’élaboration de
stratégies de mesure du rendement. URL: https://www.canada.ca/fr/secretariat-conseil-tresor/services/verifications-
evaluations/centre-excellence-en-evaluation/guide-elaboration-strategies-mesure-rendement.html.
29
University of Pittsburg Library System (2018). Glossary. URL :
http://www.righttoresearch.org/resources/openresearchglossary/.
13Version finale. 27 juin 2018
Contributeur scientifique : employé du gouvernement du Canada qui est principalement
rattaché à un MOVS fédéral et qui participe à des activités scientifiques sans produire de
résultats scientifiques (communications, GI et TI, recherche, etc.).
Scientifique : employé du gouvernement du Canada qui est principalement rattaché à un MOVS
fédéral et qui a comme tâche principale de participer à la recherche scientifique.
Bases de données scientifiques : Dans le contexte du présent rapport, les bases de données
scientifiques sont celles qui peuvent être utilisées pour la mobilisation du public. Elles incluent
les bases de données scientifiques jugées importantes pour comprendre ou reproduire le
processus scientifique présenté dans un article revu par les pairs, les données recueillies dans le
cadre de programmes de surveillance ou de réglementation et les statistiques pertinentes.
14Version finale. 27 juin 2018
Annexe 2. Liste des membres du Groupe de travail sur les éléments de
mesure de la science ouverte des ministères et organismes à vocation
scientifique (MOVS) fédéraux
Nom Courriel MOVS
Hurd, Brad brad.hurd@canada.ca AAC
Brunet, Bryan bryan.brunet@inspection.gc.ca ACIA
Carrillo, Catherine catherine.carrillo@inspection.gc.ca ACIA
Petriw, Simone simone.petriw@inspection.gc.ca ACIA
Kwedom, Annick Yolande annickyolande.kwedom@canada.ca ASC
Laurin, Josianne josianne.laurin@canada.ca ASC
Levesque, Nathalie nathalie.levesque@canada.ca ASC
Belanger, Micheline micheline.belanger@forces.gc.ca RDDC
Akerman, Richard richard.akerman@canada.ca ECCC
Copland, Lindsay lindsay.copland@canada.ca ECCC
Grostern, Ariel ariel.grostern@canada.ca ECCC
Jamieson, Mike mike.jamieson@canada.ca ECCC
May, Kristin kristin.may@canada.ca ECCC
Nakamura, Takuma takuma.nakamura@canada.ca ECCC
Houle, David david.houle@canada.ca ECCC
Morin, Mathieu mathieu.morin3@canada.ca ECCC
Lysyk, Mary mary.lysyk@canada.ca SC
Vanderloo, Saskia saskia.vanderloo@canada.ca SC
Madeleine Marshall madeleine.marshall@canada.ca SC
Bower, Tara tara.bower@canada.ca SC
Lister, Sandra sandra.lister@canada.ca ISDE
Astell, Paul paul.astell@canada.ca ISDE/CRC
Kemp, Mandy mandy.kemp@ic.gc.ca ISDE /CRC
Sinare, Stephanie stephanie.sinare@canada.ca ISDE/CRC
White, Autumn autumn.white@canada.ca ISDE/CRC
Morgenroth, Karen karen.morgenroth@canada.ca CNRC
Ripp, Chantal chantal.ripp@canada.ca CNRC
Batho, Meghan meghan.batho@canada.ca RNCan
Bridge, Simon simon.bridge@canada.ca RNCan
Fernandez de Castro, Maria Teresa mariateresa.fernandezdecastro@canada.ca RNCan
Foran, Angela angela.foran@canada.ca RNCan
Hewgill, Jennifer jennifer.hewgill@ceaa-acee.gc.ca RNCan
Laviolette, Annie annie.laviolette@canada.ca RNCan
Miller, Liam liam.miller@canada.ca RNCan
Ste-Marie, Catherine catherine.ste-marie@canada.ca RNCan
Edge, Victoria victoria.edge@canada.ca ASPC
Regier, Ryan ryan.regier@canada.ca ASPC
Sanmartin, Claudia claudia.sanmartin@canada.ca STATCAN
Taylor, Portia portia.taylor@tbs-sct.gc.ca SCT
15Version finale. 27 juin 2018
Annexe 3. Schéma pour les publications en libre accès
Champ Description
Nom Publications en libre accès
Peut
s’appliquer
à Publications individuelles évaluées par les pairs (articles de revues)
(unité
d’analyse)
Cette mesure vise à déterminer le nombre et la proportion d’articles en libre
accès, évalués par les pairs qui sont produits par les ministères et organismes à
vocation scientifique (MOVS). Dans le cadre du rapport sur les éléments de
mesure de la science ouverte, les mesures suivantes seront prises en compte aux
fins de comparabilité interministérielle :
1. Pourcentage d’articles évalués par des pairs qui sont disponibles en libre
accès par ministère et organisme à vocation scientifique (MOVS).
o Nombre d’articles en libre accès évalués par des pairs par MOVS.
Nombre d’articles en libre accès évalués par des pairs par MOVS
Définition de
fournis par l’éditeur.
la mesure
Nombre d’articles revus par des pairs par MOVS qui ne sont pas fournis
par l’éditeur (p. ex. libre accès auto-archivé, fourni par l’auteur par
l’entremise d’un dépôt institutionnel).
2. Nombre total d’articles évalués par des pairs publiés par MOVS.
La classification des publications dans les catégories « autoarchivées » ou
« disponibles sur le site Web de l’éditeur » se fera au moment où la liste est
créée aux fins de production de rapport; on ne tiendra pas compte des
publications en libre accès différé ou en libre accès vert (publications frappées
d’embargo).
Il s’agit d’une mesure quantitative. Les MOVS produiront une liste de
publications évaluées par les pairs dont au moins un auteur est un employé des
MOVS. Cette liste servira à déterminer le nombre de publications en libre accès
Calcul de la et le pourcentage des publications en libre accès produites par les MOVS.
mesure
Les MOVS devraient tenir compte du fait que leurs scientiques ont
probablement de multiples affiliations, et formater les requêtes de recherche
dans les bases de données de publications en conséquence.
16Version finale. 27 juin 2018
Champ Description
Il est possible de se procurer des listes de publications auprès de diverses
sources, notamment :
● Scopus
● Web of Science
● Contrat externe avec des fournisseurs de données bibliométriques
● Bases de données internes de suivi des publications des MOVS
Il est également possible de savoir si des publications sont en libre en
consultant diverses sources, y compris :
Sources de ● 1Science
données ● Web of Science
● Unpaywall
● Bases de données internes de suivi des publications des MOVS
● Scopus
Par l'intermédiaire du Groupe de travail sur les éléments de mesure de la science
ouverte, les MOVS seront encouragés à coordonner leurs efforts pour s'assurer que la
source d'information employée sur les publications en accès libre est exhaustive et
cohérente. Cela pourrait se faire par le biais d'un contrat commun avec un fournisseur
de services bibliométriques.
Cas Cette mesure vise à observer la quantité et la proportion de publications
d’utilisation évaluées par les pairs que les MOVS publient en libre accès, ainsi que le type
appropriée de libre accès utilisé (autoarchivé ou disponible sur le site Web de l’éditeur).
17Version finale. 27 juin 2018
Champ Description
● Délimitation des ensembles de données : Les taux de libre accès sont
généralement beaucoup plus faibles pendant les deux (2) années qui
précèdent l’évaluation de la mesure. C’est ce qu’on appelle l’effet
d’embargo. De nombreux éditeurs n’autorisent la publication de documents
en libre accès qu’après une période d’embargo, pendant laquelle les éditeurs
eux-mêmes conservent le droit exclusif de distribution. Après la période
d’embargo, qui ne dépasse généralement pas 24 mois, les documents peuvent
alors être légalement rendus disponibles en ligne. Pour cette raison, les
mesures de libre accès pour les années les plus récentes ne correspondront
pas aux résultats stables, à long terme. 30
Restrictions
● Certaines publications appartiennent à la fois à la catégorie « vert » et à la
catégorie « disponible sur le site Web de l’éditeur ».
● Le droit d’auteur doit être respecté, et l’autorisation de droit d’auteur aux fins
d’utilisation de dépôts peut différer selon l’éditeur, les ententes entre
l’institution et l’éditeur, etc.
● Il convient d’user de prudence lorsqu’on compare les ministères et
organismes et, à tout le moins, de se baser sur la proportion de publications
en libre accès plutôt que sur le nombre total de publications, afin de tenir
compte du fait que, par exemple, chaque ministère et organisme n’emploie
pas le même nombre de scientifiques.
Cas Au moment d’évaluer cette mesure, les MOVS doivent se méfier de la collecte
d’utilisation erronée de données sur des sujets non reliés tels que des résumés de conférence
inappropriée ou des rapports internes, par exemple.
Sources
Les données de référence de 14 MOVS sont présentées dans une étude de
disponibles
Science-Metrix, réalisée pour le compte d’Environnement et changements
pour les
climatiques Canada (ECCC). Cette étude porte sur des publications
données de
de 2012 à 2015 (figure 2).
référence
Puisque cet indicateur est lié au nombre et au pourcentage de publications en
libre accès évaluées par les pairs, une liste de publications doit être créée dans
Trans- un format complet et prêt à partager. Cette liste de publications doit répertorier
parence les publications en libre accès, en plus d’inclure le type de libre accès au
moment de la création de la liste, ainsi qu’un identificateur d’objets numériques
(DOI) qui permet de localiser la publication en ligne. Voir la figure 1.
30Éric, ARCHAMBAULT, et autres (2014). Evolution of open access policies and availability, 1996–2013, RTD-
B6-PP-2011-2 : Study to develop a set of indicators to measure open access. Montréal, Canada. Préparé pour la
Commission européenne. Extrait de http://science-metrix.com/files/science-
metrix/publications/d_4.5_sm_ec_dg-rtd_oa_policies_proportion_oa_1996-2013_v05p_0.pdf.
18Version finale. 27 juin 2018
Champ Description
Scopus : https://www.elsevier.com/solutions/scopus
Web of Science (Clarivate Analytics) : https://clarivate.com/products/web-of-
science/
Site Web
1Science : https://1science.com/
Interface de programme d’application (API) ou outil de requête simple
Unpaywall : http://unpaywall.org/
La période d’observation s’étend sur deux années consécutives précédant
l’année de rédaction du rapport.
Par exemple, les observations recueillies pour la période du 1er janvier 2016 au
31 décembre 2017 feront l’objet d’un rapport en 2018.
Calendrier Cette façon de procéder vise à tenir compte des publications frappées
d’embargo et en libre accès différé, ce qui permet d’atténuer la sous-estimation
du nombre de publications en libre accès et de fournir des observations
relativement opportunes.
Néanmoins, compte tenu de la variation de la période d’embargo pour les
publications, il faudra fournir des chiffres révisés pour les périodes suivantes.
Évaluation bibliométrique des publications en libre accès pour Environnement
et Changement climatique Canada. Science-Metrix, janvier 2018.
Références Évaluation bibliométrique des publications en libre accès pour Environnement
et Changement climatique Canada, rapport de méthodes. Science-Metrix,
décembre 2017.
19Version finale. 27 juin 2018
Tableau A1. Exemple de tableau de suivi des publications en libre accès.
Année de Citation (y compris l’identificateur Statut de Libre Ministère ou Date d’éva-
publication d’objet numérique) l’accès : accès : organisme du luation de
(selon la libre ou auto- gouvernement libre accès
citation) restreint archivé du Canada (car l’accès
ou site peut
Web de changer au
l’éditeur fil du
temps)
2017 Spoelstra J., Senger N.D. et Schiff Libre Auto- ECCC Décembre2
S.L. (2017) « Artificial sweeteners archivé 017
reveal septic system effluent in rural
groundwater ». Journal of
Environmental Quality, vol 46,
p. 1434 à 1443.
10.2134/jeq2017.06.0233
2017 Howell S.E.L., Komarov A.S., Restreint S.O. ECCC Avril 2018
Dabboor M., Montpetit B., Brady M.,
Scharien R.K., Mahmud M.S.,
Nandan V., Geldzetser T. et Yackel
J.J. (2017) « Comparing L- and C-
band synthetic aperture radar
estimates of sea ice motion over
different ice regimes ». Remote
Sensing of Environment vol. 204,
p 380 à 391.
10.1016/j.rse.2017.10.017
2017 Crouse D.L., Pinault L., Balram A., Libre Fourni ECCC Décembre
Hystad P., Peters P.A., van par l’édi- 2017
Donkelaar A., Martin R.V., Ménard teur
R., Robichaud A. et Villeneuve, P.J.
(2017, october) « Urban greenness
and mortality in Canada’s largest
cities: A national cohort study ».
Lancet Planet Earth, vol. 1, p. e289.
10.1016/S2542-5196(17)30118-3
20Version finale. 27 juin 2018
Données de référence
ECCC a commandé une étude de référence dans le cadre d’un contrat faisant appel à la société
de bibliométrie Science-Metrix. L’étude visait à examiner le nombre de publications évaluées
par les pairs qui ont été produites par chaque organisation au cours de la période d’étude (2012-
2015. La figure 2 présente une synthèse des résultats de l’étude.
Tableau A2. Production de publications entre 2012 et 2015 dans le monde, au Canada et dans
14 ministères et organismes canadiens à vocation scientifique (Science-Metrix, 2018).
Production (2012-2015)
Organisme Toutes les Accès Total Accès ouvert Accès ouvert
publications restreint (accès ouvert) « or » « vert »
Monde 5 826 333 2 858 572 2 967 761 1 285 953 1 967 900
Canada 259 007 116 372 142 635 62 564 95 352
Famille fédérale 17 695 7 569 10 126 3 964 7 292
AAC 4 056 1 958 2 098 786 1 588
CRNC 3 483 1 621 2 222 991 1 519
ECCC 2 835 1 010 1 825 522 1 389
RNCan 2 549 1 209 1 340 351 980
MPO 1 768 563 1 205 370 896
ASPC 1 171 348 823 634 533
Santé Canada 945 421 524 318 342
RDDC 436 242 194 63 134
EACL 404 218 186 40 147
ACIA 361 151 210 121 147
ISDE 190 149 41 27 21
Parcs Canada 129 53 76 20 57
Agence spatiale canadienne 95 48 46 16 41
Transports Canada 11 5 6 1 3
Sources des données et méthodologie
L’étude Science-Metrix (2018) a utilisé deux bases de données interreliées pour produire des
indicateurs bibliométriques associés aux articles relevés comme étant disponibles en libre accès.
Les indicateurs bibliométriques ont été calculés à partir des données de Web of Science. La
disponibilité en libre accès des articles a été mesurée à l’aide de la base de données qui, à ce jour,
est la plus complète pour l’indexation des articles disponibles en libre accès : la base de données
1science. La base de données 1science a un meilleur alignement avec Web of Science qu’avec
Scopus (son principal concurrent) dans le flux de travail normal de Science-Metrix. Il s’agit de
l’une des fonctionnalités qui ont motivé le choix de Web of Science pour cette étude.
La base de données produite par 1science (la société sœur de Science-Metrix) est une base de
données bibliographique contenant les enregistrements de 28,3 millions d’articles de recherche
disponibles en libre accès publiés depuis l’an 2000 dans plus de 30 000 revues évaluées par les
21Vous pouvez aussi lire
