SHS Rendre leur poids aux livres : l'évaluation des ouvrages dans les - Geoffrey Williams
←
→
Transcription du contenu de la page
Si votre navigateur ne rend pas la page correctement, lisez s'il vous plaît le contenu de la page ci-dessous
Rendre leur poids aux livres :
l’évaluation des ouvrages dans les
SHS
Geoffrey Williams
williams@evalhum.euPlan de l’intervention • Présentation des réseaux EvalHum et ENRESSH • Les enseignements de recherches antérieures sur l’évaluation – ImpreSHS, QualiSHS, RobinBa, NBABE • Le contrôle de la qualité des productions • Classification, labellisation > le noyau académique
Evalhum
• Regroupement de spécialistes en évaluation de la
recherche
– Fondé en 2012 à la suite de l'« International Forum on
Humanities Research at the Dawn of ERA and
Horizons 2020 », organisé par I. Galleron & G.
Williams à la British Academy, Londres
– Membres actifs au niveau national et international, y
compris dans les organes de l’Union Européen
– En 2014, EvalHum devient une association loi 1901Les activités d’EvalHum
• Organisation de colloques - série "Research
Evaluation in the SSH" (RESSH)
– Rennes 2015, Anvers (Belgique) 2017, Valence
(Espagne ) 2019
• Consortia projets H2020
• Membre du réseau European Alliance for the
SSH (EASSH)
• Instigateur du réseau COST ENRESSHUne vision globale • Comprendre le processus de production pour mieux adapter le processus de l’évaluation • Comparer les méthodologies d’évaluation à travers l’Europe afin d’éliminer les mythes et de promouvoir les meilleures pratiques, adaptées à chaque environnement • Promouvoir des protocoles d’évaluation qui reconnaissent l’excellence et qui mettent en valeur la recherche dans les SHS
COST ENRESSH
• Action démarrée en 2016
• chercheurs de 35 pays de l’Europe et 4 pays observateurs
• Un travail de collecte, analyse et partage d'informations
provenant des pays des membres
• Participation aux campagnes et divers exercices
d’évaluation
• Échange d’informations avec les décideurs
– Stakeholder meeting (Prague 2017)
– Guidelines for the evaluation of Social sciences and
Humanities research
• Interaction avec d’autres projets, notamment PEERE – Peer
reviewGroupes de travail • WG1 – Conceptual frameworks for SSH research evaluation • WG2 – Societal impact and relevance of SSH research • WG3 – Databases and uses of data for understanding SSH research • WG4 – Dissemination • ECI – Early Career Investigators • BNBABE – Bibliometric and Non-Bibliometric Aspects of Book Evaluation
La place des SHS: évaluer
l'hétérogénéité
• Les systèmes d’évaluation sont fortement influencés
par les besoin des STEM, et surtout de la recherche en
sciences naturelles
– Les mathématiques et l’ingénierie peinent à trouver leur
place
• Les SHS ne sont pas homogènes non plus:
– Les SHS sont un continuum
– Les humanités tendent vers les ouvrages et les chapitres
d’ouvrage, les sciences sociales vers les articles
• Donc, il faut comprendre afin d’adapter les protocoles,
mais aussi pour imposer des critères de qualité
communsL’apport de la recherche (France)
• IMPRESSH (MSHB) & QUALISHS (Inter-MSH)
– « Impacts de la recherche dans les SHS : études de cas
en Bretagne » et « Critères de la qualité dans la
recherche dans les sciences humaines et sociales :
perceptions et pratiques »
• Réalisation d’une base de données de CVs de chercheurs en
langues / littérature, histoire et droit
• Entretiens de groupe
• Analyse de corpus avec Atlas ti et SketchEngine
– Voir: Galleron, Ioana, et Geoffrey Williams. 2016. «
Understanding the strategies of research
dissemination in French SSH research : a presentation
of DisValHum/ IMPRESHS projects"L’apport de la recherche (Italie)
• RobinBa
– Role of Books in Non-Bibliometric Areas (ANVUR, Italie),
collaboration avec les universités Ca’ Foscari (Venise) et
Macerata
• Analyse de bases de données
• Entretiens de groupe
• Analyse de corpus avec Atlas ti et SketchEngine
– Voir: Williams, Geoffrey, Antonella Basso, Ioana Galleron,
et Tiziana Lipiello. 2018. « More, Less or Better: The
Problem of Evaluating Books in SSH Research ». In The
Evaluation of Research in Social Sciences and Humanities:
Lessons from the Italian Experience, édité par Andrea
Bonaccorsi, 133-58. Cham, Switzerland: SpringerPourquoi publier un ouvrage. • Some major topics deserve books, other (less massive but relevant as well) need articles. If well connected with other chapters, book chapters too may be the best way to treat an object. (source RobinBa) • Till some years ago, when we were urged to publish articles in peer-reviewed journals, our most prestigious ways of dissemination were book chapters (due to the fact that a book focuses on a specific research subject, and that book chapters are usually broader and more ambitious than journal articles), conference proceedings (which sometimes contain very original and up-to-date essays) and monographs. (source RobinBa)
Autrement dit…
• Les monographies
– Des thématiques précises, des études approfondies
– L’exception et pas la norme
• Chapitres d’ouvrage
– Plus longs et plus approfondis qu’un article
• Actes
– Diffusion rapide
• Les difficultés
– La pérennité du document
– Le contrôle qualité
– Les systèmes qui peinent à comprendre la diversité des
pratiquesLes systèmes d’évaluation
• Enquête du WG1 sur les systèmes d’évaluation en
Europé
• Basés sur peer review
– Ouvert – REF (UK), SEP (Pays Bas)
– Restreint – ANVUR (Italie)
• Basés sur bases de données
• Basés sur des points
• Basés sur un monitoring
• Evaluation avec ou sans conséquence pour le
financement de la rechercheNon-bibliometric aspects of book
évaluation
• L’importance des ouvrages dans les SSH, mais
– Une mauvaise prise en compte dans les bases de données
• WoS & Scopus ne s’intéressent qu’aux « grandes » maison
anglophones.
– Des protocoles d’évaluation souvent mal adaptés aux
ouvrages
– Une difficulté à assurer une véritable évaluation de la
qualité
• L’objectif de NBABE
– Mieux comprendre le rôle des ouvrages
– Fournir de nouveaux indicateurs
• Selon le type d’ouvrage
• Suivant les besoins des différents utilisateursNBABE: les questionnements • Peut-on faire une typologie raisonnée des ouvrages? • Est ce qu’il est possible de classer et d'évaluer des éditeurs? • Peut on lister des éditeurs parasites? • Est ce que le peer review des ouvrages est fiable? • Est ce qu’un label est un gage de qualité? • Les éditeurs accepteront-ils un label? • Est-ce qu’une thèse peut être considérée comme un ouvrage? • Peut-on définir un noyau de productions académiques qui devrait être en accès ouvert?
Qui publie des livres? : REF
RobinBa: La dissémination dans les
sciences humainesQu’est ce qu’un ouvrage?
Monographie, actes…. et deux ratons laveurs
• Ouvrages académiques
– Monographies – combien d’auteurs?
– Les ouvrages collectifs
• Issus d’un véritable travail collectif ou une collection de textes sur une
thématique
• Valoriser un travail réel d’édition et de coordination
• Assurer la reconnaissance et la disponibilité à long terme des chapitres
• Les actes
– Prise en compte du type d’évènement – grands colloques
internationaux, colloque national ou local, ateliers de travail
• La vulgarisation
– Manuels
– Traductions
• Les ouvrages hybridesLa prise en compte des ouvrages
• Monographies
– Mal notés dans les systèmes à points, plusieurs articles peuvent être
plus rentables
• Ouvrages collectifs
– Souvent le travail d’éditeur n’est pas pris en compte
• Les chapitres d’ouvrage
– Moins notés que les articles
• Les actes
– Pas pris en compte
• Manuels
– Pas pris en compte
• Académique et le reste
– Le cas des ouvrages hybridesLes effets pervers de l’évaluation
• L’imposition du livre comme marqueur de nouveauté
– Une obligation de publier pour les besoins de recrutement ou
de promotion (Mickey Mouse publishing (US))
• Les ouvrages que personne ne va lire
• Les ouvrages que personne n’a les moyens d’acheter
• Contourner le système par points
– Il peut être plus rentable de saucissonner que d’écrire un livre
– Les livres de circonstances – peu de texte, beaucoup
d’illustrations
– Renommer les actes > "ouvrage collectif"
– Ne mettre jamais le mot "manuel" dans le titre
– Un ouvrage publié à l’étranger gagne davantage de pointsLes bons signaux, les mauvais signaux
• Uniquement de la recherche académique
– L’impact sociétal devient dévalorisé donc les
chercheurs risquent de réduire leurs capacités
d’innovation en dissémination
– Pourquoi faire un manuel universitaire si c’est
méprisé – on laisse le terrain au moins cultivé?Comment assurer la qualité d’un
ouvrage?
• La réputation de l’éditeur?
• Le système de gestion de l’éditeur?
• Les comptes rendus?
• Autres?Les classifications
• Les listes d’éditeurs
– Université de Limerick
• Liste basée sur les listes australiennes
• Uniquement les grandes maisons anglophones!
• Scholarly Publishers Indicators
– http://ilia.cchs.csic.es/SPI
– Les listes des autres pays, sont-elles fiables?
– S’agit-il de bons éditeurs ou simplement des plus visibles?
• Les Éditeurs parasites
– Ils sont très présents
– Ils répondent à un marché,
• il faut peut-être revoir le marché.
– Le fait qu’un ouvrage soit publié par un éditeur parasite ne signifie pas
qu’il est mauvaisLes solutions
• Labelliser les éditeurs
– La solution finlandaise
– Les éditeurs joueront-ils le jeu?
• L’édition académique est un marché, est-ce que nous pesons
suffisamment?
• Créer des bases de données euro-compatibles
afin d’analyser, et pas nécessairement pour
évaluer, la production
– VIRTA (ENRESSH WG3)
– Élargir le champ VIRTALabelliser les éditeurs
• Guaranteed Peer Reviewed Content (GPRC) label
pour les ouvrages uniquement
– Flandres depuis 2010
• Federation of Finnish Learned Societies, Label for
Peer-Reviewed Publications
– Finland depuis 2014 pour les revues et les ouvrages.
• CEA-APQ (Academic Publishing Quality) label
– Espagne depuis 2016 (les séries des presses
universitaires).Améliorer et mieux valoriser la
production d’ouvrages
• Réduire la demande inutile
– La publication d’un monographie doit répondre à
un besoin et de ne plus être une nécessité
– Le nombre de pages n’est pas un gage de qualité
• La qualité du calcul aussi
– Introduire des critères quantitatifs, mais pas
nécessairement des décomptes de citationsContrôler les éditeurs et les ouvrages • Est-ce que l’ouvrage fait partie d’une série avec éditeur reconnu dans le discipline • Est-ce que l’ouvrage est soumis à une relecture par un ou plusieurs experts indépendants • Est-ce que l’éditeur possède une véritable réseau de distribution? • Est-ce que le livre apparaît dans les catalogues des bibliothèques universitaire? • Est-ce que des comptes-rendus indépendants existent dans des revues reconnues
Open Access
• Promouvoir l’accès ouvert pour un noyau de
productions académiques
– Thèses, actes de colloque, rapports, en créant des filières
subventionnées pour leur publication par des presses
universitaires qui respectent un label de qualité
• Améliorer l’accès long terme des chapitres de livres
– Chaque chapitre doit bénéficier d’un identifiant – DOI ou
autre
– Les auteurs gardent les mêmes droits de diffusion que
pour les articles de revue
– Après une période raisonnable, les chapitres deviennent
disponibles en Open AccessConclusion: le rôle des livres
• Pour qu’ils soient mieux pris en compte dans les
évaluations, afin d’assurer leur qualité, il faut:
– Établir une typologie qui prendra en considération des
spécificités des disciplines
– Prendre en considération l’ensemble de la production livresque
des chercheurs
– S'assurer que le monographie est l’exception et pas la règle
– Exiger un réel travail éditorial dans les ouvrages collectifs
– Labelliser les éditeurs pour qu’ils assurent un bon niveau de
publication
– Développer l’accès ouvert pour le noyau académique
– Promouvoir des embargos pour que les chapitres d’ouvrages
soit mieux valorisés et restent disponibles dans le tempsBibliographie • Galleron, Ioana, et Geoffrey Williams. 2016. « Understanding the strategies of research dissemination in French SSH research : a presentation of DisValHum/ IMPRESHS projects Quality in the SSH research, collected works by M. Ochsner and H.-D. Daniel, Zürich. » In Research Assessment in the Humanities, édité par Michael Ochsner et Hans Dieter Daniel. Springer Verlag. DOI 10.1007/978-3- 319-29016-4_14. • Williams, Geoffrey, Antonella Basso, Ioana Galleron, et Tiziana Lipiello. 2018. « More, Less or Better: The Problem of Evaluating Books in SSH Research ». In The Evaluation of Research in Social Sciences and Humanities: Lessons from the Italian Experience, édité par Andrea Bonaccorsi, 133-58. Cham, Switzerland: Springer Verlag.
Vous pouvez aussi lire
