The Leiden manifesto for research Metrics, Nature, 520, 429-431
by Diana Hicks, Paul Wouters, Ludo Waltman, Sarah de Rijcke & Ismael Rafols.
http://www.leidenmanifesto.org/
Diana Hicks est professeur de politique publique au Georgia Institute of Technology d’Atlanta (Géorgie) aux États-Unis. Paul Wouters est professeur de scientométrie et directeur, Ludo Waltman est chercheur et Sarah de Rijcke est ‘assistant professor’ au Centre for Science and Technology Studies de l’université de Leiden, aux Pays-Bas. Ismael Rafols est chercheur en politique scientifique au Conseil supérieur de la recherche scientifique, à l’Université polytechnique de Valence, en Espagne et à l’Observatoire des Sciences et Techniques du Haut conseil de l’évaluation de la recherche et de l’enseignement supérieur, à Paris.
Version française par Ghislaine Filliatreau, directrice de l’Observatoire des Sciences et Techniques du Haut Conseil à l’Evaluation de la Recherche et de l’Enseignement supérieur.
http://www.obs-ost.fr/manifesto
Les chiffres sont de plus en plus utilisés pour piloter la recherche. Les évaluations de la recherche qui étaient auparavant faites « à façon » par des pairs sont aujourd’hui routinisées et s’appuient sur des mesures [1]Wouters, P. dans Beyond Bibliometrics: Harnessing Multidimensional Indicators of Scholarly Impact (Éds Cronin, B. & Sugimoto, C.) 47–66 (MIT Press, 2014).. Le problème est qu’à présent ces évaluations ne sont plus fondées sur des réflexions mais sur des indicateurs. Et les indicateurs utilisés se sont multipliés : des indicateurs généralement bien intentionnés, pas toujours bien renseignés et souvent mal appliqués. Nous risquons de nuire au système en utilisant les outils mêmes qui ont été conçus pour l’améliorer, car les évaluations sont de plus en plus souvent réalisées par des structures qui n’en ont aucune connaissance ou ne bénéficient d’aucun conseil en matière de bonnes pratiques et d’interprétation.
Avant 2000, on s’appuyait sur le Science Citation Index via un CD-ROM de l’Institute for Scientific Information (ISI), utilisé par les experts pour des analyses spécialisées. En 2002, Thomson Reuters a lancé une plateforme en ligne, qui rend la base de données Web of Science accessible au plus grand nombre. Depuis lors, deux autres sources de citation sont apparues : Scopus de Elsevier (lancé en 2004), et Google Scholar (version bêta lancée en 2004). Des outils en ligne permettant de comparer facilement la productivité et l’impact de la recherche institutionnelle ont été introduits, comme InCites (utilisant le Web of Science) et SciVal (utilisant Scopus), ainsi qu’un logiciel permettant d’analyser les profils de citation des auteurs à l’aide de Google Scholar (Publish or Perish, lancé en 2007).
En 2005, Jorge Hirsch, un physicien de l’université de San Diego en Californie a proposé le « h-index » popularisant ainsi le comptage de citations pour les chercheurs. De même, l’intérêt pour le facteur d’impact des revues scientifiques n’a cessé d’augmenter depuis 1995 (voir encart « L’obsession pour le facteur d’impact »).
Plus récemment, les mesures liées à l’usage social et aux commentaires en ligne ont pris de l’ampleur : F1000Prime a été créé en 2002, Mendeley en 2008 et Altmetric.com (soutenu par Macmillan Science and Education, qui détient le groupe Nature Publishing) en 2011.
En tant que scientomètres, spécialistes des sciences sociales et administrateurs de la recherche, nous avons observé avec une inquiétude grandissante le mauvais usage des indicateurs dans l’évaluation de la performance scientifique. Les exemples qui suivent ne sont qu’une fraction de ce que l’on peut observer. Les universités du monde entier sont devenues obsédées par leur position dans les classements académiques internationaux (comme le classement de Shanghai et la liste du Times Higher Education), même si celles-ci sont basées, selon nous, sur des données inexactes et des indicateurs arbitraires. Certains recruteurs exigent que les candidats fournissent leur h-index.
Des universités basent leurs décisions de promotion sur des valeurs-seuils de h-index et sur le nombre d’articles publiés dans des revues scientifiques « à fort impact ». Les CV des chercheurs sont devenus l’occasion de se vanter de ces scores, particulièrement en biomédecine. Partout, les directeurs de thèse demandent à leurs doctorants de publier dans des revues « à fort impact » et d’obtenir des financements externes avant même d’y être prêts.
Dans les pays scandinaves et en Chine, certaines universités allouent des subventions de recherche ou des primes sur la base d’un indicateur: par exemple, en utilisant le score d’impact individuel pour affecter des « financements à la performance », ou en accordant une prime aux chercheurs qui publient dans une revue ayant un facteur d’impact supérieur à 15 [2]Shao, J. & Shen, H. Learned Publishing 24, 95–97 (2011)..
Dans de nombreux cas, les chercheurs et les évaluateurs continuent à faire preuve de discernement. Pour autant, l’abus d’indicateurs concernant la recherche est devenu trop répandu pour être ignoré.
Nous présentons donc le Manifeste de Leiden, du nom de la conférence au cours de laquelle il a vu le jour (voir http://sti2014.cwts.nl). Ses dix principes ne sont pas nouveaux pour les scientomètres, même si aucun d’entre nous n’avait jusqu’ici pu les énoncer aussi clairement, faute de langage commun. D’éminents chercheurs dans ce domaine, comme Eugene Garfield (fondateur de l’ISI), ont déjà énoncé certains de ces principes [3]Seglen, P. O. Br. Med. J. 314, 498–502 (1997). [4]Garfield, E. J. Am. Med. Assoc. 295, 90–93 (2006).. Mais ces experts ne sont pas là quand les évaluateurs rédigent leur rapport d’évaluation à l’attention d’administrateurs qui, eux-mêmes, ne sont pas des experts de la méthodologie. Et les chercheurs qui cherchent des textes de référence pour contester une évaluation ne trouvent que des informations éparses dans ce qui est, pour eux, des revues aux contenus complexes auxquelles ils n’ont pas forcément accès.
Aussi nous proposons ici un condensé des bonnes pratiques en matière d’évaluation de la recherche basée sur les indicateurs, afin que les chercheurs puissent demander des explications aux évaluateurs, et que les évaluateurs puissent interroger l’exactitude de leurs indicateurs.
LES DIX PRINCIPES
Ce pluralisme et cette importance sociétale tendent à être minorés en faveur de la rédaction d’articles n’intéressant que les « gardiennes des publications à fort impact » : les revues anglophones. Les sociologues espagnols les plus cités dans le Web of Science ont travaillé sur des modèles abstraits ou étudié des données américaines. Sont ainsi perdus de vue des travaux spécifiques menés par des sociologues publiant dans des revues à fort impact hispanophone, sur des sujets tels que le droit du travail local, les soins de santé en milieu familial ou l’emploi des immigrés [5]López Piñeiro, C. & hicks, D. Res. Eval. 24, 78–89 (2015).. Les indicateurs fondés sur des revues de haute qualité non anglophones devraient servir à identifier et à récompenser l’excellence dans des domaines de recherche d’intérêt local.
La simplicité est une vertu pour un indicateur, parce qu’elle renforce la notion de transparence. Mais des indicateurs simplistes peuvent déformer les choses (voir le principe 7). Les évaluateurs doivent s’efforcer de trouver un équilibre en s’appuyant sur des indicateurs simples reflétant fidèlement la complexité du processus de recherche.
Les taux de citations varient selon les domaines : les revues mathématiques les mieux classées ont un facteur d’impact d’environ 3 ; les revues de biologie cellulaire les mieux classées ont un facteur d’impact d’environ 30. Il est donc nécessaire d’utiliser des indicateurs normalisés. La méthode de normalisation la plus fiable est basée sur les percentiles : chaque article est pondéré sur la base du percentile dans lequel il se trouve dans la répartition des citations de ce domaine (les top 1 %, 10 % ou 20 %, par exemple). Une seule publication à fort taux de citation améliore légèrement la position d’une université dans un classement basé sur des indicateurs en percentile, mais dans le cas d’un classement basé sur des moyennes de citations, la même publication peut faire passer l’institution du milieu au haut du classement [7]Waltman, L. et al. J. Am. Soc. Inf. Sci. Technol. 63, 2419–2432 (2012)..
PROCHAINES ÉTAPES
Guidée par ces dix principes, l’évaluation de la recherche devrait pouvoir jouer un rôle important dans le développement de la science et de ses interactions avec la société. Les indicateurs sur la recherche peuvent fournir des informations essentielles qu’il serait difficile de collecter ou de comprendre par des expertises individuelles. Mais il faut veiller à ne pas faire de l’instrument que constituent ces informations quantitatives un objectif, une fin en soi.
Les meilleures décisions sont prises en associant des méthodes de calcul fiables et une capacité à apprécier la portée et la nature des recherches évaluées. Des éléments d’appui à la fois quantitatifs et qualitatifs sont nécessaires ; chacun est objectif à sa façon. La décision en matière de science doit être fondée sur des processus rigoureux, renseignés par des données de qualité.
Illustration :
SOURCE DES DONNÉES : THOMSON REUTERS, WEB OF SCIENCE ; ANALYSE : D.H., L.W.
References