Un modèle de référence pour l'évaluation de la science ouverte
2021
Etudes & rapports
Le rapport expose le concept du profil d'ouverture (openness profile), un mécanisme qui prend en compte la diversité des activités de recherche et permet ainsi d'améliorer la reconnaissance et la rétribution de la pratique de la science ouverte. Le rapport présente des recommandations pour réaliser le PO : une à un niveau collectif et les autres pour les acteurs.  

Profil d’ouverture de Knowledge Exchange : Un modèle de référence pour l’évaluation de la science ouverte

Synthèse du rapport et des recommandations rédigés pour Knowledge Exchange par Phill Jones (PhD) et Fiona Murphy (PhD), MoreBrains Consulting Cooperative Ltd.

La version française a été produite par Serge Bauin (DDOR-CNRS), Jean-François Nominé (Inist-CNRS) et Manon Parrinello (Université de Haute-Alsace et Inist-CNRS).

Synthèse

Le profil d’ouverture (PO) [1]Note de traduction : le terme « profil d’ouverture » renvoie à la locution « openness profile », une création lexicale qui a pour ambition de désigner un référentiel d’actions de recherche diversifiées que la numérisation des travaux de recherche permet et que l’avènement de la science ouverte favorise. Les composantes de ce référentiel correspondraient à des paramètres nouveaux de signalement et d’appréciation de la recherche accomplie par un acteur individuel ou collectif. Le terme de « profil science ouverte » a pu apparaître dans d’autres documents en langue française. a vocation à être une ressource numérique dans laquelle les résultats et les activités d’un contributeur à la recherche qui concourent à son ouverture seraient accessibles en un seul endroit.

Les activités de recherche dépassent largement celles généralement examinées lors des sessions d’évaluation dans les activités de recrutement, de promotion et de financement. En plus des publications, elles peuvent inclure, sans s’y limiter : la rédaction ou la refonte de logiciels informatiques, l’élaboration de plans de gestion des données, la conservation des données pour l’interopérabilité, le développement d’infrastructures et la cartographie des flux de travail de la recherche. Les activités d’enseignement, y compris les conférences, la conception de cours, de programmes et plans d’enseignement, ainsi que de formations à la pratique de la science ouverte, sont également des contributions essentielles à la formation de la prochaine génération de chercheurs. Dans ce rapport, nous exposons le concept du profil d’ouverture (PO), qui créerait un mécanisme permettant d’améliorer la reconnaissance et la rétribution de la pratique de la science ouverte.

Le PO est conçu comme un portefeuille de contributions à la science ouverte organisé par les contributeurs eux-mêmes, comme décrit dans une présentation de Clifford Tatum lors de l’atelier sur le profil d’ouverture en juillet 2020. Dans sa mise en œuvre initiale, le PO s’intégrerait à ORCID et offrirait un moyen de compléter ses rubriques tout en faisant partie de la notice ORCID :

 

Un schéma représentant le PO sous la forme d’un portefeuille de contributions à la science ouverte, que l’utilisateur gérerait lui-même. Le PO comprendrait une composante rédactionnelle pour permettre aux chercheurs de situer leurs travaux dans leur contexte, ainsi que des contributions issues de leur notice ORCID et d’informations présentes sur le web. D’autres contributions ne comportant pas d’URL comme texte descriptif seraient possibles.

Le PO pourrait être intégré aux sessions d’évaluation menées par les institutions et les financeurs afin de permettre la reconnaissance et la rétribution des activités de science ouverte, dont beaucoup sont alignées sur les missions de ces organisations mais sont actuellement invisibles ou non reconnues.

Par extension, les contributions à la science ouverte pourraient être réassemblées au travers de différents groupes. Il peut s’agir de groupes de recherche, de départements, d’institutions, d’entreprises privées ou de financeurs. Nous relevons qu’un profil ainsi agrégé nécessiterait un identifiant approprié pour ces groupes. Ceux-ci existent, notamment l’identifiant RAiD, développé par l’ARDC, qui est avant tout un identifiant de projet mais qui pourrait également être utilisé à cette fin. Cependant, en raison des objectifs et des moyens disponibles pour ce rapport, nous nous concentrons pour l’essentiel ici sur le profil d’ouverture à l’échelle individuelle.

La nécessité d’une action collective

À l’échelle mondiale, le système académique est complexe et implique des acteurs différents et nombreux. Parmi ceux-ci, on peut trouver les financeurs nationaux non gouvernementaux, les organismes de recherche nationaux, les institutions universitaires, les organismes de recherche commerciaux, les fournisseurs de technologies et d’infrastructures, les sociétés savantes, les éditeurs commerciaux et les sociétés commerciales prestataires de services d’information. Chacun a ses propres motivations et besoins, qui peuvent être contradictoires. De plus la situation est compliquée parce que la recherche est de plus en plus menée au niveau mondial mais elle est généralement financée et évaluée à partir d’objectifs stratégiques nationaux ou régionaux.

Des ambitions contradictoires, combinées à de puissants effets de réseau dont pâtissent ceux qui s’écartent des normes sectorielles en matière d’évaluation et de pratique de la recherche, font qu’il est difficile pour les individus comme pour les organisations de s’ouvrir davantage sans risquer de subir des conséquences négatives réelles ou ressenties.

Nombre des défis associés à la transition vers une science ouverte sont d’ordre économique. La difficulté de changer tout système complexe de nature économique est que chaque acteur aura tendance à se comporter d’une manière qui s’aligne le plus possible sur ses propres motivations. Le changement systémique vers l’ouverture nécessite donc une action collective pour permettre un changement culturel qui modifie ces incitations.

Que crédit soit donné là où il se doit

Un changement culturel important est nécessaire pour créer un système efficace de reconnaissance et de rétribution pour les contributions à la science ouverte. Une confiance excessive dans les mesures traditionnelles telles que le nombre de citations, et dans des indicateurs obsolètes comme le prestige des revues et leur facteur d’impact, fausse les comportements des chercheurs et limite les types d’activités pour lesquelles les contributeurs peuvent être récompensés individuellement. Par exemple, le fait de se fier à des articles publiés pour revendiquer une provenance crée un risque pour des contributeurs à la recherche qui partagent des résultats encore à des stades antérieurs, comme des jeux de données et des programmes d’analyse.

La progression de carrière est entravée pour les personnes dont les contributions ne sont pas conformes à cet ensemble étroit de caractéristiques, ce qui entraîne une perte de talents et une carence de diversité des compétences dans le milieu académique. En plus d’être fondamentalement injuste, ce monolithisme culturel engendre à son tour de mauvaises pratiques et de mauvais résultats de recherche en raison du manque de compétences essentielles. Cela fonctionne dans deux directions. Tout d’abord, les praticiens de la recherche qui sont experts en science des données, en gestion de projet et en programmation informatique ont tendance à quitter le monde universitaire pour occuper des postes dans l’industrie. Deuxièmement, le personnel de soutien à la recherche dans les universités n’est pas récompensé pour ses contributions à la recherche et à ses résultats. Parce que ces dernières sont occultées, elles ne peuvent être pleinement quantifiées, comprises ou exploitées.

Une première étape pour améliorer la diversité des contributions et la reconnaissance des contributeurs consiste à créer une taxonomie commune des contributions et des contributeurs à la recherche (à l’instar de l’initiative CRediT). En faisant ressortir ce travail resté invisible, il devient possible de caractériser, de mesurer et de récompenser des activités dans une démarche d’évaluation de la recherche plus large.

Des investissements nécessaires pour les infrastructures de recherche numériques

Les pratiques actuelles d’évaluation de la recherche sont entravées par des procédures de remontées de rapports trop lourdes qui font peser un fardeau trop important sur les chercheurs, le personnel de soutien et les administrateurs. Il en résulte un manque de conformité dans la saisie des données, des métadonnées de mauvaise qualité, des efforts vains et redondants, et une dégradation des informations à caractère probant pour les décideurs politiques.

Les identifiants pérennes (ou PID), les métadonnées qui leur sont associées et les intégrations informatiques modernes par le biais d’API sont nécessaires pour améliorer le flux d’informations entre les financeurs, les organismes de recherche nationaux, les évaluateurs, les institutions, les éditeurs et les contributeurs individuels à la recherche.

Actuellement, les systèmes d’information des financeurs sont sous-financés et insuffisamment développés. Les PID ne sont pas suffisamment adoptés et l’interopérabilité avec les acteurs en aval est faible, voire inexistante. Les systèmes d’information en ligne sur les recherches menées dans les institutions, appelés CRIS (pour « Current Research Information System ») – ou encore RIS/RIM – et les entrepôts institutionnels (IR) évoluent, avec une interopérabilité toujours plus grande, mais il reste encore beaucoup à faire autour des standards d’échange d’informations et sur les bonnes pratiques.

Compétences et connaissances : des lacunes

Le niveau de compréhension des décideurs des politiques de recherche, envers la nécessité d’une science ouverte et les capacités indispensables pour la mettre en œuvre, est très inégal. Il est essentiel de sensibiliser davantage les hauts dirigeants et d’améliorer leur formation pour qu’ils comprennent la nécessité du changement et les mécanismes qui peuvent et doivent être utilisés pour y parvenir.

Au sein des institutions de recherche, il existe d’importantes lacunes en matière de compétences au niveau des praticiens. Une formation plus poussée est nécessaire en matière de reproductibilité, de gestion des données, de programmation informatique et de flux de travail de recherche ouverts.

Une prospective au sujet du concept de profil d’ouverture

Les conclusions de ce rapport sont basées sur une étude de 18 mois comprenant des entretiens, des ateliers et des groupes de discussion auxquels ont participé collectivement 80 personnes de 48 organisations différentes, représentant un large éventail des intervenants de l’écosystème de la recherche et de la communication académique. Le projet a débuté par une série de 20 entretiens semi-structurés avec des représentants clés de tous les types d’acteurs, dont les résultats ont été présentés dans le rapport : Openness Profile: Defining the Concepts. La consultation s’est poursuivie sous la forme d’un atelier virtuel réunissant différents acteurs et destiné à d’identifier les défis et les opportunités impliquant le PO, et autour de cinq groupes de discussion ciblés où des cas d’usage préliminaires ont été identifiés.

Recommandations

Le rapport présente une série de recommandations dans sa section 8. Dans un premier temps, celles-ci portent sur la mise place d’une action collective suivant différentes étapes pour réaliser le PO. Cette section décline ensuite des recommandations plus spécifiques aux différents acteurs : les financeurs, les organismes de recherche nationaux, les fournisseurs d’infrastructures et les institutions académiques. Ces recommandations s’appliquent à améliorer la formation, les infrastructures techniques et les pratiques d’évaluation.

1. Miser sur l’action collective

Pour que des progrès significatifs puissent être réalisés dans la mise en œuvre du PO (qui lui-même facilite et encourage le développement des pratiques de science ouverte et ses résultats), il est nécessaire de s’appuyer sur un consensus au sein des communautés. Pour cela, le rapport distingue des recommandations s’adressant à des acteurs de haut niveau et une série d’autres préconisations par types d’organisations.

Les recommandations qui s’adressent aux acteurs de haut niveau proposent :

  1. qu’un sommet soit organisé et réunisse les parties prenantes ;
  2. qu’un groupe de travail soit créé pour approfondir la mise en place du PO ;
  3. que son déploiement soit placé sous le parrainage d’une institution qui en assure la pérennité.

2. Réunir un sommet des acteurs

Il s’agit d’y réunir les intervenants concernés à laquelle les principaux acteurs de la communauté de la recherche seront invités à participer. Le but serait de dégager un consensus soutenu ainsi que des collaborations. Pour cela, seraient invités les acteurs suivants :

  • décideurs politiques ;
  • financeurs ;
  • dirigeants d’institutions ;
  • responsables de la recherche au sein d’institutions;
  • administrateurs de données et conservateurs ;
  • bibliothécaires spécialisés dans un domaine disciplinaire et en charge de données ;
  • formateurs à la science ouverte ;
  • chercheurs à différentes étapes importantes de leurs carrières ;
  • experts en infrastructures ;
  • fournisseurs et développeurs de technologies ;
  • organismes de normalisation ;
  • distributeurs de CRIS.

3. Créer un groupe de travail permanent

Celui-ci aurait pour tâches essentielles :

  • élaborer un modèle de gouvernance communautaire ;
  • valider un modèle de référence du PO ;
  • définir les taxonomies des contributeurs et des contributions ;
  • permettre la facilitation technique des flux de gestion de la recherche ;
  • étudier les infrastructures et analyser leurs lacunes.

4. Le profil d’ouverture nécessite au moins un parrainage

Il est nécessaire que soit identifiée une structure de parrainage qui joue le rôle de chef de file et assure un financement à long terme, soit une seule institution, soit une petite coalition d’organisations autour d’un intérêt commun et d’une mise en œuvre minimale et viable.

Celle-ci s’articulerait autour des tâches suivantes pour pérenniser le PO de base:

  • élaboration de cas d’usage détaillés qui s’appuient sur les cas préliminaires présentés à la section 5 ;
  • rassemblement de témoignages d’utilisateurs pour inspirer les besoins de développement ;
  • agir en tant que partenaire de développement vis-à-vis de tiers fournisseurs de systèmes de financement, de systèmes institutionnels de gestion de la recherche et de dépôts institutionnels afin d’identifier et de prioriser les besoins non satisfaits des utilisateurs (section 7) ;
  • concevoir les intergiciels pour connecter les systèmes d’information à l’aide de métadonnées de type identifiant pérenne (sections 6.6 et 7.6) ;
  • collaborer avec les services informatiques des divers acteurs pour élaborer des directives de mise en œuvre et des bonnes pratiques (section 6.6) ;
  • coordonner des programmes de formation à la science ouverte, en travaillant en étroite collaboration avec les organisations qui soutiennent déjà les communautés de pratique (Annexe D).

5. Recommandations spécifiques aux différents types d’acteurs

S’ajoutent à ces recommandations de niveau général, d’autres qui s’adressent aux financeurs, organismes de recherche nationaux, fournisseurs d’infrastructures et institutions.

 

 

 

 

 

References[+]