Ouvrir la Science

Types de documents et activités éligibles à une évaluation
2019
Notes du Comité
La mise en œuvre de la science ouverte nécessite la prise en compte de l’ensemble des processus et activités de recherche dans l’évaluation. Dans ce but, le document liste les types de documents et productions élaborés pendant le cycle de la recherche et leurs modes de diffusion ouverte ainsi que les types d'activités éligibles à une évaluation.  

Types de documents, productions et activités valorisées par la science ouverte et éligibles à une évaluation

Comité pour la science ouverte, version 1, novembre 2019

De nombreux acteurs s’accordent à dire que la mise en œuvre de la science ouverte nécessite la prise en compte de l’ensemble des processus et activités de recherche dans l’évaluation. Celle-ci concerne tout autant les publications que les projets de recherche, les personnes, les collectifs ou les institutions, et leurs interactions avec la société. Le Plan national pour la science ouverte souligne en particulier l’importance de prendre en compte une approche qualitative plutôt que quantitative et cite le manifeste de Leiden (Hicks & al., 2015) et la déclaration de San Francisco sur l’évaluation de la recherche (DORA, 2012). Même si des démarches similaires préexistaient au mouvement pour la science ouverte, ce dernier vise à les rendre visible, à les légitimer et à les pérenniser.

Ces recommandations du Comité pour la science ouverte s’appuient sur celles de l’Open Science Platform Policy (OSPP) qui fédère les efforts et les stratégies de l’Union Européenne autour de 8 piliers prioritaires dont deux propres aux questions d’évaluation : l’incitation aux pratiques d’ouverture et à leur reconnaissance ; le déploiement d’une nouvelle génération d’indicateurs de la recherche. Dans ces recommandations, destinées à l’ensemble des institutions pilotant des systèmes d’évaluation, nous avons retenu deux dimensions essentielles qui sont au cœur de la science ouverte.

1/ Le Comité pour la science ouverte encourage la valorisation des bonnes pratiques de science ouverte, en particulier celles qui incitent à la mise à disposition de l’ensemble des types de documents et plus largement de produits de la recherche, incluant mais ne se limitant pas aux données et aux publications. En effet, cette mise à disposition facilitera d’une part la pleine prise en compte de la diversité des contributions individuelles et collectives à la recherche, d’autre part incitera à la prise de connaissance du contenu de ces productions et à leur évaluation qualitative.

2/ Le Comité pour la science ouverte soutient la reconnaissance de la gamme complète des activités de recherche, dans la pluralité des champs disciplinaires, par opposition à des dispositifs qui seraient uniquement centrés sur les publications scientifiques, voire sur une partie limitée d’entre elles ou sur des indicateurs qui en résultent (McKiernan & al., 2019). De même, il s’agit de renforcer la reconnaissance des nouvelles configurations des formes de savoirs, pluridisciplinaires, et notamment de science citoyenne.

Pour ce faire, sont distinguées dans ce qui suit :

  • 17 types de produits et documents ; tableau 1 : « Types de documents et productions élaborés au sein de l’ensemble du cycle de la recherche et leurs modes de diffusion ouverte »,
  • 12 types d’activités ; tableau 2 : « Types d’activités valorisées par la science ouverte et éligibles à une évaluation ». Les activités du tableau 2 peuvent donner lieu à de la production documentaire, et dans ce cas, elle relève des recommandations du tableau 1.

Dans le respect des principes légaux et réglementaires encadrant l’ouverture et la diffusion des résultats et données de recherche, nous recommandons de suivre le principe « aussi ouvert que possible, aussi fermé que nécessaire ».

Les documents et productions visés au tableau 1 ne peuvent être considérés comme pleinement ouverts que s’ils sont rendus publics sous les conditions d’une licence dite libre ou ouverte. En effet, un objet diffusé sans licence est certes consultable par les tiers, ce qui constitue une forme minimale d’ouverture, mais ses modalités de réutilisation ne sont pas connues. Le choix final de la licence appartient à ceux qui rendent publics leur production, dans le respect du décret n° 2017-638 (Premier Ministre, 2017) [1]Selon le choix de la licence, les modalités de réutilisation peuvent varier. A minima, la licence permet l’accès et la diffusion non commerciale du document sans modification (par exemple Licence Creative Commons CC BY-NC-ND-SA). Dans sa forme la plus libérale, sous condition de mentionner l’auteur, la licence permet l’accès, la diffusion commerciale et la modification (par exemple : Creative Commons CC BY ; pour les logiciels : GNU General Public License (GNU GPL) ; Licence CeCILL ; pour certains documents non logiciels : Licence Art Libre (LAL), Licence libre (LLD), European Union Public Licence (EUPL), Licence ouverte (LO.)).

Au-delà d’une licence, les dispositifs de publication, d’hébergement et d’archivage des documents et productions ont vocation à se conformer aux critères d’exemplarité, définis par le Comité pour la Science ouverte (2019).

Le Comité pour la science ouverte recommande à toutes les instances et institutions ayant des activités d’évaluation de discuter, diffuser et d’adapter ces bonnes pratiques à leur contexte. Cela inclut notamment les organismes de financement de la recherche, les instances de publication et d’évaluation. Les communautés et institutions demeurent souveraines dans leurs adaptations de ces recommandations, notamment dans l’agrégation, la qualification et la hiérarchisation des types de productions et documents. Le Comité pour la science ouverte attend une transparence de ces opérations, et notamment la justification des raisons pour lesquelles certaines productions ou activités ne seraient pas pris en compte dans leurs évaluations.

Contact

Ce document a vocation à être enrichi et mis à jour. Pour le commenter, écrivez à coso@recherche.gouv.fr

Bibliographie citée et documents utilisés

Comité pour la Science ouverte (2019). Critères d’exemplarité en vue de financements par le Fonds national pour la science ouverte via les plateformes, infrastructures et contenus éditoriaux. Disponible sur : https://www.ouvrirlascience.fr/criteres-dexemplarite-financements-fonds-national-science-ouverte/

Commission européenne (2017). Evaluation of Research Careers fully acknowledging Open Science Practices Rewards, incentives and/or recognition for researchers practicing Open Science, 2017. Disponible sur : https://ec.europa.eu/research/openscience/pdf/ospp_rewards_wg03112017.pdf

DORA (2012). San Francisco Declaration on Research Assessment. Disponible sur : https://sfdora.org/read/

HCERES, Guides des produits de la recherche, 2019. Disponible sur : https://www.hceres.fr/fr/guides-des-produits-de-la-recherche-et-activites-de-recherche-0

Hicks, D., Wouters, P., Waltman, L., de Rijcke, S., & Rafols, I. (2015). The Leiden Manifesto for research metrics. Nature, 520, pp. 429-431. Disponible sur : http://www.leidenmanifesto.org/

McKiernan EC, Schimanski LA, Muñoz Nieves C, Matthias L, Niles MT, Alperin JP. (2019). Use of the Journal Impact Factor in academic review, promotion, and tenure evaluations. PeerJ Preprints DOI :  10.7287/peerj.preprints.27638v2

Premier Ministre (2017). Décret n° 2017-638 du 27 avril 2017 relatif aux licences de réutilisation à titre gratuit des informations publiques et aux modalités de leur homologation, JORF n°0100 du 28 avril 2017. Disponible sur : https://www.legifrance.gouv.fr/affichTexte.do?cidTexte=JORFTEXT000034502557&categorieLien=id

 

Bibliographie indicative pour aller plus loin

European Commission. (2016). Evaluation of Research Careers fully acknowledging Open Science practices. Disponible sur : https://ec.europa.eu/research/openscience/pdf/os_rewards_wgreport_final.pdf

Krzton, A. (2019). Support Scholars Who Share: Combating the Mismatch between Openness Policies and Professional Rewards. In ACRL 2019 (pp. 578–586). ACRL. Disponible sur : http://aurora.auburn.edu/handle/11200/49374

Nichols, D. M., Twidale, M. B., (2017). Metrics for Openness. JASIST 68 (4), 1048–1060.
Disponible sur : https://researchcommons.waikato.ac.nz/bitstream/handle/10289/10842/nichols-metrics-openness-jasist.pdf

Turckheim, E. de, Legouy, É. L., & Leclerc, L.-A. (2016). EREFIN Groupe de travail inter-établissements sur l’évaluation de la recherche finalisée. Rapport. Disponible sur : https://prodinra.inra.fr/?locale=fr#!ConsultNotice:352302

Wynne, R. (2019). Using ORCID to Re-imagine Research Attribution. Disponible sur : https://orcid.org/blog/2019/07/25/using-orcid-re-imagine-research-attribution

 

Tableau 1 : Types de documents et de productions élaborés au cours de l’ensemble du cycle de la recherche et leurs modes de diffusion ouverte

Type de documents et productions

Description

Exemples

Solutions pour diffusion en Science Ouverte

Exemples de lieux de diffusion

Publications certifiées

Toute publication postérieure à un processus d’évaluation par les pairs

Articles scientifiques, articles de synthèse, chapitres d’ouvrage, textes intégraux de communication, ouvrages, data papers, recensions…

Support en accès ouvert et dépôt dans une archive ouverte conforme,
préférentiellement HAL

https://hal.archives-ouvertes.fr/

Publications non certifiées

Toute publication n’étant pas passée par un processus d’évaluation par les pairs

« Preprints », « working papers », « letters », « editorial material », documents de travail, rapports d’expérience, rapports de fouille, rapports de
recherche, rapports d’expertise collective, films, catalogues d’exposition…

Dépôt dans une archive ouverte conforme, préférentiellement HAL

https://hal.archives-ouvertes.fr/

Communications

Tout type de communication dans une réunion scientifique

Posters, présentations vidéo, diapositives… à l’exception du texte intégral

Dépôt dans une archive ouverte conforme

https://zenodo.org/

https://www.snphpu.org/posters/base-de- posters_33.html

Textes diplômants

Tout texte produit dans le cadre d’une diplomation, dès le niveau Master

Mémoires de Master, de Magistère et d’Habilitation à Diriger des Recherches, thèses, thèses d’État

Diffusion via les bibliothèques pour le dépôt légal https:// star.theses.fr/ ; poussés
dans les archives ouvertes conformes, TEL, DUMAS et HAL

http://www.theses.fr/

https://tel.archives-ouvertes.fr

https://dumas.ccsd.cnrs.fr

Données

Tout type de données produites dans le cadre de la recherche, définies comme enregistrements factuels qui sont utilisés comme sources principales pour la recherche scientifique et sont généralement reconnus par la communauté́ scientifique comme nécessaires pour valider des résultats de recherche.

Données tabulaires, images, sons, vidéos, données 3D, séquençage, données d’observation, données d’instruments, bases de données relationnelles,
textes, annotations, etc.

Principe « aussi ouvert que
possible, aussi fermé que nécessaire », principes FAIR (Facile à
trouver, Accessible, Interopérable, Réutilisable)

https://zenodo.org/

https://www.huma-num.fr/consortiums

Plans de gestion de données

Plans élaborés dans le cadre de projets de recherche, incluant les formats, la description des données et les règles de partage.

Renseignement et dépôt dans une plateforme spécialisée

https://dmp.opidor.fr/public_plans

Logiciels

Tout type de code et d’interface

Distinguer

(1) les services accessibles en ligne (ex. application web),

(2) les logiciels téléchargeables-réutilisables (mais dont le code n’est pas ouvert),

(3) les logiciels libres et open-source.

En qualifier la réutilisabilité : documentation,
tutoriel communauté d’utilisateur, communauté de développement.

Dépôt dans une archive ouverte adéquate gérant les versions et moissonnée par Software Heritage

www.softwareheritage.org

Brevets

Tout type d’invention technique et/ou industrielle

Procédés de fabrication, méthodologie, processus innovant

A partir de la date officielle de publication (en général 18 mois après leur dépôt), les brevets sont visibles dans les bases des offices de brevets ; ils peuvent ensuite être moissonnés par une archive ouverte conforme. Pourraient aussi être déposés dans les archives des institutions qui en sont à l’origine.

https://bases-brevets.inpi.fr/fr/accueil.html

https://www.openinventionnetwork.com/

Projets de recherche

Tout type de projet à vocation de recherche

Résumé, synthèse ou proposition complète de projets financés. Les résultats du projet sont traités dans les autres types.

En l’absence de politiques institutionnelles actuellement définies, il faut viser le dépôt dans une archive ouverte conforme.

Protocoles de recherches

Description de méthodes, de démarche de recherche

Design d’essais cliniques

Dépôt dans une archive ouverte adéquate

https://www.protocols.io/

https://cos.io/rr/

https://clinicaltrials.gov/

Hypothèses de recherche

Pre-enregistrement et partage d’hypothèses avant de produire des expériences et des données

Blog de recherche, registered reports

https://cos.io/prereg/

Hypotheses.org

Appels à contribution

Texte intégral d’un appel

Articles, communications, session de colloque, projets de recherche…

Dépôt dans une archive ouverte adéquate

http://sciencesconf.org

http://calenda.org

Rapports de lecture et d’évaluation

Texte intégral de tout type d’évaluation

Articles, ouvrages, communications, projets de recherche

Dépôt sur le site du document visé ou sur une archive adéquate avec un pointeur vers le document visé

https://peercommunityin.org/

Documents pédagogiques

Tout type de support à la formation de niveau universitaire (Master et Doctorat)

Synopsis de cours, bibliographies thématiques, référentiels, polycopiés, exercices, tutoriels, manuels, présentations (diapositives, vidéo,…), MOOCs, prototypes numériques

Dépôt dans une archive ouverte adéquate

Intégration dans le portail ouvert de ressources pédagogiques de l’établissement

https://cel.archives-ouvertes.fr/

http://univ-numerique.fr/

https://www.canal-u.tv/

https://www.fun-mooc.fr/

Blogs et site Web

Tout type de présentation et communication scientifique à destination d’audiences
variées

Billets
de blogs

Archivage soit via une plateforme adéquate, soit par une solution propre

Hypotheses.org

Hcommons

Hastac

Plateformes

Ensemble de données, d’outils et de structures mis à disposition d’un public, par le biais d’une interface web ou d’API.

Plateformes de visualisation, de cartographies ou de photographies, fondées sur des données ouvertes, interrogeables et exploitables en temps réel.

Certaines plateformes constituent des dispositifs phares de recherche participative

Archive pérenne de la plateforme

https://www.tela- botanica.org/

https://ourworldindata.org

https://www.citique.fr/

https:// www.open-sciences-
participatives.org/home/

 

Tableau 2 : Types d’activités éligibles à une évaluation

Type d’activité

Description

Exemples

Animation scientifique : organisation d’événements

Séminaires, ateliers, workshop, tables rondes, …

https://www.sciencesconf.org

Animation scientifique : discussion

Discutant(e) de sessions, d’atelier, modération de débats, participation à des tables rondes,…

https://www.sciencesconf.org

Expertise

Conseil (associations, entreprises, administrations…), Jurys (prix, médailles…), appui aux politiques publiques

https://www.anses.fr/fr/content/avis-et-rapports-de-lanses-sur-saisine

Culture scientifique : communication

Interviews, conférences grand public, articles de vulgarisation, vidéos de démonstration,…

https://www.jsb.be/

https://les-savanturiers.cri-paris.org/

https://sms.hypotheses.org/

Valorisation

Tout type de valorisation, qu’elle soit à dimension sociale, économique, politique… Elle peut inclure la diffusion et l’accompagnement de tout type de
document et production du tableau

http://www.enseignementsup-recherche.gouv.fr/cid67054/www.enseignementsup-recherche.gouv.fr/cid67054/www.enseignementsup-recherche.gouv.fr/cid67054/les-satt-societes-d-acceleration-du-transfert-de-technologies.html

Formation

Enseignement initial, formation professionnelle, encadrement d’étudiants et de jeunes chercheurs, organisation d’écoles-chercheurs, formation à l’intégrité
scientifique

Partenariats

Recherche, identification de partenaires, montage de partenariats

Création d’un groupement d’intérêt public (GIP), groupement d’intérêt scientifique (GIS), groupement de recherche (GDR)…

Direction et gestion

Direction de collectif et groupe de travail, de projet, de formation, de réseau scientifique, d’infrastructure, de plateforme, gestion de base de données,
Référent intégrité scientifique

Direction structures (GIP, GIS, GDR…),

Direction d’infrastructure

Participation à des revues et plateformes

Rédacteur/rédactrice en chef, membre de comité de rédaction, évaluateur/trice, modérateur de contenus, animateur/trice de communautés

Innovation collaborative

Toute démarche impliquant plusieurs acteurs ou partenaires dans le but d’élaborer un objet ou projet d’innovation. Cela comprend notamment le crowdsourcing, crowdfunding, les sciences participatives…

Création, recueil et/ou curation de données

Constitution de jeux de données pour test d’hypothèses, valorisation de l’expertise d’un groupe de recherche, pour élaboration de sujets de thèse, pour formation
d’étudiants en Master

http://www.dossiers-flaubert.fr/folios.php?corpus=g226&volume=1&num_folio=1&access=volume&viewf=par_cote

References   [ + ]

1. Selon le choix de la licence, les modalités de réutilisation peuvent varier. A minima, la licence permet l’accès et la diffusion non commerciale du document sans modification (par exemple Licence Creative Commons CC BY-NC-ND-SA). Dans sa forme la plus libérale, sous condition de mentionner l’auteur, la licence permet l’accès, la diffusion commerciale et la modification (par exemple : Creative Commons CC BY ; pour les logiciels : GNU General Public License (GNU GPL) ; Licence CeCILL ; pour certains documents non logiciels : Licence Art Libre (LAL), Licence libre (LLD), European Union Public Licence (EUPL), Licence ouverte (LO