Abstract

Une large part de la recherche en économie et en gestion est aujourd’hui de nature empirique et computationnelle. Ainsi, l’activité du chercheur dans nos disciplines consiste principalement à analyser des jeux de données à l’aide d’outils informatiques. Or, trop peu de chercheurs mettent à disposition les codes informatiques et les données utilisés dans le cadre de leurs recherches. Et quand ils le font, rien ne garantit que leurs résultats soient reproductibles. La situation peut être améliorée en recourant à une agence de certification qui agit en qualité de tiers de confiance. Cascad (www.cascad.tech), la première agence de certification de la reproductibilité de la recherche scientifique, a été créée à HEC, en collaboration avec le CNRS et l’Université d’Orléans. Science, 2019, vol. 365 n° 6449.

3 questions à Christophe Pérignon, doyen associé en charge de la recherche à HEC

Comment en êtes-vous venu à réfléchir à la reproductibilité de la recherche ?

Les chercheurs produisent de la connaissance. Dans le cadre de leurs recherches, ils utilisent des outils informatiques, réalisent des études empiriques et obtiennent des résultats qu’ils tâchent de publier dans les meilleures revues scientifiques. Une fois les résultats publiés, la plupart des chercheurs passent à autre chose. Mais les conclusions doivent faire leur chemin, être utilisées par d’autres chercheurs ou valorisées économiquement par des start-up. Or bien souvent, ceux qui tentent de reproduire les résultats de ces études rencontrent des difficultés, dues au fait que les chercheurs n’ont pas suffisamment décrit les étapes de leurs protocoles ou n’ont pas partagé certaines de leurs données ou codes informatiques. Ces données et ces codes restent sur l’ordinateur du chercheur initial. Et trois ans plus tard, lui-même ne se sait plus où il les a sauvegardés ! C’est ce qu’on appelle la crise de la reproductibilité.

Pourquoi un tel manque de transparence ?

C’est d’abord une question d’incitation. Dans le monde de la recherche, le principe du « publish ou perish » fait loi : soit un chercheur publie dans les meilleures revues, soit sa carrière stagne. Lorsqu’un chercheur a passé plusieurs années à compiler une base de données unique ou à développer un algorithme complexe, il n’a pas vraiment envie de les partager avec les autres. Il espère pouvoir écrire d’autres articles grâce à ces ressources et ainsi maximiser son retour sur investissement. Mais cela dessert la circulation de la connaissance… Il y a aussi un problème de temps : à quoi sert de documenter et partager ses codes informatiques si cela n’a aucun impact sur la réputation du chercheur ? On ne va pas dire qu’un chercheur est extraordinaire, car il a partagé ses codes… Je pense que le problème tient aussi au fait que personne n’a appris aux chercheurs comment bien présenter ses ressources pour qu’elles puissent servir à d’autres.

En quoi ce problème est-il important ?

C’est vital, car la reproductibilité est la pierre angulaire de toute activité scientifique. Pouvoir reproduire des résultats est une étape fondamentale dans le processus de création scientifique et de transfert technologique. C’est même une condition sine qua nonpour que la société fasse confiance à l’activité scientifique. Une agence de certification peut attester les résultats en les faisant vérifier, et garantir le partage des données.

Christophe Pérignon est doyen associé en charge de la recherche et professeur de finance à HEC Paris. Ses recherches portent notamment sur les marchés dérivés, la réglementation bancaire et la stabilité financière. Il a cofondé l’agence de certification Cascad.

Published by