Matthieu P. Boisgontier
Co-chair of the Society for Transparency, Openness, and Replication in Kinesiology (STORK)
@MattBoisgontier
La probabilité que vos travaux de recherche soient publiés dans des revues scientifiques dépend souvent de la significativité de vos résultats et de leur nouveauté. Bien que rarement mentionnés dans les instructions aux auteurs, nombre d’entre nous ont déjà fait l’expérience de ces critères implicites. Pourtant, ce favoritisme envers des résultats significatifs et nouveaux est difficilement justifiable d’un point de vue scientifique. L’objectif de la science est de construire de la connaissance de façon incrémentale. La qualité de cette connaissance n’est en aucun cas liée à la nature significative ou nouvelle de cette connaissance. D’un point de vue scientifique, savoir qu’une variable a un effet sur une autre variable est tout aussi important que de savoir que cet effet n’existe pas. Par conséquent, lorsqu’il s’agit de décider quelle étude devrait être publiée, les résultats ne devraient pas être pris en compte.
Reproductibilité et réplicabilité
La nouvelle génération de scientifiques questionne cette primauté des résultats significatifs et nouveaux. Pour elle, le plus important est de savoir si le résultat d’une étude (quel qu’il soit !) est reproductible et réplicable. Si une étude fournit une description claire des analyses et que les mêmes données produisent les mêmes résultats, quel que soit le chercheur effectuant les analyses, les résultats sont dits reproductibles. Bien que cela puisse sembler évident, des travaux récents ont montré que de nombreuses études ne répondent pas à cette exigence de base (van der Zee et al., 2017). Lorsque les mêmes procédures sont suivies dans deux études différentes et que les résultats sont concordants, les résultats initiaux sont dits réplicables. La reproductibilité et la réplicabilité des résultats sont des concepts centraux en science car ils déterminent la confiance qu’on peut avoir dans une connaissance.
La lourde dette héritée de l’ère des résultats « tout-puissants »
Le reliquat de l’approche résultat-centrée sont les « pratiques scientifiques douteuses » ou QRP (Questionable Research Practices). Ce terme, popularisé en 2012 par John et collaborateurs, définit la zone grise située entre la fraude pure et simple (par exemple, la création de fausses données) et les erreurs faites de bonne foi (bona fide science). Les QRP peuvent prendre différentes formes, telles que la manipulation post-hoc d’hypothèses une fois les résultats connus (HARKing), la manipulation de données pour atteindre un niveau de significativité (p-hacking), le rejet sélectif de résultats non significatifs (cherry picking), ou la non-publication des résultats statistiquement non significatifs (file-drawer problem). De nombreux chercheurs ont déjà utilisé ces QRP sans savoir que ces pratiques sont problématiques et pourquoi elles le sont. Leur utilisation nuit à la science parce qu’elle produit des preuves trompeuses. Il est donc important de parler des QRP et de reconnaître nos propres erreurs pour empêcher la poursuite de ces pratiques.
Recherche exploratoire vs recherche confirmatoire
Bien que la prévalence des QRP ne soit pas encore établie dans les sciences des activités physiques et sportives, il est peu probable que notre domaine soit immunisé contre ce problème. Dans un article publié dans Sports Medicine et initialement préprinté sur la plate-forme d’accès libre SportRXiv, un collectif mené par Caldwell et Vigotsky propose des solutions pour améliorer le système de publication actuel. Premièrement, il propose de classer toutes les recherches empiriques en deux catégories : exploratoires et confirmatoires. La recherche exploratoire vise à se familiariser avec un phénomène et à développer des hypothèses qui devraient être approfondies. La recherche confirmatoire vise à répondre à une question de recherche théorique spécifique basée sur des hypothèses statistiques prédéfinies.
Recherche pré-enregistrée (pre-registration) et rapports enregistrés (registered reports)
Dans cet article, les auteurs défendent également le fait que la recherche confirmatoire devrait être enregistrée avant la collecte des données sur un support accessible au public. Cette approche empêcherait les modifications des hypothèses et des statistiques initialement prévues après avoir observé les données. Les chercheurs peuvent pré-enregistrer leur protocole sur des registres indépendants (pre-registration). Une autre option consiste à soumettre vos recherches dans des journaux scientifiques proposant un nouveau format d’articles, appelé « Registered Report » ou rapport enregistré en français. Quand un article est soumis sous ce format, l’expertise par les pairs se fait en deux temps. L’introduction et la méthodologie de l’étude sont expertisés dans le premier temps avant que la collecte des données ne soit effectuée. Une seconde expertise est réalisée sur la version finale du manuscrit et a pour principal objectif de vérifier la concordance de l’introduction et de la méthodologie avec la version initiale. Le Registered Report est souvent considéré comme le format de publication de référence pour la recherche scientifique confirmatoire, rigoureuse et transparente.
Il est important de noter que les Registered Reports ne diminuent pas l’importance de la recherche exploratoire. Ils permettent juste au lecteur de mieux distinguer ce qui est exploratoire de ce qui est confirmatoire. En effet, il est tout à fait possible d’inclure des analyses post-hoc dans un Registered Report en créant une partie intitulée « Analyses exploratoires ». En d’autres termes, les Registered Reports permettent de promouvoir une science transparente sans réduire la capacité d’explorer les données. Enfin, ils procurent aux auteurs l’assurance que la publication de leur travail ne dépendra pas des résultats et réduisent donc le biais de la littérature actuelle qui tend à mettre sous silence les résultats non significatifs.
Si vous ne savez pas où soumettre vos futurs Registered Reports, il existe un journal spécialisé dans ce type d’article qui se nomme « Registered Reports in Kinesiology » mais d’autres journaux proposent également le Registered Report tels que Human Movement Science ou encore Psychology of Sport and Exercise.
Redéfinir le chemin du prestige
Fournir les moyens d’adopter des pratiques de recherche plus transparentes est une chose. Changer le système en est une autre. En effet, le succès académique dépend principalement du journal où nous publions nos travaux. Nous sommes tou.te.s conscient.e.s que le prestige d’une revue impacte les décisions en matière de sélection, de promotion et de financement. Cependant, nous sommes moins conscients du fait que nous, la communauté scientifique, déterminons le prestige d’un journal. Si les journaux prestigieux sont ceux qui soutiennent implicitement les pratiques de recherche douteuses, notamment parce que ces recherches sont financièrement plus profitables, c’est de notre responsabilité. Ces entreprises d’édition sont avant tout à but lucratif, la science est au mieux leur deuxième priorité. Si nous voulons un système de publication plus scientifique et moins commerciale, il nous incombe de mener ce changement vers une science plus ouverte, transparente, et rigoureuse. Si nous attendons que ce changement vienne d’ailleurs, ce changement pourrait bien ne jamais arriver.
Remerciements
Je remercie Aaron R. Caldwell, John P. Mills, et Pier-Eric Chamberland pour leurs commentaires sur la version anglaise de cet article publiée dans la newsletter de la Canadian Psychological Association, Sport & Exercise Psychology Section.
Références
Caldwell AR, Vigotsky AD, Tenan MS, Radel R, Mellor DT, Kreutzer A, Lahart IM, Mills JP, Boisgontier MP, Consortium for Transparency in Exercise Science (COTES) Collaborators (2020) Moving sport and exercise science forward: A call for the adoption of more transparent research practices. Sports Medicine. doi: 10.1007/s40279-019-01227-1
John, L. K., Loewenstein, G., Prelec, D. (2012) Measuring the prevalence of questionable research practices with incentives for truth telling. Psychological Science, 23(5), 524-532. https://doi.org/10.1177/0956797611430953
van der Zee, T., Anaya J., Brown N. J. L. (2017). Statistical heartburn: an attempt to digest four pizza publications from the Cornell Food and Brand Lab. BMC Nutrition, 3(1), 54. https://doi.org/10.1186/s40795-017-0167-x
L’auteur du billet
