Les revues académiques et la presse servent régulièrement de nouveaux apports de résultats de recherches psychologiques fascinantes. Mais combien de ces expériences produiraient les mêmes résultats une seconde fois?
Contenu connexe
- Les études en sciences biomédicales sont extrêmement difficiles à reproduire
- Les études avec des titres plus courts sont citées plus souvent
- Pourquoi si peu de scientifiques étudient les causes de la violence armée
Selon les travaux présentés aujourd'hui dans Science, moins de la moitié des 100 études publiées en 2008 dans trois des meilleures revues de psychologie pourraient être reproduites avec succès. L’effort international a réuni 270 scientifiques qui ont repris les études d’autres personnes dans le cadre du projet Reproductibilité: Psychologie, dirigé par Brian Nosek de l’Université de Virginie.
Les résultats révélateurs ne signifient pas nécessairement que ces découvertes originales étaient incorrectes ou que le processus scientifique est défectueux. Cody Christopherson, co-auteur de l’Université Southern Oregon, a plusieurs raisons pour lesquelles une étude trouve un effet qu’une deuxième étude ne peut pas reproduire. Le résultat de l'étude A peut être faux ou les résultats de l'étude B peuvent être faux - ou il peut exister des différences subtiles dans la façon dont les deux études ont été menées qui ont eu une incidence sur les résultats.
«Ce projet n'est pas la preuve que quelque chose est cassé. C'est plutôt un exemple de la science qui fait ce que la science fait », déclare Christopherson. «Il est impossible de se tromper au sens ultime de la science. Vous devez avoir temporairement tort, peut-être plusieurs fois, avant d'avoir toujours raison.
Dans toutes les sciences, la recherche est considérée comme reproductible lorsqu'une équipe indépendante peut mener une expérience publiée, en suivant les méthodes originales autant que possible, et obtenir les mêmes résultats. C'est un élément clé du processus de constitution de preuves pour appuyer les théories. Encore aujourd'hui, cent ans après la présentation par Albert Einstein de sa théorie générale de la relativité, les scientifiques répètent régulièrement les tests de ses prédictions et recherchent les cas où sa célèbre description de la gravité ne s'applique pas.
"Les preuves scientifiques ne reposent pas sur la confiance en l'autorité de la personne qui a fait la découverte", a déclaré dans un communiqué Angela Attwood, professeur de psychologie à l'université de Bristol, membre de l'équipe. "La crédibilité s'accumule grâce à une reproduction et une élaboration indépendantes des idées et des preuves. "
Le projet de reproductibilité, un effort de crowdsourcing basé sur la communauté, a été lancé en 2011 pour tester dans quelle mesure cette mesure de crédibilité s'applique aux recherches récentes en psychologie. Les scientifiques, certains recrutés et certains volontaires, ont passé en revue un ensemble d’études et en ont sélectionné une à répliquer en fonction de leurs intérêts et de leur expertise. Leurs données et leurs résultats ont été partagés en ligne, examinés et analysés par d’autres scientifiques participants en vue de leur inclusion dans la vaste étude scientifique .
Pour aider à améliorer les recherches futures, l’analyse du projet a tenté de déterminer quels types d’études obtenaient les meilleurs résultats et pourquoi. Ils ont constaté que les résultats surprenants étaient les plus difficiles à reproduire et que l'expérience ou l'expertise des scientifiques qui ont mené les expériences originales avait peu à voir avec une réplication réussie.
Les résultats ont également apporté un soutien à l’outil statistique souvent critiqué connu sous le nom de Valeur P, qui mesure si un résultat est significatif ou dû au hasard. Une valeur plus élevée signifie qu'un résultat est très probablement un coup de chance, tandis qu'une valeur inférieure signifie que le résultat est statistiquement significatif.
L’analyse du projet a montré qu’une faible valeur de p était assez prédictive pour déterminer quelles études de psychologie pourraient être répliquées. Par exemple, 20 des 32 études initiales avec une valeur de p inférieure à 0, 001 pourraient être répliquées, tandis que 2 des 11 articles présentant une valeur supérieure à 0, 04 ont été répliquées avec succès.
Christopherson soupçonne cependant que la plupart de ses coauteurs ne voudraient pas que l’étude soit considérée comme une approbation retentissante des valeurs de P, car ils reconnaissent les limites de cet outil. Et au moins un problème de valeur P a été mis en évidence dans la recherche: Les études originales présentaient une variabilité relativement faible de la valeur P, car la plupart des revues ont établi un seuil de 0, 05 pour publication. Le problème est que la valeur peut être atteinte en étant sélectif sur les ensembles de données, ce qui signifie que les scientifiques qui cherchent à reproduire un résultat doivent également examiner attentivement les méthodes et les données utilisées dans l'étude originale.
Il n’est pas encore clair non plus si la psychologie pourrait être un domaine particulièrement difficile pour la reproductibilité - une étude similaire est actuellement en cours sur la recherche en biologie du cancer. Dans l'intervalle, Christopherson espère que cet effort colossal encouragera davantage de doubles vérifications et de revisitations de recherches antérieures pour aider le processus scientifique.
«Réussir consiste à revoir régulièrement les hypothèses et les résultats passés et à trouver de nouveaux moyens de les tester. La science ne peut réussir et être crédible que si elle fait preuve d'autocritique », note-t-il.
Malheureusement, il existe des obstacles à la poursuite de ce type de recherche. Il déclare: «Pour être embauché et promu dans le monde universitaire, vous devez publier des recherches originales, les reproductions directes sont donc plus rares. J'espère qu'à l'avenir, les universités et les organismes de financement chargés d'inciter à cette recherche - et aux médias qui les couvrent - se rendront compte qu'ils font partie du problème et que la réplication dévaluée de cette manière a créé une littérature moins stable que nous. 'aimerais. "
