Une étude, dont les résultats ont été publiés le 11 novembre dans la revue PNAS, indique, que, du fait de l'emploi d'un seuil statistique insuffisant pour valider les résultats des recherches, entre 17 et 25 % des études scientifiques pourraient être fausses, cette évaluation étant cohérente avec la proportion de travaux dont on n'arrive pas à reproduire les résultats.

Pour le démontrer, «l'approche statistique universellement employée par les scientifiques» a été comparée à l'approche dite de l'inférence bayésienne: alors que «l'analyse classique explore les données recueillies pour en faire surgir un effet significatif qui ne peut s'expliquer autrement que par l'hypothèse de travail», l'inférence bayésienne «met deux hypothèses en concurrence et évalue les chances que l'une soit vraie par rapport à l'autre, à la lueur des données mais aussi des informations connues au préalable sur le sujet, comme par exemple les résultats d'autres travaux».

L'analyse classique valide les résultats de ses expériences en éliminant «la possibilité d'un faux positif, c'est-à-dire le fait qu'autre chose que l'hypothèse testée ait produit l'effet mesuré». Pour cela un seuil statistique p est retenu. Il est, en général de 5 %, de sorte que, sous ce seuil, «on estime que l'effet mesuré est significatif, donc avéré».

Or le résultat de la comparaison de cette analyse avec l'approche bayésienne, fait apparaître que ce seuil est insuffisant: plus précisément «une hypothèse qui passe de justesse sous cette barre n'a en réalité que de 3 à 5 chances contre 1 d'être vraie». L'étude recommande donc, pour valider les résultats des recherches de façon plus pertinente, de passer d'un seuil de 5% à un seuil de 0,5% voire, pour plus de sécurité, à 0,1%.