Pourquoi la majorité des résultats publiés issus de la recherche scientifique sont invalides?

Titre original: Why Most Published Research Findings Are False.

Auteur: John P. A. Ioannidis.

Traducteur: Sylvain Frédéric Nahas.

N.d.T. (1): Les idées développées dans cet article s'appliquent surtout aux domaines scientifiques où, tel la recherche bio-médiale, des hypothèses posant des relations entre variables sont vérifiées par des expériences générant des résultats devant être interprétés à l'aide des outils statistiques.

N.d.T. (2): Ce traducteur admet humblement souffrir de dyslexie, dysorthographie et dysgrammairie chronique et s'excuse par avance des violences au génie de la langue Française que ce texte pourrait commettre. Il promet à toute personne qui gentiment ferait remarquer une faute de syntaxe, grammaire ou orthographe et permettrait ainsi à ce texte d'être corrigé un câlin virtuel de remerciement.

Résumé

L'inquiétude grandie parmi la communauté scientifique que la plupart des résultats de recherche publiés soient invalides.

La probabilité qu'un résultat soit valide dépend de la taille de l’échantillon, des biais méthodologiques des chercheurs, du nombre d'autres études publiées adressant la question considérée, et, important à considérer, le ratio 'Relations réelles' / 'Aucune relation' parmi les hypothèses testées dans chaque domaine scientifique.

Ce cadre posé, la véracité d'un résultat de recherche est moins probable quand les études menées dans un domaine sont plus petites; quand l'ampleur de l'effet est moindre; quand il y a un plus grand nombre et une moindre sélection préalable des relations testées; quand il y a une plus grande flexibilité dans la conception, la définition, les indicateurs, et les modalités d'analyse; quand les enjeux financiers, les intérêts et les préjugés sont plus importants; et quand dans un champ scientifique donné plus d'équipes sont impliquées dans la chasse à la signification statistique.

Des simulations démontrent que pour la plupart des méthodologies et réalisation d'étude, un résultat de recherche annoncé dans la presse scientifique a plus de probabilité d'être invalide que correct (il s'agit alors d'un "faux positif," N.d.T). De plus, pour beaucoup de domaines scientifiques actuels, les résultats de recherche pourraient souvent n'être qu'une mesure fiable du biais méthodologique dominant.

Dans cet essai je discute des implications de ces problèmes dans la conduite et l'interprétation de la recherche.

Introduction

Les résultats scientifiques publiés sont parfois réfutés par la suite, ce qui entraîne troubles et désappointements. On observe réfutations d'études et controverses dans tout les types de recherche scientifique, des essais cliniques et études épidémiologiques traditionnelles [1–3] jusqu'à la recherche en biologie moléculaire la plus en pointe [4,5]. La préoccupation grandie que dans la recherche scientifique contemporaine, la majorité ou même la vaste majorité des résultats publiés ne soient erronés. [6–8]. Cependant, ceci ne devrait pas surprendre. Il peut être en effet démontré que la majorité des résultats annoncés sont effectivement invalides. Dans cet article je vais examiné les facteurs principaux qui ont une influence sur ce problème, et quelques-un des corollaires afférents.

Modélisation d'un cadre conceptuel pour les faux positifs

Plusieurs spécialistes en méthodologie ont noté [9–11] que le haut taux de non-réplication (manque de confirmation) des découvertes scientifiques est une conséquence de la stratégie certes fort pratique mais bien mal fondée d'annoncer des résultats de recherche comme concluant et positif en se basant seulement sur une étude unique dont le résultat est évalué sur sa signification statistique formelle, typiquement définie comme une valeur-p inférieure à 0.05.

Les valeur-p ne sont pas le meilleur moyen de représenter et synthétiser les résultats de la recherche scientifique, mais, malheureusement, l'idée est très répandue que les articles exposant la recherche médicale devraient être interprétés seulement à l'aune de leur valeur-p. 

Les résultats de recherche sont définis ici comme n'importe quel relation entre variable atteignant une signification statistique formelle, par exemple une intervention thérapeutique effective, des indicateurs prédictifs, des facteurs de risque, ou des associations.

Les résultats "négatifs" sont aussi très utiles. "Négatif" pour un résultat de recherche est en fait un terme inadapté, et il est courant de mal l'interpréter. Ceci dit, nous allons dans cet article nous intéresser aux relations que les expérimentateurs annoncent exister, plutôt qu'au résultats "nuls."

Il peut être prouvé que la plupart des résultats annoncés de la recherche scientifique sont faux.

Comme il a été montré précédemment, la probabilité que le résultat d'une recherche scientifique soit réellement valide dépend de la probabilité a priori qu'elle soit valide (avant d'effectuer l'étude,) de sa puissance statistique, et de son niveau de signification statistique [10,11].

Considérez un tableau 2 × 2 dans lequel les résultats de recherche sont comparés en regard de la référence absolue des relations vraies dans un domaine scientifique. Dans un domaine scientifique des hypothèses soit vraies soit fausses peuvent être posées en ce qui concerne la présence de relations.

Définissons R le ratio du nombre de 'relation vraies' sur le nombre de 'relation fausses' parmi celles testées sur le terrain ou en laboratoire. R est une caractéristique du domaine d'étude et peut varier fortement selon que le domaine étudie des relations hautement probables ou recherche seulement une des quelques relations vraies parmi des milliers et des millions d'hypothèse qui peuvent être faites.

Considérons aussi, pour la simplicité du calcul, des domaines circonscrits où soit il n'y qu'une seule relation vraie (parmi les nombreuses qui peuvent être imaginées) ou alors dont la puissance statistique est telle qu'elle permette de trouver n'importe laquelle des relations réellement vraies.

La probabilité avant-recherche qu'une relation soit vraie est `R / ( R + 1 )`. La probabilité que le résultat d'une étude soit une relation vraie reflète la puissance statistique `1 - β` (un moins le risque de deuxième espèce, la probabilité d'accepter l'hypothèse comme vraie alors que celle-ci est fausse). La probabilité d'affirmer une relation comme vraie quand aucune n'existe en réalité reflète le risque de première espèce `α`. En supposant que `c` relations soient expérimentalement testées, les valeurs attendues du tableau 2 × 2 sont donnée en Table 1.

Table 1

Résultat	Relation vraie	Pas de relation	Total
Oui	`( c*(1-β) * R ) / (R+1)`	`(c*α) / (R+1)`	`(c*(R+α-β*R)) / (R+1)`
Non	`(c*β*R) / (R+1)`	`(c*(1-α)) / (R+1)`	`(c*(1-α+β*R)) / (R+1)`
Total	`(c*R) / (R+1)`	`c / (R+1)`	`c`

Après que le résultat d'une recherche a été annoncé concluant et positif en se basant sur la signification statistique formelle, la probabilité après-étude que ce soit valide est la Valeur Prédictive Positive, VPP. (Positive Predictive Value, PPV, dans l'article original.)

La VPP est aussi la probabilité complémentaire de ce que Wacholder et al. ont nommé la probabilité de reporter un faux positif [10]. Selon le tableau 2 × 2 nous obtenons `PPV = ((1 - β)*R) / (R - β*R + α)`

Un résultat de recherche est donc plus probablement valide qu'invalide si `(1 - β)*R` > `α`. Comme en général une vaste majorité des investigateurs utilise comme critère `a = 0.05`, ceci signifie qu'une résultat est plus probablement valide qu'invalide si `(1 - β)*R` > `0.05`.

Ce qui est généralement moins bien perçu est que les biais méthodologiques et le nombre de tests indépendants répétés par différentes équipes d'investigateurs autour du globe peuvent fausser le tableau encore plus, et conduire à des probabilités d'autant plus réduites que les résultats soient réellement valides. Nous allons essayer de modéliser ces deux facteurs dans le contexte de tableaux 2 × 2 similaires.

Modélisation des biais positifs

Tout d'abord, définissons les biais positifs influençant une étude comme les facteurs de méthodologie, de données, d'analyse et de présentation qui tendent à générer des résultats positifs quand ils ne devraient pas l'être.

Soit u la proportion d'analyses testées qui n’auraient pas dû constituer des "résultats positifs," mais finissent malgré tout par être présentés et publiés comme tels à cause de biais positifs.

Il ne faut pas confondre les biais positifs avec les variations dues au hasard qui font que certains résultats annoncés sont invalides même si la méthodologie, les données, l'analyse et la présentation sont parfaites. Les biais positifs peuvent comporter les manipulations dans l'analyse ou le rapport des résultats. Un rapport sélectif ou déformé des données expérimentales en est une forme typique.

Nous pouvons supposer que u ne dépend pas de l'existence ou non d'une relation vraie. Ce n'est pas irraisonnable de le supposer, puisqu'il est généralement impossible de savoir quelles relations sont bien vraies.

En présence de biais positifs, (Table 2), le PPV devient `PPV = ([1 - β]*R + u*β*R) / (R + α − β*R + u − u*α + u*β*R)`, et il décroit avec u croissant, à moins que `1 − β` ≤ `α`, c'est à dire, `1 − β` ≤ `0.05` dans la plupart des cas.

Ainsi, avec un biais positif croissant, les chances qu'un résultat de recherche soit vrai diminue considérablement. C'est montré pour différents niveaux de puissance statistique et pour différentes probabilités avant-étude en Figure 1.

Figure 1. PPV (Probabilité après-étude qu'un résultat soit vrai) en fonction de la vraisemblance pré-étude R. Courbe A: Puissance de 80% - Courbe B: Puissance de 50% - Courbe C: Puissance de 20%

Inversement, des biais négatifs peuvent occasionnellement être annuler des résultats indiquant une relation vraie. Par exemple. avec des erreurs de mesure importantes peuvent faire que des relations soient perdues dans le bruit [12], ou alors les investigateurs utilisent leurs données de manière inefficiente ou manquent de remarquer des relations statistiquement significatives, ou alors il se peut qu'il y ait des conflits d’intérêts qui tendent à faire que les résultats soient "enterrés" [13].

Il n'y a pas de bonnes données empiriques à grande échelle pour indiquer à quelle fréquence de tels biais négatifs se retrouvent en jeu dans les différents domaines de recherche. Cependant, il est probablement juste de dire que les biais négatifs ne sont pas si courant. De plus, les erreurs de mesure et l'usage inefficient des données deviennent probablement des problèmes moins fréquents, depuis que les erreurs de mesure ont décrues avec les avances technologiques à l'ère de la biologie moléculaire [L'auteur fait ici allusion à l’automatisation des procédures et méthodes de laboratoire - N.d.T] et les investigateurs deviennent de plus en plus sophistiqués dans le traitement des données. Néanmoins, les biais négatifs peuvent être modélisés de la même manière que les biais positifs.

Aussi, il ne faut pas confondre les biais négatifs avec les variations dues au hasard qui vont faire qu'une relation vraie ne soit pas détectée.

Table 2

Résultat	Relation vraie	Pas de relation	Total
Oui	`( c*(1-β) * R + u*c*β*R) / (R+1)`	`( (c*α) + u*c*(1-α) ) / (R+1)`	`(c*(R+α-β*R+u-u*α+u*β*R)) / (R+1)`
Non	`( (1 - u ) * c*β*R) / (R+1)`	`((1-u)*c*(1-α)) / (R+1)`	`(c*(1-u)*(1-α+β*R)) / (R+1)`
Total	`(c*R) / (R+1)`	`c / (R+1)`	`c`

Tests par plusieurs équipes indépendantes

Plusieurs équipes de recherche indépendantes peuvent travailler sur les mêmes sujets.Avec la mondialisation des efforts de recherche, il est devenu quasiment la règle que plusieurs équipes de recherche, souvent des dizaines, s'intéressent au même questions, ou à des thématiques proches.

Malheureusement, dans certains domaines, la mentalité dominante jusque là a été de se focaliser sur des découvertes isolées faites par une seule équipe et d'interpréter les expériences scientifiques de manière isolée. Un nombre croissant de questions a au moins une étude annonçant un résultat positif, étude qui reçoit une attention unilatérale.

La probabilité que au moins une étude, parmi plusieurs effectuées sur la même question, trouve un résultat positif statistiquement significatif est facile à estimer. Pour n étude indépendantes de puissance égale, le tableau 2 × 2 est montré dans la Table 3: `PPV = R*(1 − β^n)/(R + 1 − [1 − α]^n − R*β^n)` (sans considérer les biais).

Table 3

Résultat	Relation vraie	Pas de relation	Total
Oui	`( c*(1-β^n) * R) / (R+1)`	`( c* (1 - c*[1-α]^n ) ) / (R+1)`	`(c*(R+1 - [1-α]^n-R*β^n)) / (R+1)`
Non	`( c*β^n*R) / (R+1)`	`(c*(1-α)^n) / (R+1)`	`(c*([1-α]^n + R*β^n)) / (R+1)`
Total	`(c*R) / (R+1)`	`c / (R+1)`	`c`

Avec un nombre croissant d'études indépendantes, PPV tend à décroitre, à moins que `1 - β` < a, c'est à dire,  `1 − β` < 0,05 dans la plupart des cas.

Ceci est montré pour différents niveaux de puissance statistique et pour différentes probabilité pré-étude R dans la Figure 2. Pour n études de puissances différentes, le terme `β^n` est remplacé par le produit des termes  β_i pour i = 1 .. n, mais les conclusions restent similaires.

Figure 2. PPV (Probabilité après-étude qu'un résultat soit vrai) en fonction de la vraisemblance pré-étude R pour un nombre variés d'études menées. Courbe A: Puissance de 80% - Courbe B: Puissance de 50% - Courbe C: Puissance de 20%

Corollaires

Corollaire 1: Dans un domaine scientifique donné, plus les études effectuées sont petites, moins les résultats produits par les travaux de recherche ont de chance d'être valides.

Une petite taille d'échantillon signifie une puissance statistique faible et, pour toutes les fonctions ci-dessus, le PPV décroit quand la puissance statistique décroit vers  `1 − β` = 0,05. Donc, tout autres facteurs étant égal par ailleurs, les résultat de recherche ont plus de chance d'être valides dans des domaines scientifiques où de larges recherches sont entreprises, tels que les essais cliniques randomisés contrôlés en cardiologie (qui impliquent plusieurs milliers de sujets randomisés) [14] que dans des domaines scientifiques où les études sont petites, telle que la plupart des recherches sur les indicateurs moléculaires (taille d’échantillon 100 fois plus petite) [15].

Corollaire 2: Dans un domaine scientifique donné, plus l'amplitude des effets sont petits, moins les résultats produits par les travaux de recherche ont de chance d'être valides.

La puissance statistique est reliée à l'amplitude de l'effet mesuré. Ainsi les résultats de recherche ont une plus grande probabilité d'être valides dans des domaines scientifiques avec des effets de grande amplitude, tel que l'effet du tabagisme sur le risque de cancer ou les maladies cardiovasculaires  (risques relatifs 3–20), que dans les domaines où les effets étudiés sont de faible amplitude, tel que les facteurs de risque génétique pour les maladies multifactorielles impliquant de multiples gènes (risques relatifs 1.1–1.5) [7]. L'épidémiologie moderne est de plus en plus obligée d'étudier des effets à faibles amplitudes [16]. En conséquence, on peut s'attendre à ce que la proportion de résultats valides décroisse. De la même manière, si dans un domaine scientifique les effets réels sont de très faibles amplitudes, il est probable que ce domaine souffre chroniquement de faux positifs quasiment systématiques. Par exemple, si la majorité des déterminants génétiques ou nutritionnels de maladies complexes confèrent des risques relatifs inférieurs à 1.05, l'épidémiologie génétique ou nutritionnelle est une entreprise largement utopique.

Corollaire 3: Dans un domaine scientifique donné, plus le nombre de relations est grand par rapport au nombre d'hypothèses testées, moins les résultats produits par les travaux de recherche ont de chance d'être valides.

Ainsi qu'il a été montré ci-dessus, la probabilité après-étude qu'un résultat soit valide (PPV) dépend beaucoup de la vraisemblance pré-étude R. Ainsi, les résultats de recherche ont plus de chances d'être valides dans des études de confirmation, telles que les essais cliniques de phase III, ou leurs méta-analyses, que lors d'expériences de génération d'hypothèses. Des domaines considérés extrêmement instructifs et créatifs étant donné la richesse de l'information générée et testée, tel que les recherches utilisant les biopuces et autres recherche orientée découverte à haut rendement [4,8,17], devraient avoir un PPV extrêmement bas.

Corollaire 4: Dans un domaine scientifique donné, plus la flexibilité dans la conception, la définition, les indicateurs de résultat, et les modes d'analyses est grande, moins les résultats produits par les travaux de recherche ont de chance d'être valides.

Cette flexibilité permet plus de liberté pour transformer ce qui serait un résultat "négatif" en résultat "positif," c'est-à-dire, elle augmente le risque de biais, u. Il y a eu des efforts pour standardiser la conduite et la présentation de plusieurs méthodologies de recherche, par exemple les essais cliniques randomisé contrôlés [18–20] ou les méta-analyses [21,22]. L'adhésion à des standards communément acceptés amène probablement à augmenter la proportion de résultats valides.

La même chose s'applique au type de phénomène mesuré. Les résultats ont plus de chance d'être valides quand les phénomènes étudiés sont nets et explicites et acceptés universellement (par exemple: la mort) plutôt que quand des mesures hétéroclites sont construites (par exemple, échelle de mesure de la schizophrénie) [23]. De manière similaire, des domaines qui utilisent des méthodes analytiques standardisées communément acceptées (par exemple.,  les estimateurs de Kaplan-Meier et le test de log-rank) [24] auront probablement une plus grande proportion de résultats valides que les domaines dont les méthodes analytiques sont encore en cours d'expérimentation (par exemple, des méthodes basées sur l'intelligence artificielle) et dont seuls les meilleurs résultats sont rapportés.

Dans tout les cas, même pour les recherches suivant la méthodologie la plus stricte, les biais semblent être un problème majeur. Par exemple, il y a de fortes présomptions que des manipulations des résultats et des analyses publiées soient un problème courant même pour les essais cliniques randomisés [25]. Ce problème ne disparaîtra pas simplement en abolissant la pratique des publications sélectives [ne rapportant que les résultats positifs, N.d.T]

Corollaire 5: Dans un domaine scientifique donné, plus les intérêts financiers ou autres ainsi que les préjugés sont importants, moins les résultats produits par les travaux de recherche ont de chance d'être valides.

Les conflits d'intérêts et les préjugés peuvent augmenter le risque de biais, u. Les conflits d'intérêts sont treès courants dans la recherche biomédicale [26], et ils sont fréquemment incorrectement et trop peu documentés. [26,27].

Les préjugés n'ont pas forcément une origine financière. Les scientifiques travaillant dans un domaine donné peuvent avoir des préjugés simplement à cause de leur croyance dans une théorie ou leur investissement dans leur propres résultats. Ils se peut que beaucoup de recherche apparemment indépendantes menée par des universités soient conduites uniquement pour donner la qualification nécessaire à des médecins et chercheurs pour une promotion ou titularisation. De tels conflits non-financiers peuvent aussi mener à des déformations des résultats et des analyses annoncés.

Des investigateurs prestigieux peuvent empêcher via le processus d'évaluation par les pairs la publication et la dissémination de résultats qui infirment les leurs, condamnant ainsi leur champ d'expertise à perpétuer un dogme erroné. Les données empiriques sur l'expertise que nous avons à notre disposition indiquent que cette dernière est très peu fiable [28].

Corollaire 6: Plus un domaine scientifique est couru (avec plus d'équipe de recherche impliquée), moins les résultats produits par les travaux de recherche ont de chance d'être valides.

Ce corollaire à première vue paradoxal se déduit du fait, montré ci-dessus, que le PPV de découverte isolée décroit quand beaucoup d'équipes d'investigateurs sont impliquées dans le même domaines. Ceci explique peut-être pourquoi nous observons parfois dans les domaines qui attirent une attention importante un excitement extrême rapidement suivi par des déceptions profondes. Avec de nombreuses équipes travaillant dans le même domaine et une quantité massive de données expérimentales produite, les échéances sont essentielle pour battre la compétition. Ainsi, il se peut que chaque équipe  accorde la priorité à poursuivre et disséminer les résultats "positifs" les plus impressionnants. Disséminer les résultats "négatifs" pourrait être attractif seulement si une autre équipe a trouver une association "positive" sur la même question. Dans ce cas, il pourrait devenir intéressant de réfuter un article publié dans un journal prestigieux. On a récemment donné le nom de "phénomène Protée" à ce phénomène d'alternance rapide d'annonces de résultat de recherche extrême et de réfutations opposées tout autant extrême. [29]. Les données empiriques montrent que cette séquence est très courante en génétique moléculaire. [29].

Ces corollaires considèrent chaque facteur indépendamment, mais souvent ces facteurs s'influencent mutuellement. Par exemple, les investigateurs travaillant dans des domaines où l'amplitude des effets sont perçus comme faible peuvent être encore plus enclin à effectuer des études avec un échantillonnage important que ceux travaillant dans des domaines où les effets sont considérés de grande ampleur. Ou bien les préjugés peuvent l'emporter dans un domaine couru, contribuant à diminuer encore plus la valeur prédictive de ses résultats. Des parties prenantes hautement partiales peuvent même ériger une barrière qui conduise à ce que les efforts pour obtenir et disséminer des résultats opposés avortent. À l'inverse, le fait qu'un domaine soit couru ou où des intérêts importants sont en jeu peut parfois favoriser la réalisation d'étude de grande taille et inciter à l'amélioration des standards méthodologiques, augmentant la valeur prédictive des résultats produits. Ou alors la recherche exploratoire peut produire une telle moisson de relations statistiquement significatives que les investigateurs aient assez à annoncer et suffisamment de questions à étudier plus avant pour qu'ils n'aient pas la tentation de manipuler les données et les résultats.

Le plupart des résultats de recherche sont invalides pour la plupart des méthodologies et la plupart des domaines.

Dans cadre décrit dans cet article, un PPV dépassant 50% est assez difficile à obtenir. Utilisant les formules ci-dessus, Table 4 contient le résultat de simulations pour différentes puissances statistiques, différents ratio de Relation vraies / non-vraies et différents biais, for différents types de situation qui peut être caractéristiques de méthodologies de recherche spécifique.

Le résultat d'un test clinique randomisé bien mené et effectué avec une taille d'échantillon adéquate, et à laquelle est attribué une vraisemblance pré-étude de 50% que l'intervention testé est efficace, est au final valide à peu près 85% du temps.

Une performance similaire est attendue des méta-analyses confirmatoires de tests cliniques randomisés de bonne qualité: le biais potentiel augmente, mais la puissance statistique et la vraisemblance pré-étude est supérieure à celle d'un simple test clinique randomisé.

Inversement, le résultat d'une méta-analyse d'études peu concluantes qui met ces études en commun pour corriger la faible puissance statistique des études isolées est probablement fausse si R ≤ 1:3.

Les résultats de recherche de tests cliniques initiaux avec une puissance statistique faible seraient valides environ une fois sur quatre, encore moins si des biais sont présents.

les études épidémiologiques exploratoires sont encore pires, surtout si elles ont faible puissance statistique, mais même des études épidémiologiques ayant une bonne puissance statistique pourraient n'avoir qu'une chance sur cinq de donner un résulta valide, si R = 1:10.

Finalement, une recherche axée sur la découverte avec des tests massifs, où les relations testées dépassent 1000 fois les relations vraies (par exemple, 30,000 gènes testés parmi lesquels seulement 30 seraient vraiment impliqués) [30,31], le PPV de chaque relation annoncée serait extrêmement bas, même en minimisant les biais par un effort de standardisation considérable des méthodes expérimentales et de statistiques, des conclusions et de leur signalement.

Les résultats de recherche annoncés peuvent être simplement une mesure fiable des biais dominants.

(Traduction en cours)

Comment améliorer la situation actuelle?

(Traduction en cours)

...(suite de la traduction en cours - hé! ce n'est pas trivial à faire! )

Référence

URL de l'original: http://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124

Citation: Ioannidis JPA (2005) Why Most Published Research Findings Are False. PLoS Med 2(8): e124. doi:10.1371/journal.pmed.0020124

Published: August 30, 2005

Copyright: © 2005 John P. A. Ioannidis. This is an open-access article distributed under the terms of the Creative Commons Attribution License, which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited.

Competing interests: L'auteur ne déclare aucun conflit d'intérêt.

Mot clé: PPV, positive predictive value