Par Florian Gouthière 28 juin 2020

Même si un traitement, avec un effet très marqué, peut être détecté dans des études de petite envergure, il serait toutefois mieux évalué et plus sûrement détecté avec de plus grandes études.

Vous êtes nombreux à nous avoir interrogés sur une déclaration du professeur Didier Raoult lors de son audition devant l’Assemblée nationale. Cette déclaration vient en réponse à cette question posée par le député LREM Philippe Berta : « Pourquoi n’avez-vous pas fait d’essai clinique digne de ce nom dès le départ, qui pourrait définitivement répondre à la question : oui, ou non, l’hydroxychloroquine a un effet ? […] Vous saviez très bien qu’en publiant ces pseudo-essais thérapeutiques, ce pseudo-essai clinique, en fait il n’était absolument pas recevable par qui que ce soit. Parce que, quand on se retrouve sur une publication avec, à la fin, six patients, on sait très bien que ce n’est pas un essai clinique. »

Didier Raoult en vient à expliquer ceci : « […] Je suis désolé que vous n’aimiez pas mon essai, moi je l’aime beaucoup et je trouve qu’il a toutes les bases […] de la manière de faire un essai, de faire des essais comparatifs, et d’avoir une différence significative. Et contrairement à ce que vous dites – et alors là, je m’excuse, mais c’est une erreur radicale – moins il y a de gens quand c’est significatif et plus c’est significatif. Quand vous êtes obligés d’avoir 10 000 personnes dans un essai pour montrer une significativité, c’est qu’il n’y a aucune différence. […] Tout essai qui comporte plus de 1 000 personnes est un essai qui cherche à démontrer quelque chose qui n’existe pas. »

Ces déclarations font écho à d’autres prises de position analogues du chercheur dans la presse, ou de ses confrères de l’IHU Méditerranée Infection. Ainsi, Didier Raoult avait-il déclaré mi-mars dans les colonnes de Marianne : « C’est contre-intuitif, mais plus l’échantillon d’un test clinique est faible, plus ses résultats sont significatifs. » Des affirmations qui ont, à chaque fois suscité des moqueries ou des commentaires circonspects sur les réseaux sociaux, sur le sens de la phrase et sa pertinence.

« Problème de fond »
Nous avons échangé avec l’IHU marseillais, ainsi qu’avec plusieurs statisticiens, afin de clarifier le débat. Le paragraphe suivant a, ainsi, été validé par le porte-parole de l’institut.

Pour simplifier les choses, on peut résumer le propos de Didier Raoult à l’idée suivante : si l’on part de l’hypothèse qu’un traitement est très efficace, cette efficacité sera détectable en étudiant un faible nombre de personnes. Les différences entre les groupes étudiés seront en effet suffisamment marquées pour que l’on ne puisse pas imputer ces différences au recrutement hasardeux de patients plus ou moins bien portant dans l’un ou l’autre des groupes. Dès lors, nous explique notre interlocuteur de l’IHU, on peut considérer que des résultats très nets (« statistiquement significatifs ») sur un petit échantillon de la population dispensent de mener des études sur un plus grand nombre de personnes. Didier Raoult défend l’idée que de petites études aux résultats « statistiquement significatifs » (pour lesquelles on exclut l’interprétation de résultats imputables au hasard de l’échantillonnage) ont une très grande valeur sur le plan clinique.

D’où aussi sa « pique » à l’endroit des larges essais cliniques : « Tout essai qui comporte plus de 1 000 personnes est un essai qui cherche à démontrer quelque chose qui n’existe pas. »

Or pour les statisticiens que nous avons interrogés, ce raisonnement pose « un problème de fond ». L’un d’eux revient tout d’abord sur une notion importante, qui éclaire la controverse : « Si l’on considère les propos tenus, par exemple, dans Marianne, à savoir que "plus l’échantillon d’un test clinique est faible, plus ses résultats sont significatifs", ceux-ci sont évidemment faux. Plus l’échantillon d’un test clinique est faible, moins on a de chances de détecter un effet, en particulier si celui-ci est petit. En revanche, l’inverse est vrai, et c’est ce que semble vouloir dire Didier Raoult : plus un résultat est fort dans la réalité, moins on aura besoin d’un grand échantillon pour le détecter. C’est pour cela, que quand on attend des résultats très forts, on n’a pas besoin de beaucoup de patients pour les détecter. Mais en disant cela… on part de l’a priori qu’il existe un effet. Or la question que l’on se pose, en recherche, n’est pas du tout celle-là ici. Celle à laquelle on veut une réponse, c’est : "Y a-t-il un effet ?" »

« En menant une étude sur peu de personnes, Didier Raoult parie sur un effet fort des traitements testés, alors qu’on était déjà en droit de s’interroger sur l’existence d’un quelconque effet », complète un autre biostatisticien, Stéphane Morisset. Et celui-ci d’ajouter que, « pour répondre à cette question, le seul critère de la significativité statistique ne suffit pas. »

Travaux très contestés
Enfin, selon les statisticiens interrogés, le problème dans l’approche de Didier Raoult est qu’une étude menée sur trop peu de patients ne permettra de détecter que des effets extrêmement importants, alors que des effets plus modestes peuvent tout à fait avoir une pertinence clinique.

Si l’on revient à la question du député Philippe Berta, on comprend que l’argumentaire de Didier Raoult vise à défendre la première publication des chercheurs de l’IHU sur l’évaluation des bénéfices de l’hydroxychloroquine dans le traitement du Covid-19. Selon ces chercheurs, des résultats statistiquement significatifs ont été obtenus en dépit du faible nombre de patients enrôlés. Or ces travaux ont été très contestés quant aux moyens obtenus pour aboutir à cette « significativité statistique ». L’un des reproches les plus notables concerne le fait suivant : alors que l’essai impliquait le traitement effectif de 26 patients (chloroquine seule ou en combinaison avec l’azithromycine), le suivi n’a été mené que sur 20 d’entre eux (3 ont été transférés vers une unité de soins intensifs, 2 ont arrêté le traitement ou ont quitté l’hôpital avant la fin du suivi, et 1 est décédé au troisième jour de l’essai). En d’autres termes, certains estiment que les résultats ne semblaient favorables à l’hydroxychloroquine que parce que les données relatives à 6 patients auraient été exclues des analyses.

Parmi les autres critiques méthodologiques de l’étude, on peut noter le fait que les groupes traités et le groupe « témoin » n’étaient pas pris en charge sur les mêmes sites (et donc pas dans les mêmes conditions), que les groupes n’étaient pas randomisés, que certaines données correspondent à des extrapolations (et non à des mesures réelles), ou encore la faible fiabilité des tests employés (avec des résultats inconsistants d’un jour à l’autre sur un même patient).