Statistiques et déceptions. La méthodologie au secours du lecteur

14 octobre 2001

Mots clés : Statistiques, Méthodologie
Auteurs : GLEMAIN P
Référence : Prog Urol, 2000, 10, 607-607

Les progrès thérapeutiques ne sont pas toujours aussi évidents que ceux apportés par l'œstrogénothérapie dans le cancer de prostate, ou la lithotritie extracorporelle pour les calculs rénaux. L'efficacité de telles thérapeutiques est facile à mettre en évidence par des statistiques simples, robustes, accessibles au plus grand nombre des lecteurs. Par nécessité, les travaux actuels cherchent souvent à mettre en évidence des progrès plus modestes dans des domaines très spécialisés. Cette situation nécessite des techniques statistiques de plus en plus complexes, ce qui rend les articles hermétiques. En 1983, la connaissance des méthodes statistiques de base (statistiques descriptives, tableaux de contingences et test t) permettait de comprendre 66% des méthodes utilisées et 73% des essais publiés dans le New England Journal of Medicine [1]. Dix ans plus tard, la situation s'était dégradée. Le même niveau de connaissance permettait encore de comprendre 37% des statistiques utilisées, mais ne donnait accès à aucun des articles relatifs aux essais multicentriques [2]. Les conclusions sont souvent contradictoires ce qui conduit à multiplier les travaux, puis les articles. Leurs faibles niveaux de preuve permettent d'alimenter les polémiques. Bien que de nombreux résultats soient statistiquement significatifs, ils ne sont pas souvent cliniquement significatifs. Les résultats "négatifs" ne sont pas toujours publiés. Et ce biais, dit de publication, est difficile à évaluer par le lecteur. S'agit-il d'un défaut de puissance ou faut-il remettre en cause l'hypothèse qui motivait l'étude? Certains auteurs se comportent même comme des Apprentis Sorciers, dépassés par leur outil. Ainsi REILLY, qui avait réussi à démontrer l'efficacité d'un traitement homéopathique, s'est demandé si c'était bien vrai ou si c'était le principe des essais cliniques qui était mauvais [3]. Il s'agit d'une sorte de remise en cause des résultats non attendus. Les statistiques serviraient-elles, parfois, à confirmer, avec le masque de la rigueur, ce que l'auteur veut démontrer a priori? Seuls les résultats allant dans le sens de la démonstration seraient acceptés tels quels, un peu comme un magistrat qui n'instruirait qu'à charge (de la différence significative ou de son absence). Il arrive même que des études soient biaisées dès le départ. Elles comportent des mises en forme, des transformations de données, qui ne réalisent en fait qu'une "manipulation", une numérisation de la réalité, pour en faciliter le traitement statistique. Ce peut être le cas des scores fonctionnels et des échelles de qualité de vie multiples et variées, ou d'une façon plus générale, des critères de substitution, lorsqu'ils sont mal choisis, mal évalués.

Que devient le lecteur "normal" face à cette évolution? Il peut rejeter l'ensemble de la littérature médicale et attendre que les nouvelles thérapeutiques soient adoptées dans sa spécialité. Mais il s'expose aux effets de la mode, aux pressions commerciales ou médiatiques. Il peut aussi accepter telles quelles toutes les conclusions, comme dans les bibliographies non triées. Il est alors confronté à toutes les contradictions de la littérature et ne peut plus faire de choix motivés. La troisième voie consiste à se faire une opinion personnelle sur un article, en lui attribuant un niveau de preuve. Pour cela, une analyse méthodologique, le plus souvent simple, permet d'en faire une lecture critique mais constructive. Il ne s'agit pas de rejeter les statistiques, ni de les vérifier. Il s'agit de s'assurer qu'elles s'intègrent bien à une méthode rigoureuse et transparente.

L'argumentation méthodologique, à l'opposé de la complexité des statistiques "modernes", est accessible aux cliniciens. Les discussions portent sur des éléments simples tels l'hétérogénéité des traitements, des doses, des stades cliniques, la faible puissance de certaines études, des analyses en sous-groupes, l'intention de traiter non respectée, le biais de publication, les critères de jugement, les risques relatifs et absolus donc l'intérêt clinique, les qualités d'une méta analyse. Le raisonnement méthodologique est proche de celui du clinicien. Il repose sur une sorte d'analyse sémiologique. Il faut donc bien connaître les signes essentiels, afin de pouvoir les rechercher. Ce sera l'objet d'une série de mises au point ultérieures dont la première concernera "l'analyse causale".

Références

1. EMARSON J.C., COLDITZ G.A. Use of statistical analysis in the New England Journal of Medicine. N. Engl. J. Med., 1983, 309, 709-713.

4. MARSH M.J., HAWKINS B.S. Publications from multicentre clinical trials : statistical techniques and accessibility to the reader. Stat. Med., 1994, 13, 2393-2406.

3. REILLY D., TAYLOR M.A., BEATTIE N.G.M., CAMPBELL J.H., McSHARRY C., AITCHISON T.C., CARTER R. Is evidence for homeopathy reproducible? Lancet, 1994, 344, 1601-1606.