Le grand flou statistique : quand l'explosion des datas nous pousse à tirer des conclusions sur tout à partir de pas grand-chose | Atlantico.fr
Atlantico, c'est qui, c'est quoi ?
Newsletter
Décryptages
Pépites
Dossiers
Rendez-vous
Atlantico-Light
Vidéos
Podcasts
High-tech
Récemment, une énième étude sur le lait maternel contredisait l'idée selon laquelle le lait en bouteille serait moins bon pour la santé.
Récemment, une énième étude sur le lait maternel contredisait l'idée selon laquelle le lait en bouteille serait moins bon pour la santé.
©Reuters

Tout et son contraire

Le grand flou statistique : quand l'explosion des datas nous pousse à tirer des conclusions sur tout à partir de pas grand-chose

Faut-il boire du vin, ou ne pas en boire ? Allaiter, ou non ? Les études scientifiques abondamment médiatisées prolifèrent. Leurs résultats souvent contradictoires sont généralement sur un même plan, sans prise en compte de leurs spécificités ou de leur marge d'erreur. Au détriment de la fiabilité de l'information.

André  Nieoullon

André Nieoullon

André Nieoullon est Professeur de Neurosciences à l'Université d'Aix-Marseille, membre de la Society for Neurosciences US et membre de la Société française des Neurosciences dont il a été le Président.

 

Voir la bio »

Atlantico : Récemment, une énième étude sur le lait maternel contredisait l'idée selon laquelle le lait en bouteille serait moins bon pour la santé, à rebours de la plupart des données scientifiques collectées jusqu'alors (voir ici). On assiste depuis plusieurs années à une prolifération d'études scientifiques, largement relayées par les médias. Peut-on mettre toutes ces études sur un même plan, sans prise en compte de leurs spécificités ?

André Nieoullon : Votre question a trait à deux problématiques bien différentes et sans doute liées, qu’il faut distinguer : d’une part celle relative à l’explosion de la production scientifique ; d’autre part celle de son exploitation par les médias. L’explosion du nombre des publications scientifiques n’est pas un phénomène nouveau mais il est incontestablement amplifié, notamment par la production à croissance exponentielle des pays émergents et en particulier de la Chine (1). Vous avez raison de le souligner, cette surabondance de publications pose effectivement un problème d’information, d’assimilation et de vérification de la fiabilité des contenus.

Sans doute plusieurs éléments sont-ils en cause, dont notamment, mais pas seulement, une forme de « course à la publication » en rapport avec le mode de financement de la recherche « sur projet » dans de nombreux pays. De fait, la publication est nécessaire à court terme pour pouvoir prétendre à de nouveaux financements, etc. Mais l’un des facteurs majeurs est certainement le mode de publication lui-même et l’accès aux données : dans de nombreux cas maintenant, s’agissant des sciences exactes et expérimentales, les publications se font selon un mode numérique, accentuant la vitesse de ces publications… sans doute au détriment de la rigueur de leur évaluation préalable. Dès lors, augmentation du nombre de données et moins bonne maîtrise de leur fiabilité, associée à la nécessité de produire des données que je qualifierai de « sexy » pour pouvoir séduire les financeurs de la recherche, représente un réel danger, auquel s’ajoute la propension dès lors naturelle à prendre le risque de leur diffusion dans les médias et par les médias, qui amplifient sans contrôle et souvent avec la complicité du chercheur le caractère éventuellement sociétal de cette « information », alors même qu’il est bien trop tôt dans la plupart des cas pour savoir quel est l’impact réel de cette information. De mon point de vue, seul peut-être le monde des sciences humaines et sociales, parce que leur production scientifique obéit à d’autres règles, échappent, pour le moment à cette fuite en avant.

Ainsi, si l’explosion de la production scientifique peut-être perçue comme la conséquence de cette fuite en avant, souvent résumée par le publish or perish des anglo-saxons, il existe bien d’autres facteurs qui y contribuent, dont la mondialisation des publications et leur accès. Dans ce contexte, on peut alors s’’interroger comme vous le faites de la « lecture » que font les médias de ces données ?

Par nature, le scientifique est quelqu’un qui doute… et qui, par conséquent, est prudent. A la manière de la lecture du discours politique, les conclusions des études sont sorties de leur contexte et appréhendées ici sans la prudence des limites de la méthodologie ou de la portée des protocoles expérimentaux visant le plus souvent à tester des hypothèses. Pourtant, les conclusions des études –à quelques très rares exceptions près !- n’ont pour objet que de préciser ce qui reste encore des hypothèses et surtout à susciter de nouvelles investigations.

Ainsi avance la science, la production de connaissances nouvelles permettant d’asseoir le plus souvent un nouveau cadre conceptuel ! Tout le reste n’est que spéculation et, s’il ne faut pas minimiser la responsabilité de certains scientifiques en quête de sensationnalisme et de promotion personnelle, dans l’immense majorité des cas on peut considérer que les scientifiques sont plus victimes que promoteurs de la médiatisation de leurs propres travaux. Il n’en reste pas moins vrai que le scoop est tentant mais que le plus souvent c’est bien la « lecture » des travaux par les médias qui est en question.

Le scientifique peut lui-même, bien entendu, avoir une responsabilité, notamment lorsqu’il s’enferme dans une certaine aliénation à des financeurs de la recherche susceptibles de lui retirer une partie de sa liberté de chercher et « induire » ainsi une méthodologie quelque peu biaisée et à même de produire les résultats attendus par le promoteur des travaux dont les motivations sont en général mercantiles, ou encore lorsqu’il est aliéné par une idéologie qui induit son jugement, ce qui n’est plus compatible avec la rigueur nécessaire à ses investigations. Dans les deux cas, la fiabilité des études en pâti et le cherry picking, cette propension à « sélectionner » les résultats en faveur de l’hypothèse et à éliminer tout ce qui n’est pas en accord avec elle,  devient alors une justification qui se présente comme naturelle (les excuses pour éliminer les données sont toujours trouvées et justifiées), de telle manière que le scientifique en question est même complètement persuadé qu’il agit de bon droit ! Notre responsabilité en tant que scientifique et « passeur  de sciences » est alors d’inculquer la rigueur à nos élèves et rien que la rigueur.

De cette surabondance de publications scientifiques portant sur le domaine de la santé, qui est le responsable ? Est-ce la faute des chercheurs, de leurs financeurs, ou encore des médias en général (voir ici) ?

Le domaine de la santé présente des caractéristiques toutes particulières, en ce sens qu’il touche le plus souvent à une attente de nos concitoyens en rapport avec des problématiques qui leur sont toutes personnelles. Il se trouve par conséquent une composante émotionnelle liée à l’attente des résultats de la recherche, lorsque les familles sont touchées par la maladie notamment. Dans ce contexte, la dérive médiatique est encore plus dangereuse, conduisant dans le meilleur des cas à des déceptions liées à de faux espoirs et, dans les plus dramatiques, à un rejet de la démarche scientifique et à un recours à des solutions alternatives bien éloignées de la rigueur indispensable de la thérapeutique et de la médecine moderne dont les principes sont résumés dans la proposition evidence based medicine, c’est-à-dire la médecine par la preuve de l’efficacité thérapeutique. Dans la période récente deux exemples illustrent, parmi de nombreux autres cas, ces dérives qui ont animé les débats dans notre pays : la prétendue découverte « des gènes de l’autisme » et l’effet des OGM sur l’organisme ou, dans le même registre et par extension, la peur irrationnelle de se mal nourrir. On peut y ajouter, sans qu’il soit possible ici de tout développer, la peur des vaccinations ou encore la phobie des rayonnements, par exemple liée à l’utilisation des téléphones portables, etc. Ces cas sont  tous différents en ce sens qu’ils illustrent des dérives du cartésianisme, associées à une montée d’une forme certaine d’obscurantisme.

Le cas de l’autisme est assurément exemplaire, à cet égard2. Si le rôle de l’hérédité dans les syndromes autistiques est avéré et ne souffre que de peu de contestation, la recherche « du gène de l’autisme » a fait récemment l’objet de controverses considérables et chacun s’accorde à penser dans ce domaine que les nombreuses mutations découvertes sont en faveur d’une susceptibilité génétique et certainement pas d’une théorie monogénique (un gène, une maladie), ne serait-ce qu’en considérant l’extrême hétérogénéité des syndromes du spectre autistique. Possiblement parce qu’elles discréditent les théories psychanalytiques, ces découvertes et surtout leur surinterprétation ont conduit à ces polémiques, mais elles illustrent surtout, dans ce cas, les liens dangereux entre recherche en génétique médicale et le monde des entreprises et des biotechnologies, avec leurs impératifs de rentabilité. Et elles conduisent à une implacable vision réductionniste de l’organisation du vivant qui n’est certainement pas de mise !

S’agissant de l’impact des OGM dans l’alimentation, il n’a fallu que d’une étude extrêmement médiatisée mais oh combien mal conduite pour « lancer une alerte » complètement infondée. Pour preuve, le retrait de l’article par la revue qui l’a publié. Mais le mal était fait et le titre du Nouvel Observateur clamant en couverture « Oui, les OGM sont des poisons » n’a pas été sans dégâts collatéraux durables ! Inutile de développer plus. Et ainsi de suite pour les autres exemples précités.

La faute des chercheurs, questionez-vous ? Des financeurs ? Des médias ? Plutôt une question d’éthique, de déontologie et de conscience professionnelle ou tout un chacun a sa part de responsabilité.

La recherche médicale est-elle affectée par cette surabondance de publications ? Croule-t-elle sous les données inutiles, au point d'en perdre le sens des priorités ?

L’un des lieux communs de la démarche scientifique est de dire « si ça a été montré, à quoi ça sert de refaire l’expérience ? ». Et on veut prouver par-là qu’il est ainsi possible d’économiser, du temps et de l’argent dépensé irrationnellement… Et bien entendu, dans le cas de la recherche préclinique, de préserver la vie de beaucoup d’animaux. Les choses ne sont évidemment pas aussi simples et il faut admettre que si les sciences expérimentales souffrent d’incertitudes, par essence, ces incertitudes sont encore plus grandes s’agissant du domaine de la santé. La médecine moderne n’a rien d’une science exacte et l’un de ses mérites et de le reconnaître, souvent avec la plus grande modestie. La variabilité des résultats est donc la règle parce que l’expérimentateur est loin de maitriser tous les facteurs influant sur le résultat. Et du coup cela nécessite encore plus de prudence dans l’interprétation de ces résultats, et je ne parle pas des conséquences des trop nombreux discours péremptoires sur l’avancée de la science !

L’une des critiques qui s’est fait jour au cours de ces dernières années est de questionner la fiabilité des résultats de ces expérimentations au regard des conclusions que l’on peut en tirer. Considérant que l’un des outils majeurs de cette recherche expérimentale est l’approche statistique, d’aucun a pu relever les incertitudes et le peu de fiabilité des résultats en rapport avec la taille limitée des échantillons analysés… Une question de méthode, donc ! Et parallèlement on a vu le lobby des ligues antivivisectionnistes dire bien au contraire que l’on devrait réduire considérablement le nombre d’animaux utilisés (lorsque c’est indispensable) dans cette recherche expérimentale en augmentant la puissance des tests statistiques. Pas facile de s’y retrouver… Les Neurosciences –mon domaine de recherche- ont ainsi été récemment stigmatisées, considérant que la taille des échantillons en ce domaine particulier est particulièrement critique, aboutissant à une puissance statistique de l’ordre de 20%, en moyenne très inférieure à ce que l’on admet dans d’autres champs disciplinaires. Est-ce à dire, comme cela a été interprété, qu’il s’agit dès lors d’une recherche douteuse, couteuse et par-là inutile ? Les détracteurs des Neurosciences devraient s’informer mieux et admettre les progrès considérables des connaissances sur l’organisation et le fonctionnement du cerveau dans la période récente ! Et ils devraient également admettre que jamais les études statistiques accompagnant ces résultats n’ont été aussi rigoureuses.  Ainsi le procès d’utilisation de « mauvaises statistiques » sur les rats traités aux OGM mentionnés plus haut n’est-il qu’une caricature de la rigueur expérimentale. L’une des limites indéniables de l’approche expérimentale du vivant est la difficulté de la formalisation mathématique des données recueillies. Que certaines expérimentations souffrent de limites méthodologiques au point d’invalider certaines données est là aussi indéniable mais j’affirme que ce type de problème est extrêmement rare et que le rôle des comités de lecture des revues scientifiques est justement de bloquer les études en souffrant. Clairement, dans nombre de cas augmenter la taille de l’échantillon n’est certainement pas la bonne méthode pour accroître la fiabilité des résultats. Aujourd’hui, jeter le doute sur la fiabilité des études en Neurosciences est pour le moins choquant si l’on considère l’enjeu de cette recherche : dans notre pays et dans le monde il est admis qu’en moyenne une personne sur 3 ou sur 4 souffre ou souffrira au cours de sa vie d’une maladie du cerveau, qu’elle soit d’ordre neurologique ou psychiatrique en incluant les addictions, et que prendre en charge ces maladies coûte à la Société, au-delà des souffrances qu’elles génèrent, jusqu’à 37% des dépenses de santé. Alors, bien sûr, on peut conclure qu’aujourd’hui les résultats ne sont pas là et que nous sommes encore bien incapables de guérir ces malades, dans la plupart des cas. Cela est exact. Mais s’est-on interrogé sur ce qu’était la prise en charge de ces malades il n’y a seulement que 20 années ? Ce simple constat devrait amener à plus de prudence –et de modestie- quant à l’attitude de ceux qui visent (le plus souvent gratuitement) à discréditer les Neurosciences.

Notre pays a la chance d’avoir l’une des toutes premières communautés de chercheurs en Neurosciences au monde et j’affirme, pour avoir présidé, à sa destinée dans de nombreuses instances, qu’elle est respectée au plus haut niveau par la communauté internationale et qu’elle est porteuse de progrès, n’en déplaise à ses détracteurs ! A la veille d’un évènement d’ampleur mondiale qui est connu comme étant « La semaine du cerveau » (du 10 au 16 mars), j’appelle à la participation de nos concitoyens aux nombreux évènements organisés dans ce cadre dans au moins une trentaine de villes de notre pays, ne serait-ce que pour s’informer des avancées de la science, et à participer généreusement à la campagne du Neurodon qui, sous l’égide de la Fédération pour la Recherche sur le Cerveau (FRC), fait appel à leur générosité pour soutenir la recherche.

In fine, est-ce le grand public qui en pâtit le plus ? Le public n’est-il pas perdu, ne sachant plus quelles recommandations sanitaires suivre, qu'il s'agisse de la consommation d'alcool, de l'alimentation des bébés, des exercices mentaux pour entretenir le cerveau… ? Comment le grand public peut-il faire la part entre les études scientifiques qualifiables de mineures, et celles dont les résultats sont véritablement notables ?

Votre question appelle une réponse claire : oui, au-delà des chercheurs eux-mêmes, le grand public est la première victime de ces allégations qui visent à discréditer la science. Que les scientifiques puissent se tromper, voire être malhonnêtes, est une évidence. Il n’y a pas plus (ni moins) de naïfs et de tricheurs chez les chercheurs que dans le reste de la société. Mais il est de notre responsabilité de chercheur de défendre la méthode scientifique contre toute démarche relevant plutôt d’un opportunisme de mauvais aloi3. Au fond, c’est de la définition de la Science dont il s’agit mais, au-delà de sa définition, de sa crédibilité, et cela est plus important. Alors si poser la question de savoir s’il faut se méfier des OGM, du téléphone portable, du cholestérol ou encore des vaccinations, relève du débat de Société, avec l’idée qu’il est absolument nécessaire de débattre de ces questions, il faut aussi se méfier de la façon de poser les questions, qui peuvent suggérer aux moins avertis d’entre nous que la science est impuissante et, pire, qu’elle apporte des contre-vérités. Oui, l’obscurantisme a encore de beaux jours et les médias ne nous aident pas toujours à le combattre !

___________________________

1Dans l’absolu, si l’on s’en tient à la place de la France par exemple par rapport à la production globale de l’Union Européenne, il se trouve, certes, une augmentation du nombre de publications qui se trouve relativement constante depuis une dizaine d’années (notre production scientifique est de l’ordre de 8,7% du total en 2013 contre 8,5% en 2004) mais lorsque l’on situe cette production par rapport à celle au niveau mondial, notre « poids » régresse mécaniquement pendant la même période de 2,9 à 2,6%. Ce qui est toutefois beaucoup plus intéressant est que notre indice de citation de ces travaux, qui est le vrai indicateur de la performance de nos équipes et de la qualité de leurs travaux, augmente de 0,98% à 1,14%. On peut s’interroger sur les raisons de cette augmentation très significative de notre pénétration de la science mondiale et y trouver des raisons dans le fait que le financement des équipes est passé d’un mode encore en partie récurent à un mode de financement « sur projet » très compétitif, notamment en rapport avec la création de l’Agence Nationale pour la Recherche (ANR) en 2007. De plus, l’évaluation externe des équipes par des comités internationaux au travers de l’Agence pour l’Evaluation de la Recherche, l’AERES, a elle aussi certainement contribué à faire que les équipes visent à une production de plus haut niveau international.

2On se référera utilement à ce sujet à l’ouvrage de Bertrand Jordan « Autisme, le gène introuvable » (Seuil, 2012).

3Je vous engage à cet égard à consulter le numéro 304 d’Avril 2013 de la revue « Science et Pseudo-sciences », qui fait le point sur cette question.

 

 

En raison de débordements, nous avons fait le choix de suspendre les commentaires des articles d'Atlantico.fr.

Mais n'hésitez pas à partager cet article avec vos proches par mail, messagerie, SMS ou sur les réseaux sociaux afin de continuer le débat !