Diét et clic

Un des gros problèmes de la science est que certaines personnes (plus ou moins bien intentionnées) lui font dire ce qu’elle ne dit pas, en généralisant abusivement des études ou en tirant des conclusions sans aucun fondement, mais qui les arrangent bien ; pour vendre leurs produits ou exister médiatiquement (et vendre indirectement des livres, des conférences ou obtenir des subventions).

Je vais l’illustrer par 3 exemples qui devraient vous inciter à mieux lire la partie décrivant le cadre et les condition d’une étude ; c’est habituellement suffisant pour se faire une idée.

Prendre un phénomène isolé sorti de son contexte.
Lorsque les premières études ont montré le rôle des anti-oxydants dans la protection des cellules (en luttant contre les radicaux libres), les industriels ont tout de suite vu la manne que pouvait représenter la vente de compléments alimentaires bourrés d’anti-oxydants.

Des études pour la mise sur le marché ont donc vu le jour et rapidement été abandonnés car la supplémentation n’avait pas du tout l’effet escompté et même pouvait réduire l’espérance de vie dans certains cas… La raison ?

L’organisme nécessite un équilibre entre les anti-oxydants et les réducteurs pour fonctionner de manière optimal. Et un apport trop important d’anti-oxydants déséquilibre cette balance.

Prendre un phénomène isolé sans comprendre son interaction dans un (ou plusieurs) système complexe est flatteur pour l’esprit, mais est rarement une bonne idée. Un péché d’égo : on a l’impression d’avoir compris mais on est à coté de la plaque. C’est d’ailleurs un classique de la bro-nnaissance (la connaissance de vestiaires) et un bel exemple d’effet Dunning-Kruger.

Prendre un essai in vitro et généraliser à l’humain
Ici, je vais parler… d’hydroxychloroquine. Mais pour éviter de tomber dans un débat stérile, nous n’aborderons pas la covid-19 (j’ai mieux à faire que subir du cyberharcèlement). Donc in vitro l’hydroxychloroquine est efficace contre le chikungunya, mais lorsqu’elle est administrée à des patients les symptômes de la maladie sont majorés. Encore loupé.

C’est à peine mieux que l’exemple précédent en termes de méthodologie. Cette fois on monte d’un niveau : on passe d’un phénomène théorique isolé à celui de la cellule. La tentation est de se dire que cette fois le contexte est suffisant… ce qui est bien évidemment faux. La cellule n’est qu’une composante d’un organisme pluricellulaire dont le fonctionnement vient de la coopération d’organes spécialisés.

Prendre un essai sur les animaux et généraliser à l’humain
Pour finir, je vais prendre un exemple issu de la nutrition. La fameuse addiction (présumée) au sucre. Les études ont été réalisées sur des souris (indiquées comme modèle murin), pas avec des humains. Et oui, on connait tous quelqu’un qui mange du chocolat en douce… pour autant est-ce qu’un drogué en manque refusera son shoot pour manger un sucre ? Certains animaux semblent fonctionner comme nous mais utiliser la biologie des souris pour tirer des conclusions pour l’humain est assez hasardeux et beaucoup de spécialistes en addictologie sont contre cette thèse. Loin de moi l’idée de rejeter les études sur modèles animaux, mais elles ne sont qu’une étape avant les études sur l’homme et les conclusions qui peuvent éventuellement être tirées.

Où je voulais en venir ?

Arrêtez de brandir des études qui ont un cadre d’expérimentation défini pour leur faire dire plus qu’elles ne concluent (souvent avec pas mal de pincettes dans la partie discussion) et d’en faire des vérités permanentes, globales et immuables.

Nous sommes le fruit de l’évolution, de l’adaptation à des environnements et à des habitudes de vie où le hasard des mutations brouille encore plus le jeu ; sexes différents, groupes ethniques différents, modes de consommation différents, niveaux d’activité physique différents, etc. Donc faites preuve d’humilité : une théorie est définie et n’est considérée comme vraie que jusqu’à ce qu’on ait démontré qu’elle est fausse (avec une méthode fiable et pas des arguments pifométriques).

Ça peut avoir l’apparence de la science ou l’odeur de la science sans méthodologie ce n’en est pas. Et lorsque l’orgueil s’en mêle, c’est encore pire.

Comme je l’ai indiqué dans mon article précédent sur les sources non académique, la fiabilité des témoignages rapportés et potentiellement déformés ou les mécanismes de mémoire déforment régulièrement la réalité. Il est donc nécessaire de garder un compte précis pour rester objectif et ne pas choisir uniquement les exemples qui nous intéressent.

C’est pour cela que les études publiées reposent sur différents outils statistiques.

Les statistiques descriptives, qui servent à structurer les données récoltées pour dresser le premier panorama d’une situation afin d’essayer de comprendre un phénomène.

Il est alors de coutume de proposer des représentations chiffrées et graphiques qui apportent des informations utilisables et de produire des probabilités d’occurrence d’un évènement.

La neutralité des statistiques évite de ne se souvenir que des cas qui nous arrangent

Le choix de la population étudiée ne dois pas présenter de biais de sélection (je ne choisis que les gens qui m’arrangent) mais doivent être le plus possible représentatif de la population que l’on souhaite étudier. Certains sujets peuvent aussi être affectés par un biais du survivant, les témoignages de personnes ayant survécu à un situation mortelle prenant alors une proportion plus importante que dans la réalité puisque ceux qui sont morts ne peuvent témoigner. D’autres problèmes peuvent survenir, notamment par la méthode de sélection reposant sur le bénévolat (seuls les gens intéressés par un sujet et ayant certains comportements participent).

La manière de sélectionner un échantillon sensé être représentatif de la population que l’on veut étudier est donc cruciale.

La taille de l’échantillon interrogé est aussi un problème. Il faut qu’il soit assez important pour pouvoir être représentatif de la population étudiée. Si je n’interroge que 4 personnes, je peux tomber sur 4 personnes « hors norme » mais si j’en contacte 100 c’est beaucoup moins probable et si c’est 1000 c’est encore plus rare. Plus la taille de l’échantillon est grande et plus son comportement sera proche de celui de la population étudiée. On parle de Loi des grands nombres.

Par exemple si vous jouez à pile ou face, une pièce non truquée lancée sans manipulation a en théorie une « chance » sur deux de tomber sur pile et la même « chance » sur face. Si vous faites l’expérience, il se peut que deux lancers de suite donnent face mais plus vous lancerez la pièce plus vous tendrez vers les 50% de pile et 50 de face.

La représentation graphique de ces probabilités permet de produire une courbe de loi statistique. La plus connue est celle dite de la Loi Normale et le Théorème central limite postule qu’une suite de variable tendra vers la loi normale. Mais elle nécessite un échantillon d’au moins 30 personnes pour commencer à pouvoir être utilisée. En dessous de cette taille, il est nécessaire d’utiliser des lois correctrices et la fiabilité est bien moindre. Pensez-y lorsque vous lisez des études sur 15 ou 20 personnes… Là encore plus la taille d’échantillon est importante et plus la fiabilité augmente.

Pour plus de détails, la chaine YouTube « La statistique expliquée à mon chat » propose une vidéo qui pourrait vous intéresser.

Et la dispersion autour de la moyenne (nommée espérance puisque c’est la valeur la plus probable), notée en écart type, permet d’englober une plus ou moins grande partie de la distribution en tenant compte des variabilités. On considère qu’un écart type couvre 68% de la distribution, deux correspond à 95% et trois à 99,7%.

Grace à ces écarts types il est possible, lorsque l’on confronte une donnée à la distribution de loi normale, de dire si cette donnée semble fiable ou pas (à 68%, 95 ou 99.7%). C’est ainsi qu’il est possible de poser des hypothèses et de les tester. Et gardez à l’esprit que même une étude bien menée et fiable à 99,7% peut produire un résultat faux en étant dans les 0.3%…

On commence par postuler une hypothèse (par exemple que le phénomène A entraine le résultat B). Puis le résultat de l’expérience est mis en lien statistiquement avec le résultat théorique. Si le résultat obtenu n’est pas cohérent, on rejette l’hypothèse. S’il n’est pas incohérent, on ne rejette pas l’hypothèse.

J’insiste sur le fait de ne pas rejeter plutôt que de dire « on valide l’hypothèse » car il serait possible de passer à coté d’une autre explication (par exemple C -> B) et le résultat serait donc cohérent avec notre hypothèse bien que l’hypothèse soit fausse… Jusqu’à preuve du contraire (donc dans un temporaire qui peut être définitif), cette théorie sera utilisable.

Cette notion de fiabilité dans un intervalle de valeurs apparait sous le nom de significativité (significatif statistiquement), noté P. Il est donc important de regarder cette valeur dans une étude. On considère qu’un p <5% est significatif, s'il est supérieur il faudra augmenter la taille de l'échantillon car la différence observée ne sera peut-être due qu'au hasard. Cette vidéo de l’Inserm de moins de 4 minutes qui vous l’expliquera plus en détail.

C’est ici qu’entrent en jeu les biais de confusion. Quelque chose dans l’étude n’a pas été pris en compte et pourtant les résultat vont dans le sens qui nous arrange. Je vais prendre un exemple qui illustre cela très bien : une étude regardait la relation entre nombre de cigognes et nombres de bébés… et effectivement là où il y avait plus de cigognes, il y avait plus de bébés. Donc les cigognes apportent les bébés ? La confusion venait d’un facteur simple. Les cigognes reportées avaient leur nid sur les cheminées. Plus une ville est grande plus il y a de cheminées, donc de cigognes. Mais aussi plus une ville est grande et plus il y a de bébés si on considère le taux de naissance identique dans les différentes tailles de ville… le déterminant n’était donc pas le nombre de cigogne mais la taille de la ville.

Une autre notion importante et même fondamentale est la différence entre la corrélation et la causalité. La corrélation est un lien observé entre deux séries de données. Mais cela n’indique pas si c’est le fruit du hasard ou si un phénomène lie bien les deux séries…

Le site spurious correlations s’est fait une spécialité de dénoncer ces liens qu’il est très tentant de faire entre…

Les noyades par chute dans une piscine et le nombre de films avec Nicolas Cage

Ou mieux encore, la consommation de fromage et les morts par étouffement dans ses draps qui est encore plus « parlante ».

Comme ces deux infographies issues du site dont je vous ai parlé le montrent, un lien peut être le fruit du hasard. Et c’est un réel problème des études dites observationnelles qui ont tendance à tirer des conclusions rapides au lieu de tester des hypothèses.

Même dans le cas où un lien est fermement établi, il ne faut pas non plus anticiper le sens de cette relation avec un biais d’antériorité. Dit autrement, ce n’est pas parce que cela s’est passé avant que c’est la cause. Cette manière de pensée est anti-intuitive et l’antériorité n’est en rien la preuve de la cause.

Un exemple permettra de mieux comprendre. Imaginez que vous ne connaissiez pas le système de transports en commun. Qu’observe-t-on ? Des gens arrivent à un arrêt de bus, puis le bus vient. Est-ce que ce sont les gens qui font venir le bus ou le bus qui fait venir les gens ? Bien évidemment les gens viennent parce qu’ils savent qu’ils pourront prendre le bus et arrivent en avance pour être sûrs de ne pas le rater… Il faut se méfier des idées reçues et des pensées toutes faites.

Deux choses :

• Ne confondez pas corrélation et causalité ;
• Ne tirez pas de conclusion hâtive sur le sens de la causalité si elle existe.

Enfin, l’économétrie permet de créer des modèles plus complexes d’explication d’un phénomène pouvant intégrer différents facteurs et permet de tester les hypothèses ou l’implication de ces facteurs dans un phénomènes.

Donc non, toutes les études ne se valent pas en terme de qualité de récolte des données, de respect des outils statistiques et des conclusions apportées mais cela fera l’objet d’un autre article.

Lorsqu’il s’agit de juger de la véracité des faits, il vaut mieux faire preuve de discernement. Tout ne se vaut pas, loin de là. C’est pourquoi une méthode de classement synthétisée par une pyramide a vu le jour : plus on est haut et plus la fiabilité est élevée et à contrario si on est en dessous de cette pyramide c’est une zone de sables mouvants…

Je vais donc commencer par présenter les sources non académiques, la validité des études sera abordée dans un prochain article.

Tout d’abord, la rumeur… et sa non fiabilité bien connue. Que ce soit la bonne vieille sagesse populaire qui dit tout et son contraire, un témoignage rapporté ou des bruits qui courent, je les classe dans la catégorie rumeur. Notre époque de réseaux sociaux est marquée par les fakenews et la sphère numérique participe à ce brouhaha informationnel qui rend difficile l’identification du vrai, du partiellement vrai et du faux.

Puis vient le témoignage ou l’anecdote personnelle. Le sujet est particulièrement sensible car il touche à l’intime. Voir son témoignage remis en question est souvent vécu comme la remise en question de soi…

Pourtant le témoignage est peu fiable même si on est de bonne foi. Déjà parce qu’il est le reflet de notre perception d’une situation ; elle peut être parcellaire et ne pas rendre compte de ce qu’il s’est passé réellement.

Ensuite parce que cette perception est traitée par notre cerveau pour dresser une analyse de la situation. Encore une étape qui peut nous induire en erreur, notamment parce notre cerveau aime les raccourcis facile et rapide au détriment d’une réflexion fiable mais qui demande des ressources en temps et en énergie. C’est ainsi qu’une personne se retrouve à voir le visage de jésus dans une biscotte… oui la forme nous y fait penser, mais de là à dire que qu’il s’agit de jésus, il faut être bien péremptoire. Ces phénomènes de sur interprétation sont connus sous le nom de paréidolie ou d’apophénie. Si je sujet vous intéresse la chaîne Hygiène Mentale propose une très bonne vidéo sur ce mode de fonctionnement du cerveau.

De plus le témoignage est un souvenir. Et les souvenirs peuvent se modifier avec le temps ou plus problématique encore, il arrive que de faux souvenirs apparaissent.

Et pour finir un aspect psychologique se charge de brouiller encore plus notre témoignage, le biais de confirmation ; cette tendance à ne retenir que ce qui va dans notre sens et à écarter ce qui contredit notre version.

C’est sans compter le mensonge volontaire ou non, pour se valoriser, attirer l’attention ou faire de l’argent auprès d’un public crédule ou en fragilité.

Toutes ces raisons devraient nous pousser à plus d’humilité quant à nos témoignages et à ne pas prendre ceux des autres pour argent comptant.

Néanmoins, il est préférable de garder à l’esprit que le témoignage est peut-être juste et le scientifique doit accepter de l’entendre pour le remettre en perspective avec les autres cas relevant de ce domaine. Cela permettra de faire avancer la connaissance scientifique qui permettra de fournir un avis objectif avec le moins de biais possible. Vous pouvez trouver une personne qui a été sauvée en ne mettant pas sa ceinture, ce qui sera une exception puisque la ceinture de sécurité obligatoire a eu de réels effets sur la mortalité.

L’avis d’expert est un cas charnière entre les sables mouvants et la pyramide. S’il est dans son domaine de compétence, reconnu par ses pairs et au fait des travaux dans le domaine et des dernières avancées, il est mieux informé que monsieur tout le monde. Pour autant un biais d’autorité est possible. « je sais parce que je suis expert » n’est pas un argument, il faudra lui demander ses sources pour pouvoir aller les vérifier (ce qu’abordera l’article sur les sources académiques).

Mais lorsqu’il s’exprime sur un sujet qui n’est pas son domaine d’expertise ou qu’il s’est autoproclamé expert (les fameux autodidactes qui n’ont étudié que le morceau de la discipline qui va dans le sens de leur croyance), son avis est (pour le moins) sujet à caution et le fait qu’il se gargarise d’être un expert (mais qu’il « oublie » de préciser qu’il s’agit d’un autre domaine) n’est en général pas bon signe. Quand je veux des informations sur une installation électrique je ne demande pas à un expert en architecture médiévale…

Pour conclure, gardez à l’esprit que le flou ne profite qu’aux charlatans.