#39 · Il y a toujours un article scientifique qui prouve que vous avez raison

Chère abonnée, cher abonné,

Le nombre de publications scientifique a explosé au cours des dernières décennies – au point que l’on peut s’interroger si ça n’est pas une mauvaise chose pour la recherche scientifique. Dans le même temps, les sceptiques savent bien à la fois la puissance de la méthode scientifique et les risques lorsqu’elle est utilisée n’importe comment.

Lorsque la Tronche en Biais m’avait invité dans une Tronche en Live en 2017 (ça commence à dater !), Acermandax m’avait parlé de certaines méthodes argumentatives des pro-homéopathie : citer les quelques articles scientifiques qui (supposément) montrent que l’homéopathie a un effet, en oubliant tout le reste de la littérature scientifique qui montre le contraire. Pour lui, son rôle de sceptique consistait à rappeler ce fameux reste de la littérature.

La question de savoir si les quelques études scientifiques citées par quelqu’un sont en phase ou non avec le consensus scientifique se généralise en réalité à tous les champs scientifiques – y compris dans les sciences humaines et sociales comme l’économie. En économie théorique, il y a d’ailleurs ce petit dicton – qui a inspiré ce numéro :

Il y a tellement de modèles qu’il est toujours possible d’en trouver un qui valide vos conclusions.

Il faut être d’autant plus prudent que vu l’inflation du nombre de publications scientifiques, la probabilité de trouver un article qui va pile dans le sens de ce que l’on veut démontrer est forcément plus élevée. Or, dans les sciences, naturelles comme humaines et sociales, un article seul ne prouve jamais grand chose. Il appelle en général à des réplications, des vérifications, des compléments. Un résultat en apparence aussi contre-intuitif que l’absence d’effet négatif du salaire minimum sur l’emploi a dû être revérifié encore et encore avant d’intégrer le consensus scientifique – quasiment trente ans après sa première découverte en 1994.

Du point de vue du vulgarisateur, il me semble important de vulgariser le consensus scientifique – et d’éviter de se reposer sur quelques références bibliographiques pour défendre un argument, en particulier lorsqu’elles sont tirées d’un champ scientifique que l’on ne connaît pas bien.

Quelques remarques toutefois.

La première, c’est qu’il n’existe pas toujours de méta-analyses ou d’analyses systématiques de la littérature. Dans ce cas, identifier le consensus scientifique (ou son absence, si la question de recherche n’a pas encore été tranchée) peut s’avérer difficile.

La seconde, c’est qu’il n’est évidemment pas interdit de citer un seul (ou quelques) article(s) pour défendre un argument. Comme je l’écris plus haut, c’est parfois la seule option. Et si l’on peut prouver par ailleurs que l’article cité est cohérent avec le consensus scientifique, c’est sans doute plus pratique de se contenter d’une seule référence.

Par ailleurs, il n’est pas toujours matériellement possible de lire des dizaines d’articles sur un sujet donné. Dans ce cas et de mon point de vue, il faut cependant encadrer la citation de ces références de toute la prudence nécessaire – “voici quelques références que j’ai trouvé mais je ne sais pas dire si elles sont cohérentes avec le consensus”.

La troisième est que toutes les disciplines n’ont pas forcément recours à des méta-analyses. Elles existent (un peu) en économie, mais elles sont loin d’être aussi fréquentes qu’en médecine par exemple. Et même si je suis partisan de leur développement en économie, c’est une position loin d’être partagée par tous mes collègues (voir ce débat sur Twitter par exemple). Lorsqu’il n’existe pas de méta-analyse, identifier le consensus scientifique peut s’avérer délicat.

La quatrième est que les méta-analyses ne sont pas parfaites. Elles sont lourdes à produire, et leurs résultats peuvent être sensibles aux résultats d’une seule étude – comme l’illustre cette méta-analyse sur l’efficacité de l’ivermectine contre la COVID. Les méta-analyses ne sont par ailleurs pas nécessairement en haut d’une illusoire “pyramide des preuves” – comme l’explique très bien Un Empiriciste dans cet article. Elles ont sans doute d’autres défauts. Ces défauts n’impliquent bien évidemment pas qu’elles sont à jeter à la poubelle. Mais a minima je pense qu’il faut faire attention à ne pas les idéaliser – ce qu’ont parfois tendance à faire certains sceptiques.

Comment ne pas se faire avoir par des citations fallacieuses de la littérature scientifique ? Au final, on en revient à des méthodes d’autodéfense intellectuelle. Je n’ai pas nécessairement quinze propositions de méthodes à faire ici. Je dirais toutefois qu’il est important 1) de se demander si la littérature citée est cohérente avec le reste de la littérature 2) de vérifier auprès d’autres chercheurs ou d’autres vulgarisateurs si leurs propos sont cohérents avec ceux de la personne qui fait cette citation.

Si, par exemple, quelqu’un prétend vous démontrer, citation scientifique à l’appui, que l’homéopathie a un effet au-delà de l’effet placebo – qu’en disent les chercheurs en médecine ?

On n’a bien sûr pas toujours les moyens de faire ces vérifications – d’où l’importance de s’informer auprès de sources de confiance. Pour ma part, j’accorde ma confiance à la fois si la personne fait un nombre raisonnablement faible d’erreurs (tout le monde fait des erreurs, moi inclus, le zéro erreur n’existe pas et ne peut donc pas être un critère utile) et si elle démontre une capacité à corriger ses erreurs. Faire des attaques ad hominem et donner des leçons condescendantes sans rapport avec les erreurs reprochées comme le fait Jean-Marc Jancovici ne sont par exemple pas de nature à me faire accorder ma confiance.

Bien évidemment, toutes ces précautions sont inutiles si l’étude citée est complètement distordue par la personne qui fait citation – une pratique manifestement courante pour Eric Zemmour, comme illustré ici, là ou encore là.

Pour en revenir aux citations de la littérature, pour ma part c’est pour éviter de donner une vision déformée de la littérature scientifique que j’aborde finalement peu de sujets sur L’Économiste Sceptique. Je me contente des sujets que je pense maîtriser – et pour les nouveaux (comme l’environnement), je prends le temps de m’approprier la littérature scientifique avant d’écrire à leur sujet. Je ne prétends pas que c’est “la” bonne méthode de faire – je dis seulement que c’est la mienne. Vous êtes nombreuses et nombreux à me faire confiance, et j’estime que cette méthode incarne ma responsabilité de vulgarisateur de respecter votre confiance – pour ne pas vous mettre de fausses idées dans la tête, et si ça m’arrivait un jour, de les corriger dès que je m’en rends compte.

Bonnes fêtes de fin d’année et à bientôt sur L’Économiste Sceptique !