#13 · Ce problème avec les publications scientifiques en économie

La revue par les pairs dans la science économique est l’une des plus longues de toutes les disciplines. Pour cette raison, les économistes ont tendance à discuter des working papers (généralement non revus par les pairs) plutôt que des articles publiés (revus par les pairs). Ça n’est pas nécessairement problématique, mais cela suppose de prendre quelques précautions lorsqu’on les partage et les discute.

En bref

La section En bref vous propose un résumé du contenu de l’article. Très utile si vous n’avez pas le temps de le lire en entier, ou si vous souhaitez en scanner le contenu.

La science est fondamentalement une entreprise collective, et les chercheurs soumettent régulièrement leurs résultats à l’avis des autres chercheurs – leurs pairs. Lorsque le chercheur considère que l’article qui détaille son dernier résultat est suffisamment aboutit, il le soumet à une revue scientifique. C’est le comité éditorial de cette revue qui décide si l’article sera publié ou rejeté.

Ce comité est chapeauté par un éditeur, qui prend la décision de publier ou de ne pas publier l’article soumis en s’appuyant sur des rapports. Ces rapports sont écrits par d’autres chercheurs spécialistes du même domaine que celui sur lequel porte l’article qui a été soumis. Comme l’éditeur, les rapporteurs ne sont pas rémunérés pour ce travail.

La revue par les pairs, c’est tout ce processus de soumission, de relecture – et parfois de modification si c’est la recommandation des rapports.

En science économique, les délais de publication sont extrêmementlongs, parce que cette revue par les pairs est très longue. Des observations établissent que sur quasiment tous les critères de rapidité, la science économique est la discipline la plus lente de toutes. Les causes de cette lenteur me semblent peu claires. Mon hypothèse est qu’il s’agit simplement de l’équilibre (stable et sous-optimal) sur lequel fonctionne la discipline.

À cause de ces temps très longs, les économistes ont bien plus tendance que dans d’autres disciplines à discuter des working papersplutôt que des articles scientifiques. Contrairement aux articles publiés dans les revues, les working papers ne sont généralement pasrevus par les pairs. N’importe qui peut publier un working paper.

Un autre problème est que des séries de working papers considérées comme prestigieuses (comme celle du NBER) ont tendance à devenir des “revues scientifiques de fait”. Or, les personnes qui profitent de l’audience donnée par ces séries ne sont pas nécessairement représentatives de la communauté scientifique dans son ensemble.

Est-ce que le fait que la discussion scientifique en économie porte souvent sur des working papers est en soi problématique ? Comme souvent, la réponse est : non, si on fait un peu attention. La première précaution est d’identifier si la discussion porte sur un article publié ou sur un working paper. Si elle porte sur working paper, il faudra alors être un peu plus prudent sur la confiance à accorder à ses conclusions. La seconde précaution est de ne pas se concentrer sur les seuls working papers publiés dans des séries considérées comme prestigieuses.

Une solution à cette lenteur est-elle en vue ? De mon point de vue, la réponse est non. La discipline s’est adaptée à ces temps très long, et personne n’a de véritable incitation à procéder à un changement.

N’hésitez pas à vous abonner par email pour recevoir le prochain article de cette série sur le fonctionnement de la science économique – qui sera publié jeudi prochain à 18h. Et si vous aimez mon travail et souhaitez me soutenir et accéder à encore plus d’articles, vous pouvez vous abonner à Plus. Vos abonnements Plus sont très utiles : sans eux, je n’aurais sans doute pas réussi à boucler mon budget personnel pour le mois de juin… Et je n’aurais pas pu publier tous ces articles puisque j’aurais dû travailler. Alors un grand merci aux abonné.e.s Plus !

Comment fonctionne la revue par les pairs

Parce que tout le monde ne sait pas nécessairement ce qu’est la revue par les pairs dans les sciences, il me semble opportun de commencer par expliquer ce dont il s’agit.

Lorsqu’un chercheur établit un nouveau résultat scientifique, ce dernier doit le soumettre à l’avis des autres chercheurs – ses pairs. Contrairement à l’image d’Épinal du savant qui résous l’énigme de l’Univers tout seul dans son laboratoire, la science est fondamentalement une entreprise collective.

Cette soumission passe d’abord par la présentation dudit résultat dans des conférences et des séminaires, où il peut recevoir avis, questions et critiques. Lorsque le chercheur considère que l’article expliquant le résultat est suffisamment aboutit, il le soumet à une revue scientifique (la présentation en conférence n’est pas obligatoire, certains articles sont directement soumis dans une revue). C’est surtout la soumission dans les revues que je vais expliquer ici. Au passage, attention à ne pas confondre les revues scientifiques comme Nature ou Science (qui publient des articles techniques, rédigés par les chercheurs) avec les magazines scientifiques comme Epsiloon ou La Recherche (qui, pour aller [très] vite, publient des versions vulgarisées de ces articles scientifiques).

Concernant les revues scientifiques, on ne publie pas comme on le souhaite dans ces dernières. Comme toute publication (journal, magazine, etc.), une revue scientifique a une ligne éditoriale et un comité éditorial. La ligne éditoriale, c’est le champ couvert par les articles qui y sont publiés. En science économique, il y a deux grands types de revue : les revues généralistes et les revues spécialisées, dites de champ. Par exemple, le Quarterly Journal of Economics(QJE) est une revue généraliste, alors que le Journal of Economic Dynamics and Control (JEDC) est une revue de champ – ciblant l’étude des dynamiques économiques (croissance, fluctuations de court terme) et les méthodes de simulations informatiques.

Le comité éditorial d’une revue, c’est le groupe de chercheurs qui vont décider du sort à accorder aux articles soumis dans la revue : rejet, acceptation, ou acceptation sous réserve de modifications. Ce comité est chapeauté par un éditeur, qui a le mot de la fin sur la décision de publication. Voici par exemple celui de l’American Economic Review et celui de la Revue d’économie (il n’y a pas de règles particulières à suivre pour l’organisation du comité éditorial, chaque revue s’organise comme elle le souhaite).

La décision de publication est généralement prise en s’appuyant sur des rapports – sauf dans le cas d’un desk reject, qui se manifeste lorsque l’éditeur refuse immédiatement l’article, souvent parce qu’il ne colle pas à la ligne éditoriale de la revue (par exemple, si je soumets un article d’économie de la santé dans une revue d’économie de l’environnement, ou inversement, j’aurais très probablement un desk reject). Ces rapports sont écrits par d’autres chercheurs, externes à la revue mais spécialistes dans le domaine de l’article soumis, après lecture de l’article soumis. Ces rapports contiennent une opinion sur la soumission – en plus, s’ils sont réalisés correctement, de proposer des améliorations (au moins en science économique, l’attitude problématique de certains rapporteurs qui s’autorisent des commentaires peu amènes, est l’objet de critiques et blagues – souvent personnalisées dans le “rapporteur numéro 2” [“Reviewer 2” ou “R2”]).

En théorie, les rapporteurs ne savent pas qui sont les auteurs de l’article, et les auteurs de l’article ne savent pas qui sont les rapporteurs. Dans les faits, ça n’est pas toujours le cas. D’abord, parce que le nombre de chercheurs qui travaillent sur un sujet donné est parfois restreint, ce qui limite le nombre de rapporteurs disponibles. En outre, et c’est le cas en science économique, les articles peuvent avoir publiquement circulé sous forme de working papers. Le rapporteur peut alors, avec une simple recherche sur Google, retrouver qui sont les auteurs. Enfin, il existe des cas de collusion entre l’éditeur et les chercheurs ayant soumis l’article. Je ne donnerai pas de noms, mais j’ai vu de mes yeux des emails incriminants à la fois l’éditeur d’une revue prestigieuse et un économiste très connu.

Après avoir lu les rapports, auxquels les auteurs de l’article ont accès, l’éditeur décide de l’issue à donner à la soumission : article accepté, article refusé, ou article accepté sous réserve des modifications suggérées dans les rapports.

La revue par les pairs, c’est donc tout ce processus de soumission, de relecture – et parfois de modification.

À noter que les éditeurs comme les rapporteurs travaillent gratuitement. Ce travail est considéré comme un travail “pour le collectif”. Pour autant, les éditeurs des revues vendent (très cher) l’accès aux articles scientifiques, alors que leurs coûts de production sont très réduits. Ça n’est pas une surprise qu’Elsevier (l’un des plus gros éditeurs scientifiques) ait un taux de marge brut compris entre 35 et 40%, équivalent à celui… d’Apple. On comprend pourquoi se développent de plus en plus d’initiatives dites d’open access, dont l’un des objectifs est de court-circuiter les éditeurs.

Des délais de publication très longs

Dans de nombreuses disciplines, l’annonce d’un résultat scientifique important ou spectaculaire fait souvent l’objet de la publication simultanée d’un article scientifique dans une revue. En science économique, ce genre de simultanéité est rare, pour ne pas dire inexistante. La raison ? Les délais de publication en science économique sont extrêmement longs.

Dans Duration and quality of the peer review process: the author’s perspective, publié en 2017 dans Scientometrics (via Un Empiriciste), Janine Huisman et Jeroen Smits établissent un ensemble de mesures sur la durée et la qualité de la revue par les pairs dans différentes disciplines, à partir de questionnaires remplis directement par les chercheurs de ces disciplines. Leurs observations montrent que la science économique est la discipline la plus lente de toutes.

Commençons par la durée moyenne après laquelle les auteurs reçoivent les premiers rapports une fois l’article soumis.

La science économique est la discipline qui a la durée moyenne la plus élevée de toutes (18 semaines), bien supérieure à la moyenne sur toutes les disciplines (13 semaines, quasiment 40% de plus). Seulement 82% des auteurs ayant soumis un article ont reçu les premiers rapports dans… les six mois après leur soumission. Ce qui veut dire qu’un article soumis sur cinq obtient les premiers rapports plus de six mois après sa soumission. Ce sont les pires durées de toutes les disciplines étudiées.

Mais le problème ne s’arrête pas là. Les premiers rapports ne garantissent pas que l’article soit accepté. Lorsque l’article est accepté sous réserve de modifications, il est nécessaire d’avoir un second round de rapports – ce qui augmente forcément les temps de publication.

Si l’on s’intéresse au temps total entre la première soumission et la décision finale (une fois tous les rounds de rapports terminés), la science économique est, encore une fois, la discipline pour laquelle il est le plus long : 25 semaines. C’est quasiment 50% de plus que la moyenne sur toutes les disciplines !

Seulement deux tiers des auteurs ont reçu une réponse définitive dans les six mois après leur première soumission. C’est là encore le pire temps de toutes les disciplines.

On pourrait se dire que ce délai plus élevé est dû à un nombre plus élevé de rounds de relecture. Après tout, si les économistes ont en moyenne un nombre plus élevé des rounds que les autres disciplines, c’est logique que le temps de publication total soit lui aussi plus élevé. En réalité, il n’en n’est rien : le nombre moyen de rounds est à peine 6% plus élevé en science économique comparé à la moyenne – ce qui ne permet pas d’expliquer le temps total moyen 50% plus élevé…

Il faut noter que l’article catégorise “Economics” et “Business” ensemble. Or, la science économique et le management sont deux disciplines différentes – et je n’ai pas connaissance que le management (ou plus généralement, les sciences de gestion) souffrent de ces mêmes problèmes de lenteur. En d’autres termes : si on avait les délais pour la seule science économique, ils seraient sans doute encore plus longs que ceux rapportés dans les tableaux…

Pour achever de vous convaincre de la crédibilité de ces temps très longs, cette application de Juan Carlos Suárez Serrato recense les temps de réponse moyens une fois que l’éditeur a assigné des rapporteurs pour une sélection de revues. Les données sont cohérentes avec celle de l’article de Huisman et Smits (contrairement à l’article de Huisman et Smits, l’application de Suárez Serrato mesure le délai à partir de l’assignation des rapporteurs ; l’article de Huisman et Smits ajoute le temps de recherche des rapporteurs).

Il y a donc quelque chose qui ralentit la publication scientifique en science économique. Mais quoi ?

Des origines peu claires

L’origine de ces temps très longs de publication en science économique est un débat qui me semble largement ouvert. Je vois régulièrement passer des tentatives d’explication, mais il est en l’état difficile de se faire une opinion claire à ce sujet.

Mon hypothèse actuelle est qu’il n’y a probablement pas de cause unique, et que la science économique est simplement sur un équilibre sous-optimal – et stable (les théoriciens des jeux reconnaitront un jeu avec des équilibres multiples). La discipline s’est habituée à fonctionner avec des temps de publication très longs, et même si ces temps très longs sont inefficaces, tout le monde ou presque s’est plus ou moins adapté. C’est une norme intégrée par les économistes, et ils se comportent en suivant cette norme, la rendant en partie auto-réalisatrice. Une fois encore, il s’agit d’une hypothèse personnelle, je ne prétends pas qu’il s’agisse de la “vraie” explication.

Un indice qui me fait toutefois pencher qu’il s’agisse bien d’une norme est le comportement des… auteurs des articles. Le temps de retour des rapports est très long, mais comment se comportent les auteurs lorsqu’on leur demande de procéder à des modifications ? Sans grande surprise sans doute, les économistes sont celles et ceux qui prennent le plus de temps pour soumettre les versions révisées de leurs articles ! Quasiment le double de la moyenne…

L’explication cohérente avec mon hypothèse serait la suivante : les auteurs considèrent que la norme du processus de publication en science économique est de prendre son temps, et donc ils… prennent leur temps pour répondre aux rapports et soumettre la version modifiée de leur article. On peut également y voir un jeu de réciprocité : les auteurs se disent “je vais prendre mon temps car éditeurs et rapporteurs ont eux aussi pris le temps, je ne vois pas pourquoi moi je me presserais”. Les deux explications ne s’excluent pas l’une l’autre.

Un recours massif aux working papers

Ces temps très longs ont de nombreuses conséquences négatives, la principale portant probablement sur les carrières scientifiques – qui sont aussi impactées par le faible taux d’acceptation de nombreuses revues, mais c’est un problème différent. Mais je ne veux pas parler des carrières scientifiques dans cet article.

Ce dont je veux parler, c’est que du fait de ces temps très longs, la discussion des résultats en science économique porte davantage que dans d’autres disciplines sur des working papers – qui, contrairement aux articles publiés dans des revues, ne sont généralement pas revus par les pairs justement car ils n’ont été soumis dans aucune revue. N’importe qui peut publier un working paper, un site Internet suffit.

Un working paper n’est, bien sûr, pas en soi de la mauvaise science – et la science économique n’est pas la seule à discuter des résultats non revus par les pairs. Mais l’absence de revue par les pairs doit inciter à une plus grande prudence dans le crédit à donner aux résultats de l’article – une prudence que je n’observe malheureusement pas toujours. Mais ça n’est pas tout.

Comme les working papers ne sont pas revus par les pairs, leur qualité est plus hétérogène (diverse) que celle des articles publiés. En d’autres termes : on peut tomber sur de mauvais working papers, dont la lecture est une perte de temps si la recherche qu’ils contiennent est de mauvaise qualité. Ce qui créé une sorte de besoin pour un label garantissant une qualité minimum du working paper, besoin qui est rempli par des séries de working papers considérées comme prestigieuses et donc (à tort ou à raison) comme plus fiables – celle du NBER, dont je parle dans cet article, en est une spectaculaire illustration. Pour le meilleur et pour le pire, ces séries agissent comme des sortes de “revues scientifiques de fait”.

Le problème est que l’accès à ces séries de working papers n’est pas ouvert à toutes et tous. Comme je l’écrivais dans cet article, le NBER est par exemple dominé par les docteurs de seulement cinq institutions :

Il ne s’agit pas de dire que les personnes membres du NBER ne le méritent pas, ni que les working papers publiés par ses membres sont de la mauvaise recherche. Il s’agit plutôt de dire que les working papers qui y sont publiés bénéficient d’une audience importante non pas pour leur qualité intrinsèque, mais parce qu’être publié dans la série du NBER fait bénéficier de ce label de qualité. Et les chercheurs (et donc les idées) qui profitent de cette audience ne sont pas nécessairement représentatifs de la communauté scientifique dans son ensemble.

En d’autres termes, les idées venant de chercheurs issus d’institutions prestigieuses ont de plus grandes chances d’être largement discutées – et donc d’influencer la littérature scientifique. Et ce, indépendamment du jugement que le reste de la communauté pourra leur porter – ou, si l’on croît en les vertus de la revue par les pairs, de leur “qualité”.

Ode à la prudence

Est-ce que le fait que la discussion scientifique porte souvent sur des working papers est en soi problématique ? Comme souvent, la réponse est : non, si on fait un peu attention. Si je vais dans une montagne russe où il n’y a aucun système de sécurité, je m’expose à un danger de mort. Si je vais dans une montagne russe avec de nombreux systèmes de sécurité, je ne cours virtuellement aucun risque (on a nettement plus de chance d’avoir un accident de voiture en se rendant au parc d’attractions, que d’avoir un accident dans une montagne russe du parc en question). Ici, c’est la même chose : il faut simplement prendre des précautions.

La première est d’identifier si la discussion porte sur un article publié ou sur un working paper. Si elle porte sur working paper, il faudra alors être un peu plus prudent sur la confiance à accorder à ses conclusions – comme on le serait avec un preprint en médecine par exemple. Ce qui ne veut pas non plus dire qu’il ne faut jamais faire confiance : lorsque publié, l’article publié aura une forte proximité avec le working paper de départ. Se baser sur le résultat du working paper est le plus souvent une bonne approximation du résultat de l’article publié.

La seconde est de ne pas se concentrer sur les seuls working paperspubliés dans des séries considérées comme prestigieuses - comme celle du NBER. Et de juger le working paper pour ce qu’il est, et non pas sur ses auteurs, leur institution d’appartenance ou la série où il est publié (ce qui va, soit dit en passant, dans les deux sens : rejeter des idées venant d’un chercheur issu d’une institution prestigieuse au prétexte qu’il est issu d’une institution prestigieuse est tout aussi problématique).

Pour finir, n’oubliez pas que la revue par ses pairs n’est pas parfaite, et qu’un article publié dans une revue scientifique peut très bien être de la mauvaise recherche. Le cas d’un certain professeur marseillaisl’illustre spectaculairement…

Une solution est-elle en vue ?

De mon point de vue, la réponse est non. Cela fait des années, sans doute des décennies, que le problème existe. Et au cours de la petite dizaine d’années depuis laquelle j’évolue dans le milieu scientifique en économie, je n’ai littéralement perçu aucun changement. La discussion s’accélère parfois, mais retombe rapidement dans l’oubli.

Une fois encore, c’est cohérent avec mon hypothèse d’équilibre sous-optimal : le système académique en science économique a pris l’habitude de fonctionner avec des temps de publication très longs. Et il serait très coûteux d’introduire des changements pour se déplacer de l’équilibre sous-optimal vers l’équilibre optimal – où les temps de publications sont plus courts. Et ce, même si collectivement, la discipline en profiterait. C’est toute l’ironie des jeux à équilibres multiples…

Les éditeurs sont généralement des professeurs en poste, ce qui veut dire que pour eux, la course à la carrière est terminée – et donc les difficultés liées à ces temps de publication sont derrière eux. Il faudrait en outre davantage que la volonté des éditeurs pour changer le système de publication. Imaginons un éditeur qui demanderait aux rapporteurs d’écrire leur rapport deux fois plus vite que d’habitude. Cet éditeur prend le risque que les rapporteurs refusent de relire des articles, ce qui lui pose un évident problème. Anticipant ce risque de rejet, les éditeurs ont une incitation à maintenir le statu quo. Vous comprenez pourquoi l’équilibre sous-optimal est stable. Les forces sont sans doute trop puissantes.

Il ne faut à mon avis pas non plus négliger la lutte pour le prestige. Au moins aux États-Unis, la population des éditeurs, surtout dans les revues les plus prestigieuses, recouvre sans doute beaucoup celle qui domine institutionnellement la discipline – par exemple… au NBER, mais aussi au sein de l’American Economic Association. De fait, de nombreux éditeurs profitent individuellement de ces temps longs car ils ont accès à ces séries prestigieuses de working papers. Ils ont, eux aussi, une incitation très forte à maintenir le statu quo, car le statu quoleur profite. Publier un working paper dans le NBER est nettement moins coûteux que de le soumettre dans une revue dont l’éditeur mettra parfois deux ans pour prendre une décision de publication. Et ce, sans nécessairement perdre beaucoup de visibilité – si ce n’est d’en gagner.

Voilà donc qui conclut ce second article de la série sur le fonctionnement de la science économique ! N’hésitez pas à vous abonner par email pour recevoir le prochain article de cette série – qui sera publié jeudi prochain à 18h. Et si vous aimez mon travail et souhaitez me soutenir et accéder à encore plus d’articles, vous pouvez vous abonner à Plus. Vos abonnements Plus sont très utiles : sans eux, je n’aurais sans doute pas réussi à boucler mon budget personnel pour le mois de juin… Et je n’aurais pas pu publier tous ces articles puisque j’aurais dû travailler. Alors un grand merci aux abonné.e.s Plus !