Sujet: évaluation par des pairs

Les scientifiques tirent la sonnette d’alarme face à une proposition «ambitieuse» de la Maison Blanche qui pourrait bouleverser en profondeur le fonctionnement de la recherche financée par le gouvernement fédéral. Les règles proposées confieraient aux responsables politiques le contrôle de toutes les subventions fédérales ; réduiraient l’importance de l’évaluation par les pairs ; imposeraient davantage de restrictions à la participation des bénéficiaires de subventions à des réunions ; limiteraient les collaborations entre les scientifiques américains financés par le gouvernement fédéral et leurs homologues étrangers ; et restreindraient le soutien financier fédéral à la publication des résultats des scientifiques américains dans des revues scientifiques. (Nature)

Par ailleurs, l’administration Trump a proposé de réduire de moitié le budget de l’agence National Science Foundation (NSF) et de supprimer purement et simplement la division Social, Behavioral, and Economic Sciences (SBE) au cours du prochain exercice budgétaire. Cette dernière finance environ 63 % de la recherche universitaire en sciences psychologiques et sociales. (The Atlantic)

Selon la American Geophysical Union, «des catégories entières de recherche se verraient de fait privées de financement fédéral, notamment les travaux recourant à des cadres analytiques axés sur les effets disparates — fondement méthodologique de la recherche en santé publique, de la science de la justice environnementale et des sciences sociales qui étudient la répartition inégale des risques climatiques, de la qualité de l’air et de la vulnérabilité aux catastrophes. Cette règle limiterait également tout travail que l’administration estime impliquer des pratiques DEI ou ce qu’elle qualifie d’« idéologie du genre ».  Par ailleurs, un juge fédéral a bloqué la tentative de la NSF de démanteler le National Center for Atmospheric Research NCAR. (American Geophysical Union)

Plusieurs acteurs de la communauté scientifique soutiennent l’idée d’introduire un système de tirage au sort dans le financement de la recherche européenne (Horizon Europe), à condition que les meilleures propositions gardent les meilleures chances d’obtenir des fonds.

Selon Kamila Kozirog, de l’Association européenne des universités, l’introduction d’un élément de randomisation pourrait réduire les biais et alléger la charge de sélection, mais elle devrait se limiter à des tirages au sort de départage, lorsqu’un petit nombre de projets reçoivent exactement les mêmes notes.

La Commission européenne prévoit d’expérimenter ce type de tirage au sort pour départager les ex æquo, dans le but de lutter contre la sursouscription  («oversubscription») du programme : en 2025, seuls 12 % des projets soumis ont été financés. Cependant, il ne s’agira pas d’un pur hasard : les tirages seront conditionnels, combinés à une évaluation, plus traditionnelle, par les pairs.

Aujourd’hui, les départages reposent sur une procédure complexe à cinq critères (couverture des objectifs de l’appel, excellence, impact, équilibre hommes-femmes, etc.), utilisée dans 22 % des cas entre 2021 et 2023. Ce système est jugé chronophage et parfois subjectif, bien qu’il ait le mérite de promouvoir certaines valeurs européennes comme l’égalité de genre.

Certains experts, comme Jörg Schmiedmayer (Université technique de Vienne), estiment que le tirage au sort pourrait être utile uniquement pour les projets proches du seuil de financement, tandis que les meilleurs projets devraient être financés directement. D’autres suggèrent de limiter le nombre de candidatures par institution afin de réduire le volume de dossiers et d’améliorer leur qualité.

Enfin, plusieurs évaluateurs soulignent que les vrais ex æquo sont rares et que la solution la plus efficace serait d’augmenter le budget consacré à l’excellence scientifique, plutôt que de recourir largement au hasard.

Selon le journaliste Florian Sturm, l’évaluation scientifique par des pairs traverse actuellement une grande crise qui impacte la crédibilité de la science, cette dernière devant y trouver des solutions. Une des causes principales du problème résiderait dans l’augmentation croissante du nombre de nouvelles publications, qui met les éditeur·rices et évaluateur·rices dans l’impossibilité d’assurer un suivi de qualité. En effet, le système d’évaluation classique (établit dans les années 1960 seulement) aurait été conçu pour un nombre beaucoup plus réduit de chercheur·euses et de publications.

L’auteur pointe différents problèmes dans l’utilisation de l’évaluation scientifique par des pairs:

• des prompts cachés dans des publications, destinés à des IA auxquelles le travail d’évaluation aurait été délégué;
• le processus d’évaluation reste souvent opaque et sujet à des erreurs, il comprend de l’arbitraire et la subjectivité;
• certain·es expert·es bloquent délibérément les recherches qui contredisent les leurs ou utilisent des idées non publiées;
• les citations en échange d’une critique positive sont en augmentation;
• les évaluateur·rices ne sont pas rémunéré·es. Cela permet aux éditeur·rices d’économiser, mais rend difficile la recherche d’expert·es.

La suppression de l’évaluation par les pairs n’est actuellement pas envisagées, néanmoins plusieurs réformes sont actuellement en cours:

• les serveurs de préimpressions tels que arXiv, bioRxiv ou medRxiv sans évaluation par les pairs;
• une évaluation a posteriori, comme dans le cadre du projet Pubpeer;
• la revue britannique eLife ne rejette ni n’accepte les manuscrits suite à une évaluation par les pairs, mais publie tous les articles avec les commentaires et une évaluation de la solidité des preuves. Les auteur·rices peuvent les réviser, et une version finale officielle est ensuite publiée;
• le Fonds national suisse (FNS) utilise le tirage au sort lorsque deux demandes sont de facto équivalentes, et utilise de nouvelles méthodes depuis 2022;
• Peer Community In confie à la communauté scientifique, et non à un·e rédacteur·rice, la décision d’évaluer une préimpression. Ce modèle ouvert vise à séparer publication et évaluation, tout en renforçant transparence et crédibilité grâce à des avis publics;
• le chercheur italien Enzo Emanuele propose de professionnaliser l’évaluation scientifique avec des réviseur·euses certifié·es et rémunéré·es, financé·es par éditeur·rices ou institutions.

Finalement, dans l’évaluation scientifique actuelle par les pairs, les aides techniques, dont l’IA, sont promues par les éditeur·rices, mais uniquement à des fins de soutien. Des algorithmes et logiciels permettent d’aider à vérifier les identités, analyser les images ou contrôler les citations. Il faut néanmoins être attentif au fait que l’utilisation de l’IA dans le cadre de l’évaluation par les pairs peut s’avérer dangereuse pour des raisons de protection des données.

Le président américain Donald Trump a publié un décret présidentiel de grande envergure qui centraliserait le pouvoir et bouleverserait le processus utilisé depuis des décennies par le gouvernement américain pour attribuer des subventions de recherche. S’il était mis en œuvre, ce sont des personnalités politiques nommées, et non des fonctionnaires de carrière, y compris des scientifiques, qui contrôleraient les subventions, depuis leur demande initiale jusqu’à leur examen final.

Le média japonais Nikkei Asia a découvert 17 manuscrits scientifiques comprenant des messages invisibles (écrits en blanc sur blanc ou en taille 0,1 point) destinés à manipuler les systèmes d’IA utilisés dans l’évaluation de publications. L’objectif: orienter les IA afin qu’elles donnent un avis positif et favorable aux travaux, dans le but de maximiser les chances de leur publication. Parmi les 17 travaux concernés, principalement issus du domaine informatique, se trouvent des auteur·ices des universités de Columbia, de Washington ou encore de Waseda (Japon). Nature précise avoir trouvé de son côté 18 publications contenant de tels messages et dont les auteur·ices proviennent de 44 institutions dans 11 pays, en Amérique du Nord, en Europe, en Asie et en Océanie.

Dans un contexte de «publish or perish», «ces prompts peuvent influencer la carrière de leur auteur», note la journaliste du Temps Nina Schretr. Elle relève que cette pratique «menace l’intégrité du processus d’évaluation par les pairs», car certain·es évaluateur·ices se tournent de plus en plus vers l’utilisation de l’IA. Des chercheur·euses pourraient ainsi «tenter d’exploiter la malhonnêteté d’autrui pour se faciliter la tâche», explique James Heathers de l’Université Linnaeus de Växjö (Suède) dans Nature. Toutefois, l’un des coauteur·ices d’un manuscrit dénoncé par Nikkei Asia y voit au contraire «une mesure contre les relecteurs paresseux qui utilisent l’IA».

Cette affaire relance la réflexion sur l’évaluation par les pairs. Kirsten Bell, anthropologue à l’Imperial College de Londres, qui étudie l’éthique de la recherche et l’édition universitaire, explique à Nature: «Si celui-ci fonctionnait comme il est censé le faire, le problème ne se poserait pas, car les messages-guides de l’IA – cachés ou non – n’auraient aucune incidence sur le résultat.»

Une analyse inédite de Nature révèle les institutions où les rétractations sont les plus fréquentes. Les données de Retraction Watch indiquent une nette tendance à l’augmentation des rétractations au cours de la dernière décennie.

Ayant rejoint The Coalition for Advancing Research Assessment (CoARA) en 2022, swissuniversities a été invitée à partager son plan d’action concernant la mise en œuvre des engagements fondamentaux de l’accord CoARA, concernant la réforme des méthodes et des processus d’évaluation de la recherche, des chercheur·euses et des organismes de recherche. Dans ce cadre, swissuniversities a publié son plan dans un plan d’action qui sera mis à jour périodiquement. Actuellement, il comprend deux dimensions principales:

• Encourager et coordonner les discussions critiques, notamment sur le thème de la réforme de l’évaluation de la recherche, et prendre en compte l’évaluation de la recherche dans l’élaboration des politiques. «Swissuniversities reconnaît la nécessité d’élargir les critères d’évaluation de la recherche, de prendre en compte un ensemble plus diversifié de contributions dans l’évaluation des carrières académiques et d’abandonner l’utilisation inappropriée des facteurs d’impact. En outre, swissuniversities facilite et encourage les discussions concernant la participation des institutions à certains systèmes de classement.» «Swissuniversities travaille spécifiquement sur le développement de l’évaluation de la recherche dans la perspective de l’Open Science. Ce thème a été abordé, entre autres, dans deux stratégies nationales qui se sont jusqu’à présent concentrées sur l’open access (The OA Strategy) et l’open research data (The ORD Strategy).»
• Soutenir des projets et des initiatives visant à faire progresser l’évaluation de la recherche, par le biais de la distribution de fonds fédéraux.

La RTS a analysé la base de données Retraction Watch, et en ressort que «l’explosion des rétractations, ou retraits, d’articles scientifiques est une réalité grandissante dans la recherche suisse».

L’article met principalement en évidence les éléments suivants :

• «le nombre de rétractations de papiers scientifiques dans le monde suit une courbe exponentielle depuis le début des années 2000» et la Suisse «suit une courbe similaire à la moyenne mondiale»
• un total de 304 rétractations ont eu lieu en Suisse depuis 1991, et trois-quarts de ces rétractations ont eu lieu depuis 2015
• «près de la moitié du corpus concernent des recherches liées à la santé ou à la médecine», un domaine qui «repose sur des modes d’administration de la preuve scientifique qui sont historiquement faciles à fausser et difficiles à invalider»
• «on compte notamment 105 papiers avec des erreurs avérées (dans les données, dans les images, dans l’analyse) et 90 cas où le travail des scientifiques suscite des questions. On retrouve aussi 28 cas de plagiats ainsi que 18 falsifications.»

Pour Andreas Mortensen, vice-président associé pour la recherche de l’EPFL, l’augmentation des rétractations de travaux suisses n’est en aucun cas un problème. «J’estime que cette augmentation témoigne surtout d’un accroissement de la rigueur en matière de publication scientifique.» Katharina Froom, rectrice de l’Université de Fribourg, abonde dans le même sens. Elle note également que la hausse des publications observée ces dernières années induit aussi mécaniquement une hausse des rétractations.

Pour Andreas Mortensen, un renforcement des protocoles de vérification des résultats avant publication serait un «coût en travail et ralentissement bien supérieur au gain en rigueur». Katharina Froom, pour sa part, souligne que la résolution de cette question ne peut se faire que par le biais d’une coopération internationale.

Des fraudes scientifiques en neurosciences sont dénoncées en parallèle en Suisse et aux Etats-Unis. Il s’agit dans les deux cas d’accusations de manipulation et de réutilisation d’images.

Au cours de ces derniers mois, Ariano Aguzzi, une «coriphée» du domaine des prions de l’Université de Zurich, a dû retirer ou corriger certaines de ses publications. Alarmée d’irrégularités il y déjà quelques années, la direction de l’université n’avait toutefois pas pris de mesures, «ce qui s’avère aujourd’hui très discutable»selon le Sonntagsblick, «[c]ar quatre ans après la fin de l’enquête [M.] Aguzzi a dû retirer l’un de ses travaux, jugé pourtant conforme aux attentes («sauber») par la direction de l’université, quatre ans après la fin de l’enquête. Pour un autre travail, qui avait également reçu la bénédiction de la direction de l’université en 2020, une correction a été effectuée en été 2024.»

Une autre point critiqué par le SonntagsBilck, est qu’il aurait utilisé à tort un titre de «MD-PhD» dans sa signature e-mail, sur Twitter et dans ses publications scientifiques, alors qu’il n’aurait jamais suivi un programme PhD (il est titulaire d’un doctorat en médecine humaine et de plusieurs doctorats honorifiques). L’Université de Zurich estime que c’était une erreur de traduction par la faculté de médecine, pas la sienne.

Aux Etats-Unis, un chercheur est accusé par la revue Science d’avoir trafiqué des images dans ses recherches, relate la SRF. Les études portaient principalement sur les maladies de Parkinson et Alzheimer. Eliezer Masliah aurait réutilisé des images pour des expériences totalement différentes, et à «des dizaines d’années» d’intervalles. Pas moins de 132 articles sont concernés, ce qui remet dès lors en questions un grand nombre de résultats scientifiques de ce domaine. La question de savoir qui était complice de ces fraudes est soulevée dans la dénonciation de Science, mais reste ouverte.

Actuellement, la recherche d’erreurs dans les articles publiés n’est ni systématique ni récompensée. Par rapport à l’approche ad hoc actuelle, « les découvertes significatives par dollar dépensé seraient en fait plus élevées avec un certain degré de contrôle systématique des erreurs », affirme Ian Hussey, méta-scientifique à l’Université de Berne. «Et un système sérieux de détection des erreurs nécessite des ressources, y ajoute Malte Elson, psychologue à l’Université de Berne. «On ne peut pas s’attendre à ce qu’il fonctionne gratuitement.» Ce dernier et ses collègues ont donc lancé le projet Estimating the Reliability and Robustness of Research (ERROR) en février pour changer cela, qui rémunère des réviseurs qui vérifient les articles de psychologie ou liés à la psychologie les plus cités pour détecter les erreurs de code, d’analyses statistiques et de citations de référence.

Ce projet est financé par le programme Humans in Digital Transformation, un fonds destiné à promouvoir une stratégie de numérisation à l’Université de Berne, avec un soutien de quatre ans et 250’000 francs suisses, les réviseurs sont payés jusqu’à 1’000 francs pour chaque article qu’ils vérifient. Ils reçoivent une prime pour toutes les erreurs qu’ils trouvent, avec des primes plus importantes pour les erreurs plus graves – par exemple, celles qui donnent lieu à un avis de correction majeur ou à une rétractation – jusqu’à un maximum de 2’500 francs. Cette prime s’inspire des programmes de «bug bounty» que les entreprises technologiques, telles que Microsoft et Google, offrent aux pirates informatiques qui trouvent et signalent des failles dans leurs produits.

Pour maximiser l’impact de ses efforts, ERROR hiérarchise les articles les plus cités et contacte les auteurs des études pour leur demander l’autorisation d’examiner leurs travaux. «Pour qu’ERROR soit une réussite, il est important que tout le monde soit d’accord», explique M. Elson, mais l’équipe doit également avoir accès aux données et au code sous-jacents de chaque article, ce que seuls les auteurs peuvent fournir. Et les auteurs sont également rémunérés : 250 francs pour répondre aux questions des évaluateurs et mettre les données à disposition, et 250 francs supplémentaires si l’évaluateur ne trouve que des erreurs mineures ou pas d’erreurs du tout.

Dritjon Gruda, Professeur adjoint en comportement organisationnel à l’Université nationale d’Irlande à Maynooth, raconte les défis rencontrés lorsqu’on soumet un article à une revue. Pendant la pandémie de COVID-19 il a soumis, avec ses collègues, «un article à une revue de premier plan dans [leur] domaine […]. Il s’agissait d’un article urgent, car les gens commençaient à s’adapter au fur et à mesure que la pandémie s’accélérait. L’article est resté en suspens pendant plusieurs mois sans même être soumis à un examen par les pairs. Les nombreux courriels envoyés à la revue n’ont rien donné. [Ils ont] dû retirer l’article et le soumettre ailleurs, perdant ainsi un temps précieux. Cette situation aurait pu être évitée [s’ils avaient] été autorisés à soumettre le manuscrit ailleurs simultanément».

En effet, il est interdit de soumettre simultanément un article à plusieurs revues. Monsieur Gruda explique néanmoins que cette interdiction «semble dépassée et, parfois, grossièrement injuste». Selon lui, la numérisation permet aujourd’hui de pouvoir  adapter les normes de l’édition «aux besoins et au rythme de la recherche contemporaine». En effet, l’interdiction entrave non seulement la carrière des chercheur·es, mais aussi «la rapidité de la diffusion scientifique, un facteur crucial dans de nombreux domaines tels que la science du climat, la santé et la médecine, où le partage des connaissances en temps opportun est primordial. La prolifération rapide des articles préimprimés lors de la pandémie de COVID-19 a démontré les avantages d’un partage rapide de l’information, même si ces articles n’ont pas encore été examinés par des pairs».

Le professeur en histoire de l’Université de Saint-Gall Caspar Hirschi, estime que le processus d’examen par des pairs est «comme le bitcoin: surestimée, susceptible à des abus et énergivore».

Il estime que ce processus est inutile, «puisque la critique publique fait du bon travail», en accélérant les sciences tout en encourageant l’interdisciplinarité et en nivelant les hiérarchies.

Cette période remet en question l’importance des journaux. Caspar Hirschi fait allusion à Lancetgate – deux articles, paru dans des revues prestigieuses, qui ont influencé la politique, mais qui ont du être rétractés parce que la recherche avait été faite par une entreprise douteuse, avec des données faussés et un collectif d’auteurs suspect.

«L’échec de la revue par des pairs fait partie du système. Des expériences ont démontré que les évaluateurs ne détectent pas les erreurs grossières, et – sous la protection de l’anonymat – règlent parfois des comptes ou volent des résultats. Parce que le peer-review est surévalué, les chercheurs ne sont pas assez critiques avec les conclusions.»

«[…] Si cette crise a démontré l’importance de la parole des chercheurs pour fonder les décisions de santé publique, elle a aussi rappelé que cette parole est questionnable. Sans forcément remettre en doute la confiance générale accordée à la science, ces nouvelles questions pourraient pousser la communauté de la recherche mais aussi les éditeurs des journaux spécialisés à revoir certaines de leurs pratiques, et à repenser leur manière de communiquer.»

«Comment octroyer des fonds à la recherche de la manière la plus juste et la plus efficace? Des scientifiques estiment que le système en place dans de nombreux pays, qui repose sur l’évaluation par des experts (peer review), n’atteint pas pleinement ses objectifs. Comme réponse, ils proposent de procéder par tirage au sort, une réflexion qui existe aussi pour la publication d’articles scientifiques et les nominations à des postes académiques. […] Le système de loterie est encore bien loin de faire l’unanimité. Mais, petit à petit, cette idée encore jugée folle il y a une décennie connaît un écho grandissant.» L’article mentionne également des instances où ce système a été appliqué en Suisse et à l’international.

«Les chercheuses qui déposent une demande de soutien pour leur projet de recherche au Fonds national suisse (FNS) reçoivent des évaluations moins favorables que leurs collègues masculins. C’est ce qui ressort d’une étude du FNS sur les biais dans le peer review (l’examen de ces requêtes par des experts externes).»

Pierre Vandergheynst, Vice-président pour l’éducation à l’EPFL, dénonce des manques dans le système d’évaluation par les pairs. Les experts seraient sous-sollicités et auraient très peu de temps pour rendre leurs conclusions. Par ailleurs, «cette tâche n’est généralement pas reconnue dans les évaluations ou processus de promotion d’un scientifique. «Enfin, le nombre d’experts par article étant relativement faible (souvent pas plus de trois ou quatre), les rapports sont bâclés et les erreurs ou les fraudes passent le filtre du peer review.» La convention DORA (Declaration of Research Assessment) signé par de nombreuses institutions de recherche, permettrait à réaliser cet objectif, mais «les bonnes intentions ne sont pas suivies par des actes, surtout quand les universités cèdent à la demande de professionnaliser leur management, devenant ainsi friandes de métriques de performance.» Pierre Vandergheynst propose ensuite cinq mesures pour améliorer l’évaluation par les pairs.

Professeur au Walter and Eliza Hall Institute de Melbourne, qui contribue au site américain Retraction Watch, spécialisé dans le suivi des articles retirés ou corrigés, que « sans évaluation, environ 2% des articles publiés seraient corrects, reproductibles et intéressants. Grâce à l’évaluation par les pairs, on arrive entre 10 et 50% ». Or, Windship Herr, biologiste, Professeur à l’UNIL et ancien éditeur d’une revue scientifique avertit que « Le fait qu’une étude ait été évaluée par les pairs ne dit pas grand-chose sur sa qualité ». Aussi, les relecteur·rice·s d’articles peuvent difficilement en vérifier les détails pratiques. Ainsi, en sciences expérimentales, un lecteur qui veut être certain qu’un résultat publié est valide n’a pas d’autre choix que d’essayer de le reproduire dans son propre laboratoire, si cela est possible (pas toutes les expériences sont reproductibles). Une des solutions proposées consiste à travailler en double aveugle : les relecteurs ne connaissent pas les auteurs des manuscrits qu’ils critiquent et devraient ainsi être plus objectifs, car, selon David Vaux, « les relecteurs sont plus influencés par la réputation d’un auteur que par une lecture attentive de son article. ».