L'examen par les pairs est le principal gardien de la qualité de l'édition universitaire, et nulle part sa fonction n'est plus corrélative qu'en génie. Lorsqu'une conception structurelle, une synthèse de matériaux ou un algorithme logiciel apparaît dans une revue évaluée par les pairs, les praticiens et les chercheurs supposent que le travail a fait l'objet d'un examen rigoureux. Pourtant, la fiabilité de cet examen a été remise en question depuis des décennies.

Le rôle fondamental de l'évaluation par les pairs en génie

L'examen par les pairs dans les revues d'ingénierie suit généralement l'un des modèles. Le plus courant est l'examen à un seul insu, où les évaluateurs connaissent les identités des auteurs, mais les auteurs ne connaissent pas les évaluateurs. L'examen à double insu, dans lequel les deux parties sont anonymisées, est de plus en plus adopté pour atténuer les biais. L'examen ouvert, où les noms sont révélés et parfois des commentaires sont publiés, reste moins fréquent mais gagne en traction.

Les auteurs sont censés vérifier la justesse technique, la reproductibilité des résultats et le respect des normes de déclaration, comme celles qui ont trait à la quantification de l'incertitude ou à la disponibilité du code. L'éditeur de la revue synthétise ces évaluations, les pondérant par rapport à la portée de la revue et à l'impact potentiel de l'article, pour prendre une décision acceptable. Dans les revues d'ingénierie de haute qualité, les taux de rejet dépassent 70 % pour les soumissions initiales, ce qui souligne le rôle sélectif joué par les pairs dans l'examen.

Les rédacteurs en chef doivent interpréter les recommandations contradictoires des évaluateurs, évaluer la rigueur de chaque examen et parfois annuler les opinions lorsqu'ils détectent des biais. La fiabilité de l'ensemble du système repose sur l'hypothèse que les évaluateurs peuvent et s'acquitteront de leurs fonctions de façon impartiale et compétente.

Principaux défis à relever en matière de fiabilité

Le parti pris des évaluateurs et ses nombreuses formes

Les préjugés dans l'évaluation par les pairs peuvent prendre de nombreuses formes. Le biais de confirmation conduit un évaluateur à privilégier des résultats qui correspondent à son travail antérieur ou à sa position théorique. Le biais institutionnel peut amener un évaluateur à sous-estimer la recherche des universités moins prestigieuses ou des pays en développement. Les préjugés raciaux et sexistes ont également été documentés dans de nombreux domaines; des études ont montré que les manuscrits avec des auteurs féminins de premier ou d'auteurs de noms non occidentaux reçoivent parfois des évaluations plus sévères.

Ces préjugés nuisent à l'équité fondamentale du processus éditorial. Lorsque le biais ne fait pas l'objet d'un contrôle, il nuit non seulement aux auteurs individuels, mais fausse aussi le dossier scientifique, favorisant certains sujets, méthodologies ou groupes de recherche par rapport à d'autres.

Incohérences entre les évaluateurs

Une étude bien connue dans la revue Nature a demandé aux examinateurs du même manuscrit de fournir des évaluations; l'entente entre les examinateurs sur la question de savoir si un document doit être accepté était à peine au-dessus du hasard. L'incohérence est également un problème persistant en ingénierie. Un examinateur pourrait se concentrer sur la nouveauté de l'approche, tandis qu'un autre met l'accent sur la validation expérimentale, et un troisième critique l'analyse statistique.

Contrairement à certaines disciplines biomédicales qui ont adopté des listes de contrôle structurées, les revues d'ingénierie laissent souvent l'examen entièrement non structuré, permettant aux évaluateurs d'appliquer des critères personnels. Par conséquent, un document rejeté par une revue en raison d'un manque perçu de nouveauté peut être accepté par une autre avec seulement des révisions mineures, soulevant des questions sur la question de savoir si les filtres d'examen par les pairs pour une qualité réelle ou simplement pour l'alignement avec une vision du monde d'un examinateur particulier.

Lacunes en matière de transparence et de responsabilisation

Les évaluateurs passent peu de temps au processus; un sondage a révélé que le temps médian qu'un examinateur passe sur un manuscrit est inférieur à une heure. Sans rapport public de leurs commentaires (et souvent sans obligation de les signer), les évaluateurs n'ont guère d'incitation à fournir des critiques profondes et réfléchies. De plus, la barrière de l'anonymat rend difficile la détection de la collusion ou du comportement de l'examen fantôme, où les auteurs ou les éditeurs influencent la sélection des évaluateurs amis.

Bien que la plupart des revues offrent maintenant une option de rejet et de soumission, la justification de la décision est rarement rendue publique. Ce manque de transparence rend difficile l'évaluation de l'équité et de la cohérence des décisions éditoriales par l'ensemble de la communauté des ingénieurs.

Pressions de temps et charge de travail

Le volume des manuscrits d'ingénierie a considérablement augmenté au cours de la dernière décennie. De nombreuses revues signalent une augmentation annuelle de 5 à 10 % des soumissions, alors que le bassin d'examinateurs volontaires n'a pas augmenté proportionnellement. Les éditeurs sont obligés d'envoyer plus d'invitations, ce qui entraîne des taux de rejet plus élevés de la part des évaluateurs potentiels. Ceux qui acceptent sont souvent surengagés; l'examinateur type peut traiter 10 à 20 articles par année en plus de leurs propres tâches de recherche, d'enseignement et d'administration.

En ingénierie, où les ensembles de données peuvent être importants et les analyses complexes, un examen précipité peut ne pas détecter de données fabriquées, des hypothèses de modélisation incorrectes ou des tests statistiques inappropriés. Le résultat est un système qui, tout en étant toujours fonctionnel, fonctionne au bord de la fiabilité.

Réformes méthodologiques pour renforcer la confiance

Modèles d'examen par les pairs ouverts

Les promoteurs soutiennent que la connaissance de leur identité deviendra publique et encourage les évaluateurs à être plus approfondis et plus civils. Un nombre croissant de revues d'ingénierie, comme celles publiées par l'Institut des ingénieurs en électricité et en électronique (IEEE) et certains titres Springer-Nature, ont mis en oeuvre un examen ouvert facultatif ou obligatoire.

Par exemple, certaines revues anonymisent les évaluateurs initialement, mais plus tard, si le document est publié, permettent aux évaluateurs de choisir de s'associer à l'examen. Ce milieu de travail préserve les avantages de l'anonymat pendant l'évaluation tout en créant un incitatif pour l'examen de haute qualité.

Listes de contrôle et formation pour l'examen structuré

L'un des moyens les plus directs de réduire les incohérences consiste à fournir aux évaluateurs une liste de vérification structurée qui s'harmonise avec les priorités éditoriales de la revue. De nombreuses revues d'ingénierie de premier ordre demandent maintenant aux évaluateurs d'évaluer des aspects particuliers – comme l'importance, la nouveauté, la méthodologie, la disponibilité des données et la clarté – sur une échelle de Likert, plutôt que de laisser l'examen complètement ouvert.

Des programmes de formation des évaluateurs, comme ceux offerts par le Comité d'éthique des publications (COPE[), ont été élaborés pour enseigner les pratiques exemplaires.Les modules de formation couvrent la sensibilisation aux préjugés, la rétroaction constructive, les manquements à l'éthique et la façon de traiter les examens contradictoires.

Serveurs préimpression et examen post-publication

Les serveurs préimpression comme arXiv, engrXiv et TechRxiv ont modifié le paysage de l'édition en rendant la recherche en génie accessible au public avant l'examen par les pairs. Cette séparation de la diffusion de l'évaluation permet à la communauté de critiquer les constatations tôt, parfois en découvrant les erreurs avant le début du processus d'examen de la revue.

Certains journaux permettent maintenant aux auteurs de soumettre un manuscrit qui a reçu des commentaires sur une plateforme préimprimée, et les éditeurs tiennent compte de ces commentaires dans leur évaluation. Ce modèle hybride peut réduire le fardeau des examinateurs officiels tout en tirant parti d'une expertise plus vaste. Pourtant, il présente aussi des risques : les commentaires du public peuvent être sévères ou mal informés, et les auteurs peuvent se sentir pressés de répondre avant que le processus de publication ne soit terminé.

Rapports enregistrés

Les rapports enregistrés représentent une différence radicale par rapport à l'examen par les pairs.Dans ce format, l'introduction, les méthodes et les analyses planifiées sont soumises à l'examen avant le début de la collecte de données ou des expériences. Si la revue s'engage à publier les résultats, peu importe le résultat, à condition que les auteurs suivent le protocole approuvé.

Pour la recherche en génie expérimental, par exemple en génie structurel ou en science des matériaux, le modèle pourrait être particulièrement utile car il encourage une planification rigoureuse avant les études et réduit la tentation de résultats de cerises. La revue Nature Communications a une piste dédiée pour les rapports enregistrés, et plusieurs éditeurs spécialisés en génie étudient des options similaires.L'adoption généralisée nécessiterait des changements culturels entre les auteurs et les examinateurs, mais le potentiel d'amélioration de la fiabilité est important.

Incidences sur la recherche et la pratique en génie

La fiabilité de l'examen par les pairs affecte directement la fiabilité réelle des connaissances en génie. Lorsque la recherche est entachée d'erreurs, les conséquences peuvent être désastreuses. Par exemple, l'effondrement du pont Walkway en 1981 a été attribué en partie à un projet qui n'avait pas fait l'objet d'une validation rigoureuse par les pairs; un examen plus approfondi aurait pu être pris en compte par les erreurs de calcul.

Si les évaluateurs privilégient systématiquement les améliorations progressives par rapport aux approches nouvelles, les projets à risque élevé et à rendement élevé ne seront peut-être jamais publiés, ce qui ralentira le rythme de l'innovation. Par contre, un manque de cohérence peut permettre aux travaux de sous-normes d'entrer dans la littérature, obligeant les chercheurs ultérieurs à consacrer du temps à reproduire et à corriger les erreurs.

De nombreux organismes de financement et revues exigent maintenant que les auteurs déposent des données et des codes dans les dépôts publics. Les évaluateurs sont encouragés à vérifier que les documents partagés sont complets et que les résultats revendiqués peuvent être reproduits. Pourtant, sans un processus fiable d'examen par les pairs qui applique ces exigences, les politiques demeurent ambitieuses. Les revues qui mettent en oeuvre le partage obligatoire des données et des codes, ainsi que les vérifications de vérification au cours de l'examen, risquent de voir des taux de reproductibilité plus élevés et une plus grande crédibilité.

En fin de compte, la communauté de l'ingénierie doit reconnaître que l'examen par les pairs est un système humain, intrinsèquement imparfait, mais qu'il est possible d'améliorer systématiquement. L'investissement dans la formation des évaluateurs, les politiques éditoriales transparentes et les modèles d'examen novateurs n'est pas un luxe, c'est une nécessité de maintenir la confiance que la société place dans la recherche en génie.

Conclusion : Vers un écosystème d'évaluation par les pairs plus robuste

L'examen par les pairs demeure le fondement de la prise de décision éditoriale dans les revues d'ingénierie, mais sa fiabilité est loin d'être garantie. Les préjugés, l'incohérence, le manque de transparence et les contraintes de temps menacent l'intégrité du processus. La bonne nouvelle est que de nombreuses réformes prometteuses sont déjà mises à l'essai : examen ouvert, listes de contrôle structurées, rapports enregistrés et utilisation accrue de la rétroaction préimprimée.

Les auteurs peuvent soutenir la fiabilité en soumettant des manuscrits bien préparés et en partageant ouvertement des données et des codes. Les évaluateurs peuvent consacrer du temps à la production d'évaluations approfondies et constructives et peuvent utiliser des ressources de formation. Les éditeurs peuvent faire appliquer les normes de soumission et diversifier les réserves des évaluateurs pour contrer les biais.

Des efforts comme ceux de Retraction Watch[ et du Center for Open Science[ ont déjà mis en évidence des problèmes systémiques et préconisé le changement. La communauté de l'ingénierie doit accepter ces réformes, les adapter aux exigences uniques de la recherche en ingénierie et évaluer continuellement leur impact.