Aperçu de l'examen par les pairs dans les revues d'ingénierie

L'examen par les pairs est la pierre angulaire de l'édition scientifique, servant de mécanisme de contrôle de la qualité qui valide la recherche avant qu'elle ne soit rendue publique.Dans les revues d'ingénierie à volume élevé, les publications qui reçoivent des milliers de soumissions chaque année, le processus d'examen par les pairs doit équilibrer l'exactitude, l'actualité et l'équité. Ces revues, qui couvrent des domaines allant du génie mécanique et électrique à l'informatique et à la science des matériaux, sont essentielles pour diffuser des innovations qui stimulent le progrès technologique.

Le processus d'examen par les pairs consiste en une première sélection éditoriale suivie d'une affectation à deux ou plusieurs experts indépendants qui évaluent le manuscrit pour son originalité, sa méthodologie, son importance et sa clarté.Avec une croissance rapide de la production de recherche – les publications en génie mondial ont augmenté d'environ 5 à 7 % par année au cours de la dernière décennie – de nombreuses revues traitent maintenant plus de 5 000 soumissions par année.

Il est essentiel de comprendre les défis particuliers qui se posent dans les revues d'ingénierie à grande quantité pour trouver des solutions efficaces. Cet article examine les principaux obstacles – surcharge d'examinateurs, érosion de la qualité, biais et frustration de l'auteur – et explore des stratégies d'amélioration réalisables.

Principaux défis auxquels sont confrontés les revues d'ingénierie à haut volume

Surcharge et fatigue de l'examinateur

Le défi le plus immédiat dans les revues à grand volume est la demande croissante des évaluateurs.À mesure que les taux de soumission augmentent, le bassin d'évaluateurs qualifiés n'a pas augmenté proportionnellement.De nombreux universitaires expérimentés examinent déjà plusieurs revues, souvent jonglant 10 à 15 affectations simultanément.Un sondage de Publons a indiqué que l'évaluateur moyen passe 15 à 20 heures par examen, mais moins de 15 % des chercheurs représentent plus de 50 % de tous les examens.

Les auteurs sont confrontés à une frustration croissante, surtout lorsque les priorités concurrentes exigent une publication en temps opportun pour le financement ou l'avancement professionnel. De plus, les évaluateurs surchargés sont plus susceptibles de manquer d'erreurs, de négliger des préoccupations éthiques ou de fournir des commentaires vagues, ce qui compromet l'objectif fondamental de l'examen par les pairs. L'American Society for Engineering Education et le Committee on Publication Ethics (COPE) ont tous deux publié des lignes directrices demandant une meilleure gestion des évaluateurs pour lutter contre la fatigue.

Érosion de la qualité des examens

Lorsque les évaluateurs sont surchargés, la profondeur de leur analyse en souffre souvent. Les examens superficiels – ceux qui ne font que commenter les questions de grammaire ou de formatage mineur – ne permettent pas de déceler des défauts méthodologiques critiques, des analyses statistiques incorrectes ou des interprétations erronées des résultats.Dans les disciplines du génie, où la recherche appliquée a des répercussions directes sur la sécurité, la fiabilité et la conception du système, de telles surveillances peuvent être dangereuses.

De plus, la pression exercée pour publier rapidement peut amener les éditeurs à accepter des revues de répondants moins qualifiés ou moins rigoureux.Certains journaux utilisent des chercheurs en début de carrière ou même des non-spécialistes qui ne possèdent pas l'expertise nécessaire pour évaluer des contenus hautement spécialisés.Le résultat est une augmentation des rétractations et des corrections.Selon une analyse de 2023 dans Scientometrics[, le taux de rétractation dans les revues d'ingénierie a augmenté de 20 % au cours des cinq dernières années, en partie attribuable à une évaluation par les pairs inadéquate.

Bénéfice et subjectivité dans l'évaluation

Les préjugés cognitifs, tels que le biais de confirmation (favoriser les résultats qui correspondent aux travaux de l'examinateur), le biais d'affiliation (préférer des institutions bien connues) ou le biais de genre et de nationalité, peuvent fausser les résultats. Par exemple, des études ont montré que les évaluateurs sont plus susceptibles d'accepter des documents d'auteurs dans des universités prestigieuses ou de pays ayant une réputation scientifique établie.

L'examen à un seul examen (où les évaluateurs connaissent les auteurs mais non l'inverse) peut encore révéler l'identité institutionnelle par des reconnaissances, des modèles de citation ou des références. L'examen à double examen permet, mais n'est pas infaillible, car les évaluateurs compétents peuvent déduire la paternité du contenu de la recherche. Les revues à grand volume manquent souvent de ressources rédactionnelles pour surveiller rigoureusement les biais, ce qui entraîne une application incohérente des normes.Une étude de 2020 dans comportement humain mature[ a révélé que les articles des auteurs de pays à revenu faible ou intermédiaire ont été soumis à des revues d'ingénierie à haut impact moins fréquemment et acceptés à des taux inférieurs, même après avoir contrôlé la qualité, ce qui est en partie attribuable aux biais systémiques dans l'examen par les pairs.

Perspectives de l'auteur et le désémancipation

Les auteurs qui reçoivent une réponse à un processus d'examen par les pairs défectueux connaissent une importante inadmissibilité. Les cycles d'examen longs, les commentaires contradictoires de différents évaluateurs et les décisions éditoriales opaques découragent les chercheurs de se soumettre à des revues à grand volume.Les ingénieurs en première ligne et ceux des groupes sous-représentés sont particulièrement touchés, car ils peuvent manquer de réseaux ou d'expérience pour naviguer les résultats difficiles de l'examen.

De plus, le manque de communication efficace sur les décisions de révision – commun lorsque les éditeurs sont surchargés – crée une perception de l'injustice.Les auteurs signalent souvent que les revues se fondent sur des énoncés vagues comme ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Solutions possibles pour améliorer l'examen par les pairs

Élargir le bassin d'examinateurs

L'une des solutions les plus simples consiste à élargir la base d'évaluateurs disponible, ce qui peut être fait en recrutant davantage de chercheurs en début de carrière, de boursiers postdoctoraux et de praticiens de l'industrie. De nombreux professionnels du génie possèdent une expertise approfondie dans le domaine, mais ne sont pas traditionnellement invités à l'examiner.

Certaines revues d'ingénierie à grand volume ont mis en place avec succès des systèmes de nomination des examinateurs[, où les auteurs suggèrent des examinateurs potentiels (sous réserve de l'approbation de l'éditeur). Bien que cette approche comporte des risques de cronie, elle peut rapidement élargir le bassin si elle est gérée correctement. Par exemple, le Journal of Mechanical Engineering Science a vu une augmentation de 30 % des acceptations des évaluateurs après le lancement d'un programme de candidats avec des vérifications transparentes des conflits d'intérêts.

Mise en oeuvre des outils de dépistage automatisé et d'IA

L'intelligence artificielle offre des outils puissants pour aider l'examen par les pairs humains. L'intelligence artificielle peut effectuer la détection initiale du plagiat, vérifier l'intégrité statistique, évaluer le respect des lignes directrices de rapport, et même signaler les problèmes éthiques potentiels.Dans des contextes à volume élevé, ce prétraitement automatisé réduit le fardeau pour les évaluateurs humains, leur permettant de se concentrer sur l'évaluation scientifique plutôt que sur les tâches de bureau.

Bien qu'aucun algorithme ne puisse remplacer le jugement d'expert, les modèles d'apprentissage automatique peuvent classer les soumissions en fonction de la portée de la revue, mettre en évidence des travaux antérieurs similaires et suggérer des examinateurs potentiels en fonction de l'historique de la publication. Toutefois, ces outils doivent être transparents, validés et exempts de biais dans leurs données de formation. Le Comité international des rédacteurs de revues médicales (CIMJE) a fait remarquer que l'IA ne devrait aider, jamais remplacer, les évaluateurs humains.

Programmes de formation officiels des évaluateurs

La formation structurée permet d'améliorer la qualité de l'examen. De nombreux évaluateurs, en particulier les chercheurs en début de carrière, reçoivent peu de conseils sur la façon de procéder à un examen rigoureux, équitable et constructif. Les programmes de formation, offerts sous forme d'ateliers, de modules en ligne ou de guides écrits, peuvent enseigner aux évaluateurs à évaluer la méthodologie, à identifier les erreurs statistiques, à évaluer la reproductibilité et à fournir des commentaires concrets.

Par exemple, la COPE offre des tutoriels gratuits en ligne sur l'éthique de l'examen par les pairs, et plusieurs grands éditeurs de revues dirigent des académies d'examinateurs. - Les revues d'ingénieurs à grand volume peuvent mandater ou encourager l'achèvement de telles formations comme condition préalable à la nomination d'un examinateur régulier. Les études montrent que les évaluateurs formés effectuent des examens plus complets et critiques, avec moins de cas de partialité.

Systèmes de reconnaissance et d'incitation

Les évaluateurs travaillent souvent sans compensation monétaire, en se fiant à l'altruisme et à l'obligation professionnelle. Pour maintenir la motivation dans des environnements à forte intensité de volume, les revues doivent reconnaître leurs contributions.Les incitatifs courants comprennent la reconnaissance publique (p. ex., nommer les meilleurs évaluateurs dans la revue ou sur les Publons), les crédits CPD (Continuing Professional Development), les frais de publication exemptés et les rabais sur les abonnements aux revues.

Les modèles plus novateurs comprennent les crédits d'examinateurs, qui peuvent être accumulés et échangés pour des services d'édition, ou des récompenses financières symboliques pour des examens particulièrement approfondis. Cependant, ces systèmes doivent être soigneusement conçus pour éviter des conséquences imprévues, comme des examens rapides pour maximiser les crédits. La plateforme PubsHub, utilisée par certains éditeurs d'ingénierie, permet aux évaluateurs de suivre leurs contributions et de comparer leurs paramètres avec les pairs, fournissant un élément de gamification qui peut stimuler l'engagement.

Rationalisation des flux de travail de la rédaction

La mise en oeuvre d'un système de triage dans lequel les éditeurs associés utilisent des listes de contrôle rapides (fondées sur la portée, la nouveauté et l'exhaustivité méthodologique) pour rejeter des manuscrits manifestement inappropriés réduit rapidement le nombre d'articles envoyés pour examen complet. Des revues comme IEEE Transactions on Engineering Management ont signalé que le triage rejette 20 à 25 % des présentations au cours de la première semaine, évitant aux examinateurs d'évaluer des documents qui seraient éventuellement refusés, peu importe.

Une autre stratégie consiste à utiliser une sélection d'examinateurs curés[ basée sur le rendement et l'expertise antérieurs. Les systèmes modernes de gestion éditoriale intègrent l'apprentissage automatique pour suggérer des évaluateurs idéaux basés sur l'historique de publication et de révision, réduisant ainsi le temps que les éditeurs passent à identifier des répondants appropriés. De plus, la normalisation des formulaires d'examen avec des délais structurés peut aider les évaluateurs à couvrir tous les aspects essentiels — nouveauté, méthodologie, clarté, reproductibilité — sans imposer de charge de travail supplémentaire.

Le rôle des pratiques équitables et transparentes

Pour corriger les biais, les revues d'ingénierie à grand volume devraient adopter des modèles transparents d'examen par les pairs, où les rapports d'examen et les réponses des auteurs sont publiés en même temps que les articles acceptés (avec une option de refus).La transparence encourage les évaluateurs à être plus prudents et objectifs, car leurs commentaires deviennent partie intégrante du dossier scientifique.

Les éditeurs doivent également recevoir une formation sur la sensibilisation aux préjugés et utiliser des critères normalisés pour évaluer les présentations.Mise en oeuvre examen en double aveugle où la technologie permet de réduire, bien que non éliminer, les biais.Même plus important, les revues devraient recueillir et analyser des données démographiques sur les auteurs et les évaluateurs pour identifier les disparités.Par exemple, si une revue rejette systématiquement des documents de certaines régions à des taux plus élevés, elle peut étudier les causes profondes et ajuster les politiques.

Orientations futures : Transformer l'examen par les pairs pour le génie à haute concentration

Un modèle émergent est la revue communautaire, où les articles publiés sur des serveurs préimprimés (comme arXiv ou engrXiv[) accumulent les commentaires de plusieurs scientifiques avant la soumission officielle de la revue. Les revues peuvent alors recruter des surveillants pour les regrouper et les vérifier, créant un système d'examen distribué qui s'adapte mieux au volume. Une autre approche prometteuse est la revue par les pairs , où les examens d'une revue sont transférés avec le manuscrit à une autre, évitant les efforts duplicatarisés.

En attendant, des modèles d'apprentissage automatique pourraient un jour prédire quels documents sont susceptibles d'avoir un impact élevé ou de contenir des erreurs, guidant le triage éditorial. Malgré ces innovations, le jugement humain restera central. L'objectif n'est pas de remplacer les évaluateurs mais de les autonomiser avec des outils, une formation et un soutien qui permettent à l'examen par les pairs de suivre le rythme de la croissance incessante de la recherche en génie.

En conclusion, les défis de l'examen par les pairs dans les revues d'ingénierie à grand volume sont importants, mais ne sont pas insurmontables.En élargissant les réserves d'évaluateurs, en déployant des examens de dépistage assistés par l'IA, en investissant dans la formation et la reconnaissance des évaluateurs et en favorisant des pratiques équitables, la communauté de l'édition peut améliorer la rapidité et la qualité de l'examen par les pairs.