Table of Contents

Introduction : Pourquoi l'examen par les pairs compte en génie

L'examen par les pairs est le fondement d'une publication crédible en génie. Lorsqu'un ingénieur soumet un manuscrit décrivant un nouveau matériau structurel, un circuit plus efficace ou un nouvel algorithme de contrôle robotique, le processus d'examen par les pairs se situe entre ce travail et la communauté du génie mondial. Sans un examen par les pairs rigoureux, des revendications non vérifiées ou des méthodologies imparfaites pourraient entrer dans le courant général, entraînant des efforts de recherche gaspillés ou même des applications dangereuses.

Cet article examine la nature des préjugés inconscients dans l'examen par les pairs en génie, répertorie les formes les plus courantes qu'il prend, explore l'impact concret sur la qualité et l'équité de la recherche et présente des stratégies fondées sur des données probantes, allant de l'examen en double aveugle à la formation des évaluateurs, qui peuvent aider les revues et les institutions à bâtir un écosystème d'examen plus objectif et inclusif.

Comprendre les préjugés liés à l'évaluation par les pairs

Qu'est-ce que le parti pris inconscient?

Le biais inconscient, aussi connu sous le nom de biais implicite, désigne les attitudes ou les stéréotypes qui influencent notre perception, notre mémoire et notre prise de décision sans notre prise de conscience explicite. Ces biais sont formés par une exposition culturelle, des expériences personnelles et des messages sociétaux, et ils peuvent contredire nos croyances conscientes. Par exemple, un examinateur qui croit sincèrement en l'égalité des sexes peut encore noter un article légèrement plus bas lorsque l'auteur principal a un nom associé à une femme, un modèle documenté dans de nombreuses disciplines, y compris l'ingénierie.

Comment les préjugés entrent dans le processus d'évaluation par les pairs

Le processus d'évaluation par les pairs comporte plusieurs points de décision dans lesquels la partialité peut se faire sentir : lorsqu'un éditeur choisit des évaluateurs, lorsqu'un examinateur juge la nouveauté ou la signification d'une étude, lorsque la langue ou le formatage est critiqué, et lorsque l'éditeur pèse sur les commentaires contradictoires de l'examinateur. Chacune de ces étapes repose sur une interprétation subjective.

En ingénierie, en particulier, le biais peut aussi se croiser avec la perception du travail appliqué par rapport au travail théorique. Les évaluateurs formés à la recherche fondamentale peuvent sous-estimer les documents axés sur la mise en oeuvre pratique, tandis que ceux qui ont des antécédents industriels peuvent éloigner les preuves mathématiques.

La Fondation cognitive des préjugés dans l'examen

Plusieurs mécanismes cognitifs favorisent un biais inconscient dans l'examen par les pairs :

  • Confirmation biais:[ La tendance à rechercher ou à prioriser des preuves qui appuient les croyances existantes. Un évaluateur qui détient une opinion forte sur une méthode de traitement des matériaux particulière peut négliger des preuves qui contredisent cette opinion.
  • Effet de halo: Une impression positive dans un domaine (p. ex., l'auteur du célèbre superviseur) colore les jugements dans d'autres domaines (p. ex., la qualité de la méthodologie).
  • Heuristique de la disponibilité:[ Des exemples facilement rappelés (p. ex., un article récent avec une erreur similaire) sont donnés un poids disproportionné.
  • Pratice en groupe:[ Favoriser des personnes provenant d'un établissement, d'un pays ou d'un réseau de recherche.

Pour une analyse plus approfondie de la psychologie sous-jacente au biais de l'examen par les pairs, voir l'examen exhaustif publié dans Intégrité de la recherche et examen par les pairs.

Types communs de partialité dans l'examen par les pairs en génie

Bien que de nombreux biais soient universels dans toutes les disciplines scientifiques, l'édition en génie présente des modèles particulièrement marquants. La liste suivante comprend les formulaires les plus documentés, chacun comportant des exemples concrets de l'édition en génie.

Bizarre d'affiliation

Les évaluateurs accordent souvent inconsciemment une plus grande crédibilité aux manuscrits des universités d'élite, des grands laboratoires de R-D d'entreprise ou des organismes gouvernementaux bien connus. Un article de l'Institut de technologie du Massachusetts peut bénéficier du doute quant à la méthodologie, alors qu'une soumission comparable d'une institution moins connue fait l'objet d'un examen supplémentaire.

Genre

Plusieurs études ont révélé que les articles avec des auteurs masculins principaux sont plus susceptibles d'être acceptés dans certains sous-domaines de l'ingénierie. Une analyse des présentations de conférences 2019 à un grand site de robotique a montré que les articles d'auteurs féminins ont reçu des commentaires plus critiques et des scores moyens plus faibles. L'effet persiste même lorsque l'on contrôle la qualité de la recherche.

Nationalité et région

Les évaluateurs peuvent surestimer les articles d'Amérique du Nord, d'Europe occidentale ou d'institutions de puissance d'Asie de l'Est, tout en sous-valorisant les travaux d'Afrique, d'Amérique latine ou de certaines parties de l'Asie du Sud. La langue peut exacerber cette situation : les anglophones non autochtones font souvent l'objet de critiques disproportionnées pour leur style d'écriture, même lorsque le contenu technique est solide.

A. Diagnostic de confirmation

En génie, où il existe souvent des écoles de pensée concurrentes (p. ex. approches descendantes ou ascendantes de la conception des systèmes, méthodes itératives ou analytiques), un examinateur engagé dans un paradigme peut évaluer un manuscrit contradictoire de façon plus sévère, ce qui peut entraver la publication de travaux de changement de paradigme qui remettent en question des hypothèses ancrées.

Discipline et méthodologie

Les évaluateurs formés à des méthodes expérimentales peuvent se pencher sur des documents de simulation seulement, et vice versa. De même, ceux qui apprécient la rigueur quantitative peuvent pénaliser des études de cas qualitatives, même lorsque les méthodes qualitatives offrent des aperçus uniques sur des systèmes d'ingénierie complexes.

Situation et niveau de carrière

Les chercheurs en première ligne, les étudiants diplômés et les ingénieurs de l'industrie font souvent face à des examens plus critiques que les universitaires établis qui ont un bilan dans la même revue.

Impact du biais de l'évaluation par les pairs sur la qualité et l'équité de la recherche en génie

Effets en aval sur la littérature

Lorsque le biais fausse les décisions d'acceptation, la littérature technique devient un dossier incomplet ou biaisé de travaux valables. Les contributions importantes de groupes sous-représentés ou d'institutions non traditionnelles peuvent être retardées ou perdues, tandis que les documents moins innovateurs mais moins sûrs de sources privilégiées dominent.

Par exemple, si les examinateurs pénalisent systématiquement les documents qui signalent des résultats négatifs ou des échecs méthodologiques (un type de biais de publication), la communauté des ingénieurs peut gaspiller des efforts répétés d'expériences en impasse. La crise de reproductibilité dans diverses sciences a été en partie liée à de telles pratiques de publication sélective.

Conséquences professionnelles

Pour les chercheurs individuels, l'examen par les pairs biaisé peut ralentir la durée de la carrière et la promotion, limiter le succès des subventions et réduire la visibilité professionnelle.Une ingénieure féminine ou minoritaire dont les papiers sont envoyés à plusieurs reprises par d'autres cycles de révision ou rejetés à des taux plus élevés est confrontée à un désavantage structurel qui se complète au cours d'une carrière.

Innovation et sécurité

Si le biais entraîne l'oubli de la recherche de haute qualité ou la promotion de la recherche de mauvaise qualité, les conséquences dépassent le cadre universitaire. Par exemple, les lignes directrices de conception structurelle fondées sur un ensemble d'études biaisées pourraient sous-estimer les risques de défaillance. Un processus d'examen plus inclusif n'est pas seulement une question d'équité, mais une question de sécurité et de qualité.

Détection et mesure des biais dans l'examen par les pairs

Approches quantitatives

Les revues peuvent vérifier leurs propres processus en analysant les taux d'acceptation, les cotes d'évaluation et les commentaires des évaluateurs ventilés par population de l'auteur, affiliation institutionnelle ou géographie. Les techniques statistiques telles que l'analyse de régression peuvent atténuer l'effet du biais après avoir pris en compte les indicateurs de qualité objectifs (p. ex., les cotes de rigueur méthodologique). Certaines études à grande échelle ont utilisé le traitement du langage naturel pour détecter les marqueurs linguistiques de biais dans les commentaires des évaluateurs, comme un langage plus irrespectueux dans les examens des documents d'établissements moins prestigieux.

Preuves expérimentales et anecdotiques

Les études qui envoient des manuscrits identiques (ou presque identiques) aux examinateurs avec seulement le nom de l'auteur ou l'affiliation institutionnelle changée fournissent une des preuves les plus fortes de partialité. Dans une expérience bien connue dans la littérature médicale, les évaluateurs ont noté le même document plus favorablement lorsqu'il avait un auteur éminent attaché. Des dessins similaires ont été utilisés dans des contextes d'ingénierie, mais moins fréquemment.

Limites de l'auto-déclaration

Les évaluateurs admettent rarement des préjugés même lorsqu'ils existent. Les tests d'association implicites (TAI) peuvent révéler des biais que les gens ne soutiennent pas consciemment, mais ces tests sont rarement utilisés dans les contextes de publication.

Stratégies pour atténuer les écarts dans l'examen par les pairs en génie

Aucune intervention ne permettra d'éliminer complètement les préjugés, mais une combinaison de politiques et de pratiques peut réduire considérablement son impact.

Examen des aveugles et des doubles-lins

L'examen à un seul insu (l'examinateur connaît l'identité de l'auteur mais pas vice versa) est fréquent dans de nombreuses revues d'ingénierie, mais l'examen à double insu (les deux côtés sont anonymisés) est un outil puissant pour réduire les biais d'affiliation, de genre et de nationalité. Les études menées dans les disciplines montrent que les processus à double aveugle augmentent les taux d'acceptation des groupes sous-représentés et des auteurs féminins.

Conseils de mise en oeuvre : les revues devraient fournir des directives claires sur l'auteur de manuscrits anonymisants (suppression des noms, reconnaissances, numéros de subvention) et une formation à la détection des tentatives de désanonymisation à l'intention du personnel de rédaction.

Formation des évaluateurs et sensibilisation aux préjugés

Plusieurs revues exigent maintenant que les nouveaux évaluateurs complètent un court module sur le biais inconscient avant de servir. Les sujets comprennent la reconnaissance de l'effet halo, l'éviter des jugements fondés sur la vitesse et se concentrer sur des critères objectifs. Les lignes directrices IEEE de l'examinateur encouragent explicitement les évaluateurs à considérer le manuscrit uniquement sur ses mérites.

Critères d'évaluation structurés

Les listes de contrôle ou les échelles de cotation qui obligent les évaluateurs à évaluer des critères précis (p. ex., clarté de la méthodologie, validité des conclusions, pertinence pour les lecteurs) réduisent l'influence des impressions mondiales. Lorsque les évaluateurs doivent attribuer des notes distinctes pour différents aspects du document, la possibilité d'un halo global positif ou négatif pour entraîner la décision diminue.

Groupes d'examen diversifiés

Les rédacteurs en chef devraient recruter activement des évaluateurs provenant d'un large éventail d'institutions, de pays, de stades de carrière et de milieux démographiques. Lorsqu'un comité d'examen comporte des points de vue variés, les préjugés individuels peuvent s'annuler. La diversité apporte également un pluralisme méthodologique, réduisant ainsi le risque que les documents utilisant des approches moins communes soient injustement rejetés.

Médiation éditoriale et examen ouvert

Un rédacteur qui remarque un examinateur qui fait des remarques irrecevantes à propos d'un auteur L'anglais ou l'institution peut peser ces commentaires moins lourdement. L'examen par des pairs ouverts, où les noms des évaluateurs sont publiés à côté de l'article (ou où les commentaires des évaluateurs sont rendus publics), peut accroître la responsabilité et réduire les examens difficiles ou paresseux. Certaines revues d'ingénierie, comme celles exploitées par Frontiers, ont adopté des modèles d'examen ouverts.

AI et contrôle automatisé

Les nouveaux outils utilisent le traitement du langage naturel pour signaler les remarques potentiellement biaisées dans les rapports d'examen, par exemple, des commentaires qui se concentrent sur la démographie de l'auteur plutôt que sur le contenu scientifique. Bien que ces outils soient encore en développement, ils pourraient aider les éditeurs à prioriser les cas d'intervention humaine.

Responsabilité institutionnelle et mesures incitatives

Si les comités de permanence et les chefs de département reconnaissent l'examen par les pairs comme une activité valorisée qui nécessite des compétences spécifiques, les évaluateurs seront motivés à s'améliorer. Les établissements peuvent également appuyer des ateliers sur l'examen inclusif et peuvent plaider pour que les revues adoptent des pratiques impartiales.

Considérations particulières concernant les publications d'ingénierie

Défis uniques en ingénierie

La recherche en génie comprend souvent des travaux parrainés par l'industrie, des données exclusives et des méthodes appliquées qui sont plus difficiles à anonymiser. Un article décrivant une collaboration avec une entreprise donnée peut être impossible à ignorer complètement. Dans de tels cas, la transparence au sujet des conflits d'intérêts des évaluateurs devient encore plus critique.

Le rôle des étudiants diplômés et des postdocs

De nombreux ingénieurs en début de carrière sont invités à examiner par leurs superviseurs. Ces examinateurs débutants peuvent ne pas être conscients des biais et peuvent être particulièrement sensibles aux effets des halos. La formation devrait être étendue à la prochaine génération d'examinateurs au cours des études supérieures.

Documents interdisciplinaires et transdisciplinaires

Les revues devraient s'assurer que les comités d'examen comprennent des compétences de toutes les disciplines pertinentes et que les instructions de l'examinateur mettent l'accent sur le respect de la diversité méthodologique.

Études de cas et preuves tirées de la littérature

Une analyse 2021 de 14 000 manuscrits soumis à une revue d'ingénierie structurelle majeure a révélé que les articles avec des auteurs non anglophones avaient un taux de rejet de 25 % plus élevé après avoir contrôlé la qualité du papier. À la suite d'une intervention qui comprenait une formation en double aveugle aux examens et aux évaluateurs, l'écart s'est réduit à 8 % sur deux ans.

Ces exemples montrent que des changements significatifs sont possibles, mais que les données longitudinales sont encore rares. La communauté des ingénieurs tirerait profit de la publication de plus de revues publiant leurs propres vérifications biaisées et partageant les pratiques exemplaires.

Rôle des éditeurs et des éditeurs

Leadership éditorial

Les rédacteurs donnent le ton à une revue. Ils peuvent modéliser le comportement préconçu en reconnaissant explicitement la question lors des réunions du comité de rédaction, en recueillant des statistiques sur la diversité et en prenant des décisions sur la manipulation des manuscrits qui privilégient l'équité.

De nombreuses revues d'ingénierie à impact élevé, dont celles publiées par l'ASME et l'ASCE, ont maintenant des énoncés sur la diversité qui traitent de l'examen par les pairs. Pourtant, les mesures prises sont souvent en retard par rapport à la rhétorique.

Politiques de niveau éditeur

Les grands éditeurs comme Elsevier, Springer Nature et Wiley ont élaboré des programmes de réduction des biais à l'échelle de l'entreprise, notamment des modules de formation normalisés pour les évaluateurs, des options optionnelles en double aveugle et des audits fréquents. Les éditeurs peuvent aussi exiger que toutes les revues de leur portefeuille adoptent des politiques anti-parasitaires pour continuer à les soutenir.

Conception de la technologie et de la plate-forme

Les systèmes de soumission peuvent inciter les évaluateurs à déclarer des biais potentiels avant d'accepter une invitation. Ils peuvent également indiquer quand un examinateur , ses propres publications partagent un auteur institutionnel avec le manuscrit.

Conclusion : Construire une fondation plus juste pour le savoir en génie

Le biais de l'examen par les pairs dans les publications d'ingénierie n'est pas une faille incurable, mais un défi résolvable. Par une combinaison de l'examen en double aveugle, de critères d'évaluation structurés, de l'éducation des évaluateurs, de la surveillance éditoriale et de l'engagement institutionnel, la communauté de l'ingénierie peut réduire considérablement l'influence du biais inconscient.

Lorsque l'on aborde les préjugés, la littérature en génie devient plus riche, plus représentative et plus fiable. La sécurité, l'innovation et l'équité qui découlent d'un examen équitable profitent non seulement aux chercheurs, mais aussi aux ingénieurs, aux praticiens et à la société qui se fient aux conclusions publiées.

Pour plus de détails, voir les lignes directrices COPE sur l'examen par les pairs et Énoncé éthique de l'examinateur , qui offrent des cadres pratiques pour l'examen impartial.