Table of Contents
Introduction : Pourquoi l'examen par les pairs La diversité compte dans le génie
Le processus d'examen par les pairs est le principal gardien de la qualité des publications de recherche en génie. Il filtre les soumissions, valide la méthodologie et veille à ce que seul un travail rigoureux atteigne le dossier académique.Depuis des décennies, la communauté de l'ingénierie s'est concentrée sur le perfectionnement des critères d'examen, l'amélioration de la rigueur statistique et l'accélération des cycles d'examen.
La diversité des évaluateurs renvoie à la gamme de points de vue présentés dans le tableau d'évaluation et dans le document no 8212; différences entre les groupes ethniques, les sexes, l'origine géographique, l'origine scolaire, l'étape de carrière, la préférence pour la méthodologie de la recherche et l'expérience professionnelle à l'extérieur du milieu universitaire.
Cet article examine comment la diversité des évaluateurs influe directement sur la qualité des publications de recherche en génie, explore les mécanismes qui sous-tendent ces effets et propose des stratégies pratiques pour les revues, les conférences et les institutions afin de mettre en place des systèmes d'examen plus inclusifs et plus efficaces.
Définition de la diversité des évaluateurs dans les contextes d'ingénierie
La diversité dans l'examen par les pairs fonctionne sur plusieurs axes. La compréhension de chaque dimension permet de révéler les lacunes des systèmes actuels et les améliorations qui peuvent avoir le plus d'impact.
Diversité démographique
Les femmes gagnent environ 20 à 30 % des doctorats en génie dans la plupart des pays développés, mais leur représentation parmi les examinateurs de revues et les membres du comité de rédaction est souvent en retard par rapport à leur part de la communauté de la recherche.
Diversité géographique et institutionnelle
La recherche en génie est mondiale, mais l'examen par les pairs reste souvent concentré en Amérique du Nord et en Europe occidentale. Les évaluateurs de différentes régions font connaître les contraintes locales en matière d'infrastructure, les environnements réglementaires et les facteurs culturels qui influent sur la façon dont les solutions techniques fonctionnent en pratique.
Diversité épidémiologique et méthodologique
L'ingénierie englobe un large éventail d'approches méthodologiques : modélisation computationnelle, travaux expérimentaux, études de terrain, cycles de conception-construction-essai et méthodes mixtes. Les évaluateurs formés principalement dans une tradition peuvent sous-estimer les contributions d'une autre. Un examinateur purement analytique pourrait rejeter une étude empirique bien exécutée comme manquant de profondeur théorique, tandis qu'un praticien pratique pourrait considérer un document basé sur la simulation purement comme détaché des contraintes du monde réel.
Étape de carrière Diversité
Les chercheurs en début de carrière apportent souvent de nouvelles perspectives et une connaissance des techniques de pointe, tandis que les évaluateurs supérieurs contribuent à la connaissance approfondie du domaine et au contexte historique. Les systèmes qui comptent exclusivement sur les évaluateurs supérieurs manquent de l'énergie et de la monnaie méthodologique des jeunes chercheurs.
L'état actuel de l'examinateur Homogénéité en génie
Cependant, les données disponibles dressent un tableau cohérent du déséquilibre. Une étude réalisée en 2020 sur plusieurs revues d'ingénierie de premier plan a révélé que les femmes ne représentaient que 25 à 35 % des évaluateurs, même dans les domaines où la paternité féminine avait atteint la quasi-parité. La concentration géographique est encore plus importante : les chercheurs d'Amérique du Nord et d'Europe de l'Ouest représentent généralement 60 à 80 % des évaluateurs dans les publications d'ingénierie de premier ordre, malgré la réduction de la part des résultats de la recherche en génie au niveau mondial.
Cette homogénéité crée des problèmes structurels.Lorsque les commissions d'examen manquent de diversité, elles deviennent sujettes à ce que les spécialistes de la science sociale appellent les « bulles épisémiques » et no 8212; des situations où les hypothèses partagées ne sont pas contestées parce que les points de vue dissidents sont absents.
Un examen des commentaires des examinateurs des conférences d'ingénierie révèle des tendances : la recherche des institutions non occidentales reçoit des critiques disproportionnées pour « manque de nouveauté » ou « insuffisance de fondement théorique », même lorsque la rigueur méthodologique est comparable.
Comment l'évaluateur Diversity améliore directement la qualité de publication
Le lien entre la diversité des évaluateurs et la qualité de la publication n'est pas seulement théorique, mais il existe plusieurs mécanismes qui expliquent pourquoi les comités d'examen hétérogènes produisent des résultats plus forts.
Détection plus large des défauts méthodologiques
Un examinateur statistiquement orienté peut saisir des problèmes avec la taille de l'échantillon ou l'analyse de puissance qu'un spécialiste de domaine pourrait manquer. Un expérimentationniste peut identifier des variables non comptabilisées qu'un modélisateur négligerait. Lorsque les comités d'examen comportent de multiples perspectives méthodologiques, l'examen collectif produit des évaluations plus rigoureuses. Cet effet de suivi croisé est l'un des arguments les plus forts pour les divers comités.
Réduit la réflexion de groupe dans l'évaluation des nouveautés
Les revues d'ingénierie classent systématiquement la « nouveauté » comme critère de publication. Pourtant, les évaluations de la nouveauté sont profondément subjectives et façonnées par ce que les évaluateurs savent déjà. Les chercheurs travaillant dans le même paradigme ont tendance à valoriser les extensions progressives des connaissances existantes tout en sous-évalué les approches qui défient ce paradigme. Les comités d'examen diversifiés sont plus susceptibles de reconnaître la nouveauté véritable lorsqu'elle apparaît sous des formes inconnues.
Amélioration de la pertinence du monde réel
Les examinateurs ayant une expérience de l'industrie, une exposition sur le terrain ou une connaissance des contextes non occidentaux peuvent évaluer si une solution proposée est réellement implémentable, abordable et adaptée à l'environnement prévu. Cette base pratique améliore la qualité et l'utilité de la recherche publiée. Un comité d'examen composé entièrement de théoriciens universitaires peut approuver un travail techniquement élégant mais pratiquement non pertinent, tandis qu'un comité diversifié qui inclut les perspectives des praticiens capture ces déconnections tôt.
Des normes plus équitables dans toutes les traditions de recherche
Les différentes traditions de recherche ont des normes différentes pour ce qui constitue une preuve suffisante. Un système d'examen unique fonctionnant dans une tradition dominante peut systématiquement pénaliser le travail d'autres traditions. Divers groupes négocient ces différences plus équitablement, développant des normes communes qui respectent le pluralisme méthodologique tout en maintenant la rigueur.
Preuve empirique établissant un lien entre la diversité et les résultats de qualité
Des études systématiques des effets de la diversité dans l'examen par les pairs sont toujours en cours, mais les données disponibles confirment le rôle de l'hétérogénéité des évaluateurs qui améliore la qualité.
Une analyse à grande échelle des résultats manuscrits dans plusieurs disciplines a révélé que les documents examinés par des comités de groupes de travail différents selon le sexe ont reçu des chiffres de citation plus élevés après la publication, même après avoir pris en compte le prestige de l'auteur et le rang institutionnel, ce qui laisse croire que divers évaluateurs ont choisi des documents plus solides ou fourni des commentaires qui ont amélioré les versions finales.
En génie, la recherche sur les comités de programme de conférences révèle que l'accroissement de la diversité géographique est en corrélation avec des taux d'acceptation plus élevés pour les travaux interdisciplinaires et interdomaines, ce qui est intuitif : les évaluateurs de différentes régions sont plus susceptibles d'apprécier la recherche qui traite des problèmes régionaux en utilisant des méthodes pertinentes au niveau régional.
Les expériences naturelles fournissent des preuves supplémentaires : lorsque des revues ont mis en oeuvre des politiques visant à élargir les réserves d'examinateurs et no 8212; par exemple, en recrutant explicitement dans des régions sous-représentées ou des stades de carrière; no 8212; elles ont observé des améliorations mesurables de la qualité de l'examen, y compris des commentaires plus précis, moins de commentaires superficiels et des notes plus élevées de satisfaction de l'auteur.
Avantages au-delà de la qualité : équité, innovation et portée mondiale
L'impact de la diversité des évaluateurs va au-delà de la définition étroite de la qualité de la publication, pour englober les objectifs plus larges de l'entreprise scientifique.
Équité et équité dans l'avancement professionnel
Les dossiers de publication déterminent les décisions d'embauche, de promotion, de tenure et de financement.Si l'examen par les pairs désavantage systématiquement certains groupes de chercheurs, il renforce les inégalités existantes dans le domaine universitaire.Les comités d'examen diversifiés aident à garantir que l'évaluation est équitable et que les chercheurs de tous les horizons ont la possibilité de publier leur meilleur travail.
Innovation par la diversité cognitive
L'innovation se produit souvent à l'intersection de différentes perspectives.Lorsque les comités d'examen comprennent la diversité cognitive et no 8212;différentes façons de cadrer les problèmes, différents styles d'analyse, différentes tolérances pour l'incertitude et no 8212; ils sont plus susceptibles de cerner des contributions vraiment nouvelles.L'interaction entre un examinateur théoriquement incliné et un examinateur pratiquement orienté peut révéler de nouvelles dimensions de la contribution d'un article que ni l'un ni l'autre n'aurait remarquée seul.
Pertinence et applicabilité globales
Les solutions techniques qui fonctionnent dans un contexte culturel ou infrastructural peuvent échouer dans un autre. La diversité des évaluateurs assure que les recherches publiées tiennent compte de cette variation. Un article proposant une conception structurelle pour les régions sujettes aux tremblements de terre bénéficie de l'examen par quelqu'un qui connaît les pratiques de construction locales et les cadres réglementaires.
Obstacles à la réalisation de la diversité des évaluateurs
Malgré les avantages évidents, des obstacles importants empêchent les revues et les conférences d'ingénieurs de créer des réserves d'examinateurs diversifiées.
Effets réseau et homophilie
Les éditeurs ont naturellement tendance à recruter des évaluateurs de leurs propres réseaux professionnels, qui ont tendance à refléter leurs propres caractéristiques démographiques et géographiques.Cette homophilie perpétue les déséquilibres existants. Une enquête de 2022 a révélé que plus de 70% des éditeurs de revues en génie identifient les évaluateurs principalement par des contacts personnels, un processus qui exclut systématiquement les chercheurs en dehors de ces réseaux.
Fatigue et surcharge de l'examinateur
Le système d'évaluation par les pairs repose sur le travail bénévole et le fardeau est disproportionnée pour certains groupes. Les chercheurs des groupes sous-représentés reçoivent souvent plus d'invitations à examiner par rapport à leur nombre, en partie parce que les éditeurs essaient consciemment de diversifier mais puisent dans un petit bassin. Cela peut conduire à l'épuisement et éventuellement à un retrait du processus d'examen, réduisant paradoxalement la diversité au fil du temps.
Préoccupations perçues en matière de qualité
Certains éditeurs craignent que la priorité accordée à la diversité ne compromette la qualité de l'examen, surtout s'ils associent une expertise approfondie à un groupe restreint de chercheurs chevronnés établis.Cette perception n'est pas étayée par des données probantes et des études sur 8212; des études montrent que les chercheurs en début de carrière fournissent souvent des examens plus approfondis et constructifs que leurs homologues supérieurs et 8212; mais elle persiste.
Obstacles institutionnels et systémiques
Dans de nombreux pays, la participation à l'évaluation internationale par les pairs n'est ni reconnue ni récompensée dans les systèmes d'évaluation institutionnels. Les chercheurs dans des milieux où les ressources sont limitées peuvent manquer de temps, de compétences linguistiques ou d'appui institutionnel pour servir d'évaluateurs.
Stratégies pratiques pour les revues et conférences
Pour passer de l'aspiration à l'action, il faut des politiques et des pratiques concrètes que les institutions peuvent mettre en oeuvre.
Élargir les bases de données des évaluateurs de façon systématique
Les revues devraient constituer activement des bases de données d'examinateurs qui reflètent la diversité totale du milieu de la recherche, ce qui signifie aller au-delà des réseaux existants pour recruter par l'intermédiaire de sociétés professionnelles, de conférences internationales et de services de sensibilisation ciblés auprès des institutions des régions sous-représentées.
Mettre en oeuvre la sélection structurée des évaluateurs
Plutôt que de laisser la sélection de l'évaluateur entièrement à la discrétion éditoriale, les revues peuvent adopter des processus structurés qui tiennent explicitement compte des dimensions de la diversité parallèlement à l'expertise, ce qui pourrait impliquer des listes de contrôle ou des tableaux de bord logiciels qui affichent les données démographiques actuelles des évaluateurs invités, ce qui inciterait les éditeurs à élargir leur sélection lorsque des déséquilibres apparaissent.
Offrir une formation et un mentorat aux évaluateurs
Les chercheurs en début de carrière et les chercheurs de systèmes éducatifs ayant des traditions universitaires différentes n'ont jamais appris à rédiger des revues efficaces. Les revues peuvent offrir des modules de formation pour les évaluateurs publics, jumeler les évaluateurs débutants à des mentors expérimentés et fournir des commentaires structurés sur la qualité des revues.
Réduire les barrières linguistiques et de format
Les revues anglophones peuvent prendre des mesures pratiques pour réduire les obstacles linguistiques : permettre des revues en plusieurs langues, fournir un soutien en traduction, accepter des commentaires structurés en même temps que la critique libre. De même, simplifier les formulaires d'examen et fournir des critères clairs aide les évaluateurs de différentes traditions éducatives à comprendre les attentes.
Suivre et publier les mesures de la diversité
Les revues devraient suivre la démographie de leurs groupes d'examinateurs et de leurs comités de rédaction et publier ces données de façon transparente. Les rapports réguliers créent la responsabilité et permettent à la communauté de suivre les progrès. Certaines revues de premier plan incluent maintenant des statistiques sur la diversité dans leurs rapports de rédaction annuels, établissant une norme que d'autres devraient suivre.
Service de reconnaissance et d'examen des récompenses
Pour encourager la participation diversifiée à l'examen par les pairs, il faut rendre visible le service d'examen et le valoriser dans les systèmes d'évaluation de carrière. Les revues peuvent émettre des crédits d'évaluateurs publics, reconnaître officiellement les examens exceptionnels et travailler avec les institutions pour s'assurer que l'examen des activités compte dans les décisions relatives à la promotion et à la durée de la carrière.
Mesurer l'impact des initiatives en matière de diversité
Pour déterminer si les efforts déployés en matière de diversité améliorent réellement la qualité des publications, les revues ont besoin de mesures et de cadres d'évaluation solides, notamment :
- Représentation démographique :[ Suivi de la composition des groupes d'examinateurs au fil du temps selon le sexe, la géographie et l'étape de carrière.
- Notes de qualité de l'examen :[ Utiliser l'évaluation de la qualité de l'examen par l'éditeur et l'auteur pour déterminer si les divers évaluateurs fournissent des commentaires aussi complets et utiles.
- Échelles de taux d'acceptation:[ Surveillance de la variabilité systématique des taux d'acceptation par les données démographiques de l'auteur, ce qui indiquerait un biais.
- Résultats des citations:[ Analyser si les documents examinés par divers groupes d'experts permettent d'obtenir des mesures de l'impact scientifique différentes.
- Satisfaction de l'auteur:[ Enquêter sur l'expérience des auteurs dans le processus d'examen et déterminer si les commentaires de divers groupes ont été perçus comme justes et constructifs.
Ces mesures devraient être recueillies régulièrement et communiquées de manière transparente. Lorsque les interventions montrent des effets positifs, elles devraient être mises à l'échelle; lorsqu'elles révèlent des conséquences imprévues, elles devraient être ajustées.
Conclusion : Construire un écosystème de publication de l'ingénierie plus robuste
La diversité des évaluateurs n'est pas une préoccupation périphérique ou une question de rectitude politique. C'est un problème de qualité qui a des conséquences directes sur la rigueur, la pertinence et l'équité des publications de recherche en génie.
Pour parvenir à la diversité des évaluateurs, il faut faire des efforts délibérés, c'est-à-dire élargir les bases de données des évaluateurs au-delà des réseaux confortables, former de nouveaux évaluateurs issus de groupes sous-représentés, réduire les obstacles structurels à la participation et suivre les progrès grâce à des mesures transparentes, et exiger des éditeurs qu'ils réfléchissent systématiquement à qui est invité à examiner et pourquoi, et qu'ils reconnaissent l'examen par les pairs comme une contribution professionnelle digne de récompense.
La communauté de la recherche en génie a l'occasion de diriger la recherche dans ce domaine. Avec sa culture de prise de décisions fondée sur des données probantes et son engagement à résoudre des problèmes réels, l'ingénierie est bien placée pour faire des innovations dans les pratiques d'examen inclusives que d'autres disciplines peuvent suivre.
L'objectif n'est pas la diversité pour son propre bien. C'est une meilleure recherche, des publications plus solides et une profession d'ingénieur plus compétente. La diversité dans l'examen par les pairs est un moyen à cette fin, et les preuves sont claires : elle fonctionne.