Table of Contents

Введение: почему экспертный обзор вопросов разнообразия в инженерии

Процесс рецензирования выступает в качестве основного гаранта качества в публикациях инженерных исследований. Он фильтрует представления, проверяет методологию и гарантирует, что только строгая работа достигает академической записи. В течение десятилетий инженерное сообщество сосредоточилось на уточнении критериев рецензирования, повышении статистической строгости и ускорении циклов рецензирования. Тем не менее, одному критическому измерению уделяется сравнительно меньше внимания: разнообразие самих рецензентов.

Разнообразие рецензентов относится к диапазону перспектив, приведенных в таблице оценки & #8212; различия в этнической принадлежности, поле, географическое происхождение, академическая линия, карьерный этап, предпочтение методологии исследования и профессиональный опыт за пределами научных кругов. Когда рецензенты приходят из аналогичных фонов, они, как правило, разделяют предположения о том, что представляет собой ценное исследование, какие методы являются приемлемыми и какие вопросы стоит задать. Эта однородность может тонко, но систематически сужать объем опубликованных инженерных исследований, ограничивая инновации и снижая реальную актуальность.

В статье рассматривается, как разнообразие рецензентов напрямую влияет на качество технических исследовательских публикаций, исследуются механизмы, лежащие в основе этих эффектов, и предлагаются практические стратегии для журналов, конференций и учреждений для создания более инклюзивных и эффективных систем рецензирования. [+]

Определение разнообразия рецензентов в инженерных контекстах

Разнообразие в экспертной оценке работает по нескольким осям. Понимание каждого измерения помогает выявить, где текущие системы не работают и где улучшения могут оказать наибольшее влияние.

Демографическое разнообразие

В большинстве развитых стран женщины получают примерно 20-30% докторских степеней по инженерным специальностям, однако их представленность среди рецензентов и членов редакционных советов зачастую отстает от их доли в научном сообществе. Аналогичным образом, исследователи из недостаточно представленных этнических групп сталкиваются с препятствиями для участия в процессах обзора, что может повлиять на оценку результатов исследований, касающихся их общин.

Географическое и институциональное разнообразие

Инженерные исследования носят глобальный характер, но экспертная оценка часто остается сосредоточенной в Северной Америке и Западной Европе. Рецензенты из разных регионов осознают местные инфраструктурные ограничения, нормативную среду и культурные факторы, которые влияют на то, как инженерные решения работают на практике. Система фильтрации воды, предназначенная для сельской Юго-Восточной Азии, требует различных критериев оценки, чем тот, который предназначен для европейского муниципалитета. Без географически разнообразных рецензентов эти контекстуальные факторы могут остаться неизученными.

Эпистемическое и методологическое разнообразие

Инженерия охватывает широкий спектр методологических подходов: вычислительное моделирование, экспериментальная работа, полевые исследования, циклы проектирования-строительства-тестирования и смешанные методы. Рецензенты, обученные в первую очередь одной традиции, могут недооценивать вклады другой. Чисто аналитический рецензент может отклонить хорошо выполненное эмпирическое исследование как отсутствие теоретической глубины, в то время как практический практик может рассматривать чисто основанную на моделировании работу как отделенную от реальных ограничений. Разнообразие методологического опыта приводит к более сбалансированным оценкам.

Карьерное многообразие

Исследователи ранней карьеры часто привносят свежие перспективы и знакомство с передовыми методами, в то время как старшие рецензенты вносят глубокий вклад в знания предметной области и исторический контекст. Системы, которые полагаются исключительно на старших рецензентов, упускают энергетическую и методологическую валюту молодых ученых. И наоборот, системы, которые исключают опытных рецензентов, теряют институциональную память и способность судить о долгосрочной значимости.

Текущее состояние гомогенности рецензента в инженерии

Данные по демографии рецензентов редки, поскольку многие журналы не отслеживают и не раскрывают эту информацию. Однако имеющиеся данные рисуют последовательную картину дисбаланса. Исследование, проведенное в 2020 году в нескольких ведущих инженерных журналах, показало, что женщины составляли всего 25-35% рецензентов, даже в тех областях, где авторство женщин достигло почти паритета. Географическая концентрация еще более высока: исследователи из Северной Америки и Западной Европы обычно составляют 60-80% рецензентов в ведущих инженерных изданиях, несмотря на сокращение доли глобальных результатов инженерных исследований.

Эта однородность создает структурные проблемы. Когда обзорные панели не имеют разнообразия, они становятся склонными к тому, что социологи называют «эпистемическими пузырями»—ситуации, где общие предположения остаются без ответа, потому что отсутствуют различные перспективы. В инженерии это может проявляться как систематическое недооценивание исследований, которые решают проблемы в условиях с низкими ресурсами, чрезмерной опоры на определенные методологические ортодоксы и неявное предубеждение против тем, воспринимаемых как внешние интересы.

Обзор фактических комментариев рецензентов с инженерных конференций выявляет закономерности: исследования из незападных институтов получают непропорционально большую критику за «отсутствие новизны» или «недостаточное теоретическое обоснование», даже когда методологическая строгость сопоставима.Это говорит о том, что фон рецензента влияет не только на то, принимается ли статья, но и на то, как ее вклады обрамлены и оценены.

Как многообразие рецензентов напрямую улучшает качество публикаций

Связь между разнообразием рецензентов и качеством публикаций не является чисто теоретической.Множественные механизмы объясняют, почему гетерогенные группы обзоров дают более сильные результаты.

Более широкое выявление методологических недостатков

Разное методологическое обучение приводит рецензентов к выявлению различных типов ошибок. Статистически ориентированный рецензент может улавливать проблемы с анализом размера выборки или мощности, которые специалист по домену может пропустить. Эксперименталист может идентифицировать неучтенные переменные, которые модельер упустит из виду. Когда панели обзора включают несколько методологических перспектив, коллективный контроль производит более строгие оценки. Этот эффект перекрестного мониторинга является одним из самых сильных аргументов для различных панелей.

Уменьшение группового мышления в оценке новизны

Инженерные журналы последовательно ранжируют «новизну» как главный критерий для публикации. Тем не менее оценки новизны глубоко субъективны и формируются тем, что рецензенты уже знают. Исследователи, работающие в рамках одной и той же парадигмы, склонны ценить постепенные расширения существующих знаний при недооценке подходов, которые бросают вызов этой парадигме. Различные обзорные панели с большей вероятностью распознают подлинную новизну, когда она появляется в незнакомых формах. Рецензент из другого подполя может видеть связи и приложения, которые инсайдер домена пропустит, в то время как инсайдер может проверить техническую корректность. Вместе они обеспечивают более полную картину.

Улучшенная релевантность реального мира

Инженерные исследования в конечном итоге направлены на решение реальных проблем. Рецензенты с опытом работы в отрасли, полевым воздействием или знакомством с незападными контекстами могут оценить, является ли предлагаемое решение действительно реализуемым, доступным и подходящим для его предполагаемой среды. Это практическое обоснование улучшает качество и полезность опубликованных исследований. Рецензентная группа, состоящая полностью из академических теоретиков, может одобрить технически элегантную, но практически нерелевантную работу, в то время как разнообразная панель, которая включает в себя перспективы практиков, рано улавливает эти отключения.

Более справедливые стандарты в исследовательских традициях

Различные исследовательские традиции имеют разные нормы для того, что составляет достаточное доказательство. Система с одним рецензентом, работающая в рамках доминирующей традиции, может систематически наказывать работу из других традиций. Различные группы обсуждают эти различия более справедливо, разрабатывая общие стандарты, которые уважают методологический плюрализм, сохраняя строгость. Результатом является публикация записи, которая более точно отражает весь спектр высококачественных инженерных исследований, проводимых во всем мире.

Эмпирические доказательства, связывающие разнообразие с результатами качества

Систематические исследования эффектов разнообразия в рецензировании все еще появляются, но имеющиеся данные подтверждают роль неоднородности рецензентов, повышающей качество.

Масштабный анализ результатов рукописи по нескольким дисциплинам показал, что статьи, рецензируемые группами с гендерным разнообразием, получили более высокие оценки после публикации, даже после контроля за престижем автора и институциональным рангом. Это предполагает, что различные рецензенты либо выбрали более сильные статьи, либо предоставили обратную связь, которая улучшила окончательные версии. Аналогичным образом, исследования групп обзора грантов показывают, что группы с гендерным балансом дают более последовательные оценки и менее восприимчивы к «галогенным эффектам» от заявителей с высоким статусом.

В частности, в области инженерии исследования в комитетах программ конференций показывают, что увеличение географического разнообразия коррелирует с более высокими показателями принятия междисциплинарных и междоменных работ. Это имеет интуитивный смысл: рецензенты из разных регионов с большей вероятностью оценят исследования, которые решают региональные проблемы с использованием региональных методов.

Когда журналы внедрили политику расширения пулов рецензентов— например, путем явного набора из недопредставленных регионов или этапов карьеры— они наблюдали измеримые улучшения качества рецензирования, включая более конкретные отзывы, меньше поверхностных комментариев и более высокие оценки удовлетворенности авторов.

Преимущества, выходящие за рамки качества: справедливость, инновации и глобальный охват

Влияние разнообразия рецензентов выходит за рамки узкого определения качества публикаций и охватывает более широкие цели научного предприятия.

Справедливость и справедливость в продвижении карьеры

Публикационные записи определяют решения о найме, продвижении по службе, пребывании в должности и финансировании. Если экспертная оценка систематически ставит в невыгодное положение определенные группы исследователей, это усиливает существующее неравенство в академическом конвейере. Различные обзорные панели помогают обеспечить справедливую оценку и равные возможности для исследователей из всех слоев общества публиковать свои лучшие работы. Это не просто вопрос социальной справедливости & #8212; это вопрос использования талантов. Инженерия не может позволить себе потерять вклад от любого сегмента населения.

Инновации через когнитивное разнообразие

Инновации часто возникают на пересечении различных точек зрения. Когда обзорные панели включают когнитивное разнообразие— различные способы постановки проблем, различные аналитические стили, различную терпимость к неопределенности— они с большей вероятностью выявляют действительно новые вклады. Взаимодействие между теоретически настроенным рецензентом и практически ориентированным может выявить новые измерения вклада статьи, которые ни один из них не заметил бы в одиночку.

Глобальная значимость и применимость

Инженерные решения, которые работают в одном культурном или инфраструктурном контексте, могут не сработать в другом. Разнообразие рецензентов гарантирует, что опубликованные исследования объясняют эту вариацию. В статье, предлагающей структурный дизайн для подверженных землетрясениям регионов, преимущества обзора кем-то, знакомым с местными строительными практиками и нормативными рамками. Исследование по интеграции возобновляемых источников энергии требует участия исследователей, которые понимают различные структуры рынка и политические условия. Различные обзорные панели делают инженерные исследования действительно глобальными по своей применимости.

Барьеры для достижения разнообразия рецензентов

Несмотря на явные преимущества, значительные препятствия мешают инженерным журналам и конференциям достигать разнообразных пулов рецензентов.Признание этих барьеров является первым шагом на пути к их устранению.

Сетевые эффекты и гомофилия

Редакторы, естественно, склонны набирать рецензентов из своих профессиональных сетей, которые, как правило, отражают их собственные демографические и географические характеристики. Эта гомофилия увековечивает существующие дисбалансы. Опрос 2022 года показал, что более 70% редакторов журналов в области инженерии идентифицируют рецензентов в первую очередь через личные контакты, процесс, который систематически исключает исследователей за пределами этих сетей. Разрыв этого цикла требует целенаправленных усилий и систематического создания баз данных.

Усталость и перегрузка

Система рецензирования опирается на добровольческий труд, и бремя ложится непропорционально на определенные группы. Исследователи из недопредставленных групп часто получают больше приглашений на рецензию по сравнению с их количеством, отчасти потому, что редакторы сознательно пытаются диверсифицировать, но черпают из небольшого пула. Это может привести к выгоранию и возможному выходу из процесса рецензирования, парадоксально сокращая разнообразие с течением времени. Устойчивое разнообразие требует расширения общего пула рецензентов, а не просто перераспределения приглашений.

Воспринимаемые проблемы качества

Некоторые редакторы опасаются, что приоритет разнообразия может поставить под угрозу качество обзора, особенно если они связывают глубокие знания с узкой группой авторитетных старших исследователей. Это восприятие не подтверждается доказательствами— исследования показывают, что исследователи ранней карьеры часто предоставляют более тщательные и конструктивные обзоры, чем их старшие коллеги— но оно сохраняется. Решение этого барьера требует культурных изменений и воздействия данных, которые демонстрируют качество обзоров из различных источников.

Институциональные и системные барьеры

Во многих странах участие в международной экспертной оценке не признается и не вознаграждается в институциональных системах оценки. Исследователям в условиях ограниченных ресурсов может не хватать времени, языковых навыков или институциональной поддержки для работы в качестве рецензентов. Журналы, которые требуют всех коммуникаций на английском языке, не являются носителями языка, даже когда их технический опыт является исключительным. Эти системные барьеры требуют структурных решений, а не индивидуальной доброй воли.

Практические стратегии для журналов и конференций

Переход от стремления к действиям требует конкретных стратегий и практики, которые могут быть реализованы учреждениями. Следующие стратегии доказали свою эффективность в различных дисциплинах и организационных контекстах.

Системно расширяйте базы данных рецензентов

Журналы должны активно создавать базы данных рецензентов, отражающие все многообразие исследовательского сообщества. Это означает выход за рамки существующих сетей для набора через профессиональные сообщества, международные конференции и целевую работу с учреждениями в недостаточно представленных регионах. Автоматизированные инструменты могут помочь выявить потенциальных рецензентов на основе записей публикаций, шаблонов цитирования и заявленных экспертных знаний. Цель состоит в создании достаточно большого пула, чтобы редакторы могли выбирать различные панели, не перегружая любого человека.

Структурированный выбор рецензента

Вместо того, чтобы оставлять выбор рецензентов исключительно на усмотрение редакции, журналы могут принимать структурированные процессы, которые явно учитывают аспекты разнообразия наряду с экспертизой. Это может включать контрольные списки или панели программного обеспечения, которые отображают текущую демографию приглашенных рецензентов, побуждая редакторов расширять свой выбор, когда появляются дисбалансы. Несколько крупных издателей теперь используют такие системы как часть своего редакционного рабочего процесса.

Обеспечить обучение рецензентов и наставничество

Проблемы качества в отношении различных рецензентов часто связаны с отсутствием подготовки, а не с отсутствием способностей. Многие исследователи ранней карьеры и исследователи из образовательных систем с различными академическими традициями никогда не учились писать эффективные обзоры. Журналы могут предлагать публичные учебные модули рецензентов, сочетая начинающих рецензентов с опытными наставниками и обеспечивая структурированную обратную связь о качестве обзора. Эти программы одновременно увеличивают разнообразие рецензентов и качество рецензентов.

Уменьшить языковые и форматные барьеры

Англоязычные журналы могут предпринять практические шаги по снижению языковых барьеров: разрешить рецензии на нескольких языках, обеспечить поддержку перевода, принять структурированные комментарии наряду с критикой в свободной форме. Аналогичным образом, упрощение форм рецензирования и предоставление четких критериев помогает рецензентам из разных образовательных традиций понять ожидания. Эти изменения делают процесс рецензирования более доступным без снижения стандартов.

Отслеживание и публикация показателей разнообразия

Журналы должны отслеживать демографию своих рецензентов и редакционных советов и публиковать эти данные прозрачно. Регулярная отчетность создает подотчетность и позволяет сообществу отслеживать прогресс. Некоторые ведущие журналы теперь включают статистику разнообразия в свои ежегодные редакционные отчеты, устанавливая стандарт, которому должны следовать другие.

Служба оценки и вознаграждения

Поощрение разнообразного участия в экспертной оценке требует, чтобы служба обзора была видимой и ценилась в системах оценки карьеры. Журналы могут выдавать общественные кредиты рецензента, обеспечивать формальное признание выдающихся обзоров и работать с учреждениями, чтобы гарантировать, что обзор деятельности учитывается в решениях о продвижении по службе и сроках пребывания. Когда обзор рассматривается как профессиональный вклад, а не невидимое бремя, больше исследователей будут участвовать.

Оценка влияния инициатив в области разнообразия

Для определения того, действительно ли усилия по обеспечению разнообразия способствуют повышению качества публикаций, журналам необходимы надежные показатели и рамки оценки.

  • Демографическое представление: Отслеживание гендерного, географического и карьерно-этапного состава пулов рецензентов с течением времени.
  • Оценки качества рецензирования: Использование оценок качества рецензирования редактором и автором для оценки того, обеспечивают ли различные рецензенты одинаково тщательную и полезную обратную связь.
  • Планы коэффициентов принятия: Мониторинг того, систематически ли меняются показатели принятия по демографии авторов, что указывает на предвзятость.
  • Результаты цитирования: Анализ того, достигают ли статьи, рассмотренные различными группами, различных научных показателей воздействия.
  • Довольство автора: Обследование авторов по поводу их опыта работы с процессом рецензирования и того, воспринималась ли обратная связь от различных групп как справедливая и конструктивная.

Эти показатели должны собираться регулярно и представляться в транспарентной форме. Когда мероприятия показывают положительные результаты, их следует масштабировать; когда они выявляют непреднамеренные последствия, их следует корректировать. Непрерывное улучшение на основе фактических данных является отличительной чертой зрелой стратегии в области разнообразия.

Вывод: создание более надежной системы публикации технических публикаций

Многообразие рецензентов не является периферийной проблемой или вопросом политкорректности. Это вопрос качества с прямыми последствиями для строгости, актуальности и справедливости публикаций инженерных исследований. Доказательства показывают, что различные обзорные панели улавливают больше ошибок, более надежно признают подлинную новизну, более справедливо оценивают исследования из нескольких методологических традиций и производят публикации, которые более глобально применимы и практически полезны.

Достижение разнообразия рецензентов требует целенаправленных усилий. Это означает расширение баз данных рецензентов за пределы удобных сетей, подготовку новых рецензентов из недопредставленных групп, сокращение структурных барьеров для участия и отслеживание прогресса с помощью прозрачных показателей. Это требует от редакторов систематически думать о том, кого приглашают для рецензирования и почему, и это требует от учреждений признания экспертной оценки как профессионального вклада, достойного вознаграждения.

Сообщество инженерных исследований имеет возможность возглавить эту область. Благодаря своей культуре принятия решений на основе фактических данных и приверженности решению реальных проблем, инженерия имеет хорошие возможности для новаторских инклюзивных методов обзора, которым могут следовать другие дисциплины. Благодаря охвату разнообразия рецензентов экосистема инженерных публикаций может стать не только более справедливой, но и более инновационной, более строгой и более актуальной для глобальных проблем, требующих инженерных решений.

Цель не в разнообразии ради самого себя. Это лучшие исследования, более сильные публикации и более способная инженерная профессия. Разнообразие в экспертной оценке является средством для достижения этой цели, и доказательства очевидны: это работает.