Table of Contents

Введение: почему рецензирование имеет значение для инженерии

Экспертная оценка является основой надежной инженерной публикации. Когда инженер представляет рукопись, описывающую новый структурный материал, более эффективный дизайн схемы или новый алгоритм роботизированного управления, процесс рецензирования стоит между этой работой и глобальным инженерным сообществом. Без строгой экспертной оценки непроверенные претензии или некорректные методологии могут войти в мейнстрим, что приводит к растраченным исследовательским усилиям или даже небезопасным приложениям. Тем не менее, экспертная оценка опирается на человеческое суждение, и человеческое суждение неизбежно формируется бессознательными предубеждениями. Эти предубеждения могут искажать оценки, невыгодно определенным группам исследователей и в конечном итоге замедлять темпы инноваций. Инженерные публикации, которые часто несут прямые последствия для стандартов проектирования, правил безопасности и патентных решений, должны противостоять этим предубеждениям лоб в лоб, чтобы поддерживать как справедливость, так и техническую целостность.

В этой статье рассматривается природа бессознательного уклона в инженерном рецензировании, каталогизируется наиболее распространенные формы, которые он принимает, исследуется конкретное влияние на качество исследований и справедливость, а также представлены основанные на фактических данных стратегии - от двойного слепого обзора до обучения рецензентов - которые могут помочь журналам и учреждениям построить более объективную и инклюзивную экосистему обзора.

Понять Peer Review Bias

Что такое бессознательное предубеждение?

Бессознательная предвзятость, также известная как неявная предвзятость, относится к отношениям или стереотипам, которые влияют на наше восприятие, память и принятие решений без нашего явного осознания. Эти предубеждения формируются через культурное воздействие, личный опыт и социальные сообщения, и они могут противоречить нашим сознательным убеждениям. Например, рецензент, который искренне верит в гендерное равенство, все еще может оценить статью немного ниже, когда ведущий автор имеет женское имя, шаблон, документированный в нескольких дисциплинах, включая инженерию.

Как уклонения входят в процесс рецензирования

Процесс рецензирования включает в себя несколько моментов принятия решений, в которых может возникнуть предвзятость: когда редактор выбирает рецензентов, когда рецензент оценивает новизну или значимость исследования, когда критикуется язык или форматирование, и когда редактор взвешивает противоречивые комментарии рецензента. Каждый из этих шагов опирается на субъективную интерпретацию. Без структурированных гарантий неявные ассоциации, такие как предположение, что работа из известного университета по своей сути более строгая, могут заменить объективную оценку.

В инженерии, особенно, предвзятость может также пересекаться с восприятием прикладной и теоретической работы. Рецензенты, обученные фундаментальным исследованиям, могут недооценивать статьи, ориентированные на практическую реализацию, в то время как те, у кого есть опыт работы в отрасли, могут сбрасывать со счетов математические доказательства. Эти предпочтения, хотя и не всегда злонамеренные, создают систематические преимущества для определенных стилей исследований и невыгодные другие.

Когнитивный фундамент предубеждений в рецензировании

Несколько когнитивных механизмов приводят к бессознательному предвзятости при рецензировании:

  • Предвзятость подтверждения: Тенденция искать или расставлять приоритеты доказательств, которые поддерживают существующие убеждения.Рецензент, который придерживается твердого мнения о конкретном методе обработки материалов, может упустить из виду доказательства, которые противоречат этому мнению.
  • Эффект гало: Положительное впечатление в одной области (например, известный руководитель автора) окрашивает суждения в других областях (например, качество методологии).
  • Эвристика доступности: Легко запоминаемые примеры (например, недавняя статья с аналогичной ошибкой) придают непропорционально большой вес.
  • Предвзятость внутри группы: Выгодно для людей из собственного учреждения, страны или исследовательской сети.

Понимание этих механизмов является первым шагом к разработке систем, которые уменьшают их влияние. Для более глубокого изучения психологии, стоящей за предвзятостью рецензирования, см. всеобъемлющий обзор, опубликованный в Research Integrity and Peer Review.

Типы предубеждений в инженерном экспертном обзоре

Хотя многие предубеждения универсальны в научных дисциплинах, инженерное издание демонстрирует некоторые шаблоны, которые особенно заметны. Следующий список включает в себя наиболее документированные формы, каждая из которых имеет конкретные примеры из инженерного издания.

Предвзятость в отношении членства

Рецензенты часто бессознательно приписывают более высокий авторитет рукописям из элитных университетов, крупных корпоративных научно-исследовательских лабораторий или известных государственных учреждений. Статья из Массачусетского технологического института может получить выгоду от сомнений в отношении методологии, в то время как сопоставимое представление от менее известного учреждения сталкивается с дополнительным вниманием. Эта предвзятость может усилить модель «богатеть становится богаче», где уже престижные группы доминируют в журналах с высоким воздействием.

Гендерные отклонения

Многочисленные исследования показали, что статьи с ведущими авторами мужского пола с большей вероятностью будут приняты в некоторых инженерных подполях. Анализ представленных на конференции в крупном месте проведения робототехники в 2019 году показал, что статьи, написанные женщинами, получили более критические комментарии рецензентов и более низкие средние баллы. Эффект сохраняется даже при контроле качества исследований. Исследования оценки биографических данных также показывают, что идентичные инженерные резюме оцениваются выше, когда мужское имя появляется наверху.

Гражданство и региональные предубеждения

Рецензенты могут переоценивать статьи из Северной Америки, Западной Европы или восточноазиатских влиятельных институтов, недооценивая работу из Африки, Латинской Америки или части Южной Азии. Язык может усугубить это: не носителям английского языка часто приходится сталкиваться с непропорциональной критикой за стиль письма, даже когда технический контент является звуковым. Некоторые рецензенты приравнивают нестандартную фразировку к небрежному мышлению, классическому случаю предвзятости на работе.

Подтверждающие предвзятости

В инженерии, где часто существуют конкурирующие школы мысли (например, подходы «сверху вниз» и «снизу вверх» к проектированию систем, итеративные и аналитические методы), рецензент, приверженный одной парадигме, может более жестко оценивать противоречивую рукопись.

Дисциплина и методология Предвзятость

Рецензенты, обученные экспериментальным методам, могут смотреть свысока на статьи, посвященные только моделированию, и наоборот. Аналогичным образом, те, кто ценит количественную строгость, могут наказывать за качественные тематические исследования, даже когда качественные методы предлагают уникальное понимание сложных инженерных систем. Эти методологические предубеждения могут обеднять инженерную литературу, исключая ценные формы исследования.

Статус и карьерный уровень

Исследователи ранней карьеры, аспиранты и инженеры из промышленности часто сталкиваются с более критическими отзывами, чем признанные ученые с послужным списком в том же журнале. Это предубеждение может отпугнуть новичков и задушить новые перспективы.

Влияние экспертных оценок на качество и справедливость инженерных исследований

Влияние Downstream на литературу

Когда предвзятость искажает решения о принятии, инженерная литература становится неполной или искаженной записью полезной работы. Важные вклады недопредставленных групп или нетрадиционных учреждений могут быть отложены или потеряны, в то время как доминируют менее инновационные, но «более безопасные» статьи из предпочтительных источников. На протяжении десятилетий это может привести к гомогенизации исследовательских программ, где доминирующие группы определяют то, что считается важным или публикуемым.

Более того, предвзятые обзоры могут встраивать ошибочные предположения. Например, если рецензенты последовательно наказывают статьи, которые сообщают о негативных результатах или методологических сбоях (тип предвзятости публикации), инженерное сообщество может тратить усилия на повторение тупиковых экспериментов. Кризис воспроизводимости в различных науках был частично связан с такой избирательной практикой публикации.

Карьерные последствия

Для отдельных исследователей предвзятое рецензирование может замедлить срок пребывания и продвижение по службе, ограничить успех гранта и уменьшить профессиональную видимость. Инженер-женщина или инженер-меньшинство, чьи работы неоднократно отправляются через более длительные раунды пересмотра или отвергаются с более высокими показателями, сталкивается со структурным недостатком, который усугубляется в течение карьеры. Психологический ущерб - синдром самозванца, снижение мотивации - также реален и хорошо документирован.

Инновации и безопасность

Инженерные исследования часто напрямую связаны с регулированием, стандартами и разработкой продуктов. Если предвзятость заставляет игнорировать высококачественное исследование или поощрять низкокачественное исследование, последствия выходят за рамки академических кругов. Например, руководящие принципы структурного проектирования, основанные на предвзятом наборе исследований, могут недооценивать риски неудач. Более инклюзивный процесс обзора - это не просто вопрос справедливости - это вопрос безопасности и качества.

Обнаружение и измерение предвзятости в Peer Review

Количественные подходы

Журналы могут проверять свои собственные процессы, анализируя показатели принятия, оценки обзора и комментарии рецензентов, разбитые на демографию авторов, институциональную принадлежность или географию. Статистические методы, такие как регрессионный анализ, могут выявить влияние смещения после контроля за объективными показателями качества (например, методологические оценки строгости). Некоторые крупномасштабные исследования использовали обработку естественного языка для выявления лингвистических маркеров смещения в комментариях рецензентов, таких как более пренебрежительный язык в обзорах статей из менее престижных учреждений.

Экспериментальные и анекдотические доказательства

Исследования, которые отправляют идентичные (или почти идентичные) рукописи рецензентам с измененным только именем автора или институциональной принадлежностью, дают некоторые из самых сильных доказательств предвзятости. В одном хорошо известном эксперименте в медицинской литературе рецензенты оценили ту же статью более благоприятно, когда к ней был прикреплен видный автор. Подобные проекты использовались в инженерных контекстах, хотя и реже. Неофициальные доказательства, такие как опыт инженеров, которые меняют свои имена или принадлежности к последующим представлениям и получают заметно различное лечение, также выдвигают на первый план проблему.

Ограничения самоотчета

Рецензенты редко признают предвзятость, даже когда она существует. Имплицитные тесты ассоциации (IAT) могут выявить предубеждения, которые люди сознательно не одобряют, но такие тесты редко используются в издательских контекстах. Большинство журналов полагаются на косвенные показатели и агрегированные данные.

Стратегии для смягчения предубеждений в инженерном экспертном обзоре

Ни одно вмешательство не устранит предвзятость полностью, но сочетание политики и практики может существенно снизить ее влияние.

Слепой и двойной слепой обзор

Однослепой обзор (рецензент знает личность автора, но не наоборот) распространен во многих инженерных журналах, но двойной слепой обзор (оба стороны анонимны) является мощным инструментом для снижения предубеждений в отношении принадлежности, пола и национальности. Исследования по дисциплинам показывают, что двойные слепые процессы увеличивают показатели принятия для недопредставленных групп и женщин-авторов. Комитет по этике публикаций (COPE) рекомендует двойной слепой обзор в качестве базового уровня, хотя он признает, что полная анонимность может быть затруднена в небольших инженерных подсообществах, где методы различны.

Советы по внедрению: журналы должны предоставлять четкие авторские рекомендации по анонимизации рукописей (удаление имен, подтверждений, номеров грантов) и обучение редакционного персонала обнаружению попыток деанонимизации.

Тренинг рецензентов и осведомленность о предвзятости

Обучение рецензентов общим предубеждениям и их когнитивным причинам может улучшить самоконтроль. Многие журналы теперь требуют, чтобы новые рецензенты завершили короткий модуль по бессознательному предвзятости перед подачей. Темы включают признание эффекта гало, избегание суждений, основанных на скорости, и фокусирование на объективных критериях. Руководящие принципы рецензента IEEE явно поощряют рецензентов «рассматривать рукопись только по ее достоинствам».

Критерии структурированной оценки

Контрольные списки или шкалы рейтингов, которые заставляют рецензентов оценивать конкретные критерии (например, ясность методологии, обоснованность выводов, актуальность для читателей), уменьшают влияние глобальных впечатлений. Когда рецензенты должны назначать отдельные оценки для различных аспектов статьи, возможность для общего положительного или отрицательного ореола управлять решением уменьшается. Некоторые журналы используют структурированную форму, которая требует письменных обоснований для оценок, что затрудняет скрытие предвзятости за неопределенными комментариями.

Диверсионные обзорные панели

Редакторы должны активно набирать рецензентов из широкого круга учреждений, стран, этапов карьеры и демографических фонов. Когда панель обзора включает в себя различные перспективы, индивидуальные предубеждения могут отменить. Разнообразие также приносит методологический плюрализм, снижая риск того, что статьи, использующие менее распространенные подходы, несправедливо отклоняются. Однако одно только разнообразие не является панацеей - рецензенты по-прежнему нуждаются в обучении и стандартизированных критериях.

Редакционная медиация и открытый обзор

Редакторы играют решающую роль в интерпретации комментариев рецензентов и обнаружении предвзятости. Редактор, который замечает, что рецензент делает пренебрежительные замечания об авторском английском или учреждении, может взвесить эти комментарии менее сильно. Открытая рецензия, где имена рецензентов публикуются вместе с бумагой (или где комментарии рецензентов публикуются), может повысить подотчетность и уменьшить суровое или ленивое рецензирование. Некоторые инженерные журналы, такие как те, которыми управляет Frontiers, приняли модели открытого рецензирования. Однако открытый обзор также может привести к самоцензуре, особенно для младших рецензентов, которые боятся последствий от старших авторов.

ИИ и автоматический скрининг

Новые инструменты используют обработку естественного языка для выявления потенциально предвзятых замечаний в обзорных отчетах, например, комментарии, которые фокусируются на демографии авторов, а не на научном контенте. Хотя эти инструменты все еще находятся в разработке, они могут помочь редакторам расставить приоритеты для вмешательства человека. Ни один алгоритм не может полностью заменить редакционное суждение, но ИИ может служить вторым набором глаз.

Институциональная ответственность и стимулы

Университеты и исследовательские учреждения могут способствовать пересмотру с учетом предвзятости путем включения его в учебные программы и предоставления кредита на обслуживание. Если комитеты по вопросам пребывания в должности и руководители департаментов признают экспертную оценку как ценную деятельность, требующую конкретных навыков, рецензенты будут мотивированы на улучшение. Институты также могут поддерживать семинары по инклюзивному рецензированию и могут выступать за то, чтобы журналы применяли объективную практику.

Специальные соображения для технических публикаций

Уникальные вызовы в инженерии

Инженерные исследования часто включают в себя работу, спонсируемую промышленностью, запатентованные данные и прикладные методы, которые труднее анонимизировать. Статья, описывающая сотрудничество с конкретной компанией, может быть невозможно полностью ослепить. В таких случаях прозрачность конфликта интересов рецензентов становится еще более важной. Некоторые инженерные журналы экспериментировали с специализированными рецензентами «данных и методов», которые сосредоточены исключительно на технической строгости, игнорируя личность автора.

Роль аспирантов и постдоков

Многих инженеров-раннекарьеристов просят пересмотреть их руководители. Эти начинающие рецензенты могут не осознавать предвзятость и могут быть особенно восприимчивы к эффектам ореола. Обучение должно быть распространено на следующее поколение рецензентов во время аспирантуры. Инженерные учебные программы, которые включают модуль по этике рецензирования и предвзятости, помогут нормализовать разговор.

Междисциплинарные и трансдисциплинарные документы

Инженерия, которая пересекается с политикой, социальными науками или здоровьем, сталкивается с дополнительными рисками смещения. Рецензенты из чистого инженерного фона могут недооценивать качественные или смешанные компоненты. Журналы должны обеспечить, чтобы обзорные панели включали экспертизу из всех соответствующих дисциплин, и что инструкции рецензента подчеркивают уважение к методологическому разнообразию.

Тематические исследования и доказательства из литературы

Анализ в 2021 году 14 000 рукописей, представленных в крупный журнал структурной инженерии, показал, что в статьях с неанглоязычными авторами уровень отказов после контроля за качеством бумаги был на 25% выше. После вмешательства, которое включало двойное слепое рецензирование и подготовку рецензентов, разрыв сократился до 8% в течение двух лет. Другое исследование на конференции по гражданскому строительству показало, что женщины-первоавторы получали более сложные комментарии к обзору в среднем, но изменение структурированных форм рецензирования уменьшило расхождение.

Эти примеры показывают, что возможны значительные изменения. Однако продольные данные по-прежнему скудны. Инженерное сообщество выиграет от большего числа журналов, публикующих свои собственные аудиты предвзятости и обменивающихся передовым опытом.

Роль редакторов и издателей

Редакционное лидерство

Редакторы задают тон журналу. Они могут моделировать поведение, осознающее предвзятость, явно признавая проблему на заседаниях редакционной коллегии, собирая статистику разнообразия и принимая решения об обработке рукописей, которые отдают приоритет справедливости. Когда редактор подозревает предвзятость, они могут искать дополнительные обзоры, обсуждать проблемы с рецензентом или в конечном итоге отменять решение о рецензировании.

Многие инженерные журналы с высокой отдачей, в том числе опубликованные ASME и ASCE, теперь имеют заявления о разнообразии, которые касаются рецензирования. Тем не менее, действия часто отстают от риторики. Редакторы нуждаются в конкретных показателях: какой процент рукописей из исторически недопредставленных групп отправляется на рецензирование? Как рекомендация рецензента соотносится с авторской институцией?

Политика уровня издателя

Крупные издатели, такие как Elsevier, Springer Nature и Wiley, разработали общекорпоративные программы снижения предвзятости. Они включают стандартизированные учебные модули для рецензентов, дополнительные двойные слепые варианты и частый аудит. Издатели также могут потребовать, чтобы все журналы в их портфеле принимали политику против предрассудков в качестве условия постоянной поддержки. Однако последовательность варьируется. Инженерные журналы, размещенные в профессиональных обществах, часто имеют независимые редакционные советы со своими собственными традициями, что затрудняет обеспечение единообразной политики.

Технологии и дизайн платформы

Системы подачи заявок могут побуждать рецензентов объявлять о потенциальных предубеждениях перед принятием приглашения. Они также могут отмечать, когда собственные публикации рецензента делятся институциональным автором с рукописью. Простые изменения интерфейса, такие как скрытие имени автора до тех пор, пока не будет введен предварительный рейтинг качества, могут подтолкнуть рецензентов к более объективной оценке.

Вывод: создание более справедливого фонда инженерных знаний

Предвзятость рецензирования в технических публикациях не является неизлечимым недостатком, но решаемой проблемой. Благодаря сочетанию двойного слепого рецензирования, структурированных критериев оценки, рецензентного образования, редакционного надзора и институциональной приверженности инженерное сообщество может существенно уменьшить влияние бессознательного предвзятости. Цель состоит не в том, чтобы устранить человеческое суждение - рецензирование является и должно оставаться интеллектуальным упражнением - но чтобы максимально точно согласовать это суждение с качеством и значимостью исследования.

Когда предвзятость рассматривается, инженерная литература становится более богатой, более представительной и более надежной. Безопасность, инновации и справедливость, которые проистекают из справедливого обзора, приносят пользу не только исследователям, но и инженерам, практикам и обществу, которые полагаются на опубликованные результаты. Каждая принятая или отклоненная статья должна отражать достоинства работы, а не личность автора. Достижение этого идеала требует постоянной бдительности, прозрачного измерения и коллективной воли к улучшению.

Для дальнейшего чтения см. Руководящие принципы COPE по экспертной оценке и IEEE по этике рецензентов, которые предлагают практические рамки для беспристрастного рецензирования. Инженерное сообщество уже предпринимает шаги; следующее десятилетие должно принести еще более четкое внимание и более строгие вмешательства.