Обзор Peer Review в инженерных журналах

В крупных инженерных журналах - публикациях, которые получают тысячи представлений ежегодно - процесс рецензирования должен балансировать точность, своевременность и справедливость. Эти журналы, охватывающие области от механической и электротехники до информатики и материаловедения, имеют центральное значение для распространения инноваций, которые стимулируют технологический прогресс. Однако, сам масштаб представлений напрягает традиционные системы рецензирования, создавая каскадные проблемы, которые влияют на редакторов, рецензентов, авторов и более широкое научное сообщество.

Типичный процесс рецензирования включает в себя первоначальный редакционный скрининг, за которым следует назначение двум или более независимым экспертам, которые оценивают рукопись на оригинальность, методологию, значимость и ясность. С быстрым ростом результатов исследований - глобальные инженерные публикации увеличились примерно на 5-7% в год за последнее десятилетие - многие журналы теперь обрабатывают более 5000 представлений в год. Этот объем оказывает огромное давление на конвейеры рецензирования. Без структурных изменений система рецензирования рискует стать узким местом, которое замедляет научную коммуникацию и ставит под угрозу строгость опубликованной работы.

Понимание конкретных проблем, возникающих в больших объемах инженерных журналов имеет важное значение для разработки эффективных решений. В этой статье рассматриваются основные препятствия - перегрузка рецензента, эрозия качества, предвзятость и разочарование автора - и исследуются действенные стратегии для улучшения. Решая эти проблемы, инженерное издательское сообщество может поддерживать целостность рецензирования, поддерживая быстрое распространение трансформационных исследований.

Основные проблемы, с которыми сталкиваются журналы с высоким объемом инженерных наук

Рецензент: Перегрузка и усталость

Самой непосредственной проблемой в журналах большого объема является растущий спрос на рецензентов. По мере роста количества квалифицированных рецензентов пул квалифицированных рецензентов не рос пропорционально. Многие опытные ученые уже просматривают несколько журналов, часто совмещая 10-15 заданий одновременно. Опрос 2021 года, проведенный Publons, показал, что средний рецензент тратит 15-20 часов на рецензию, но менее 15% исследователей составляют более 50% всех рецензий. Эта концентрация приводит к хронической перегрузке, при этом рецензенты часто отказываются от приглашений или принимают, но предоставляют отсроченные или поверхностные оценки.

Последствия перегрузки рецензентов включают длительные сроки обработки. Для крупных инженерных журналов среднее время от подачи до первого решения может превышать 90 дней, при этом некоторые рукописи ждут шесть месяцев или дольше. Авторы сталкиваются с растущим разочарованием, особенно когда конкурирующие приоритеты требуют своевременной публикации для финансирования или продвижения по службе. Кроме того, переутомленные рецензенты с большей вероятностью пропустят ошибки, упустят этические проблемы или предоставят неопределенную обратную связь, подрывая основную цель рецензирования. Американское общество инженерного образования и Комитет по этике публикаций (COPE) [[FLT: 1]] выпустили руководящие принципы, призывающие к лучшему управлению рецензентом для борьбы с усталостью.

Эрозия качества обзора

Когда рецензенты перегружены работой, часто страдает глубина их анализа. Поверхностные обзоры — те, которые комментируют только грамматические или незначительные проблемы форматирования — не улавливают критические методологические недостатки, неправильный статистический анализ или неверные интерпретации результатов. В инженерных дисциплинах, где прикладные исследования непосредственно влияют на безопасность, надежность и проектирование системы, такие оплошности могут быть опасны. Например, плохо рассмотренный документ по расчетам структурной нагрузки может привести к ошибочным строительным нормам, если обзор пропустил фундаментальную ошибку.

Кроме того, давление на публикацию быстро может привести к тому, что редакторы будут принимать отзывы менее квалифицированных или менее строгих судей. Некоторые журналы прибегают к использованию исследователей ранней карьеры или даже неспециалистов, которым может не хватать опыта для оценки высокоспециализированного контента. Результатом является увеличение опровержений и исправлений. Согласно анализу 2023 года в Саентометрия , коэффициент опровержения в инженерных журналах вырос на 20% за последние пять лет, частично объясняется неадекватным рецензированием. Поддержание качества рецензии в средах большого объема требует не только расширения базы рецензентов, но и внедрения надежных мер контроля качества, таких как показатели эффективности рецензентов и оценка после публикации.

Предвзятость и субъективность в оценке

Предвзятость в рецензировании является постоянной проблемой, но она становится более выраженной в условиях большого объема, когда редакторы и рецензенты работают в условиях нехватки времени. Когнитивные предубеждения, такие как предвзятость подтверждения (благоприятные результаты, которые согласуются с собственной работой рецензента), предвзятость принадлежности (предпочтение известных учреждений) или предвзятость пола и национальности, могут искажать результаты. Например, исследования показали, что рецензенты с большей вероятностью принимают статьи от авторов в престижных университетах или из стран с установленной научной репутацией. В инженерии, где практические приложения часто включают кросс-культурное сотрудничество, такие предубеждения могут маргинализировать важный вклад из развивающихся стран.

Объективность еще более оспаривается «маскарада» слепого рецензирования. Однослепой обзор (где рецензенты знают авторов, но не наоборот) все еще может выявить институциональную идентичность через признания, шаблоны цитирования или самоссылки. Двойной слепой обзор помогает, но не является надежным, поскольку знающие рецензенты могут вывести авторство из содержания исследований. В журналах с высоким объемом часто не хватает редакционных ресурсов для строгого мониторинга предвзятости, что приводит к непоследовательному применению стандартов. Исследование 2020 года в Природное человеческое поведение показало, что статьи от авторов в странах с низким и средним уровнем дохода были представлены в инженерные журналы с высоким уровнем воздействия реже и приняты по более низким ставкам, даже после контроля за качеством - модель, частично связанная с системным уклоном в рецензировании.

Автор Перспективы и лишение прав

Авторы, получающие некорректный результат процесса рецензирования, испытывают значительное лишение прав. Длительные циклы рецензирования, противоречивые отзывы от разных рецензентов и непрозрачные редакционные решения отбивают у исследователей желание подавать в журналы большого объема. Особенно страдают инженеры-режиссеры и те, кто не представлен в достаточной степени, поскольку им может не хватать сетей или опыта для навигации по сложным результатам рецензирования. Некоторые авторы реагируют на «салями», нарезая свои исследования на несколько небольших статей, еще больше увеличивая объем представлений и усугубляя перегрузку рецензентов.

Более того, отсутствие эффективной коммуникации о решениях по рецензированию — обычное явление, когда редакторы перегружены — создает восприятие несправедливости. Авторы часто сообщают, что обзоры полагаются на расплывчатые заявления, такие как «недостаточная новизна» без конкретного обоснования, оставляя их неуверенными в том, как улучшить свою работу. Это подрывает доверие к журнальной системе и может подтолкнуть исследователей к хищническим журналам, которые обещают (но редко предоставляют) строгую экспертную оценку. Международное общество по продвижению инженерных публикаций ] выделило опыт автора как ключевой фактор воздействия на журнал, призывая редакторов предоставлять конструктивную, прозрачную обратную связь даже в условиях большого объема.

Потенциальные решения для улучшения рецензирования

Расширение пула рецензентов

Одно из самых простых решений - расширить доступную базу рецензентов. Это можно сделать, набрав больше исследователей ранней карьеры, аспирантов и практиков в промышленности. Многие инженеры-профессионалы обладают глубоким опытом в области, но традиционно не приглашаются к рецензированию. Журналы могут создавать формальные программы наставничества, где младшие рецензенты в паре с опытными наставниками, помогая развивать новое поколение квалифицированных рецензентов. Кроме того, журналы должны активно приглашать рецензентов из недопредставленных регионов и учреждений для диверсификации перспектив и снижения предвзятости.

Некоторые крупные инженерные журналы успешно внедрили системы номинации рецензентов, где авторы предлагают потенциальных рецензентов (при условии одобрения редактора). Хотя этот подход несет риски кумовства, он может быстро расширить пул, если им правильно управлять. Например, в Журнале машиностроительных наук наблюдалось 30%-ное увеличение принятия рецензентов после запуска номинальной программы с прозрачными проверками на конфликт интересов. Расширение пула также требует тщательного управления базой данных, включая точные записи экспертного опыта рецензентов и доступности, чтобы избежать чрезмерного приглашения.

Внедрение ИИ и автоматизированных инструментов скрининга

Искусственный интеллект предлагает мощные инструменты для помощи экспертной оценке человека. ИИ может выполнять первоначальное обнаружение плагиата, проверять статистическую целостность, оценивать соблюдение руководящих принципов отчетности и даже отмечать потенциальные этические проблемы. В больших объемах такая автоматизированная предварительная обработка снижает нагрузку на рецензентов, позволяя им сосредоточиться на научной оценке, а не на клерикальных задачах. Например, инструмент ИИ «Snapp» был использован несколькими инженерными журналами для скрининга для изготовления данных и противоречивых интересов перед отправкой рукописей рецензентам, сократив среднее время первоначального обзора на 15%.

В настоящее время разрабатываются более продвинутые системы ИИ для оценки значимости и новизны исследований. Хотя ни один алгоритм не может заменить экспертное суждение, модели машинного обучения могут ранжировать представления по релевантности журнальной области, выделять аналогичные предыдущие работы и предлагать потенциальных рецензентов на основе истории публикаций. Однако эти инструменты должны быть прозрачными, проверенными и свободными от предубеждений в своих данных обучения. Международный комитет редакторов медицинских журналов (ICMJE) отметил, что ИИ должен только помогать, никогда не заменять рецензентов-людей. В инженерных журналах ИИ может быть множителем силы, но он всегда должен сочетаться с человеческим надзором для сохранения нюансированной, контекстуальной оценки, которую требует экспертная оценка.

Формальные программы обучения рецензентов

Качество рецензирования может быть улучшено за счет структурированного обучения. Многие рецензенты, особенно исследователи ранней карьеры, получают мало рекомендаций о том, как проводить строгий, справедливый и конструктивный обзор. Учебные программы, предлагаемые в качестве семинаров, онлайн-модулей или письменных руководств, могут научить рецензентов оценивать методологию, выявлять статистические ошибки, оценивать воспроизводимость и предоставлять действенную обратную связь. Инженерно-специфическое обучение может включать модули по проверке параметров моделирования, проверке экспериментальных установок и оценке последствий для безопасности предлагаемых проектов.

Например, COPE предлагает бесплатные онлайн-учебники по этике рецензирования, а несколько крупных издателей журналов работают «академии рецензентов». Высокотехнологичные инженерные журналы могут санкционировать или стимулировать завершение такого обучения в качестве предварительного условия для того, чтобы стать постоянным рецензентом. Исследования показывают, что подготовленные рецензенты предоставляют более всеобъемлющие и критические обзоры с меньшим количеством случаев предвзятости. В докладе 2022 года от Американского общества инженеров-механиков (ASME) было обнаружено, что журналы, реализующие обязательную программу обучения, увидели 40%-ное сокращение жалоб рецензентов на неопределенную обратную связь и измеримое улучшение согласованности решений среди редакторов.

Признание и стимулирующие системы

Рецензенты часто работают без денежной компенсации, полагаясь на альтруизм и профессиональные обязательства. Для поддержания мотивации в громоздких средах журналы должны признавать свои вклады. Общие стимулы включают общественное признание (например, наименование лучших рецензентов в журнале или на Publons), кредиты CPD (продолжение профессионального развития), отказ от платы за публикацию и скидки на подписки на журнал. Некоторые инженерные общества, такие как Институт инженеров по электротехнике и электронике (IEEE) [[FLT: 1]], предлагают значки и сертификаты, которые рецензенты могут отображать в своих профилях.

Более инновационные модели включают «кредиты рецензента», которые могут быть накоплены и обменены на редакционные услуги, или символические финансовые вознаграждения за особенно тщательные обзоры. Однако эти системы должны быть тщательно разработаны, чтобы избежать непреднамеренных последствий, таких как спешка с обзорами для максимизации кредитов. Платформа PubsHub , используемая некоторыми издателями инженерных работ, позволяет рецензентам отслеживать свои вклады и сравнивать свои показатели со сверстниками, обеспечивая элемент геймификации, который может повысить вовлеченность. Признание и стимулы в сочетании с уменьшенной общей рабочей нагрузкой через расширенные пулы и помощь ИИ могут помочь поддерживать мотивированное и высококачественное сообщество рецензентов.

Упорядочение редакционных рабочих процессов

Эффективные редакционные процессы имеют решающее значение для журналов большого объема. Внедрение системы проверки , где помощники редакторов используют быстрые контрольные списки (на основе объема, новизны и методологической полноты) для раннего отклонения явно неподходящих рукописей, сокращает количество статей, отправленных для полного обзора. Журналы, такие как IEEE Transactions on Engineering Management , сообщили, что сортировка отклоняет 20-25% представлений в течение первой недели, избавляя рецензентов от оценки статей, которые в конечном итоге будут отклонены независимо от того, что.

Другая стратегия заключается в использовании кураторского отбора рецензентов , основанного на прошлых результатах и сопоставлении опыта. Современные системы редакционного менеджмента включают машинное обучение, чтобы предложить идеальным рецензентам, основанным на публикации и истории рецензий, сокращая время, которое редакторы тратят на выявление подходящих рецензентов. Кроме того, стандартизация форм рецензии со структурированными подсказками может помочь рецензентам охватить все существенные аспекты — новизну, методологию, ясность, воспроизводимость — без наложения дополнительной рабочей нагрузки. Некоторые журналы также приняли модель рецензии для предварительных решений, где один эксперт обеспечивает быструю оценку, чтобы принять или отклонить, с полным обзором, зарезервированным для пограничных статей. Хотя этот подход ускоряет процессы, он должен использоваться осторожно, чтобы избежать чрезмерной зависимости от одного мнения.

Роль справедливой и прозрачной практики

Для устранения предвзятости, крупные инженерные журналы должны принять прозрачные рецензируемые модели, где обзорные отчеты и ответы авторов публикуются вместе с принятыми статьями (с опцией отказа). Прозрачность поощряет рецензентов быть более осторожными и объективными, поскольку их комментарии становятся частью научной записи. Анализ Wellcome Trust обнаружил, что журналы, использующие открытый обзор, испытали 15% снижение показателей смещения рецензентов.

Редакторы должны также пройти обучение по оценке предвзятости и использовать стандартизированные критерии для оценки представлений. Внедрение двойного слепого обзора , где технологические разрешения могут уменьшить, хотя и не устранить предвзятость. Еще более важно, что журналы должны собирать и анализировать демографические данные об авторах и рецензентах для выявления различий. Например, если журнал последовательно отклоняет статьи из определенных регионов с более высокими темпами, он может исследовать коренные причины и корректировать политику. Сводные стандарты отчетных испытаний (CONSORT) руководящие принципы теперь включают разделы справедливости, и инженерные журналы могут применять аналогичные подходы для обеспечения инклюзивности.

Future Directions: Transforming Peer Review для высокопроизводительных машин

Заглядывая вперед, инженерные журналы большого объема, возможно, потребуется перейти от постепенных улучшений к более радикальным изменениям. Одна из новых моделей - это обзор сообщества , где статьи, размещенные на серверах препринта (например, arXiv или engrXiv ), накапливают комментарии от нескольких ученых до официального представления журнала. Журналы могут затем набирать надзирателей для агрегирования и проверки этих комментариев, создавая распределенную систему обзора, которая лучше масштабируется с объемом. Другим перспективным подходом является портативный экспертный обзор , где обзоры из одного журнала передаются с рукописью в другой, избегая дублирования усилий. Международная ассоциация научных, технических и медицинских издателей (STM) поддерживает инициативы по переносу обзора.

Блокчейн-платформы были предложены для создания неизменных отчетов о рецензировании, предоставляя рецензентам кредит на их работу, предотвращая манипуляции. Между тем, модели машинного обучения могут однажды предсказать, какие статьи, вероятно, будут иметь большое влияние или содержать ошибки, направляя редакционную сортировку. Несмотря на эти инновации, человеческое суждение останется центральным. Цель состоит не в том, чтобы заменить рецензентов, а в том, чтобы дать им инструменты, обучение и поддержку, которые позволяют экспертной оценке идти в ногу с неустанным ростом инженерных исследований.

В заключение, проблемы рецензирования в крупных инженерных журналах значительны, но не непреодолимы. Расширяя пулы рецензентов, развертывая скрининг с помощью ИИ, инвестируя в обучение и признание рецензентов и способствуя справедливой практике, издательское сообщество может повысить как скорость, так и качество рецензирования. Эти усилия обеспечат, чтобы инженерные журналы продолжали служить надежными каналами для открытий, которые формируют наше технологическое будущее.