Экспертная оценка служит основным гарантом качества академической публикации, и нигде ее функция не является более последовательной, чем в инженерии. Когда структурный дизайн, синтез материалов или программный алгоритм появляются в рецензируемом журнале, практикующие и исследователи предполагают, что работа подверглась тщательному изучению. Тем не менее, надежность этой проверки ставилась под сомнение в течение десятилетий. Непоследовательные стандарты, скрытые предубеждения и огромный объем представлений напрягают систему, которая часто работает за закрытыми дверями. В этой статье рассматривается надежность экспертной оценки в редакционных решениях инженерного журнала, выявляя постоянные уязвимости и оценивая реформы, которые могли бы укрепить процесс.

Основополагающая роль рецензирования в инженерии

Обзор коллегиальных обзоров в инженерных журналах обычно следует одной из нескольких моделей. Наиболее распространенным является однослепой обзор, где рецензенты знают личности авторов, но авторы не знают рецензентов. Двойной слепой обзор, в котором обе стороны анонимизированы, все чаще используется для смягчения предвзятости. Открытый обзор, где имена раскрываются, а иногда публикуются комментарии, остается менее распространенным, но набирает обороты. Независимо от формата, основная цель одинакова: экспертная оценка для проверки того, что исследование оригинально, методологически обоснованно и надлежащим образом интерпретируется, прежде чем оно достигнет более широкого сообщества.

Инженерные рукописи часто включают экспериментальные данные, вычислительные модели или анализы дизайна, которые требуют знаний, специфичных для домена. Ожидается, что рецензенты проверят техническую правильность, воспроизводимость результатов и соблюдение стандартов отчетности, таких как стандарты для количественной оценки неопределенности или доступности кода. Редактор журнала синтезирует эти оценки, взвешивая их против объема журнала и потенциального воздействия статьи, чтобы принять решение об отказе. В высококачественных инженерных журналах показатели отклонения превышают 70 процентов для первоначальных представлений, подчеркивая избирательную роль рецензирования.

Однако процесс не является чисто объективным. Редакторы должны интерпретировать противоречивые рекомендации рецензентов, оценивать тщательность каждого обзора, а иногда и переопределять мнения, когда они обнаруживают предвзятость. Надежность всей системы зависит от предположения, что рецензенты могут и будут выполнять свои обязанности беспристрастно и компетентно.

Основные проблемы, подрывающие надежность

Предвзятость рецензента и ее многочисленные формы

Предвзятость в рецензировании может принимать различные формы. Предвзятость подтверждения приводит рецензента к результатам, которые согласуются с их собственной предыдущей работой или теоретической позицией. Институциональная предвзятость может привести к тому, что рецензент недооценивает исследования из менее престижных университетов или из развивающихся стран. Гендерные и расовые предубеждения также были задокументированы в нескольких областях; исследования показали, что рукописи с женщинами-первыми авторами или авторами с незападными именами иногда получают более суровые оценки. В инженерии, где прикладные исследования часто имеют коммерческие последствия, рецензент с финансовой долей в конкурирующей технологии может сознательно или бессознательно понизить оценку представления.

Эти предубеждения подрывают фундаментальную справедливость редакционного процесса. Когда предвзятость не контролируется, она не только вредит отдельным авторам, но и искажает научную запись, отдавая предпочтение определенным темам, методологиям или исследовательским группам по сравнению с другими. Журналы, которые полагаются исключительно на слепой рецензирование, особенно уязвимы, потому что рецензенты могут видеть принадлежность авторов и прошлые публикации, которые могут вызвать подсознательные предрассудки.

Непоследовательность среди рецензентов

Хорошо известное исследование в журнале Природа попросил рецензентов той же рукописи предоставить оценки; межрецензентное соглашение о том, следует ли принимать статью, было едва ли выше шанса. Непоследовательность также является постоянной проблемой в инженерии. Один рецензент может сосредоточиться на новизне подхода, в то время как другой подчеркивает экспериментальную валидацию, а третий критикует статистический анализ. Без консенсуса о том, что представляет собой приемлемое представление, редакторы остаются для осуществления субъективного суждения, которое может широко варьироваться между редакторами и между журналами.

Эта дисперсия усугубляется отсутствием стандартизированных критериев рецензирования во многих инженерных областях. В отличие от некоторых биомедицинских дисциплин, которые приняли структурированные контрольные списки отчетности, инженерные журналы часто оставляют обзор полностью неструктурированным, позволяя рецензентам применять личные критерии. В результате статья, отклоненная одним журналом из-за предполагаемого отсутствия новизны, может быть принята другим с незначительными изменениями, что вызывает вопросы о том, фильтры рецензирования для подлинного качества или просто для согласования с мировоззрением конкретного рецензента.

Пробелы в прозрачности и подотчетности

Традиционный анонимный обзор создает черный ящик для подотчетности. Рецензенты тратят мало времени на процесс; один опрос показал, что среднее время, которое рецензент тратит на рукопись, составляет менее часа. Без публичной записи своих комментариев (и часто без требования подписывать их), рецензенты имеют мало стимулов для предоставления глубоких, вдумчивых критических замечаний. Кроме того, барьер анонимности затрудняет обнаружение сговора или поведения призрачного рецензирования, где авторы или редакторы влияют на выбор дружелюбных рецензентов.

Сами редакторы работают за кулисами. В то время как большинство журналов теперь предоставляют вариант «отклонить и повторно представить», обоснование решения редко публикуется. Это отсутствие прозрачности затрудняет для более широкого инженерного сообщества оценку справедливости и последовательности редакционных решений. Это также подрывает доверие, особенно когда громкие статьи отозваны после публикации, потому что недостатки были упущены во время первоначального обзора.

Давление времени и рабочая нагрузка

За последнее десятилетие объем инженерных рукописей значительно вырос. Многие журналы сообщают о 5-10-процентном ежегодном увеличении количества представлений, в то время как количество желающих рецензентов не увеличилось пропорционально. Редакторы вынуждены отправлять больше приглашений, что приводит к более высоким показателям отклонения от потенциальных рецензентов. Те, кто действительно принимает, часто перегружены; типичный рецензент может обрабатывать 10-20 статей в год в дополнение к своим собственным исследованиям, преподаванию и административным обязанностям. Давление на быстрое изменение - часто ожидаемое в течение двух-четырех недель - может привести к беглым чтениям, которые упускают из виду критические ошибки.

Ограничения по времени также влияют на способность редактора исследовать подозрительные данные или запрашивать разъяснения у авторов перед принятием решения. В инженерии, где наборы данных могут быть большими и анализировать сложные, спешный обзор может не обнаружить сфабрикованные данные, неправильные предположения моделирования или неадекватные статистические тесты. Результатом является система, которая, будучи все еще функциональной, работает на грани надежности.

Методологические реформы для укрепления доверия

Модели открытого рецензирования

Открытая рецензия — где имена рецензентов и иногда полная история рецензий публикуются вместе со статьей — направлена на повышение ответственности. Сторонники утверждают, что знание их личности станет публичным, поощряет рецензентов быть более тщательными и гражданскими. Все большее число инженерных журналов, таких как журналы Института инженеров по электротехнике и электронике (IEEE) и некоторые журналы Springer-Nature, внедрили факультативный или обязательный открытый обзор. Предварительные данные свидетельствуют о том, что открытый обзор дает более длинные, более подробные обзоры, хотя опасения по поводу карьерных репрессий мешают некоторым исследователям принимать приглашения.

Гибридные модели также существуют. Например, некоторые журналы анонимизируют рецензентов изначально, но позже, если статья опубликована, позволяют рецензентам выбрать, чтобы их имя было связано с рецензией. Эта промежуточная основа сохраняет преимущества анонимности во время оценки, создавая стимул для высококачественного рецензирования. Журналы, которые приняли такую практику, сообщают о более высокой удовлетворенности рецензентов и более низких показателях оскорбительных или пренебрежительных комментариев.

Структурированный обзор контрольных списков и обучения

Один из самых прямых способов уменьшить несоответствие - предоставить рецензентам структурированный контрольный список, который соответствует редакционным приоритетам журнала. Многие инженерные журналы высшего уровня теперь просят рецензентов оценить конкретные аспекты - такие как значимость, новизну, методологию, доступность данных и ясность - по шкале Likert, а не оставлять обзор полностью открытым. Этот подход заставляет рецензентов обращать внимание на каждое измерение, что затрудняет упущение критического недостатка. Контрольный список также может быть адаптирован к типу рукописи: обзорная статья будет иметь разные критерии, чем оригинальная исследовательская статья, и экспериментальное исследование может потребовать дополнительного изучения неопределенности измерения.

Программы подготовки рецензентов, такие как программы, предлагаемые Комитетом по этике публикаций (] COPE), были разработаны для обучения передовой практике. Учебные модули охватывают осведомленность о предвзятости, конструктивную обратную связь, этические нарушения и способы обработки противоречивых обзоров. Ранние исследования показывают, что подготовленные рецензенты дают более надежные оценки, хотя принятие остается низким из-за нехватки времени и ресурсов. Журналы могут поручить подготовку всех новых рецензентов, как это сделали некоторые медицинские журналы, для повышения базового качества.

Серверы препринтов и пост-публикационный обзор

Серверы препринтов, такие как arXiv, engrXiv и TechRxiv, изменили издательский ландшафт, сделав инженерные исследования общедоступными до официального рецензирования. Это отделение распространения от оценки позволяет сообществу критиковать результаты на ранней стадии, иногда обнаруживая ошибки до начала процесса рецензирования журнала. Постпубликационные обзорные платформы, такие как PubPeer, позволяют комментировать опубликованные статьи, служа непрерывным механизмом контроля качества. Однако эффективность постпубликационного обзора зависит от участия сообщества; многие опубликованные статьи вообще не получают комментариев.

Редакторы журналов все чаще используют обратную связь с препринтом для информирования своих первоначальных редакционных решений. Некоторые журналы теперь позволяют авторам представлять рукопись, которая получила комментарии на платформе препринта, и редакторы учитывают эти комментарии в своей оценке. Эта гибридная модель может снизить нагрузку на формальных рецензентов, используя более широкий опыт. Тем не менее, она также вводит риски: публичные комментарии могут быть резкими или дезинформированными, и авторы могут чувствовать давление, чтобы ответить до завершения процесса журнала. Баланс открытости с защитой автора остается постоянной проблемой.

Зарегистрированные отчеты

Зарегистрированные отчеты представляют собой радикальный отход от традиционного рецензирования. В этом формате введение, методы и запланированные анализы представляются на рассмотрение до начала сбора данных или экспериментов. При их принятии журнал обязуется публиковать результаты независимо от результата при условии, что авторы следуют утвержденному протоколу. Такой подход устраняет предвзятость публикации к положительным результатам и заставляет рецензентов оценивать вопрос исследования и методологию, а не окончательные выводы.

Зарегистрированные отчеты по-прежнему редки в области инженерии, но они приобрели популярность в психологии и в настоящее время пилотируются некоторыми инженерными журналами. Для экспериментальных инженерных исследований - например, в области структурной инженерии или материаловедения - модель может быть особенно ценной, поскольку она поощряет строгое планирование перед исследованием и уменьшает соблазн выбирать результаты. Журнал Nature Communications имеет специальный трек для зарегистрированных отчетов, и несколько издателей, ориентированных на инженерию, изучают аналогичные варианты. Широкое внедрение потребует культурных сдвигов среди авторов и рецензентов, но потенциал для повышения надежности является значительным.

Последствия для инженерных исследований и практики

Надежность экспертной оценки напрямую влияет на реальную достоверность инженерных знаний. Когда некорректные исследования проходят экспертную оценку, последствия могут быть катастрофическими. Например, крах моста Walkway в 1981 году частично был приписан дизайну, который не подвергался строгой проверке сверстников; более тщательная проверка могла бы поймать просчет. Аналогичным образом, опровержения из-за изготовления данных в инженерных журналах привели к растрате инвестиций в исследования и подорвали доверие общественности к критически важным технологиям безопасности.

Помимо отдельных случаев системная ненадежность может искажать целые направления исследований. Если рецензенты последовательно выступают за постепенные улучшения по сравнению с новыми подходами, проекты с высоким риском и высокой наградой могут никогда не публиковаться, замедляя темпы инноваций. С другой стороны, отсутствие согласованности может позволить нестандартной работе войти в литературу, заставляя более поздних исследователей тратить время на воспроизведение и исправление ошибок. В таких областях, как разработка программного обеспечения, где исследования репликации редки, ошибочные утверждения могут сохраняться годами.

Инициативы по воспроизводимости в инженерных разработках набирают обороты. Многие финансирующие учреждения и журналы теперь требуют, чтобы авторы хранили данные и код в публичных хранилищах. Рецензентам рекомендуется проверять, что общие материалы завершены и что заявленные результаты могут быть воспроизведены. Тем не менее, без надежного процесса рецензирования, который обеспечивает соблюдение этих требований, политика остается желательной. Журналы, которые внедряют обязательные данные и обмен кодом вместе с проверками проверки во время обзора, вероятно, увидят более высокие показатели воспроизводимости - и больший авторитет.

В конечном счете, инженерное сообщество должно признать, что экспертная оценка является человеческой системой, по своей сути несовершенной, но той, которая может быть систематически улучшена. Инвестиции в подготовку рецензентов, прозрачную редакционную политику и инновационные модели обзора не являются роскошью - это необходимость поддержания доверия, которое общество возлагает на инженерные исследования.

Вывод: к более надежному экспертному обзору экосистемы

Экспертная оценка остается основой принятия редакционных решений в инженерных журналах, но ее надежность далека от гарантирования. Предвзятость, непоследовательность, отсутствие прозрачности и давление времени угрожают целостности процесса. Хорошей новостью является то, что многие перспективные реформы уже тестируются: открытый обзор, структурированные контрольные списки, зарегистрированные отчеты и более широкое использование обратной связи препринта. Приняв комбинацию этих стратегий, журналы могут уменьшить влияние субъективных факторов и сделать редакционные решения более прозрачными и воспроизводимыми.

Авторы, рецензенты, редакторы и издатели играют свою роль. Авторы могут поддерживать надежность, отправляя хорошо подготовленные рукописи и открыто обмениваясь данными и кодом. Рецензенты могут инвестировать время в создание тщательных, конструктивных оценок и могут использовать учебные ресурсы. Редакторы могут применять стандарты представления и диверсифицировать пулы рецензентов для противодействия предвзятости. Издатели могут обеспечить технологическую инфраструктуру для прозрачного обзора и вознаграждать рецензентов признанием или кредитами.

Усилия, подобные тем, которые предпринимают Retraction Watch и Центр открытой науки, уже высветили системные проблемы и выступили за изменения. Инженерное сообщество должно принять эти реформы, адаптировать их к уникальным требованиям инженерных исследований и постоянно оценивать их влияние. Только благодаря постоянному, основанному на фактических данных улучшению может по-настоящему служить надежным фильтром для знаний, которые формируют наш построенный мир.