El examen de los usuarios sirve como el principal portero de la calidad en la publicación académica, y en ninguna parte su función es más consecutiva que en la ingeniería. Cuando un diseño estructural, una síntesis de materiales o un algoritmo de software aparece en una revista revisada por pares, los profesionales e investigadores asumen que el trabajo ha sufrido una rigurosa vulnerabilidad de los pares. Sin embargo, la fiabilidad de ese escrutinio ha sido cuestionado durante décadas.

Función fundacional de la revisión de los conocimientos en ingeniería

El examen más común es la revisión única ciego, donde los revisores conocen las identidades de los autores pero los autores no conocen los revisores. El examen doble ciego, en el que ambas partes están anónimos, se adopta cada vez más para mitigar el sesgo. Revisión abierta, donde se revelan los nombres y a veces se publican comentarios, sigue siendo menos común pero está ganando tracción. Independientemente del formato, el propósito principal es interpretar la evaluación original.

Los manuscritos de ingeniería a menudo implican datos experimentales, modelos computacionales o análisis de diseño que requieren conocimientos específicos de dominio. Se espera que los revisores comprueben la corrección técnica, la reproducibilidad de resultados, y la adherencia a estándares de reporte tales como los de cuantificación de incertidumbre o disponibilidad de códigos. El editor de revistas sintetiza estas evaluaciones, ponderándolos en contra del alcance de la revista y el impacto potencial del papel.

Sin embargo, el proceso no es puramente objetivo. Los editores deben interpretar las recomendaciones de los revisores conflictivas, medir la profundidad de cada revisión, y a veces anular las opiniones cuando detectan parcialidad. La fiabilidad de todo el sistema depende de la suposición de que los revisores pueden y cumplirán sus deberes de manera imparcial y competente.

Principales desafíos que socavan la fiabilidad

Bias de revisor y sus muchas formas

El sesgo de confirmación lleva a un revisor a favorecer resultados que se ajusten a su propio trabajo anterior o postura teórica. El sesgo institucional puede hacer que un revisor desvalorice la investigación de universidades menos prestigrias o de países en desarrollo. El género y los prejuicios raciales también se han documentado en múltiples campos; estudios han demostrado que los manuscritos con mujeres autores o autores con nombres no occidentales pueden a veces recibir evaluaciones más severas.

Estos prejuicios socavan la equidad fundamental del proceso editorial. Cuando el sesgo no se controla, no sólo perjudica a los autores individuales sino que también distorsiona el registro científico, favoreciendo ciertos temas, metodologías o grupos de investigación sobre otros. Los diarios que dependen exclusivamente de la revisión de una sola ciego son especialmente vulnerables porque los revisores pueden ver las afiliaciones de los autores y las publicaciones pasadas, que pueden desencadenar prejuicios subconscientes.

Inconsistencia Across Reviewers

Un estudio bien conocido en la revista Naturaleza] pidió a los revisores del mismo manuscrito que proporcionaran evaluaciones; el acuerdo entre revisores sobre si un documento debe ser aceptado apenas era por encima de la oportunidad. La inconsistencia es un problema persistente en la ingeniería también. Un revisor podría centrarse en la novedad del enfoque, mientras que otro enfatiza la validación experimental, y un tercer objeto de crítica aceptables

Esta diferencia se ve agravada por la falta de criterios de revisión estandarizados en muchos campos de ingeniería. A diferencia de algunas disciplinas biomédicas que han adoptado listas de comprobación de informes estructuradas, las revistas de ingeniería a menudo dejan la revisión totalmente no estructurada, permitiendo a los evaluadores aplicar criterios personales. Como resultado, un documento rechazado por una revista por falta de novedad puede ser aceptado por otra con sólo revisiones menores, planteando preguntas sobre si los filtros de revisión por sexo para una calidad genuina o simplemente para alineación con una opinión.

Transparencia y rendición de cuentas

La revisión anónimo tradicional crea una caja negra de responsabilidad. Los revisores pasan poco tiempo en el proceso; una encuesta encontró que el tiempo medio que un revisor pasa en un manuscrito es bajo una hora. Sin registro público de sus comentarios (y a menudo no requiere firmarlos), los revisores tienen poco incentivo para proporcionar críticas profundas y pensadas. Además, la barrera anonimato hace difícil detectar el comportamiento de colusión o visión fantasma, donde los autores o editores influencian.

Los editores mismos operan detrás de las escenas. Aunque la mayoría de las revistas ahora proporcionan una opción de “rechazo y reenviamiento”, rara vez se hace público el razonamiento de la decisión. Esta falta de transparencia hace difícil para la comunidad de ingeniería más amplia evaluar la imparcialidad y consistencia de las decisiones editoriales. También erosiona la confianza, especialmente cuando los papeles de alto perfil se retraen después de la publicación porque se perdieron fallos durante la revisión inicial.

Presiones de tiempo y carga de trabajo

El volumen de manuscritos de ingeniería ha crecido considerablemente durante el último decenio. Muchas revistas reportan un aumento anual del 5-10 % en las presentaciones, mientras que el grupo de revisores dispuestos no se ha expandido proporcionalmente. Los editores se ven obligados a enviar más invitaciones, dando lugar a tasas de rechazo más altas de los posibles revisores.Los que aceptan a menudo se superponen; el revisor típico podría manejar 10-20 documentos por año además de su propia investigación, enseñanza y de responsabilidades.

Las limitaciones de tiempo también afectan la capacidad del editor para investigar datos sospechosos o solicitar aclaraciones de los autores antes de tomar una decisión. En ingeniería, donde los conjuntos de datos pueden ser grandes y analizar complejos, una revisión apresurada puede no detectar datos fabricados, hipótesis de modelado incorrectas o pruebas estadísticas inapropiadas. El resultado es un sistema que, aunque funcional, funciona al borde de la fiabilidad.

Reformas metodológicas para la confianza en el apuro

Modelos de examen de par abierto

Los autores sostienen que conocer su identidad se convertirá en público alienta a los revisores a ser más minuciosos y civiles. Un número creciente de revistas de ingeniería, como las publicadas por las revistas del Instituto de Ingenieros Eléctricos y Electrónicos (IEEE) y algunos títulos de la Natura de Springer, han implementado una revisión abierta de pruebas opcionales o obligatorias que sugieren una revisión previa.

Existen también modelos híbridos. Por ejemplo, algunos revistas anonimato revisores inicialmente pero más tarde, si el documento se publica, permiten a los revisores optar por tener su nombre asociado con el examen. Este medio mantiene los beneficios del anonimato durante la evaluación, al tiempo que crea un incentivo para la revisión de alta calidad. Los periódicos que han adoptado tales prácticas reportan mayor satisfacción del revisor y menores tasas de comentarios ofensivos o desivos.

Listas de verificación y formación estructuradas

Una de las formas más directas de reducir la inconsistencia es proporcionar a los revisores una lista de verificación estructurada que se ajuste a las prioridades editoriales de la revista. Muchas revistas de ingeniería de alto nivel ahora piden a los revisores que valoren aspectos específicos, como significación, novedad, metodología, disponibilidad de datos y claridad, en una escala de Likert, en lugar de dejar la revisión completamente abierta.

Los programas de formación de revisores, como los ofrecidos por el Comité de Ética de la Publicación (]COPE]), se han desarrollado para enseñar las mejores prácticas. Los módulos de capacitación abarcan la sensibilización, la retroalimentación constructiva, las infracciones éticas y la forma de manejar los exámenes conflictivos. Los estudios iniciales indican que los revisores capacitados producen evaluaciones más fiables, aunque la adopción sigue siendo baja debido al tiempo y a las limitaciones de recursos.

Preprint Servers and Post‐Publication Review

Los servidores preimpresión como arXiv, engrXiv y TechRxiv han cambiado el panorama editorial haciendo la investigación de ingeniería pública antes de la revisión formal de pares. Esta separación de la difusión de la evaluación permite a la comunidad criticar los hallazgos temprano, a veces descubriendo errores antes de que comience el proceso de revisión de la revista. plataformas de revisión postpublicación como PubPeer permiten comentarios sobre artículos publicados, sirviendo como un mecanismo de control de calidad continuo.

Los editores de revistas están utilizando cada vez más la retroalimentación de preimpresión para informar sus decisiones editoriales iniciales. Algunas revistas permiten a los autores presentar un manuscrito que ha recibido comentarios sobre una plataforma de preimpresión, y los editores factorizan esos comentarios en su evaluación. Este modelo híbrido puede reducir la carga de los revisores formales mientras aprovechan una experiencia más amplia.

Informes registrados

Los informes registrados representan una salida radical de la revisión tradicional entre pares. En este formato, la introducción, los métodos y los análisis previstos se presentan para su revisión antes de que comiencen la recopilación de datos o los experimentos. Si se acepta, la revista se compromete a publicar los resultados independientemente del resultado, siempre y cuando los autores sigan el protocolo aprobado. Este enfoque elimina la parcialidad de publicación hacia resultados positivos y obliga a los evaluadores a evaluar la pregunta y metodología de investigación en lugar de los resultados finales.

Los informes registrados son todavía raros en ingeniería, pero han adquirido tracción en psicología y ahora están siendo pilotados por algunas revistas de ingeniería. Para la investigación de ingeniería experimental, por ejemplo, en ingeniería estructural o ciencia de materiales, el modelo podría ser particularmente valioso porque fomenta la planificación preestudio rigurosa y reduce la tentación de los resultados de la investigación de cerezas. La revista Naturalidad Comunicaciones]] tiene una trayectoria dedicada a la exploración de informes de proyectos de proyectos similares.

Implications for Engineering Research and Practice

La fiabilidad de la revisión de pares afecta directamente la confianza real del conocimiento de ingeniería. Cuando la investigación errónea pasa revista por pares, las consecuencias pueden ser desastrosas. Por ejemplo, el colapso del puente de la autopista en 1981 se atribuyó parcialmente a un diseño que no había sufrido una rigurosa validación de pares; una revisión más exhaustiva podría haber atrapado la mal cálculo. De manera similar, las retracciones debido a la fabricación de datos en revistas de ingeniería han llevado a tecnologías de la seguridad.

Más allá de los casos individuales, la falta de fiabilidad sistémica puede distorsionar las direcciones completas de investigación. Si los evaluadores favorecen constantemente mejoras incrementales sobre enfoques novedosos, los proyectos de alto riesgo y de alto riesgo nunca se publican, ralentizando el ritmo de la innovación. Por otro lado, una falta de consistencia puede permitir que el trabajo subestadista entre la literatura, forzando a los investigadores más tarde a gastar tiempo reproduciendo y corrigiendo errores.

Las iniciativas de reproducción en ingeniería están cobrando impulso. Muchas agencias de financiación y revistas requieren que los autores depositen datos y código en los repositorios públicos. Se alienta a los revisores a comprobar que los materiales compartidos están completos y que los resultados reclamados pueden reproducirse. Sin embargo, sin un proceso fiable de revisión entre pares que cumpla estos requisitos, las políticas siguen siendo aspiracionales.

En última instancia, la comunidad de ingeniería debe reconocer que el examen entre homólogos es un sistema humano, inherentemente imperfecto, pero que puede mejorarse sistemáticamente. La inversión en formación de revisores, políticas editoriales transparentes y modelos de revisión innovadores no es un lujo, es una necesidad para mantener la confianza que la sociedad deposita en la investigación de ingeniería.

Conclusión: Hacia un ecosistema de revisión de los mineros más robusto

La revisión de los pares sigue siendo la base de la toma de decisiones editoriales en revistas de ingeniería, pero su fiabilidad está lejos de garantizarse. La parcialidad, la inconsistencia, la falta de transparencia y las presiones temporales amenazan la integridad del proceso. La buena noticia es que ya se están probando muchas reformas prometedoras: revisión abierta, listas de comprobación estructuradas, informes registrados y mayor uso de la retroalimentación de preimpresión.

Los autores, revisores, editores y editores tienen un papel que desempeñar. Los autores pueden apoyar la confiabilidad mediante la presentación de manuscritos bien preparados y el intercambio de datos y códigos abiertamente. Los revisores pueden invertir tiempo en la producción de evaluaciones exhaustivas y constructivas y pueden hacer uso de recursos de capacitación. Los editores pueden hacer cumplir las normas de envío y diversificar los grupos de revisores para contrarrestar los prejuicios.

Los esfuerzos como los de Retract Watch] y el Centro de Ciencias Abiertas ya han destacado cuestiones sistémicas y defendido el cambio. La comunidad de ingeniería debe aceptar estas reformas, adaptarlas a las demandas únicas de investigación de ingeniería y evaluar continuamente su impacto. Sólo mediante una mejora persistente y basada en evidencia puede ser un filtro fiable.