A revisão por pares serve como o principal gatekeeper para a qualidade na publicação acadêmica, e em nenhum lugar sua função é mais conseqüente do que na engenharia. Quando um projeto estrutural, uma síntese de materiais, ou um algoritmo de software aparece em um periódico revisado por pares, tanto praticantes quanto pesquisadores assumem que o trabalho tem sido submetido a um escrutínio rigoroso. No entanto, a confiabilidade desse escrutínio tem sido questionada há décadas. Padrões inconsistentes, vieses ocultos e o volume de submissões desanimam um sistema que muitas vezes opera atrás de portas fechadas. Este artigo examina a confiabilidade da revisão por pares nas decisões editoriais de periódicos de engenharia, identificando vulnerabilidades persistentes e avaliando reformas que poderiam fortalecer o processo.

O papel fundamental da revisão de pares em engenharia

A revisão por pares em periódicos de engenharia segue tipicamente um dos vários modelos, sendo a mais comum a revisão individual-cega, onde os revisores conhecem as identidades dos autores, mas os autores não conhecem os revisores. A revisão dupla-cega, em que ambos os lados são anonimizados, é cada vez mais adotada para mitigar o viés. A revisão aberta, onde os nomes são revelados e às vezes os comentários são publicados, permanece menos comum, mas está ganhando força. Independentemente do formato, o objetivo central é o mesmo: avaliação por especialistas para verificar se a pesquisa é original, metodologicamente sólida e adequadamente interpretada antes de chegar à comunidade mais ampla.

Os manuscritos de engenharia muitas vezes envolvem dados experimentais, modelos computacionais ou análises de design que exigem conhecimento específico de domínio. Espera-se que os revisores verifiquem se há correção técnica, reprodutibilidade dos resultados e adesão a padrões de relatórios, como os de quantificação de incerteza ou disponibilidade de código. O editor sintetiza essas avaliações, ponderando-as contra o escopo da revista e o potencial impacto do artigo, para tomar uma decisão de aceitação-rejeição. Em periódicos de engenharia de alta qualidade, as taxas de rejeição ultrapassam 70 % para submissões iniciais, ressaltando o papel seletivo desempenhado pela revisão por pares.

No entanto, o processo não é puramente objetivo. Os editores devem interpretar recomendações conflitantes de revisores, avaliar a minucia de cada revisão, e às vezes sobrepor opiniões quando detectam viés.A confiabilidade de todo o sistema depende do pressuposto de que os revisores podem e irão desempenhar suas funções de forma imparcial e competente.

Principais desafios para a confiabilidade

Bias do revisor e suas muitas formas

Bias em revisão por pares podem assumir inúmeras formas. O viés de confirmação leva um revisor a favorecer resultados que se alinham com seu próprio trabalho anterior ou postura teórica. O viés institucional pode levar um revisor a subestimar pesquisas de universidades menos prestigiosas ou de países em desenvolvimento. Vieses de gênero e raciais também foram documentados em vários campos; estudos têm mostrado que manuscritos com primeiras autoras ou autores com nomes não ocidentais às vezes recebem avaliações mais duras. Na engenharia, onde a pesquisa aplicada muitas vezes tem implicações comerciais, um revisor com uma participação financeira em uma tecnologia concorrente pode consciente ou inconscientemente diminuir uma submissão.

Esses vieses prejudicam a equidade fundamental do processo editorial. Quando o viés não é verificado, não só prejudica autores individuais, mas também distorce o registro científico, favorecendo certos tópicos, metodologias ou grupos de pesquisa sobre outros. As revistas que se baseiam apenas em revisão individual são especialmente vulneráveis, pois os revisores podem ver afiliações dos autores e publicações passadas, o que pode desencadear preconceito subconsciente.

Inconsistência entre os revisores

Um estudo conhecido na revista Natureza pediu aos revisores do mesmo manuscrito que fornecessem avaliações; o acordo inter-revisor sobre se um artigo deveria ser aceito estava pouco acima do acaso. A inconsistência é um problema persistente também na engenharia. Um revisor pode se concentrar na novidade da abordagem, enquanto outro enfatiza a validação experimental e uma terceira crítica à análise estatística. Sem consenso sobre o que constitui uma submissão aceitável, os editores são deixados para exercer julgamento subjetivo, que pode variar amplamente entre editores e entre periódicos.

Essa variância é agravada pela falta de critérios de revisão padronizados em muitas áreas de engenharia. Diferentemente de algumas disciplinas biomédicas que adotaram listas de verificação estruturadas de relatórios, as revistas de engenharia muitas vezes deixam a revisão totalmente não estruturada, permitindo que os revisores apliquem critérios pessoais. Como resultado, um artigo rejeitado por uma revista devido à percepção de falta de novidade pode ser aceito por outra com revisões menores, levantando questões sobre se filtros de revisão por pares para qualidade genuína ou apenas para alinhamento com uma determinada visão de mundo do revisor.

Transparência e abertura de contas

A revisão anônima tradicional cria uma caixa preta de responsabilização. Os revisores gastam pouco tempo no processo; uma pesquisa descobriu que o tempo mediano que um revisor gasta em um manuscrito é inferior a uma hora. Sem registro público de seus comentários (e muitas vezes sem exigência de assiná-los), os revisores têm pouco incentivo para fornecer críticas profundas e pensativas. Além disso, a barreira do anonimato dificulta a detecção de conluio ou comportamento de revisão fantasma, onde autores ou editores influenciam a seleção de revisores amigáveis.

Os próprios editores operam nos bastidores. Enquanto a maioria dos periódicos agora oferecem uma opção de “rejeição e reenviação”, a lógica de decisão raramente é tornada pública. Esta falta de transparência torna difícil para a comunidade de engenharia mais ampla avaliar a equidade e consistência das decisões editoriais. Também erode a confiança, especialmente quando os artigos de alto perfil são retratados após a publicação porque falhas foram perdidas durante a revisão inicial.

Pressão de Tempo e Carga de Trabalho

O volume de manuscritos de engenharia cresceu substancialmente na última década. Muitos periódicos relatam um aumento anual de 5 a 10 % nas submissões, enquanto o pool de revisores dispostos não se expandiu proporcionalmente. Editores são forçados a enviar mais convites, resultando em taxas de rejeição mais elevadas de potenciais revisores. Aqueles que aceitam são frequentemente excessivamente comprometidos; o revisor típico pode lidar com 10 a 20 artigos por ano, além de suas próprias tarefas de pesquisa, ensino e administração. A pressão para produzir uma rápida reviravolta – muitas vezes esperada em duas a quatro semanas – pode levar a leituras superficiales que negligenciam erros críticos.

As restrições de tempo também afetam a capacidade do editor de investigar dados suspeitos ou solicitar esclarecimentos de autores antes de tomar uma decisão. Na engenharia, onde os conjuntos de dados podem ser grandes e complexos de análises, uma revisão apressada pode não detectar dados fabricados, suposições de modelação incorretas ou testes estatísticos inadequados. O resultado é um sistema que, embora ainda funcional, opera na borda da confiabilidade.

Reformas metodológicas para reforçar a confiança

Abrir modelos de revisão de pares

Revisão aberta por pares – onde nomes de revisores e por vezes o histórico completo de revisão são publicados ao lado do artigo – tem como objetivo aumentar a responsabilidade. Os proponentes argumentam que saber sua identidade se tornará pública incentiva os revisores a serem mais minuciosos e civis. Um número crescente de periódicos de engenharia, como os publicados pelas revistas do Instituto de Engenheiros Eletrônicos e Eletrônicos (IEEE) e alguns títulos Springer-Nature, implementaram revisão aberta opcional ou obrigatória. Evidências preliminares sugerem que a revisão aberta produz revisões mais longas, mais detalhadas, embora as preocupações sobre represálias de carreira impeçam alguns pesquisadores de aceitar convites.

Existem também modelos híbridos. Por exemplo, alguns periódicos anonimizam os revisores inicialmente, mas depois, se o artigo for publicado, permitem que os revisores optem por ter seu nome associado à revisão.Este meio-termo preserva os benefícios do anonimato durante a avaliação, criando um incentivo para uma revisão de alta qualidade. Os periódicos que adotaram tais práticas relatam maior satisfação dos revisores e menores índices de comentários ofensivos ou descartados.

Listas de Verificação Estruturada e Treinamento

Uma das formas mais diretas de reduzir a inconsistência é fornecer aos revisores uma lista de verificação estruturada que se alinha às prioridades editoriais da revista. Muitos periódicos de engenharia de topo pedem agora aos revisores que avaliem aspectos específicos – como significância, novidade, metodologia, disponibilidade de dados e clareza – em uma escala Likert, em vez de deixar a revisão completamente aberta. Essa abordagem obriga os revisores a abordar cada dimensão, tornando mais difícil ignorar uma falha crítica. A lista de verificação também pode ser adaptada ao tipo de manuscrito: um artigo de revisão terá critérios diferentes do que um trabalho de pesquisa original, e um estudo experimental pode exigir um escrutínio adicional da incerteza de medição.

Programas de treinamento de revisores, como os oferecidos pelo Comitê de Ética em Publicação (COPE, foram desenvolvidos para ensinar as melhores práticas. Módulos de treinamento abrangem a conscientização de viés, feedback construtivo, violações éticas e como lidar com revisões conflitantes. Estudos iniciais indicam que os revisores treinados produzem avaliações mais confiáveis, embora a adoção continue sendo baixa devido a restrições de tempo e recursos. Revistas poderiam exigir treinamento para todos os novos revisores, como alguns periódicos médicos têm feito, para elevar a qualidade de base.

Servidores de pré-impressão e Revisão de Pós-Publicação

Servidores de pré-impressão como arXiv, engrXiv e TechRxiv mudaram o cenário editorial, tornando a pesquisa de engenharia publicamente disponível antes da revisão formal por pares. Esta separação da divulgação da avaliação permite que a comunidade critique os achados precocemente, por vezes descobrindo erros antes do início do processo de revisão da revista. Plataformas de revisão pós-publicação, como o PubPeer, permitem comentários sobre artigos publicados, servindo como um mecanismo de controle de qualidade contínuo. No entanto, a eficácia da revisão pós-publicação depende da participação da comunidade; muitos artigos publicados não recebem comentários.

Os editores de revistas estão cada vez mais usando o feedback pré-impresso para informar suas decisões editoriais iniciais. Alguns periódicos agora permitem que autores submetam um manuscrito que recebeu comentários em uma plataforma pré-impressão, e os editores levam esses comentários a sua avaliação.Este modelo híbrido pode reduzir a carga sobre os revisores formais, ao mesmo tempo que alavanca a maior expertise.No entanto, também introduz riscos: comentários públicos podem ser duros ou mal informados, e os autores podem sentir-se pressionados a responder antes que o processo da revista seja concluído.

Relatórios registados

Os relatórios registrados representam uma radical saída da revisão por pares tradicional, sendo que neste formato, a introdução, os métodos e as análises planejadas são submetidos para revisão antes da coleta ou início de experimentos. Se aceito, a revista se compromete em publicar os resultados independentemente do desfecho, desde que os autores sigam o protocolo aprovado, eliminando o viés de publicação em relação aos resultados positivos e forçando os revisores a avaliar a questão e metodologia da pesquisa, em vez dos achados finais.

Os relatórios registados ainda são raros na engenharia, mas ganharam força na psicologia e estão agora a ser pilotados por alguns periódicos de engenharia.Para a investigação em engenharia experimental — por exemplo, em engenharia estrutural ou ciência de materiais — o modelo pode ser particularmente valioso, porque incentiva um planeamento rigoroso pré-estudo e reduz a tentação de resultados de pique-cereja.A revista Comunicações Naturais tem uma pista dedicada para relatórios registados, e vários editores focados em engenharia estão a explorar opções semelhantes.A adopção em larga escala exigiria mudanças culturais entre autores e revisores, mas o potencial de melhorar a fiabilidade é significativo.

Implicações para Pesquisa e Prática em Engenharia

A confiabilidade da revisão por pares afeta diretamente a confiabilidade real do conhecimento de engenharia. Quando a pesquisa falha passa pela revisão por pares, as consequências podem ser desastrosas. Por exemplo, o colapso da Ponte Walkway em 1981 foi parcialmente atribuído a um projeto que não tinha sido submetido a validação rigorosa por pares; uma revisão mais completa pode ter percebido o erro de cálculo. Da mesma forma, as retratações devido à fabricação de dados em revistas de engenharia levaram a investimento em pesquisa desperdiçada e corroem a confiança do público em tecnologias críticas de segurança.

Além de casos individuais, a falta de confiabilidade sistêmica pode distorcer toda a direção da pesquisa. Se os revisores de forma consistente favorecer melhorias incrementais em relação a novas abordagens, projetos de alto risco e alto rendimento podem nunca ser publicados, retardando o ritmo da inovação. Por outro lado, a falta de consistência pode permitir que trabalhos de baixo padrão entrem na literatura, forçando pesquisadores a gastar tempo reproduzindo e corrigindo erros.Em áreas como engenharia de software, onde estudos de replicação são raros, alegações errôneas podem persistir por anos.

As iniciativas de reprodutibilidade na engenharia estão ganhando ímpeto. Muitas agências de fomento e revistas exigem agora que os autores depositem dados e códigos em repositórios públicos. Os revisores são encorajados a verificar se os materiais compartilhados estão completos e que os resultados alegados podem ser reproduzidos. No entanto, sem um processo confiável de revisão por pares que faça cumprir esses requisitos, as políticas permanecem aspirativas. Os periódicos que implementam dados obrigatórios e o compartilhamento de códigos, juntamente com verificações de verificação durante a revisão, provavelmente verão taxas de reprodutibilidade mais elevadas e maior credibilidade.

Em última análise, a comunidade de engenharia deve reconhecer que a revisão por pares é um sistema humano, inerentemente imperfeito, mas que pode ser sistematicamente melhorado. Investimento em treinamento de revisores, políticas editoriais transparentes e modelos de revisão inovadores não é um luxo – é uma necessidade para manter a confiança que a sociedade coloca em pesquisa de engenharia.

Conclusão: Para um ecossistema de revisão mais robusto

A revisão dos pares continua sendo o alicerce da tomada de decisão editorial em periódicos de engenharia, mas sua confiabilidade está longe de ser garantida. Bias, inconsistência, falta de transparência e pressões de tempo ameaçam a integridade do processo. A boa notícia é que muitas reformas promissoras já estão sendo testadas: revisão aberta, checklists estruturados, relatórios registrados e aumento do uso de feedback pré-impresso. Ao adotar uma combinação dessas estratégias, os periódicos podem reduzir a influência de fatores subjetivos e tornar as decisões editoriais mais transparentes e reprodutíveis.

Autores, revisores, editores e editores têm um papel a desempenhar. Os autores podem apoiar a confiabilidade, submetendo manuscritos bem preparados e compartilhando abertamente dados e código. Os revisores podem investir tempo na produção de avaliações completas e construtivas e podem fazer uso de recursos de treinamento. Os editores podem impor padrões de submissão e diversificar os pools de revisores para contrariar o viés. Os editores podem fornecer infraestrutura tecnológica para revisão transparente e recompensar os revisores com reconhecimento ou créditos.

Esforços como os de Retraction Watch e Center for Open Science já destacaram questões sistêmicas e preconizaram a mudança. A comunidade de engenharia deve abraçar essas reformas, adaptá-las às demandas únicas da pesquisa em engenharia e avaliar continuamente o seu impacto. Somente através de melhorias persistentes e orientadas por evidências pode realmente servir de filtro confiável para o conhecimento que molda nosso mundo construído.