La revisione del peer serve come custode principale della qualità nell'editoria accademica, e da nessuna parte la sua funzione è più consequenziale che nell'ingegneria. Quando un design strutturale, una sintesi dei materiali, o un algoritmo software appare in una rivista peer-reviewed, i praticanti e i ricercatori ritengono che il lavoro abbia subito rigorosi controlli.

Il ruolo fondazionale della Peer Review in Ingegneria

La recensione dei pari nelle riviste di ingegneria segue tipicamente uno dei diversi modelli. La recensione più comune è una recensione single-blind, dove i recensori conoscono le identità degli autori, ma gli autori non conoscono i recensori.

I manoscritti di ingegneria spesso comportano dati sperimentali, modelli computazionali o analisi di progettazione che richiedono conoscenze specifiche di dominio. I recensori dovrebbero verificare la correttezza tecnica, la riproducibilità dei risultati e l’aderenza a standard di report come quelli per la quantizzazione dell’incertezza o la disponibilità del codice.

Tuttavia il processo non è puramente oggettivo. Gli editori devono interpretare le raccomandazioni dei recensori in conflitto, misurare l'accuratezza di ogni recensione, e talvolta ignorare le opinioni quando rilevano pregiudizi. L'affidabilità dell'intero sistema si incertezzerà sull'ipotesi che i recensori possano e compiranno i loro compiti imparzialmente e con competenza.

Sfide chiave che minano l'affidabilità

Recensione Bias e le sue molte forme

La conferma bias porta un recensore a favorire i risultati che si allineano al loro lavoro precedente o al loro punto teorico. Il pregiudizio istituzionale può causare un recensore a sottovalutare la ricerca da parte di università meno preconcetti o da paesi in via di sviluppo.

Queste pregiudizievoli minano la correttezza fondamentale del processo editoriale. Quando il pregiudizio va incontrollato, non solo danneggia i singoli autori ma anche distorce il record scientifico, favorendo certi argomenti, metodologie o gruppi di ricerca sugli altri. Le riviste che si affidano esclusivamente alla singola recensione sono particolarmente vulnerabili perché i recensori possono vedere le affiliazioni degli autori e le pubblicazioni passate, che possono innescare pregiudizi subconsci.

Incongruenza tra i recensori

Uno studio noto sulla rivista Nature] ha chiesto ai recensori dello stesso manoscritto di fornire valutazioni; l'accordo inter-reviewer sul fatto che un documento debba essere accettato non era a malapena al di sopra del caso. L'inconsistenza è un problema persistente nell'ingegneria pure. Un recensore potrebbe concentrarsi sulla novità dell'approccio, mentre un altro sottolinea la validazione sperimentale e una terza critica che costituisce un'analisi statistica.

Questa variazione è aggravata dalla mancanza di criteri di revisione standardizzati in molti campi ingegneristici.A differenza di alcune discipline biomediche che hanno adottato liste di reportistica strutturate, le riviste ingegneristiche spesso lasciano la recensione completamente non strutturata, permettendo ai recensori di applicare criteri personali. Di conseguenza, un documento respinto da una rivista a causa della percepita mancanza di novità può essere accettato da un altro con solo revisioni minori, sollevando domande circa se peer review filtri per qualità autentica o semplicemente per particolare allineamento con una visione del mondo.

Gaps di trasparenza e responsabilità

La revisione anonima tradizionale crea una casella nera di responsabilità. I recensori passano poco tempo sul processo; un sondaggio ha scoperto che il tempo mediano che un recensore spende su un manoscritto è sotto un'ora. Senza alcun record pubblico dei loro commenti (e spesso nessun requisito di firmarli), i recensori hanno poco incentivo per fornire critiche profonde e riflessive. Inoltre, la barriera dell'anonimato rende difficile rilevare il comportamento di risconversione o fantasma, dove gli autori o gli editoritori di selezione amichevole influenzano.

Mentre la maggior parte dei giornali ora forniscono un’opzione “rigetto e risottomissione”, la decisione razionalizza raramente la sua pubblicità. Questa mancanza di trasparenza rende difficile per la più ampia comunità ingegneristica valutare l’equità e la coerenza delle decisioni editoriali, emettendo anche fiducia, soprattutto quando i documenti di alto profilo vengono ritratti dopo la pubblicazione perché i difetti sono mancati durante la prima recensione.

Pressione di tempo e carico di lavoro

Molti giornali riportano un aumento annuo del 5-10 % delle sottomissioni, mentre il pool di recensori disposti non si è allargato proporzionalmente. Gli editori sono costretti a inviare più inviti, con conseguente maggiore tasso di rifiuto da parte di potenziali recensori. Coloro che accettano sono spesso troppo impegnati; il tipico recensore potrebbe gestire 10-20 carte all'anno oltre alla propria ricerca, l'insegnamento e la produzione di compiti rapidi.

I vincoli temporali influiscono anche sulla capacità dell’editor di indagare dati sospetti o richiedere chiarimenti da parte degli autori prima di prendere una decisione.In ingegneria, dove i set di dati possono essere grandi e analizza complessi, una recensione affrettata può non rilevare dati fabbricati, ipotesi di modellazione errate, o test statistici inadeguati.Il risultato è un sistema che, pur essendo ancora funzionale, opera al limite dell’affidabilità.

Riforma metodologica a Bolster Trust

Modelli di recensione per i peer aperti

I sostenitori sostengono che conoscere la loro identità diventerà pubblica incoraggia i recensori ad essere più approfonditi e civili. Un numero crescente di riviste di ingegneria, come quelle pubblicate dalle riviste dell'Istituto di ingegneri elettrici ed elettronici (IEEE) e alcuni titoli di primavera-natura più lunghi, hanno implementato recensioni opzionali o obbligatorie aperte.

Esistono anche modelli ibridi, ad esempio alcune riviste che anonimizzano i recensori inizialmente ma in seguito, se il giornale viene pubblicato, permettono ai recensori di optare per avere il nome associato alla recensione. Questo terreno medio conserva i benefici dell'anonimato durante la valutazione, creando un incentivo per la revisione di alta qualità.

Lista strutturata Checklist e Formazione

Uno dei modi più diretti per ridurre l’incongruenza è quello di fornire ai recensori una lista di controllo strutturata che si allinea alle priorità editoriali della rivista. Molte riviste di ingegneria di prima qualità chiedono ora ai recensori di valutare aspetti specifici, come il significato, la novità, la metodologia, la disponibilità dei dati e la chiarezza, su una scala Likert, piuttosto che lasciare la recensione completamente aperta.

I programmi di formazione dei recensori, come quelli offerti dal Comitato per l'Etica della Pubblicazione (COPE]), sono stati sviluppati per insegnare le best practice. I moduli di formazione coprono la consapevolezza dei pregiudizi, il feedback costruttivo, le violazioni etiche e come gestire le recensioni contrastanti.

Preprint Server e post-Publication Review

I server di prestampa come arXiv, engrXiv e TechRxiv hanno cambiato il panorama editoriale rendendo pubblica la ricerca di ingegneria disponibile prima della revisione formale del peer. Questa separazione della diffusione dalla valutazione consente alla comunità di criticare i risultati presto, a volte scoprire gli errori prima dell'inizio del processo di revisione della rivista.

Alcuni giornali permettono ora agli autori di presentare un manoscritto che ha ricevuto commenti su una piattaforma di prestampa, e gli editori di valutare i commenti. Questo modello ibrido può ridurre l'onere sui recensori formali, sfruttando competenze più ampie. Tuttavia introduce anche rischi: i commenti pubblici possono essere dure o mal informati, e gli autori possono sentirsi sotto pressione per rispondere prima che il processo di pubblicazione sia completo.

Rapporti registrati

In questo formato, l'introduzione, i metodi e le analisi pianificate sono presentate per la revisione prima della raccolta o degli esperimenti. Se accettata, la rivista si impegna a pubblicare i risultati indipendentemente dal risultato, a condizione che gli autori seguano il protocollo approvato. Questo approccio elimina la pubblicazione bias verso risultati positivi e costringe i recensori a valutare la domanda e la metodologia di ricerca piuttosto che i risultati finali.

I rapporti registrati sono ancora rari nell'ingegneria, ma hanno ottenuto una trazione in psicologia e sono ora pilotati da alcune riviste di ingegneria. Per la ricerca di ingegneria sperimentale, ad esempio, nell'ingegneria strutturale o nella scienza dei materiali, il modello potrebbe essere particolarmente prezioso perché incoraggia la pianificazione pre-studio rigorosa e riduce la tentazione dei risultati di ciliegia.

Implicazioni per la ricerca e la pratica di ingegneria

L'affidabilità della revisione dei pari influisce direttamente sulla fiducia reale delle conoscenze ingegneristiche. Quando la ricerca fallita passa la revisione dei pari, le conseguenze possono essere disastrose. Ad esempio, il crollo del Ponte delle Cammini nel 1981 è stato parzialmente attribuito ad un progetto che non aveva subito una rigorosa validazione dei pari; una revisione più approfondita potrebbe aver catturato la cattiva calcolo.

Oltre ai singoli casi, l'inaffidabilità sistemica può falsare intere direzioni di ricerca. Se i recensori favoriscono costantemente miglioramenti incrementali rispetto agli approcci nuovi, progetti ad alto rischio e ad alto rendimento non possono mai essere pubblicati, rallentando il ritmo dell'innovazione. D'altra parte, una mancanza di coerenza può consentire ai lavori sub-rischiati di entrare nella letteratura, costringendo i ricercatori a trascorrere il tempo a riprodurre e correggere gli errori.

Molte agenzie di finanziamento e riviste richiedono ora agli autori di depositare dati e codici in repository pubblici. I recensori sono incoraggiati a verificare che i materiali condivisi siano completi e che i risultati richiesti possano essere riprodotti. Tuttavia, senza un processo di peer-review affidabile che esecutiva tali requisiti, le politiche rimangono ambiziose.

In definitiva, la comunità ingegneristica deve riconoscere che la revisione paritaria è un sistema umano, intrinsecamente imperfetta, ma che può essere sistematicamente migliorata.

Conclusione: Verso un ecosistema più robusto

La revisione del peer rimane il fondamento del processo decisionale editoriale nelle riviste di ingegneria, ma la sua affidabilità è ben lontana dalla garanzia. Bias, inconsistenza, mancanza di trasparenza e pressioni temporali minacciano l'integrità del processo. La buona notizia è che molte riforme promettenti sono già in fase di test: recensione aperta, checklist strutturato, report registrati e un maggiore utilizzo del feedback prestampato.

Gli autori possono sostenere l'affidabilità inviando manoscritti ben preparati e condividendo apertamente dati e codice. I recensori possono investire il tempo nella produzione di valutazioni approfondite e costruttive e possono utilizzare risorse formative. Gli editori possono applicare standard di presentazione e diversificare i pool di recensori per contrastare le bias.

Gli sforzi come quelli di ]Center for Open Science hanno già messo in evidenza le questioni sistemiche e sostenuto per il cambiamento. La comunità ingegneristica deve abbracciare queste riforme, adattarle alle esigenze uniche della ricerca ingegneristica e valutare continuamente il loro impatto.