Peer Review dient als primärer Torwächter für Qualität im akademischen Publizieren, und nirgends ist seine Funktion konsequenter als im Engineering. Wenn ein Strukturdesign, eine Materialsynthese oder ein Softwarealgorithmus in einer von Experten begutachteten Zeitschrift erscheint, gehen Praktiker und Forscher gleichermaßen davon aus, dass die Arbeit einer strengen Prüfung unterzogen wurde. Doch die Zuverlässigkeit dieser Prüfung wurde seit Jahrzehnten in Frage gestellt. Inkonsistente Standards, versteckte Vorurteile und die schiere Menge an Einreichungen belasten ein System, das oft hinter verschlossenen Türen arbeitet. Dieser Artikel untersucht die Zuverlässigkeit von Peer Review in redaktionellen Entscheidungen von Ingenieurjournalen, identifiziert anhaltende Schwachstellen und bewertet Reformen, die den Prozess stärken könnten.

Die grundlegende Rolle von Peer Review im Engineering

Die Peer-Review in technischen Zeitschriften folgt typischerweise einem von mehreren Modellen. Die häufigste ist die Single-Blind-Review, bei der die Rezensenten die Identität der Autoren kennen, die Autoren die Rezensenten jedoch nicht. Die Double-Blind-Review, bei der beide Seiten anonymisiert sind, wird zunehmend angenommen, um Verzerrungen zu mildern. Die Open-Review, bei der Namen bekannt gegeben und manchmal Kommentare veröffentlicht werden, bleibt weniger verbreitet, gewinnt aber an Zugkraft. Unabhängig vom Format ist der Kernzweck derselbe: Expertenbewertung, um zu überprüfen, ob die Forschung originell, methodisch fundiert und angemessen interpretiert ist, bevor sie die breitere Gemeinschaft erreicht.

Ingenieurhandschriften beinhalten häufig experimentelle Daten, Computermodelle oder Designanalysen, die domänenspezifisches Wissen erfordern. Von den Reviewern wird erwartet, dass sie die technische Korrektheit, Reproduzierbarkeit der Ergebnisse und die Einhaltung von Berichtsstandards wie Unsicherheitsquantifizierung oder Codeverfügbarkeit überprüfen. Der Zeitschriftenredakteur synthetisiert diese Bewertungen und gewichtet sie mit dem Umfang der Zeitschrift und den potenziellen Auswirkungen der Arbeit, um eine Entscheidung zu treffen, die akzeptiert wird - Ablehnung. In hochwertigen Engineering-Zeitschriften überschreiten die Ablehnungsraten 70 % für Ersteinreichungen, was die selektive Rolle unterstreicht Peer-Review spielt.

Der Prozess ist jedoch nicht rein objektiv. Die Redakteure müssen widersprüchliche Empfehlungen der Gutachter interpretieren, die Gründlichkeit jeder Überprüfung beurteilen und manchmal Meinungen außer Kraft setzen, wenn sie Vorurteile erkennen. Die Zuverlässigkeit des gesamten Systems hängt von der Annahme ab, dass die Gutachter ihre Aufgaben unparteiisch und kompetent erfüllen können und werden.

Wichtige Herausforderungen, die die Zuverlässigkeit untergraben

Reviewer Bias und seine vielen Formen

Vorurteile im Peer-Review können zahlreiche Formen annehmen. Confirmation Bias führt dazu, dass ein Reviewer Ergebnisse bevorzugt, die mit seiner eigenen früheren Arbeit oder theoretischen Haltung übereinstimmen. Institutionelle Vorurteile können dazu führen, dass ein Reviewer die Forschung von weniger angesehenen Universitäten oder aus Entwicklungsländern unterschätzt. Geschlechter- und Rassenvorurteile wurden auch in mehreren Bereichen dokumentiert; Studien haben gezeigt, dass Manuskripte mit weiblichen Erstautoren oder Autoren mit nicht-westlichen Namen manchmal härter bewertet werden. Im Ingenieurwesen, wo angewandte Forschung oft kommerzielle Auswirkungen hat, kann ein Reviewer mit einem finanziellen Anteil an einer konkurrierenden Technologie eine Einreichung bewusst oder unbewusst herabstufen.

Diese Vorurteile untergraben die grundsätzliche Fairness des Redaktionsprozesses. Wenn Vorurteile nicht kontrolliert werden, schadet sie nicht nur einzelnen Autoren, sondern verzerrt auch die wissenschaftlichen Aufzeichnungen, indem sie bestimmte Themen, Methoden oder Forschungsgruppen anderen vorziehen. Zeitschriften, die sich ausschließlich auf eine blinde Rezension verlassen, sind besonders anfällig, weil Rezensenten die Zugehörigkeit der Autoren und frühere Publikationen sehen können, die unterbewusste Vorurteile auslösen können.

Inkonsistenz zwischen den Reviewern

Eine bekannte Studie in der Zeitschrift Nature bat die Rezensenten desselben Manuskripts, Bewertungen abzugeben; die Inter-Reviewer-Vereinbarung darüber, ob ein Artikel akzeptiert werden sollte, war kaum über dem Zufall. Inkonsistenz ist auch im Ingenieurwesen ein anhaltendes Problem. Ein Rezensent könnte sich auf die Neuheit des Ansatzes konzentrieren, während ein anderer die experimentelle Validierung betont und ein dritter die statistische Analyse kritisiert. Ohne Konsens darüber, was eine akzeptable Einreichung darstellt, sind die Redakteure dazu überlassen, subjektive Urteile zu fällen, die zwischen den Redakteuren und zwischen den Zeitschriften sehr unterschiedlich sein können.

Diese Abweichung wird durch das Fehlen standardisierter Bewertungskriterien in vielen technischen Bereichen noch verstärkt. Im Gegensatz zu einigen biomedizinischen Disziplinen, die strukturierte Berichts-Checklisten angenommen haben, lassen technische Zeitschriften die Überprüfung oft völlig unstrukturiert, so dass Rezensenten persönliche Kriterien anwenden können. Infolgedessen kann ein von einer Zeitschrift aufgrund eines wahrgenommenen Mangels an Neuheit abgelehntes Papier von einer anderen mit nur geringfügigen Überarbeitungen akzeptiert werden, was Fragen aufwirft, ob Peer-Review-Filter für echte Qualität oder nur für die Ausrichtung auf die Weltsicht eines bestimmten Rezensenten.

Lücken in Transparenz und Rechenschaftspflicht

Traditionelle anonyme Rezensionen schaffen eine Rechenschaftspflicht-Blackbox. Rezensenten verbringen wenig Zeit mit dem Prozess; eine Umfrage ergab, dass die mittlere Zeit, die ein Rezensent für ein Manuskript verbringt, unter einer Stunde liegt. Da es keine öffentliche Aufzeichnung ihrer Kommentare gibt (und oft keine Notwendigkeit, sie zu unterzeichnen), haben Rezensenten wenig Anreiz, tiefe, nachdenkliche Kritik zu üben. Darüber hinaus erschwert die Anonymitätsbarriere die Erkennung von Absprachen oder Ghost-Review-Verhalten, bei denen Autoren oder Redakteure die Auswahl freundlicher Rezensenten beeinflussen.

Die Redaktion selbst arbeitet hinter den Kulissen. Während die meisten Zeitschriften jetzt eine Option zum „Reject and Resubmit anbieten, wird die Entscheidungsgrundlage selten veröffentlicht. Diese mangelnde Transparenz erschwert es der breiteren Ingenieursgemeinde, die Fairness und Konsistenz von redaktionellen Entscheidungen zu bewerten. Sie untergräbt auch das Vertrauen, insbesondere wenn hochkarätige Artikel nach der Veröffentlichung zurückgezogen werden, weil Fehler bei der ersten Überprüfung übersehen wurden.

Zeitdruck und Arbeitsbelastung

Das Volumen der technischen Handschriften ist in den letzten zehn Jahren erheblich gewachsen. Viele Zeitschriften berichten von einem jährlichen Anstieg der Einreichungen um 5-10 %, während der Pool der willigen Rezensenten nicht proportional erweitert wurde. Die Redakteure sind gezwungen, mehr Einladungen zu senden, was zu höheren Ablehnungsraten bei potenziellen Rezensenten führt. Diejenigen, die akzeptieren, sind oft überfordert; der typische Rezensent kann 10-20 Artikel pro Jahr zusätzlich zu ihren eigenen Forschungs-, Lehr- und Verwaltungsaufgaben bearbeiten. Der Druck, einen schnellen Turnaround zu erzielen - oft innerhalb von zwei bis vier Wochen erwartet - kann zu flüchtigen Lesungen führen, die kritische Fehler übersehen.

Zeitliche Einschränkungen beeinträchtigen auch die Fähigkeit des Herausgebers, verdächtige Daten zu untersuchen oder Klarstellungen von Autoren anzufordern, bevor er eine Entscheidung trifft. Im Engineering, wo Datensätze groß und Analysen komplex sein können, kann eine überstürzte Überprüfung nicht dazu führen, dass gefälschte Daten, falsche Modellannahmen oder unangemessene statistische Tests erkannt werden. Das Ergebnis ist ein System, das, obwohl es noch funktionsfähig ist, an der Grenze der Zuverlässigkeit arbeitet.

Methodische Reformen zur Stärkung des Vertrauens

Open Peer Review Modelle

Open Peer Review – bei dem die Namen der Rezensenten und manchmal die vollständige Rezensionshistorie neben dem Artikel veröffentlicht werden – zielt darauf ab, die Rechenschaftspflicht zu erhöhen. Befürworter argumentieren, dass die Kenntnis ihrer Identität die Rezensenten dazu ermutigt, gründlicher und zivilisierter zu sein. Eine wachsende Zahl von Fachzeitschriften für Ingenieurwissenschaften, wie sie von den Zeitschriften des Institute of Electrical and Electronics Engineers (IEEE) und einigen Springer-Nature-Titeln veröffentlicht wurden, haben optionale oder obligatorische offene Überprüfungen implementiert. Vorläufige Hinweise deuten darauf hin, dass offene Überprüfungen längere, detailliertere Bewertungen ergeben, obwohl Bedenken hinsichtlich beruflicher Repressalien einige Forscher daran hindern, Einladungen anzunehmen.

Es gibt auch Hybridmodelle. So anonymisieren einige Zeitschriften die Gutachter zunächst, aber später, wenn das Papier veröffentlicht wird, können sich die Gutachter dafür entscheiden, ihren Namen mit der Bewertung in Verbindung zu bringen. Dieser Mittelweg bewahrt die Vorteile der Anonymität während der Bewertung und schafft einen Anreiz für qualitativ hochwertige Überprüfungen. Zeitschriften, die solche Praktiken übernommen haben, berichten von einer höheren Zufriedenheit der Gutachter und niedrigeren Raten beleidigender oder abweisender Kommentare.

Strukturierte Review Checklisten und Schulungen

Eine der direktesten Möglichkeiten, Inkonsistenzen zu reduzieren, besteht darin, den Reviewern eine strukturierte Checkliste zur Verfügung zu stellen, die den redaktionellen Prioritäten der Zeitschrift entspricht. Viele hochkarätige Engineering-Zeitschriften bitten die Reviewer nun, bestimmte Aspekte wie Bedeutung, Neuheit, Methodik, Datenverfügbarkeit und Klarheit auf einer Likert-Skala zu bewerten, anstatt die Review völlig offen zu lassen. Dieser Ansatz zwingt die Reviewer, jede Dimension zu berücksichtigen, was es schwieriger macht, einen kritischen Fehler zu übersehen. Die Checkliste kann auch auf den Manuskripttyp zugeschnitten werden: Ein Review-Artikel hat andere Kriterien als eine Original-Forschungsarbeit, und eine experimentelle Studie erfordert möglicherweise eine zusätzliche Überprüfung der Messunsicherheit.

Schulungsprogramme für Gutachter, wie sie vom Ausschuss für Veröffentlichungsethik angeboten werden (COPE), wurden entwickelt, um bewährte Verfahren zu vermitteln. Schulungsmodule umfassen Verzerrungsbewusstsein, konstruktives Feedback, ethische Verstöße und den Umgang mit widersprüchlichen Bewertungen. Frühe Studien zeigen, dass ausgebildete Gutachter zuverlässigere Bewertungen erstellen, obwohl die Akzeptanz aufgrund von Zeit- und Ressourcenbeschränkungen gering ist. Zeitschriften könnten allen neuen Gutachtern eine Schulung vorschreiben, wie es einige medizinische Zeitschriften getan haben, um die Grundqualität zu verbessern.

Preprint Server und Post-Publication Review

Preprint-Server wie arXiv, engrXiv und TechRxiv haben die Publikationslandschaft verändert, indem sie die technische Forschung vor dem formellen Peer-Review öffentlich zugänglich gemacht haben. Diese Trennung von Verbreitung und Bewertung ermöglicht es der Community, Ergebnisse frühzeitig zu kritisieren und manchmal Fehler aufzudecken, bevor der Journal-Review-Prozess beginnt. Plattformen für die Post-Publikationsprüfung ermöglichen Kommentare zu veröffentlichten Artikeln und dienen als kontinuierlicher Qualitätskontrollmechanismus. Die Wirksamkeit der Post-Publikationsprüfung hängt jedoch von der Beteiligung der Community ab; viele veröffentlichte Artikel erhalten überhaupt keine Kommentare.

Zeitschriftenredakteure nutzen zunehmend Preprint-Feedback, um ihre ersten redaktionellen Entscheidungen zu treffen. Einige Zeitschriften erlauben es Autoren, ein Manuskript einzureichen, das Kommentare auf einer Preprint-Plattform erhalten hat, und die Redakteure berücksichtigen diese Kommentare in ihre Bewertung. Dieses Hybridmodell kann die Belastung für formelle Rezensenten verringern und gleichzeitig breiteres Fachwissen nutzen. Es birgt aber auch Risiken: öffentliche Kommentare können hart oder falsch informiert sein und Autoren können sich gezwungen fühlen, zu reagieren, bevor der Journalprozess abgeschlossen ist. Offenheit und Autorenschutz in Einklang zu bringen bleibt eine ständige Herausforderung.

Registrierte Berichte

Registrierte Berichte stellen eine radikale Abkehr von der traditionellen Peer-Review dar. In diesem Format werden die Einführung, Methoden und geplanten Analysen zur Überprüfung eingereicht, bevor die Datenerhebung oder Experimente beginnen. Wenn sie akzeptiert werden, verpflichtet sich die Zeitschrift, die Ergebnisse unabhängig vom Ergebnis zu veröffentlichen, vorausgesetzt, die Autoren befolgen das genehmigte Protokoll. Dieser Ansatz beseitigt die Publikationsverzerrung in Richtung positiver Ergebnisse und zwingt die Reviewer, die Forschungsfrage und -methodik zu bewerten, anstatt die endgültigen Ergebnisse.

Registrierte Berichte sind im Ingenieurwesen noch selten, aber sie haben in der Psychologie an Bedeutung gewonnen und werden jetzt von einigen Fachzeitschriften getestet. Für experimentelle Ingenieurforschung - zum Beispiel in der Bautechnik oder in der Materialwissenschaft - könnte das Modell besonders wertvoll sein, weil es eine strenge Vorstudienplanung fördert und die Versuchung verringert, Ergebnisse zu ermitteln. Die Zeitschrift Nature Communications hat einen eigenen Track für registrierte Berichte, und mehrere ingenieurorientierte Verlage untersuchen ähnliche Optionen. Eine weit verbreitete Einführung würde kulturelle Veränderungen unter Autoren und Rezensenten erfordern, aber das Potenzial zur Verbesserung der Zuverlässigkeit ist erheblich.

Implikationen für Engineering Research und Praxis

Die Zuverlässigkeit von Peer Reviews wirkt sich direkt auf die Vertrauenswürdigkeit von Ingenieurwissen aus. Wenn fehlerhafte Forschungen bestehen, können die Folgen katastrophal sein. So wurde der Zusammenbruch der Walkway Bridge 1981 teilweise auf ein Design zurückgeführt, das keiner strengen Peer-Validierung unterzogen wurde; eine gründlichere Überprüfung könnte die Fehlkalkulation aufgegriffen haben. Ebenso haben Rücknahmen aufgrund von Datenherstellung in technischen Zeitschriften zu verschwendeten Forschungsinvestitionen geführt und das Vertrauen der Öffentlichkeit in sicherheitskritische Technologien untergraben.

Über einzelne Fälle hinaus kann systemische Unzuverlässigkeit ganze Forschungsrichtungen verzerren. Wenn Rezensenten konsequent schrittweise Verbesserungen gegenüber neuartigen Ansätzen bevorzugen, werden risikoreiche, hochkarätige Projekte möglicherweise nie veröffentlicht, was das Innovationstempo verlangsamt. Andererseits kann mangelnde Konsistenz dazu führen, dass minderwertige Arbeiten in die Literatur eingehen und spätere Forscher dazu gezwungen werden, Zeit mit der Reproduktion und Korrektur von Fehlern zu verbringen. In Bereichen wie Software Engineering, in denen Replikationsstudien selten sind, können fehlerhafte Behauptungen jahrelang bestehen bleiben.

Reproduzierbarkeitsinitiativen im Engineering nehmen Fahrt auf. Viele Förderagenturen und Zeitschriften verlangen nun von Autoren, dass sie Daten und Code in öffentlichen Repositorien hinterlegen. Reviewer werden ermutigt, zu überprüfen, ob die gemeinsam genutzten Materialien vollständig sind und ob die behaupteten Ergebnisse reproduziert werden können. Ohne einen zuverlässigen Peer-Review-Prozess, der diese Anforderungen durchsetzt, bleiben die Richtlinien ehrgeizig. Zeitschriften, die obligatorische Daten- und Code-Sharing-Maßnahmen zusammen mit Überprüfungen während der Überprüfung durchführen, werden wahrscheinlich höhere Reproduzierbarkeitsraten und größere Glaubwürdigkeit sehen.

Letztendlich muss die Ingenieursgemeinschaft erkennen, dass Peer-Review ein menschliches System ist, das von Natur aus unvollkommen ist, aber systematisch verbessert werden kann. Investitionen in Rezensentenschulungen, transparente redaktionelle Richtlinien und innovative Review-Modelle sind kein Luxus - es ist eine Notwendigkeit, um das Vertrauen zu bewahren, das die Gesellschaft in die Ingenieurforschung setzt.

Fazit: Auf dem Weg zu einem robusteren Peer Review Ecosystem

Peer Review bleibt das Fundament der redaktionellen Entscheidungsfindung in technischen Zeitschriften, aber seine Zuverlässigkeit ist bei weitem nicht garantiert. Bias, Inkonsistenz, mangelnde Transparenz und Zeitdruck bedrohen die Integrität des Prozesses. Die gute Nachricht ist, dass bereits viele vielversprechende Reformen getestet werden: offene Überprüfung, strukturierte Checklisten, registrierte Berichte und die verstärkte Nutzung von Preprint-Feedback. Durch eine Kombination dieser Strategien können Zeitschriften den Einfluss subjektiver Faktoren reduzieren und redaktionelle Entscheidungen transparenter und reproduzierbarer machen.

Autoren, Rezensenten, Redakteure und Verlage spielen jeweils eine Rolle. Autoren können die Zuverlässigkeit durch die Einreichung gut vorbereiteter Manuskripte und den offenen Austausch von Daten und Code unterstützen. Reviewer können Zeit in die Erstellung gründlicher, konstruktiver Bewertungen investieren und Schulungsressourcen nutzen. Editoren können Einreichungsstandards durchsetzen und Rezensentenpools diversifizieren, um Vorurteilen entgegenzuwirken. Publisher können technologische Infrastruktur für transparente Reviewer bereitstellen und Rezensenten mit Anerkennung oder Credits belohnen.

Bemühungen wie die von Retraction Watch und dem Center for Open Science haben bereits systemische Probleme aufgezeigt und sich für Veränderungen eingesetzt. Die Ingenieursgemeinschaft muss diese Reformen annehmen, sie an die einzigartigen Anforderungen der Ingenieurforschung anpassen und ihre Auswirkungen kontinuierlich bewerten. Nur durch anhaltende, evidenzbasierte Verbesserungen kann Peer-Review wirklich als zuverlässiger Filter für das Wissen dienen, das unsere gebaute Welt prägt.