Table of Contents
סקירה Peer משמש את שער הראשי לאיכות בפרסום אקדמי, ואין מקום הוא התפקיד שלו יותר בולט מאשר בהנדסה. כאשר עיצוב מבני, סינתזה חומרים, או אלגוריתם תוכנה מופיע בכתב עת ביקורת עמיתים, מתרגלים וחוקרים כאחד מניחים כי העבודה עברה בדיקה הנדסית קפדנית.
תפקיד הקרן של Peer Review בהנדסה
סקירת Peer בכתבי עת הנדסיים בדרך כלל באה אחד ממספר דגמים.הנפוחים ביותר הוא ביקורת עיוורת יחיד, שבו סוקרים יודעים את זהויות המחברים אבל סופרים אינם יודעים את הסקירה '. Double-blind, שבו שני הצדדים מפרשים, מאומצים יותר ויותר כדי להפחית את הסקירה הפתוחה, שבו שמות נחשפים ולעתים הערות מפורסמות, נשאר פחות נפוץ אבל הוא צובר ללא קשר לתבנית, המטרה המתודולוגית היא בדיוק כמו גם הערכה מקורית, זהה, זהה, זהה, זהה, זהה, זהה, זהה, זהה, זהה, זהה, זהה, זהה, זהה הוא זהה הוא זהה בדיקה ויזואלית, זהה, זהה, זהה, זהה, זהה, זהה, זהה, זהה בדיקה מדויקת, זהה, זהה, זהה, זהה, זהה, זהה, זההסבר מדויק יותר ויותר ברור, זהה, זהה, זהה, זהה, זהה, זהה, זהה, זהה, זהה, זהה, זהה, זהה, זהה, זה ברור, זה ברור, זה ברור, זהה, זה ברור, זה ברור, זהה, זהה
כתבי יד הנדסיים לעתים קרובות כרוכים בנתונים ניסיוניים, מודלים חישוביים, או ניתוחי עיצוב הדורשים ידע ספציפי דומיין. Reviewers צפויים לבדוק את הנכונות הטכנית, שיפור התוצאות, ודבקות בסטנדרטים של הדיווח כגון אלה עבור אי ודאות או קוד זמינות. העורכים עורך העת מסנת הערכות אלה, משקלם נגד היקף כתב העת ואת ההשפעה הפוטנציאלית של הנייר, לקבל החלטה ברמה גבוהה של 70% של כתבי עת דחיית תפקיד ראשוני, על פני 70% דחיית תפקידים ראשוניים, משקף את שיעורי הנדסה החלת.
עם זאת, התהליך אינו אובייקטיבי בלבד.עורכים חייבים לפרש המלצות ביקורת סותרות, להעריך את יסודיות כל ביקורת, ולעתים לסתור דעות כאשר הם מזהים הטיה.אמינות המערכת כולה נשענת על ההנחה שמבקרים יכולים ועושים את תפקידם באופן חסר פניות ומיומנות.
אתגרים מרכזיים תחת אחריות
ביקורת: Bias and Its Many Forms
בסקי בסקירה עמיתים יכול לקחת צורות רבות.הטיה אישור מוביל ביקורת לתוצאות טובות שמתאימות לעבודתם הקודמת או לעמדה התיאורטית.טייה מוסדית עלולה לגרום לסקירה על מחקר פחות מאוניברסיטאות פחות מקדימות או ממדינות מתפתחות. מין ונטיות גזעיות תועדו גם בתחומים מרובים; מחקרים הראו כי כתבי יד עם סופרים ראשונים או סופרים עם שמות לא מערביים לעתים קרובות לקבל הערכות קשות, כאשר יש צורך בבדיקה מסחרית או מחקרים.
הטיות אלה חותרות תחת ההוגנות הבסיסית של תהליך המערכת.כאשר ההטיה אינה מבודקת, היא לא רק פוגעת בסופרים בודדים אלא גם מעוותת את הרשומות המדעיות, לטובת נושאים מסוימים, מתודולוגיות או קבוצות מחקר על אחרים.כתבי עת שמבוססים רק על ביקורת עיוורת אחת הם פגיעים במיוחד משום שמבקרים יכולים לראות את ההשתייכות והפרסומים הקודמים של המחברים, אשר עלולים לעורר דעות קדומות.
ביקורת: Ins Overs Reviewers
מחקר ידוע בכתב העת FLT:0 [הטבעופול] 1 [ה] ביקש ממבקרים מאותו כתב יד לספק הערכות; ההסכם הבין-מבחינה על השאלה אם יש לקבל נייר היה בקושי מעל הזדמנות.העקשנות היא בעיה מתמשכת בהנדסה, כמו גם.סקירה אחת עשויה להתמקד בחידוש הגישה, בעוד אחרת מדגישה את התקפים הניסוייים, ושלישית היא בעיה מתמשכת בבדיקה צדדית של כתבי עת, אשר ניתן להתמקד באופן נרחב בדין וחשבון פלילי בין עורך דין, לבין קונצנזוס.
השחלות הזו מורכבת מחוסר קריטריונים של ביקורת סטנדרטית בתחומים הנדסיים רבים.בניגוד לכמה דיסציפלינות ביו-רפואיות שאימצו רשימות דיווח מובנות, כתבי עת הנדסיים לעתים קרובות משאירים את הביקורת כולה ללא מבנה, ומאפשרים לבודקים ליישם קריטריונים אישיים.כתוצאה, מסמך שדחתה על ידי כתב עת אחד בשל היעדר חידושים נתפסים עשוי להתקבל על ידי אחרים עם תיקונים קטנים בלבד, מעלה שאלות על השאלה אם ביקורת עמיתים עבור מוטציות חדשות עבור לוגיות חדשות או רק עבור סטיות איכות אמיתית בלבד.
פערים ויציבות חשבון
ביקורת אנונימית מסורתית יוצרת קופסה שחורה אחריות. Reviewers מבלים מעט זמן בתהליך; סקר אחד מצא כי זמן החציוני של מבקר מוציא על כתב יד הוא כשעה.ללא רישום ציבורי של הערותיהם (ולעתים קרובות אין דרישה לחתום עליהם), לחוקרים יש תמריץ קטן לספק ביקורת עמוקה, מתחשבת.
עורכי דין עצמם פועלים מאחורי הקלעים.בעוד שרוב כתבי העת מספקים כעת אפשרות "reject and resubmit", ההחלטה רציונלית היא לעתים רחוקות ציבורית.חוסר שקיפות זה מקש על הקהילה ההנדסית הרחבה יותר להעריך את ההוגנות והעקביות של החלטות מערכתיות.זה גם שוחק אמון, במיוחד כאשר מסמכים בעלי פרופיל גבוה ממושכים לאחר שפגמים פורסמו במהלך בדיקה ראשונית.
לחץ זמן ועומס עבודה
היקף כתבי היד ההנדסיים גדל באופן משמעותי בעשור האחרון.כתבי עת רבים מדווחים על עלייה שנתית של 5-10 אחוזים בהגשתים, בעוד שהבריכות של מבקרים מוכנים לא התרחבה באופן יחסי.עורךים נדרשים לשלוח הזמנות נוספות, וכתוצאה מכך שיעור דחייה גבוה יותר ממבקרים פוטנציאליים.אלה שמקבלים לעתים קרובות מוקצבים יתר על המידה; הסקירה הטיפוסית עשויה לטפל ב-10 עד 20 מאמרים בשנה בנוסף למחקר שלהם, ללמד אותם, ולעתים קרובות לגרום להפחתה מהירה של ארבעה משימות קריטיות.
מגבלות זמן משפיעות גם על יכולתו של עורך לחקור נתונים חשודים או לבקש הבהרה מחברים לפני קבלת החלטה. בהנדסה, שבו מערכות נתונים יכולות להיות גדולות ואנליזה מורכבות, סקירה מהירה עשויה שלא לזהות נתונים מומצאים, הנחות דוגמנות שגויות, או בדיקות סטטיסטיות לא מתאימות.התוצאה היא מערכת, בעוד פונקציונליות, פועלת בשולי האמינות המהימנות.
רפורמות מתודולוגיות לבולסטר אמון
Open Peer Review Models
סקירת עמיתים פתוחה – שם סוקרים שמות ולפעמים ההיסטוריה המלאה של הביקורת פורסמו לצד המאמר - כלומר להגדיל את האחריות. Proponents לטעון כי הידיעה הזהות שלהם תהפוך לציבור מעודדת ביקורת להיות יותר יסודית ואזרחית. מספר גדל והולך של כתבי עת הנדסיים, כגון אלה שפורסמו על ידי כתבי העת של המכון להנדסת חשמל ומהנדסים אלקטרוניים (IEEE) וכמה כותרות חובה, יש טבע אופציונלי או מקבל ביקורות גלויות יותר, אם כי מחקרים גלויים.
מודלים היברידיים קיימים גם.לדוגמה, כמה כתבי עת אנונימיים מבקרים בתחילה אבל מאוחר יותר, אם הנייר פורסם, לאפשר לבודקים לבחור את השם שלהם הקשורים לסקירה. זה קרקע ביניים משמר את היתרונות של אנונימיות במהלך הערכה תוך יצירת תמריץ לבדיקה באיכות גבוהה. כתבי עת אשר אימצו פרקטיקות כאלה יותר שביעות רצון ושיעור נמוך יותר של הערות פוגעניות או מזלזלות.
רשימות סקירה והדרכה
אחת הדרכים הישירות ביותר להפחית את חוסר עקביות היא לספק סוקרים עם רשימת סקירות מובנה היישר עם סדר העדיפויות של מאמרי המערכת של העיתון. כתבי עת הנדסיים רבים עכשיו לשאול סוקרים כדי לדרג היבטים ספציפיים - כגון משמעות, חידוש, מתודולוגיה, זמינות נתונים, בהירות - על סולם Likert, במקום להשאיר את הביקורת פתוחה לחלוטין.
תוכניות הכשרה של Reviewer, כגון אלה המוצעים על ידי הוועדה על האתיקה של פרסום (ראה:0 COPEveFLT:1), פותחו כדי ללמד שיטות הטובות ביותר.מודולים מכסים מודעות הטיה, משוב קונסטנטיה, הפרות אתיות, וכיצד להתמודד עם ביקורות סותרות. מחקרים מוקדמים מצביעים על כך שמבקרים מאומנים מייצרים הערכות אמינות יותר, למרות שאימוץ נשאר נמוך זמן ומשאבים.
שרתי הדפסה ופוסט-ציבוריות Review
שרתי Preprint כמו arXiv, אינטגרXiv ו TechRxiv שינו את הנוף הפרסום על ידי ביצוע מחקר הנדסי זמין לציבור לפני ביקורת עמיתים פורמלית.הפרדה זו של הפצה מהערכה מאפשרת לקהילה לביקורת על ממצאי מוקדם, לפעמים חשיפת שגיאות לפני תהליך הביקורת של כתב העת מתחיל.פוסט-פרסום פלטפורמות ביקורת כגון PubPeer מאפשר הערות שפורסמו, לשמש כמנגנון בקרה איכותי, עם זאת, את האפקטיביות של שיתוף פעולה הציבור; אין צורך בהערות רבות.
עורכי דין משתמשים יותר ויותר משוב הדפסה כדי להודיע את החלטות המערכת הראשוניות שלהם.כמה כתבי עת מאפשרים לכותבים להגיש כתב יד שקיבל הערות על פלטפורמה preprint, ועורכים גורמים את ההערות האלה בחשבון שלהם.מודל היברידי זה יכול להפחית את הנטל על מבקרים רשמיים בעת מינוף מומחיות רחבה יותר.אבל זה גם מציג סיכונים: הערות ציבוריות יכולות להיות חמורות או לא מודעות, וכותבים עשויים להרגיש לחץ להגיב לפני תהליך זה עדיין פתוח.
דוחות רשומים
דוחות רשומים מייצגים עזיבה רדיקלית מסקירה מסורתית עמיתים. בפורמט זה, את ההקדמה, השיטות, וניתוחים מתוכננים הוגשו לבדיקה לפני איסוף נתונים או ניסויים מתחילים.אם התקבל, כתב העת מתחייב לפרסם את התוצאות ללא קשר לתוצאה, בתנאי שהכותבים עוקבים אחר הפרוטוקול המאושר. גישה זו מבטלת את הפרסום ההטיה לקראת תוצאות חיוביות ומבקרי כוחות כדי להעריך את שאלת המחקר ולא את הממצאים הסופיים.
דיווחים רשומים עדיין נדירים בהנדסה, אך הם צברו הסתמכות בפסיכולוגיה וכעת הם מזועזעים על ידי כמה כתבי עת הנדסיים.למחקר הנדסי ניסיוני - לדוגמה, בהנדסה מבנית או במדעי החומרים - המודל יכול להיות בעל ערך במיוחד משום שהוא מעודד תכנון טרום-לימוד קפדני ומפחית את הפיתוי לתוצאות הנדסיות משמעותיות.
השלכות על מחקר הנדסי ופרקטיקה
האמינות של ביקורת עמיתים משפיעה ישירות על אמינות העולם האמיתי של ידע הנדסי.כאשר מחקר לקוי עובר ביקורת עמיתים, התוצאות יכולות להיות הרסניות.לדוגמה, התמוטטות גשר ההולכים ב-1981 מיוחסת חלקית לתכנון שלא עבר אימות עמיתים קפדני; סקירה יסודית יותר עשויה לתפוס את השגיאה חישובית באופן דומה, תגמולים עקב נתונים הנדסה בכתבי עת הובילו לבזבוז טכנולוגיות מחקר ובטיחות ביקורתיות.
מעבר למקרים בודדים, חוסר אחריות מערכתית יכול לעוות כיוונים מחקר שלמים.אם מבקרים מעדיפים באופן עקבי שיפורים מצטברים על גישות חדשניות, סיכון גבוה, פרויקטים גבוהים יותר עלולים לעולם לא להתפרסם, להאט את קצב החדשנות. מצד שני, חוסר עקבי יכול לאפשר עבודה סטנדרטית להיכנס לספרות, מה שגורם לחוקרים לבלות זמן רב יותר לייצר ולתקן שגיאות.
יוזמות התחדשות בהנדסה צוברות תאוצה. סוכנויות מימון רבות ומגזינים דורשים כעת מחברים להפקיד נתונים וקוד ברשומות ציבוריות. Reviewers מעודדים לבדוק כי החומרים המשותפים הם שלמים וכי התוצאות הנטעןות ניתן לשחזר.אבל ללא תהליך הערכה עמיתים אמין אשר לאכוף את דרישות אלה, מדיניות נשאר שאיפה.
בסופו של דבר, קהילת ההנדסה חייבת להכיר בכך שביקורת עמיתים היא מערכת אנושית, לא מושלמת מטבעה, אבל זה שניתן לשפר באופן שיטתי את ההשקעה באימון ביקורתי, מדיניות מערכת מערכת שקופה, ומודלים חדשניים של ביקורת אינה מותרות - זה הכרחי לשמירה על האמון שהחברה מציבה במחקר הנדסי.
מסקנה: לקראת יותר Robust Peer Review Ecosystem
סקירת פירס נותרה סלע קבלת החלטות מערכתיות בכתבי עת הנדסיים, אך האמינות שלה רחוקה מאוד מלהיות מובטח. ביסאס, חוסר שקיפות, חוסר שקיפות, ולחצים בזמן מאיים על שלמות התהליך.החדשות הטובות הן כי רפורמות מבטיחות רבות כבר נבדקות: סקירה פתוחה, בדיקות מובנות, דוחות רשומים, והשימוש מוגבר של משוב מודפס מראש.
סופרים, סוקרים, עורכים ומוציאים כל אחד מהם יש תפקיד לשחק. Authors יכול לתמוך באמינות על ידי הגשת כתבי יד מוכנים היטב ושיתוף גלוי של נתונים וקוד. Reviewers יכולים להשקיע זמן כדי לייצר הערכות מעמיקות, קונסטרוקטיביות ויכולים לעשות שימוש במשאבים אימון. העורכים יכולים לאכוף תקני הגשת וגוון את מאגרי הביקורת לכיסוי.
מאמצים כגון אלה של FLT:0 [ה] ראוטרנסמציה (ראה:2Center for Open ScienceFLT: 3] כבר הדגישו בעיות מערכתיות ותומכים בשינוי.הקהילה ההנדסית חייבת לאמץ את הרפורמות הללו, להתאים אותן לדרישות הייחודיות של מחקר הנדסי, ולהעריך את השפעתם באופן מתמשך רק באמצעות שיפור מתמשך, מונע ראיות יכול לשרת באמת את העמיתים אמין עבור צורותינו בנויות.