Peer Review Bias: זיהוי ומייגינג ללא מודע ביז'ס בהנדסת פרסומים

הקדמה: למה Per Review Matters in Engineering

סקירת Per היא סלע הפרסום של הנדסה אמינה.כאשר מהנדס שולח כתב יד המתאר חומר מבני חדש, עיצוב מעגלים יעיל יותר, או אלגוריתם חדש לשליטה רובוטית, תהליך ביקורת עמיתים עומד בין העבודה הזאת לבין הקהילה להנדסה העולמית.ללא ביקורת עמיתים קפדנית, תביעות לא מופרכות או מתודולוגיות פגומים יכול להיכנס למילינסטרים, המוביל מאמץ מבוזבז או אפילו יישומים לא בטוחים.

מאמר זה בוחן את האופי של הטיה לא מודעת בסקירה של עמיתים הנדסיים, מקטלוג את הטפסים הנפוצים ביותר שהוא לוקח, חוקר את ההשפעה קונקרטית על איכות המחקר והשוויון, ומציג אסטרטגיות מבוססות ראיות - מסקירה כפולה של סמיות ועד לאימון ביקורת - שיכול לעזור לכתבי עת ולמוסדות לבנות מערכת אקולוגית אובייקטיבית יותר וכוללת.

הבנה: Peer Review Bias

מה זה Bas לא מודע?

הטיה לא מודעת, הידוע גם כטיה בלתי-מעוררת, מתייחסת לגישות או לסטריאוטיפים המשפיעים על התפיסה, הזיכרון וקבלת ההחלטות שלנו ללא המודעות המפורשת שלנו.הטיות הללו נוצרו באמצעות חשיפה תרבותית, חוויות אישיות והודעות חברתיות, והם יכולים לסותיר את האמונות המודעות שלנו.לדוגמה, מבקר שמאמין בכנות בשוויון מגדרי עדיין עשוי לדרג נייר נמוך במקצת כאשר המחבר הראשי יש שם מתודולוגי, כולל דיסציפלינות מרובות, כולל דיסציפלינות הנדסיות.

כיצד Bas נכנס לתהליך סקירה Per

תהליך ביקורת עמיתים כרוך בכמה נקודות החלטה שבו הטיה יכולה לצוץ: כאשר עורך בוחר סוקרים, כאשר סוקר שופט את הרומן או החשיבות של מחקר, כאשר שפה או פורמט הוא ביקורת, וכאשר עורך שוקל הערות ביקורת סותרות. כל אחד מהצעדים האלה מסתמך על פרשנות סובייקטיבית.ללא אמצעי הגנה מובנים, אגודות לא מחייבות - כגון ההנחה כי עבודה מאוניברסיטת ידועה היא קפדנית יותר - תחליף להערכה אובייקטיבית יותר.

בהנדסה במיוחד, הטיה עשויה גם לחרוג עם תפיסה של עבודה מתואמת לעומת עבודה תיאורטית. סוקרים שהוכשרו במחקר בסיסי עשויים תחת מסמכי ערך המתמקדים ביישום מעשי, בעוד אלה עם רקעים בתעשייה עשויים להניח הוכחה מתמטית.העדפות אלה, בעוד לא תמיד זדוניים, ליצור יתרונות שיטתיים עבור סגנונות מחקר מסוימים וחסרונות אחרים.

הקרן הקוגניטיבית של באס ב- Reviewing

כמה מנגנונים קוגניטיביים מניעים הטיה לא מודעת בסקירה עמיתים:

• (הטיה:0) אישור ההטיה: 1) הנטייה לחפש או לתעד ראיות התומכות באמונות הקיימות של אדם.
• (התוצאה:0) [האפקט]: [ה] הרושם החיובי באזור אחד (למשל, המפקח המפורסם של המחבר], שיפוטים באזורים אחרים (למשל, איכות מתודולוגיה).
• (ב) ⁇ :0) ⁇ : ⁇ 1 (במילים אחרות, מאמר חדש עם טעות דומה) ניתן משקל לא פרופורציונלי.
• (ב) ⁇ :0) ,1 אנשים ממוסד, מדינה או רשת מחקר משלו.

הבנת המנגנונים האלה היא הצעד הראשון בעיצוב מערכות המפחיתות את השפעתן.עבור חקירה עמוקה יותר של הפסיכולוגיה שמאחורי הטיית ביקורת עמיתים, ראה את הביקורת המקיפה שפורסמה ב-FLT:0) מחקר Integrity ו-Per ReviewFLT:1.

סוגים נפוצים של Bias בהנדסה Peer Review

בעוד הטיה רבות הן אוניברסליות על פני דיסציפלינות מדעיות, פרסום הנדסי מציג כמה דפוסים כי הם במיוחד סלקטינים.הרשימה הבאה כוללת את הטפסים המתועדים ביותר, כל אחת עם דוגמאות קונקרטיות מפרסום הנדסי.

חביון Bas

מבקרים לעתים קרובות להקצות אמינות גבוהה יותר כתבי יד מאוניברסיטאות עילית, מעבדות R&D חברות גדולות, או סוכנויות ממשלתיות ידועות. a נייר מהמכון הטכנולוגי של מסצ'וסטס עשוי לקבל את היתרון של הספק לגבי מתודולוגיה, בעוד כניעה דומה של מוסד ידוע פחות עומד בפני בדיקה נוספת.טיה זו יכולה לחזק דפוס "עשירים" שבו קבוצות מוקדמות יותר דומיננטיות שולטות בכתבי עת.

מין ביס

מחקרים רבים מצאו כי מסמכים עם סופרים מובילים זכר סביר יותר להתקבל בכמה תת-תחומים הנדסיים.ניתוח 2019 של הגשתי כנס לאולם הרובוטיקה הראשי הראו כי מאמרים ממורמרים נשים קיבלו הערות ביקורתיות יותר וציונים נמוכים יותר.האפקט נמשך גם כאשר שולט על איכות המחקר.קריקולום הערכה גם מראה כי ניירות זהה הנדסה קיבל דירוג גבוה יותר כאשר מופיע שם זכר.

לאומיות ואזור באס

מבקרים עשויים over-value ניירות מצפון אמריקה, מערב אירופה, או מוסדות כוח מזרח אסיה, בעוד שעבודה מאפריקה, אמריקה הלטינית, או חלקים מדרום אסיה.שפה יכול להחמיר את זה: דוברי אנגלית לא-שלילית לעתים קרובות להתמודד עם ביקורת לא פרופורציונלית בסגנון כתיבה, גם כאשר התוכן הטכני הוא קול. חלק ממבקרים להשוות טרה לא סטנדרטית עם חשיבה סלפיית, מקרה קלאסי של עבודה הטיה.

אישור Bas

בהנדסה, שבו בתי ספר מתחרים של מחשבה קיימים לעתים קרובות (למשל, הלמעלה למטה גישות עיצוב מערכות, פיגורטיבי לעומת שיטות אנליטיות), מבקר המחויב לפרדיגמה אחת עשוי לדרג כתב יד סותר יותר באופן קשה.זה יכול לעכב את פרסום העבודה המאולתרת פרדיגמות שמאתגרת הנחות מבוססות.

משמעת ומתודולוגיה ביסאס

מבקרים המאומנים בשיטות ניסיוניות עשויים לבחון על מסמכי סימולציה בלבד, ולהיפך, אלה שערכים rigor כמותי עשויים להונות מחקרים איכותיים, גם כאשר שיטות איכותיות מציעות תובנות ייחודיות במערכות הנדסיות מורכבות.הטיות מתודולוגיות אלה יכולות להמנע את הספרות ההנדסית על ידי התעלמות מצורות ערך של חקירה.

סטטוס וקריירת רמה Bas

חוקרים מוקדמים, סטודנטים לתואר שני, ומהנדסים בתעשייה לעתים קרובות להתמודד עם ביקורות ביקורתיות יותר מאשר אקדמאים מבוססים עם תיעוד מסלול באותו יומן. הטיה זו יכולה להרתיע חדשים ונקודות מבט טריות ממריץ.

השפעת Peer Review Bias על איכות מחקר הנדסה הון

השפעות על הספרות

כאשר הטיה מעוותת החלטות קבלה, הספרות ההנדסית הופכת לתיעוד לא שלם או מחוספס של עבודה ראויה.תרומות חשובות מקבוצות ייצוגיות או מוסדות שאינם מסורתיים עשויים להיות מעוכבים או אבודים, בעוד פחות חדשניים אך "מפרש" מאמרים ממקורות מועדפים שולטים.במשך עשורים, זה יכול להוביל להומוגניזציה של סדרי מחקר, שבו קבוצות דומיננטיות מגדירות מה חשוב או ניתן לפרסם.

יתר על כן, ביקורות מוטות יכולות להטביע הנחות שגויות.לדוגמה, אם בודקים באופן עקבי מסמכים הדוחים על תוצאות שליליות או כישלונות מתודולוגיים (סוג של פרסום הטיה), הקהילה ההנדסית עשויה לבזבז מאמץ חוזר על ניסויים בפסד מתים.

קריירה Consequences

עבור חוקרים בודדים, ביקורת עמיתים מוטה יכול להאט את הקדנציה והקידום, להגביל את ההצלחה, ולצמצם את הנראות המקצועית. A נקבה או מהנדס מיעוט שמסמכיםיהם נשלחים שוב ושוב דרך סיבובים נוספים של תיקון או נדחה בשיעורים גבוהים יותר ניצב בפני חיסרון מבני שמתעלה על קריירה.התסמונת המאחז הפסיכולוגית - תסמונת המאחז, ירידה במוטיבציה - היא גם אמיתית ומוסכמת.

חדשנות ובטיחות

מחקר הנדסי לעתים קרובות ניזונים ישירות לתקנה, סטנדרטים ופיתוח מוצר.אם הטיה גורמת למחקר באיכות גבוהה להתעלם או מחקר באיכות נמוכה כדי לקדם, התוצאות מתרחבות מעבר לאקדמיה.לדוגמה, הנחיות עיצוב מבניות המבוססות על סט מחקרים יכול להמעיט בסיכון לכישלון.תהליך ביקורת כולל יותר אינו רק בעיה הוןית - זה עניין בטיחות ואיכות.

Detecting ו- Measuring Bias in Peer Review

גישות אסטרטגיות

כתבי עת יכולים לבדוק את התהליכים שלהם על ידי ניתוח שיעורי קבלה, ציוני ביקורת, והערות מופרכות על ידי דמוגרפים המחברים, השתייכות מוסדית או גיאוגרפיה. טכניקות סטטיסטיות כגון ניתוח רגרסיה יכול לגרות את ההשפעה של הטיה לאחר שליטה עבור אינדיקטורים איכותיים אובייקטיביים (למשל, מתודולוגיות נוקשות נוקשות של מחקרים), כמה מחקרים בקנה מידה גדול השתמשו בעיבוד שפה טבעי כדי לזהות סמנים לשוניים של הטיות בהערות - כגון דחייה של מוסדות שפה פחות ריג'רטיבית של פחות ריג'י שפה.

עדויות ניסיוניות ואנקדוטליות

מחקרים ששולחים כתבי יד זהים (או כמעט זהים) לסקרנים עם שם המחבר או ההשתייכות המוסדית שינתה לספק כמה מהראיות החזקות ביותר להטיה.בניסוי ידוע אחד בספרות הרפואית, סוקרים דירגו את אותו הנייר בצורה טובה יותר כאשר היה לו סופר בולט המצורף.

גבולות של דיווח עצמי

מבקרים לעתים רחוקות מודים להטיה גם כאשר היא קיימת.בדיקות אגודות (IAT) יכולות לחשוף הטיה שאנשים אינם תומכים במודע, אבל בדיקות כאלה משמשים לעתים רחוקות בהקשרים של פרסום.רוב כתבי העת מסתמכים על אינדיקטורים עקיפים ונתוני איסוף.

אסטרטגיות ל Mitigate Bias בהנדסה Peer Review

שום התערבות יחידה לא תסלק את ההטיה לחלוטין, אבל שילוב של מדיניות ושיטות יכול להפחית משמעותית את השפעתה.

עיוור ופול-בינד ביקורת

ביקורת בודדת (reviewer Know Identity המחברת אך לא להיפך) נפוצה בכתבי עת הנדסיים רבים, אך סקירה כפולה-עיוורת (שני הצדדים אנונימיים) היא כלי רב עוצמה להפחתת השייכות, המין וההטיה לאום. מחקרים על פני דיסציפלינות מראים כי תהליכים כפולים-עיוורים מגבירים את שיעור הקבלה עבור קבוצות הנדסה וסופרים נשיים.

טיפים ליישום: כתבי עת צריכים לספק הנחיות ברורות של המחבר על כתבי יד אנונימיים (שמות הסרת שמות, אישורים, מספר מענקים), והדרכה לצוות המערכת על גילוי ניסיון deanonymization.

ביקורת: Training and Bias Ads

מחנכים סוקרים על הטיות נפוצות וסיבות קוגניטיביות שלהם יכולים לשפר את ההשמדה העצמית. כתבי עת רבים דורשים כעת ביקורת חדשה להשלים מודול קצר על הטיה לא מודעת לפני השימוש.נושאים כוללים הכרה באפקט ההילה, הימנעות משיפוטים המבוססים על מהירות, והתמקדות בקריטריונים אובייקטיביים.

הערכה מחודשת קריטריה

רשימות או דירוגים אשר מכריחים את הסקירה להעריך קריטריונים ספציפיים (למשל, בהירות של מתודולוגיה, תוקף של מסקנות, רלוונטיות לקוראים) להפחית את ההשפעה של רשמים גלובליים.כאשר המבקרים חייבים להקצות ציונים נפרדים עבור היבטים שונים של הנייר, ההזדמנות עבור עמלה חיובית או שלילית הכוללת כדי להניע את ההחלטה יורדת.כמה כתבי עת משתמשים בטופס מובנה הדורש הצדקה בכתב עבור ציונים, מה שהופך קשה יותר להסתיר הערות מעורפלות מאחורי הטיות.

תגית: Panels

עורכים צריכים לגייס באופן פעיל ביקורת ממגוון רחב של מוסדות, מדינות, שלבים קריירה, רקע דמוגרפי. כאשר פאנל ביקורת כולל נקודות מבט שונות, הטיות בודדות יכולות לבטל.גיוון גם מביא פלורליזם שיטתי, צמצום המסמכים המשתמשים בגישות פחות-קודמות מפוטרות באופן לא הוגן.עם זאת, גיוון לבדו אינו מרפא - צופים עדיין זקוקים להכשרה סטנדרטית וקריטריונים נורמטיביים.

ביקורת ו-Open Review

עורכים ממלאים תפקיד מכריע בפרשת הערות ביקורתיות וגילוי הטיה.עורך שמבחין בסקירה שגורם להערות דחייה על אנגלית או מוסד של המחבר יכול לשקול הערות פחות כבדות. Open peer review, שבו שמות ביקורת פורסמו לצד הנייר (או שם הערות ביקורתיות נעשות ציבוריות), יכול להגדיל את האחריות ולהקטין את הביקורת הקשה או העצלה.

AI ומסך אוטומטי

כלים מתעוררים משתמשים בעיבוד שפה טבעית לדגל, אשר עשויים להטיא הערות בדיווחים – לדוגמה, הערות המתמקדות בדמוגרפיות של המחבר ולא בתוכן מדעי.בעוד כלים אלה עדיין בפיתוח, הם יכולים לעזור לעורךים לאשר מקרים של התערבות אנושית.אין אלגוריתם יכול להחליף באופן מלא את מערכת המשפט, אבל AI יכול לשמש כמערך עיניים שני.

אחריות מוסדית ואינסטננקטים

אוניברסיטאות ומוסדות מחקר יכולים לקדם בדיקות הטיה-מודעות על ידי שילוב תוכניות הכשרה ולספק אשראי לשירות.אם ועדות כהונות וראש המחלקה לזהות ביקורת עמיתים כפעילות מוערכת הדורשת כישורים ספציפיים, סוקרים יהיו מוטיבציה לשפר. מוסדות יכולים גם לתמוך סדנאות על בדיקה כוללת, ויכולים לתמוך בכתבי עת לאמץ שיטות לא מובנות.

שיקולים מיוחדים להנדסת פרסומים

אתגרים ייחודיים בהנדסה

מחקר הנדסי כולל לעתים קרובות עבודה בחסות התעשייה, נתונים קנייניים ושיטות יישומיות שקשה יותר לאנונימיות. a נייר המתאר שיתוף פעולה עם חברה מסוימת עשוי להיות בלתי אפשרי לעיוור לחלוטין.במקרים כאלה, שקיפות על סכסוכים ביקורתיים של עניין הופכת אפילו יותר קריטית.כמה כתבי עת הנדסיים ניסו עם "נתונים ושיטות" ייעודיים המתמקדים באופן בלעדי בשקיקה טכנית תוך התעלמות מזהות.

התפקיד של סטודנטים לתואר שני ופוסטדוקטס

מהנדסים מוקדמים רבים מתבקשים לבדוק על ידי המפקחים שלהם.מבקרים אלה עשויים להיות חסרי מודעות להטיה, וייתכן כי רגישים במיוחד לאפקטי ההילה.הכשרה צריכה להיות מורחבת לדור הבא של מבקרים במהלך הלימודים לתואר שני. הנדסה תוכניות הכוללים מודול על שפת ביקורת עמיתים והטיה יעזור לנרמל את השיחה.

מאמרים בין-תחומיים ותחומיים

הנדסה כי התנגשויות עם מדיניות, מדע חברתי או בריאות להתמודד עם סיכונים הטיה נוספת. סוקרים רקע הנדסי טהור עשויים תחת רכיבי איכות ערך או מעורבות-methods. Journals צריך להבטיח כי לוחות ביקורת כוללים מומחיות מכל התחומים הרלוונטיים, וכי הוראות ביקורת מדגיש מדגישות כבוד למגוון מתודולוגי.

מחקרים וראיות מהספרות

ניתוח של 14,000 כתבי יד שהוגשו ללוח שנה הנדסי גדול מצא כי מסמכים עם סופרים שאינם דוברי אנגלית היו 25% שיעור דחייה גבוה יותר לאחר שליטה על איכות נייר.לאחר התערבות שכללה סקירה כפולה ואימון ביקורתי, הפער צר ל 8% מעל שנתיים. מחקר נוסף בכנס הנדסה אזרחית מצא כי המחברים הראשונים קיבלו הערות מאתגרות יותר בממוצע, אך שינוי לצורות מובכות לסקירה מופחתת.

דוגמאות אלה מראות כי שינוי משמעותי אפשרי.עם זאת, נתונים ארוכי טווח עדיין דלים.קהילת ההנדסה תרוויח מעיתונים נוספים המפרסמות ביקורת הטיה משלהם ושיתוף שיטות טובות ביותר.

התפקיד של העורך והמפרסמים

מנהיגות ארגונית

עורכים קבעו את הטון עבור יומן.הם יכולים מודל התנהגות מוטה-מודעה על ידי הכרה מפורשת בנושא בפגישות לוח המערכת, על ידי איסוף סטטיסטיקות שונות, ועל ידי קבלת החלטות לגבי טיפול בכתב יד כי עדיפות הגינות.כאשר עורך חושד בהטיה, הם יכולים לחפש ביקורות נוספות, לדון בדאגות עם הסקירה, או בסופו של דבר להתגבר על החלטה ביקורתית.

כתבי עת הנדסיים רבים, כולל אלה שפורסמו על ידי ASME ו ASCE, יש כעת הצהרות שונות שענות לסקירה עמיתים, אך פעולה לעתים קרובות לבלוטות מאחורי רטוריקה. העורקים זקוקים למדדים קונקרטיים: איזה אחוז של כתבי יד מקבוצות הנמצאות תחת ייצוג היסטורי נשלחים לסקירה?כיצד המלצה סוקרת מתואם עם מוסד סופר?

מדיניות Publisher-Level

מו"לים גדולים כמו Elsevier, Springer Nature, ו-Wiley פיתחו תוכניות להפחתת הטיה ברחבי החברה.אלה כוללים מודולים סטנדרטיים של הכשרה לסקירה סטנדרטית, אפשרויות כפולות אופציונליות, וביקורת תכופים. Publishers יכולים גם לדרוש את כל כתבי העת בתיק שלהם לאמץ מדיניות נגד-מביות כתנאי להמשך התמיכה.עם זאת, כתבי עת להנדסה השוכנות בחברות מקצועיות לעתים קרובות יש לוחות מערכת יחסים עצמאיים עם מסורות משלהם, מה שהופך מדיניות קשה יותר לאכיפתן.

טכנולוגיה ועיצוב פלטפורמה

מערכות הרשאות יכולות להוביל את הסקירה להכריז על הטיה פוטנציאלית לפני קבלת הזמנה.הם יכולים גם לדגל כאשר הפרסומים של סוקרן עצמו חולקים סופר מוסדי עם כתב היד.שינויים ממשק פשוט - כגון הסתרת שמו של המחבר עד לאחר ציון איכות ראשוני נכנס - יכולים לנגיד ביקורת לעבר הערכה אובייקטיבית יותר.

מסקנה: בניית קרן הוגנת יותר עבור ידע הנדסי

הטיה של Peer בפרסומים הנדסיים אינה פגומה בלתי צפויה, אלא אתגר שניתן לפתור.באמצעות שילוב של ביקורת כפולה-עיוורת, קריטריונים של הערכה מובנים, חינוך ביקורת, פיקוח מערכתי ומחויבות מוסדית, הקהילה ההנדסית יכולה להפחית באופן משמעותי את ההשפעה של הטיה לא מודעת.המטרה היא לא להסיר את השיפוט האנושי - ביקורת peer היא וצריכה להישאר תרגיל אינטלקטואלי - אבל כדי להתאים את השיפוט הזה ככל האפשר עם האיכות והחשיבות של המחקר.

כאשר ההטיה מופנית, הספרות ההנדסית הופכת עשירה יותר, נציגת יותר, ואמין יותר.בטיחות, חדשנות ושוויון שזרום מסקירה הוגנת לא רק חוקרים אלא גם מהנדסים, מתרגלים וחברה הנתמכות על ממצאיו שפורסמו.כל נייר מתקבל או נדחה צריך לשקף את הערך של העבודה, לא את זהות המחבר. Achieving כי אידיאלי דורש מעקב מתמשך, מדידה, קולקטיבי כדי לשפר.

לקריאה נוספת, ראה את ההנחיות של ה-FLT:0 (COPE על ביקורת עמיתים) 1:1 ו- The FLT:2 (להלן:2) , עיין ב-אתיקה של ביקורת רפורמת: 3, המציעות מסגרות מעשיות לסקירה בלתי משוחדת.