מדוע פיזור מערכות בינה מלאכותית משנה עכשיו יותר מאי פעם

אינטליגנציה מלאכותית כבר אינה סקרנות מעבדה.זה מעבד יישומים הלוואה, ממליץ על טיפולים רפואיים, בקרה על כלי רכב אוטונומיים, ומתונים תוכן מקוון.כל אחת מההחלטות הללו נושאת סיכון.אלגוריתם הלוואות מוטה יכול להכחיש משכנתאות למועמדים מוסמכים. AI רפואי מוסמך גרועה יכול לאמוד מצב.רכב אוטונומי לא בטוח יכול לגרום להתנגשות.

הנתחים גבוהים במיוחד משום שמערכות בינה מלאכותית אינן נכשלות בדרכים צפויות. באגים תוכנה מסורתיים גורמים לתאונות או פלטים לא נכונים.מערכת בינה מלאכותית יכולה לייצר פלטים נכונים לכאורה לקלטים משותפים, בעוד שהן נכשלות באופן קטסטרופלי במקרים נדירים.זה הופך את אימות להרבה יותר מאתגר.זה דורש לא רק לבדוק שהמערכת עושה את מה שהיא אמורה לעשות, אלא גם שהיא אינה עושה דברים מזיקים במצבים שמעולם לא דמיינתיים.

הרגולטורים ברחבי העולם לוקחים הודעה על כך שהאיחוד האירופי & #8217; חוק AI מסווג יישומים ברמת סיכון ומחייב הערכות תואמים עבור מערכות בסיכון גבוה. בארצות הברית, המכון הלאומי לתקנים וטכנולוגיה (NIST) פרסם מסגרת ניהול סיכונים AI הקוראת לבדיקות ול ניטור מתמשך.

גישה ארגונית ל-Verification

ביקורת נתונים: מציאת ביס כמקור

הביטוי ו-#8220; גרביטציה, אשפה ו-#8221; הוא נכון במיוחד עבור AI. אימוני נתונים המשקפים אי-שוויון היסטורי ילמד את חוסר השוויון למודל.ביקורת נתונים היא קו ההגנה הראשון.זה כרוך בבדיקה שיטתית של הנתונים לחוסר איזון, קבוצות חסרות או משתנים שיכולים להוביל להחלטות מוטות.

טכניקות ביקורת נפוצות כוללות:

  • ניתוח שוויון בין-לאומי:0 (Demographic parity Analysis:FLT:1) בודק אם תכונות רגישות (גזע, מין, גיל) מופצות אפילו על פני הנתונים.
  • מדד ההשפעה של FLT:0 (Disparate Impact Measure: FLT:1 Calculating) של תוצאות חיוביות על פני קבוצות.הנציבות האמריקאית שוויון הזדמנויות תעסוקה משתמשת ב- 80% הכלל כסף להשפעה שלילית בגיוס.
  • (FLT:0) גילוי משתנה: FLT:1 המחשה תכונות אשר תואמים חזק עם תכונות מוגן, כגון ZIP קוד correlating עם גזע.גם אם תכונות רגישות אינן נכללות מן המודל, פרוקסים יכולים להחזיר את הטיה.
  • (FLT:0) בדיקות איכות שלLabel:FLT:1 מבטיח כי תוויות אותנטיות הקרקעיות עקביות וחופשיות של הטיה של נוטריון.לדוגמה, הדמיה רפואית, רדיולוגים עשויים לסמן את אותה סריקה אחרת המבוססת על עייפות או הטיה מוטית.

(FLT:0)AI Biaseur ResourcesFLT ( 1:1) לספק הדרכה מפורטת על טכניקות ביקורת ומדדי הגינות.

בדיקה ואימות: Stress-Testing Models לפני פיזור

ברגע שמודל מאומנים, יש לבחון אותו נגד מגוון רחב של תרחישים. אימות סטנדרטי על סט מבחן שנערך ללא עכב, כי הוא מייצג רק את הביצועים הממוצעים.בדיקה עבור הטיה ובטיחות דורש בנייה מכוונת של קלטות מאתגרות.

(FLT:0) בדיקות מבוססות-סינדרו 1R) הוא שיטה רבת עוצמה.עבור מודל סינון קורות חיים, מקרים של מבחן עשויים לכלול מועמדים עם פערים בתעסוקה, שמות שאינם מסורתיים, או מעלות ממוסדות פחות ידועים.עבור רכב אוטונומי, תרחישים כוללים הולכי רגל בבגדים כהים, שינויים פתאומיים, אזורי בנייה.

(FLT:0) בדיקות סטרסייט 1 דוחף מודלים מעבר לטווח הנוח שלהם.Inputs הם מוטרדים באופן שיטתי: הוספת רעש לתמונות, טקסט משותק, או שינוי סדר התכונות.אם המודל & #8217; התפוקה משתנה באופן דרמטי בתגובה להפרעות קטנות, סמנטאליות, מצביעות על שבריריות ופוטנציאל להתנהגות לא בטוחה.

(ב) אלגוריתם נפרד מתוכנת במכוון קלטות שנועדו לשטות במודל.זה קריטי במיוחד עבור יישומים קריטיים של Google’sFLT:2Adversal Robustness ToolkitFLT 3 מספק כלים לייצור התקפות כאלה ומדידות.

אימות צריך לכלול גם את מדדים אוטומטיים כמו דיוק או דיוק אינם תופסים כל מצב כשלון. . . . . . â ¢-in-the-loop Assessment Assessment Assessment FLT:1 â ¢ â ¢ ¢ â ¢ ¢ ¢ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

טיהור פורמלי: הבטחת מתמטיקה של בטיחות

אימות פורפורמטי מתייחס להיגיון מתמטי קפדני להוכיח כי מערכת בינה מלאכותית מספקת נכסים הרצויים בכל התנאים.זה נשמע כמו תקן הזהב, אבל זה מגיע עם שינויים משמעותיים במסחר.

עבור מודלים פשוטים כגון מחוקקים ליניאריים או עצי החלטות, אימות פורמלי הוא פשוט יחסית.ניתן לבטא את ההתנהגות של המודל כמערך של מגבלות, ופתר יכול לקבוע אם קיים הפרה כלשהי.עבור רשתות עצביות עמוקות, הבעיה הופכת הרבה יותר קשה.הפעלת הלא-לינארית ומיליוני פרמטרים יוצרים גבול החלטה מורכב, משקף.

טכניקות כגון:0 (ה-FLT:0) ,(SMT) פותרים את ®FLT:1 ו-FLT:2mixed-integer לינארי תכנות (MILP)FLT:3 מותאמים להיגיון לגבי רשתות עצביות.82 הצליחו לאמת תכונות כמו “ כל הקלטים בטווח זה, הפלט לא ישתנה ו- 20/82 לא ישתנה;82 לא יהיה זמין ל- 10.

המסגרת (FLT:0) AlphaBeta-CReptFIRLT:1 ), היא אחד הכלים המובילים אימות פורמלי עבור רשתות עצביות.זה יכול להתמודד עם רשתות עם עד עשרות אלפי נוירונים, אם כי קנה מידה מודלים הייצור נשאר מאתגר. אימות פורמאלי הוא כיום מעשי ביותר עבור מודלים קטנים, מקומיים או לאמת תכונות ספציפיות של מודלים גדולים יותר.

הסבר והתאמה: פתיחת הקופסה השחורה

התחדשות היא קלה יותר כאשר אתה מבין כיצד מודל מגיע להחלטותיו.טכניקות להסביריות נועדו להפוך את ההיגיון הפנימי של מערכות בינה מלאכותית שקופה לבודקים אנושיים.זה לא מוכיח את הבטיחות באופן ישיר, אבל זה מאפשר לאודיטורים אנושיים לזהות חשיבה פגומה.

שיטות הסבר פוסט-הוק

שיטות אלה דומות לדגם שחור-קופסא עושה לאחר העובדה.טכניקות פופולריות כוללות:

  • (הסברים הבין-לאומיים:0) 0LIME (הסברים הבין-צפוניים מקומיים): FLT:1 Perturbs קלט ומשקיף על האופן שבו הפלט משתנה כדי לבנות מודל פונדקאי פשוט סביב כל חיזוי.
  • (ב) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
  • (FLT:0)Grad-CAM (Gradient-Digient-class Activation Mapping): אנדרט 1 לדגמי חזון, יוצר מפת חום המציגה אילו אזורים של תמונה השפיעו על החיזוי.

שיטות אלה אינן מושלמות.טכניקות הסבר שונות יכולות לא להסכים, והן יכולות להיות מטומטמות על ידי קלטות סטיות.עם זאת, הן משמשות ככלי אבחון יקר במהלך אימות.אם מודל דגל יישום הלוואה כסיכון גבוה ו- SHAP מגלה כי הנהג העיקרי הוא המבקש & #8217; קוד ZIP, זהו דגל אדום להטיה.

מודלים בלתי צפויים

גישה חלופית היא להימנע מקופסאות שחורות לחלוטין באמצעות מודלים כי הם מפרשים מטבעם עצי החלטות, מודלים ליניאריים מלוחים, מודלים הכוללים תוספים (GAMs) ניתן להבין ישירות על ידי בני אדם.עבור יישומים רבים בעלי רמות גבוהות כמו ניקוד אשראי או חיזוי התחדשות, מודלים פשוטים אלה יכולים להשיג דיוק תחרותי בעת מתן שקיפות מלאה.

הבחירה בין מודל ארגז שחור מורכב עם הסברים לאחר-הוק ומודל מפרש מטבעו כרוך במסחר בסיסי.כאשר בטיחות והגינות הם רב-חשיבות, רגולטורים רבים ומתרגלים נשענים לעבר מודלים פשוטים, סבירים ובלתי ניתנים לביקורת.

טכניקות מתפתחות ו-The Cutting Edge

המונחים: Algorithms

במקום לבדוק רטרואקטיבית את ההטיה, אלגוריתמים חדשים יותר מטביעים מגבלות ההוגנות ישירות לתוך תהליך האימון.אלגוריתמים אלה מתאימים לדיוק תוך פיזור של פערים על פני קבוצות מוגןות.

  • (FLT:0) עיבוד מוקדם: 1FLT: 1 שינו את נתוני האימון כדי להסיר את הקורלציה המוטעה לפני תחילת האימון, החלת הדגימות או יצירת נתונים סינתטיים לאזן קבוצות.
  • (ב) עיבוד:0 (ב-In-מעבד: 1) הוספת מונח ההוגנות לתפקוד האובדן.המודל לומד לסחור בין דיוק והגינות במהלך אימון.
  • (FLT:0) עיבוד: 1FLT 1 מכוונן את המודל ו-#8217; תפוקה לאחר אימון כדי לעמוד בקריטריונים ההוגנות, כגון השוואת מחירים חיוביים כוזבים על פני קבוצות.

לכל גישה יש כתמים עיוורים.עדכון מוקדם יכול להפחית את הדיוק הכולל מכיוון שהוא משנה את הפצת הנתונים. In-מעבד דורש לבחור איזו הגדרה ההוגנות לייעל, שהיא עצמה החלטה בעלת ערך מוסף.פוסט-מעבדה יכולה להסתיר הטיה בסיסית שיכולה להופיע מחדש תחת שינוי ההפצה.

יועץ התחדשות

בניית בדיקות יריבות, אימות יכול להיות הופך למשחק מתמשך.מערכת אחת ( ⁇ ) מנסה למצוא קלטות שגורמות מודל היעד להיכשל.מודל היעד הוא אז מעודכן כדי לעמוד בפני הכישלונות האלה, וסיבוב חדש של התקפות מתחיל.תהליך זה, לפעמים נקרא אימון סיבולת-in-the-loop, הוכיח יעילות בשיפור העוצמה.

האתגר הוא שהיריבים מוגבלים על ידי המשאבים החישוביים שלהם עצמם. תוקף בעולם האמיתי יכול למצוא פרצות כי הקידוד המדומה החמצם.הרסה באמצעות שיטות נזילות חייב להיות לראות כהעלאת הבר לבטיחות, לא מבטיח שלמות.

אתגרים ומגבלות ב-AI Verification

הבעיה של ההגדרה

כדי לאמת כי מערכת בינה מלאכותית הוגנת או בטוחה, אנו צריכים קודם הגדרה ברורה של המשמעות של ההוגנות והבטיחות.לצערי, המושגים האלה הם קונטקסטואלית עמוקה.הוגנות יכולה להיות מפורצת כשוויון של הזדמנויות, שוויון דמוגרפי או הגינות אינדיבידואלית, והגדרות אלה יכולות להתמודד עם מודל זה.מודל שהשגת שוויון הזדמנויות, ולהיפך.

בטיחות היא גם מדהימה.האם מדובר ברכב אוטונומי ו-#8220; בטוח ” אם היא לעולם לא גורמת להתנגשות, או רק אם היא גורמת פחות התנגשות מאשר נהג אנושי?כיצד אנו שוקלים את חומרת סוגי הנזק השונים? טכניקות הדגמה יכולות רק לבדוק תכונות שצוינו במדויק.אם הסימון הוא פגם, התוצאה היא חסרת משמעות.

סקלאלה ועלויות

אימות פורמלי של רשתות עצביות עמוקות נשאר יקר חישובי.כלים שעובדים עבור מודלים עם 10,000 נוירונים עשויים לקחת ימים או שבועות כדי לרוץ על מודלים עם 100 מיליון פרמטרים.אפילו שיטות פשוטות יותר כמו בדיקות תרחיש מקיף דורשות תקציבים חישוביים עצומים וראייה אנושית.

עבור חברות סטארט-אפ וחברות קטנות יותר, העלות של אימות יסודי יכולה להיות בלתי-מחייבת.זה יוצר פער: ארגונים גדולים יותר עם יותר משאבים יכולים להרשות לעצמם AI בטוח יותר, פוטנציאל להרחיב את הפער בין מערכות מחוסמות היטב לבין אלה שעדיין מוצאים את דרכם לייצור.

בעיית הברבור השחורה

Verification הוא מבט לאחור.זה בודק את המערכת נגד מצבי כישלונ ידועים ומפרטים מוגדרים.זה לא יכול לחזות סוגים חדשים לחלוטין של כשל אשר מופיעים מהמערכת & #8217; התנהגותו בטבע.מערכת AI עשויה להיות נבדקה ביסודיות על כל תרחישי הטיה ידועים אבל עדיין לפתח הטיה חדשה כאשר הם פרוסים בהקשר תרבותי שונה.

משמעות הדבר היא אימות אינו הסמכה חד פעמית.זה חייב להיות תהליך מתמשך של ניטור, הערכה מחדש, ועדכון מערכות אשר מאומתות בפריסה יכול לסחף מתוך עמידה כפי שהם לומדים מהנתונים החדשים או כפי שהסביבה משתנה.

סיקור ו- Standards Landscape

ממשלות וגופים סטנדרטיים נעים לאחד את דרישות אימות.ה-FLT:0 [EU AI Acteurph 1] המנדטים כי מערכות בינה מלאכותית בסיכון גבוה עוברים הערכה עקבית הכוללת ביקורת, תיעוד והשגחה אנושית.הפעולה דורשת בדיקה מפורשת להגינות ובטיחות, עם עונשים על אי התאמה.

בבריטניה, המרכז לאתיקה ולחדשנות פרסם הנחיות על שקיפות אלגוריתמית בסין, משרד המדע והטכנולוגיה פרסם הנחיות לסקירה אתיקה ל-AI הכוללות דרישות ההוגנות.סטנדרטים בינלאומיים כגון ISO/IEC 42001 (מערכות ניהול AI) ו- IEEE & #8217;sFLT: 07001-20211FRELT:1 (Transency of Systems אוטונומית) מספקים מסגרות לארגוני אימות לארגוני אימות.

תקנות וסטנדרטים אלה חולקים עקרונות משותפים: שקיפות, אחריות, תיעוד ו ניטור רציף.הם גם יודעים כי אימות אינו אחד בגודל של התאמה - כל הפעילות.השקיה הנדרשת תלויה ברמת הסיכון של היישום.

המלצות מעשיות לארגונים

אין טכניקת אימות אחת מספיקת בעצמה.תוכנית חזקה משלבת שיטות מרובות בשכבות:

  1. (ה) [13] מוקדם יותר.10.10.10.10.001 , Verification לא צריך להיות מעקב אחר נתונים, כולל בדיקות ביקורת והגינות מתחילת הפרויקט.
  2. (FLT:0) תרחישים סיכון של ההרחבה 1 (FLT:103) עם בעלי עניין, רשימת מצבי הכישלון הגרועים ביותר עבור מערכת הבינה המלאכותית שלך. השתמש בתרחישים אלה כדי לתכנן בדיקות.
  3. (FLT:0Build different testsure) .FLT:1 וודאו שנתוני מבחן מכסה קבוצות, מקרים קצה, קלטות יריבות.
  4. (FLT:0)Use הן הערכה אוטומטית והן אנושית.FreaLT:1 , מדדים אוטומטיים לתפוס omalies סטטיסטיות; בודקים אנושיים תופסים כישלונות תלויי הקשר.
  5. (ב) ⁇ :0) ניטור מתמשך של ההרחבה (FLT:103) לוחות נתונים של מעמקים אשר עוקבים אחר מדדים מוטהיים, דיוק על פני קבוצות משנה, וביצועים נסחף לאורך זמן.
  6. (ב) [ה]ה']: [ה'], [ה'], [ה'], [ה'], [ה'], [ה'], [ה'],] '[ה']'], [ה'], [ה'ה'], [ה'], [ה']']''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''
  7. (ב) ויקרא י"א: "ה' י"א י"א י"א י"א י"א י"א י"א ,"ו, ויקרא י"ד: "כל אחד מהם ינסה לעשות זאת כדי לשפר את המערכת ואת בדיקותיה.

הדרך Ahead

אימות בינה מלאכותית הוא תחום מתפתח במהירות.מחקר באימות פורמלי מתקדם לקראת סקאלה למודלים גדולים יותר.טכניקות כמו פרשנות מכניסטית שמטרתה להפוך את החישובים הפנימיים של רשתות עצביות, המציע הבנה עמוקה יותר של התנהגותן. גישות פדרונדות מאפשרות לארגונים מרובים לשתף ממצאים אימות מבלי לחשוף מודלים קנייניים.

במקביל, הפיתוח של AI ומודלים שפה גדולים מציג אתגרים חדשים.מודלים אלה יש חלל קלט כמעט אינסופי ויכולים לייצר פלטים בלתי צפויים.בדיקתם לבטיחות והטיה דורש שיטות חדשניות שאינן קיימות טכניקות מבוססות סיווג.

המטרה הסופית היא לא לחסל את כל הסיכון, אלא להפוך מערכות בינה מלאכותית שקוף, אחריות, ויישרות עם ערכים אנושיים. Verification הוא ערכת הכלים החיונית למשימה זו.זה מנהג שדורש ענווה, קשיחות ונכונות לקבל כי שום מערכת אינה מושלמת.