Overfitting הוא אתגר נפוץ באימון רשתות עצביות מורכבות, שבו מודלים מבצעים היטב על נתוני אימון אבל גרוע על נתונים לא נראים.טכניקות של התרגילות עוזרות לשפר את יכולת ההכללה של המודלים הללו על ידי מניעת התאמה יתר. מאמר זה חוקר שיטות סטנדרטיזציה מתקדמות כי הם יעילים עבור רשתות עצביות מורכבות.

עזוב ומשתנים

Dropout הוא טכניקת סדירזציה בשימוש נרחב כי באופן אקראי מרתיעה תת-קבוצה של נוירונים במהלך אימון. Variants כמו חסימה ספאטי ו DropConnect מציג שינויים כדי לשפר את הביצועים בתרחישים ספציפיים. Dropout עוזר להפחית את ההסתמכות על נוירונים ספציפיים, קידום למידה תכונה חזקה יותר.

משקל רגיל

סדיר משקל מוסיף תנאי עונש לתפקוד אובדן כדי להגביל את גודל המשקל.שיטות נפוצות כוללות את L1 קבועזציה, אשר מעודד ספאריות, ו- L2 סדירזציה, אשר מרתיעה משקולות גדולות.טכניקות אלה מסייעות למנוע את המודל מרעש מתאים בנתונים האימונים.

איסוף נתונים וזריקת רעש

הגדלת נתונים באופן מלאכותי מרחיבה את נתוני האימון על ידי יישום שינויים כגון סיבובים, דרוג, או שינוי צבע. הזרקת רעש כרוך הוספת רעש אקראי קלטות או משקולות במהלך אימון. שתי השיטות לשפר את עמידות המודל ולהפחית את הכדאיות על ידי חשיפת המודל לריאציות נתונים מגוונות.

טכניקות מתקדמות

שיטות סדיר מתקדמות אחרות כוללות:

  • (ב) ויקרא י"א): "ה', ה' יברך את השכבות בתכליתו של ה'.
  • (ב) ,0) , בתחילת דרכו: 1 (הראשונה) מפסיק את האימונים כאשר ביצועי אימות מפסיקים להשתפר.
  • (ב) ⁇ :0) נורמטיביזציה: FLT:1, מעצימה את נורמה ספקטרלית של מזחלות משקל לייצוב אימון.
  • (ב) ,0)DropBlock: 1FLT טיפות אזורים בולטים במפות תכונה, שיפור הסדירזציה.