רשתות עצביות עמוקות יכולות להתמודד עם אתגרים במהלך האימון, במיוחד עם הבעיה ה ⁇ ית להיעלם.הנושא מתרחש כאשר ⁇ s להיות קטנים מאוד, מעכב את היכולת של הרשת ללמוד ביעילות.

הבנת בעיית ה-Vishing Gradient

הבעיה ה ⁇ הנעלמת משפיעה בעיקר על רשתות עמוקות עם שכבות רבות.במהלך ההחלמה, ⁇ s הם propagated לאחור דרך הרשת.אם ה ⁇ s פוחתת באופן אקספוננציאלי, שכבות קודמות ללמוד לאט מאוד או להפסיק ללמוד לחלוטין.זה מגביל את היכולת של הרשת למודל פונקציות מורכבות.

טכניקות ל- Mitigate The Issue

מספר שיטות יכולות לעזור להפחית את ההשפעה של ⁇ s:

  • (FLT:0) פעולות הפעלה: FLT:1 שימוש בפונקציות כמו ReLU (Rectified Linear Unit) במקום sigmoid או tanh עוזר לשמור על ⁇ חזק יותר.
  • (ב) ⁇ :0Weight Firstization: FLT:1 שיטות מקדימות נכונות, כגון: אקסבייר או החילון, למנוע ⁇ מכווץ או מרתיע תחילה.
  • (ב) ,0) ,ב"התרגילים: 1FLT: 1:1 , מיפוי של שכבות מעצימות את הלמידה ושומר על זרימת ⁇ בריאה.
  • (ב) ,0) חיבורים: FLT:1 Architectures כמו ResNet מציג קיצורי דרך המאפשרים ⁇ s לעקוף שכבות מסוימות.
  • (ב) ,0) ,Gradient Clipping: FLT:1hil הגבלת גודל ה ⁇ במהלך אימון מונעת מהם להיות קטנים מדי או גדולים מדי.

⁇ ותובנות מתמטיות

בפרשת [[המאה ה-20]] ניתן לנסח את ה[[המאה ה-20]] כ"[[1924]]]]" (ב[[1924]], [[1924]]

(ב) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

(ב) ב[[1924]], [[1924]]]], [[1924]]]]]], [[1924]]]]]], [[1924]]]]]], [[1924]]]]]]]]]], [[1924]]]]]]]], [[1924]]]]]]]], [[1924]]]]]]]]]]]], [[1924]]]]]]]], [[1924]]]]]], [[1924]]]]]]]]]]]]]], [[1924]], [[1924]], [[1924]]]]]]]]]], [[1924]]]]]]]]]], [[1924]]]], [[1924]]]]]]]]]]]], [[1924]], [[1924]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]

עבור פונקציות הפעלה כמו sigmoid, הנגזר הוא:

(ב) ⁇ (= ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

מאז ⁇ (x) טווחים בין 0 ל-1, הנגזרה יכולה להיות קטנה מאוד, במיוחד עבור גדול x, לתרום לבעיה ה ⁇ .