מלכודות נפוצות ב Deep Learning וכיצד לתקן את ה-Insights מתמטיים

מודלים למידה עמוקה הם כלים חזקים אבל לעתים קרובות נתקל במכשולים נפוצים שיכולים לעכב את הביצועים שלהם.הבנת בעיות אלה וליישם תובנות מתמטיות יכול לעזור לשפר את דיוק המודל ואת עמידות.

overfitting and Underfitting

התאמה מתרחשת כאשר מודל לומד רעש בנתונים האימון, המוביל להכללה גרועה.תחת התאמה מתרחשת כאשר המודל הוא פשוט מדי כדי ללכוד דפוסים בסיסיים. טכניקות שגרה, כגון L2 סדירזציה, להוסיף מונח עונש לתפקוד אובדן המבוסס על המשקל של המודל, אשר ניתן לבטא כמו:

(ב) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

כאשר λ שולט כוח הסדיר.כוונון נכון של λ עוזר איזון הטיה וחלנות.

נדרלינג ופיצוץ

במהלך backpropagation, ⁇ s יכול להיות קטן מאוד (הההבנה) או גדול מאוד (התרחבה), מעכב אימון.שימוש בפונקציות הפעלה כמו ReLU מקטין ⁇ s להיעלם כי נגזרתו הוא קבוע עבור קלטות חיוביות.בנוסף, טכניקות נורמליזציה כגון Batch Normalization ייצוב אימון על ידי שמירה על ממוצע ונפיחות של שכבות.

עדיפות גרועה

מיפוי משקולות לא תקין יכול להאט את האימונים או לגרום בעיות התכנסות.שיבאייר קובע משקולות בהתבסס על מספר תאי קלט ופלט, במטרה לשמור על השחלות של הפעלה עקביות על פני שכבות.מתמטיקה, משקולות הם מדגימות מהתפלגות עם שטיפה:

(ב) ויקרא י"ד:2 (ב) ,2 (ב) , ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

מידע על Imמאזן

נתונים מאוזנים יכולים להטיא מודלים כלפי שיעורי רוב.טכניקות כמו פונקציות אובדן משקל להקצות עונשים גבוהים יותר שגיאות מעמד מיעוט.ההפסד המעודן חוצה-הכיבוי הוא:

(ב) ויקרא י"א): "וַיְהִיא אִתָּבְהִיתִיתִי עַל הוּא הוּא הוּא הוּא הוּא" (במדבר כ"ד, כ"ד)