יישום טיפות וסדירזציה: קלקולות ואסטרטגיות למנוע התאמה

הפחתה וסדירזציה הם טכניקות המשמשות בלמידה של מכונות כדי לשפר את ביצועי המודל על ידי מניעת התאמה יתר של יתר על המידה מתרחשת כאשר מודל לומד רעש בנתונים האימון, צמצום היכולת שלה להכללת נתונים חדשים. יישום אסטרטגיות אלה כרוך חישובים ספציפיים ושיטות הטובות ביותר.

הבנה: Dropout

זרוק באופן אקראי מתפזר חלק מהנוירונים במהלך האימון, אשר מסייע למנוע מהרשת להיות מסתמך מדי על מסלולים ספציפיים.קצב הירידה קובע את אחוז הנוירונים המפוצצים בכל ההצתה.

שיעורי ירידה אופייניים נעים בין 0.2 ל- 0.5.לדוגמה, קצב ירידה של 0.3 פירושו 30% של נוירונים כבויים במהלך כל שלב אימון.זה מעודד את הרשת לפתח תכונות חזקות יותר.

יישום סדירזציה

התרגילות מוסיפה עונש על תפקוד אובדן כדי להרתיע מודלים מורכבים.הצורה הנפוצה ביותר היא L2 סדירזציה, אשר מענישת משקולות גדולות.המונח הקבוע מחושב כמו:

(ב) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

שם λ (lambda) הוא פרמטר הסדיר, ו ⁇ (wph:02cioFLT:1) הוא סכום של משקולות מרוצות.בחירת λ מתאים הוא חיוני; ערכים טיפוסיים מ 0.001 עד 0.1.

אסטרטגיות למניעת התאמה

שילוב טיפות וסדיריזציה יכול להפחית ביעילות את הכדאיות.אסטרטגיות אחרות כוללות עצירת מוקדם, הגדלת נתונים, ואימות חוצה-טווח. ביצועי ניטור סדירה ביצועים מסייע לקבוע את הפרמטרים הסדירים האופטימליים.