יסודות מתמטיים של למידה על-ידי Supervised: מניעת הפסדים וגראדג'טים

למידה על-ידי Supervised היא תחום ליבה של למידת מכונה הכולל מודלים של הכשרה באמצעות נתונים מתוייגים.הבנת היסודות המתמטיים מסייעת בעיצוב אלגוריתמים יעילים על ידי מניעת פונקציות אובדן ו ⁇ שלהם, אשר מדריך את תהליך אופטימיזציה.

אובדן תפקודים בסופר-ביקור

פונקציות אובדן מודדות את הפער בין הפלטים הצפויים של מודל לבין התווית בפועל.הם חיוניים למודלים הכשרה על ידי מתן ערך מדרגר המצביע על כמה טוב המודל מבצע.

פונקציות אובדן נפוצות כוללות שגיאות מרובעות (MSE) עבור משימות רגרסיה והפסד קרוס-אנטר עבור משימות סיווג.הבחירה של אובדן תפקוד משפיעה על תהליך הלמידה ועל התנהגות ההתכנסות.

מניעת גרידי אובדן תפקודים

הגדלים הם נגזרות של תפקוד אובדן ביחס לפרמטרים מודל.הם מצביעים על הכיוון וההיקף של ההתאמות הדרושות כדי למזער את ההפסד במהלך האימון.

לדוגמה, ⁇ של MSE ביחס לחיזוי (שנאה) הוא (2((hat {y}- y)), שבו (y) הוא התווית האמיתית. נגזר זה מדריך את הכלל העדכון באלגוריתמים של ירידה.

אופטימיזציה באמצעות Gradients

אלגוריתמים של הירידה המשתנים באופן יצירתי לעדכן את הפרמטרים של המודל על ידי מעבר בכיוון ההפוך ל- ⁇ .תהליך זה מצמצם את תפקוד האובדן, שיפור הדיוק של המודל לאורך זמן.

• דמיין את ההפסד לתחזיות הנוכחיות.
• נציח את ⁇ ההפסד ביחס לפרמטרים.
• עדכון פרמטרים על ידי subtracting a scaled ⁇ .
• חזור עד להתכנסות או עצירת קריטריונים.