משככי כאבים ב- Supervised Learning: מ"ס לקרוס-אנטרופיה

פונקציות אובדן חיוניות בלמידה בפיקוח, כאשר הם מודדים את ההבדל בין פלטים חזופים לבין תוויות בפועל.הם להנחות את תהליך האימון על ידי מתן מדד לאופטימיזציה. פונקציות אובדן שונות משמשים בהתאם לסוג הבעיה ומאפיינים הנתונים.

טעות מרובעת (MSE)

טעות מרובעת ממוצעת משמשת בדרך כלל למשימות רגרסיה.זה מחשב את הממוצע של הריבועים של ההבדלים בין ערכים חזו ואמיתיים.

(ב) ⁇ (ב) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

שם ycioFLT:0icioFLT:1 הוא הערך האמיתי, ⁇ Fillo:2iph 3: הוא הערך הצפוי, ו n הוא מספר הדגימות. MSE מעניש שגיאות גדולות יותר בכבדות, מעודד את המודל למזער סטיית משמעותיות.

אובדן קרוס-אנטרופי

אובדן קרוס-נטרופי משמש בעיקר למשימות סיווג.זה מודד את הדיסדמיות בין חלוקת ההסתברות המצופה לבין החלוקה האמיתית. עבור סיווג בינארי, הנוסחה היא:

(ב) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

כאשר y הוא התווית האמיתית (0 או 1), ו ⁇ הוא ההסתברות הצפויה של המעמד החיובי. הפונקציה אובדן זה מעניש תחזיות שגויות יותר כבדות כאשר המודל בטוח אך לא נכון.

השוואה ושימוש

MSE מתאים למשתנהי פלט רצופים, בעוד שקרוס-טרופיה אידיאלית עבור נתונים קטגוריאליים.בחירת תפקוד האובדן המתאים תלויה בסוג הבעיה ובאופי הפלט.