למידה על-ידי פיקוח כוללת מודלים של הכשרה כדי לבצע תחזיות בהתבסס על נתונים מתוייגים. הערכת הביצועים של מודלים אלה דורש חישוב דיוק ומדביר שגיאות שונים. המדדים האלה לעזור לקבוע כמה טוב המודל צופה תוצאות וזיהוי אזורים לשיפור.

הבנה של חיזוי

דיוק חיזוי מודד את שיעור התחזיות הנכונות שנעשו על ידי המודל.זה נפוץ עבור משימות סיווג שבו התוצאות הן קטגוריות. דיוק גבוה יותר מצביע על ביצועים טובים יותר של המודל.

כדי לחשב דיוק, לחלק את מספר התחזיות הנכונות על ידי מספר התחזיות הכולל:

(הופנה מהדף ADA)(מספר התחזיות הנכונות) / (התחזיות הכוללות)

טעות נפוצה

עבור משימות רגרסיות, שבו תחזיות הן ערכים רצופים, מדדי שגיאות לכמת את ההבדל בין ערכים חזו ואמיתיים. המדדים המשותפים כוללים שגיאה מוחלטת (MAE), שגיאה מרובעת (MSE), ושגיאה מרובעת שורש (RMSE).

מדדים אלה מחושבים כדלקמן:

  • (ב) ⁇ :0) ⁇ : ⁇ : 1 (ב) בממוצע ההבדלים המוחלטים בין ערכים חזו ואמיתיים.
  • (ב) ⁇ :0) ,1 (ב) , בממוצע, של הבדלים בין ערכים חזויים לבין ערכים אמיתיים.
  • מקור:0 (ב) ,0) ,5 ,1, ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

ערכים נמוכים יותר עבור מדדים אלה מצביעים על ביצועים טובים יותר של המודל.

יישום מסובכים בפרקטיקה

רוב ספריות למידת מכונה מספקות פונקציות לחשב את המדדים האלה בקלות.לדוגמה, בספריית הסקיט-לימוד של פייתון, פונקציות כמו FLT:0,FLT:1, ו-FLT:2 משמשות בדרך כלל.

חשוב לבחור את המדד המתאים על בסיס סוג המשימה - סיווג או תוקפנות - ואת המטרות הספציפיות של הערכת המודל.