קבלן כושר Characteristic (ROC) ושטח תחת Curve (AUC) הם מדדים חשובים המשמשים כדי להעריך את הביצועים של מודלים סיווג בפיקוח. הם מסייעים להבין כמה מודל מבחין בין שיעורים על פני סף שונה.

הבנה: ROC C C C C C C C C C C C C C C C C C C C CRA

עקומת ROC מבססת את השיעור החיובי האמיתי (רגישות) כנגד שיעור החיובי המזויף (1 ספציפית) בהגדרות סף שונות.זה מספק ייצוג חזותי של יכולת המודל להבחין בין שיעורים חיוביים ושליליים.

עקבו אחרי AUC

האזור תחת ה- Curve (AUC) משווה את היכולת הכוללת של המודל להבחין בין המעמדות. AUC של 0.5 אינו מצביע על יכולת מפלה, שווה ערך לנחש אקראי. AUC של 1.0 מסמל סיווג מושלם.

עקבו אחרי ROC ו- AUC

ערכים גבוהים יותר של AUC מציעים ביצועים טובים יותר של מודל.כאשר השוואת מודלים, אחד עם AUC גבוה הוא בדרך כלל מעדיף. עם זאת, חשוב לשקול את ההקשר ואת דרישות היישום ספציפיות.

שיקולים מעשיים

ROC ו- AUC הם שימושיים ביותר כאשר השיעורים מאוזנים.במקרים של נתונים לא מאוזנים, מדדים אחרים כמו עקומות Precision-Recall עשויים לספק תובנה נוספת.זה גם חיוני להעריך מדדים אלה על נתונים אימות כדי להימנע מהתאמה יתר.