گیرنده عملکرد Characteristic (ROC) و منطقه تحت Curve (AUC) معیارهای مهمی هستند که برای ارزیابی عملکرد مدل های طبقه بندی نظارت شده استفاده می شود.آنها در درک اینکه چگونه یک مدل بین کلاس ها در آستانه های مختلف متمایز می شود، کمک می کنند.

درک ROC Curve

منحنی ROC نرخ مثبت واقعی (حساسیت) را در برابر نرخ مثبت کاذب (۱خصوص) در تنظیمات مختلف آستانه قرار می دهد.این یک نمایش بصری از توانایی یک مدل برای تبعیض بین کلاس های مثبت و منفی را فراهم می کند.

محاسبه AUC

منطقه تحت Curve (AUC) توانایی کلی مدل را برای تمایز بین کلاس ها اندازه گیری می کند. AnUC از 0.5 نشان می دهد که هیچ توانایی تبعیض آمیز، معادل حدس زدن تصادفی نیست. AnUC از 1.0 نشان دهنده طبقه بندی کامل است.

دانلود بازی ROC و AUC

ارزش های AUC بالاتر عملکرد مدل بهتر را پیشنهاد می کنند، هنگامی که مدل ها را مقایسه می کنند، یکی با AUC بالاتر به طور کلی ترجیح داده می شود.

بررسی های عملی

ROC و AUC مفیدترین زمانی هستند که کلاس ها متعادل هستند.در موارد مجموعه داده های عدم تعادل، معیارهای دیگر مانند منحنی های Precision-Recall ممکن است بینش بیشتری ارائه دهند.همچنین برای ارزیابی این معیارها در داده های اعتباری برای جلوگیری از بیش از حد ضروری است.