Table of Contents
ارزیابی مدل های یادگیری ماشین به درستی برای اطمینان از اثربخشی آنها در برنامه های دنیای واقعی ضروری است، با این حال، مشکلات رایج وجود دارد که می تواند منجر به تشخیص این مسائل و استفاده از تکنیک های مناسب می تواند ارزیابی مدل و استقرار را بهبود بخشد.
اطلاعات نشتی داده ها
نشت داده زمانی اتفاق می افتد که اطلاعات از خارج از مجموعه داده های آموزشی برای ایجاد مدل استفاده می شود.این می تواند منجر به معیارهای عملکرد بیش از حد خوش بینانه شود که نتایج دنیای واقعی را منعکس نمی کند، برای جلوگیری از این، اطمینان حاصل کنید که مراحل پیش پردازش داده ها در عرض یک لایه های متقابل انجام می شود و داده های تست در طول آموزش به طور کامل دیده نمی شوند.
استفاده از Inappropriate Metrics
انتخاب متریک ارزیابی اشتباه می تواند عملکرد یک مدل را به طور مثال، دقت ممکن است گمراه کننده در مجموعه داده های عدم تعادل باشد، در عوض، معیارهایی مانند دقت، یادآوری، F1score یا AUC-ROC را با توجه به نوع مشکل در نظر بگیرید.این به درک نقاط قوت و ضعف مدل کمک می کند.
Overfit و Underfit
Overfit زمانی اتفاق می افتد که یک مدل در داده های آموزشی سر و صدا می دهد، که منجر به تعمیم ضعیف می شود. Underfit زمانی رخ می دهد که مدل برای گرفتن الگوهای اساسی بسیار ساده است.
ارزیابی در مورد همان داده های مورد استفاده برای آموزش
ارزیابی یک مدل در همان داده های مورد استفاده برای آموزش می تواند دیدگاه بیش از حد خوش بینانه از عملکرد را ارائه دهد.همیشه از یک اعتبار جداگانه یا تست برای ارزیابی چگونگی عملکرد مدل بر روی داده های ناشناخته استفاده کنید.این عمل برآورد واقع بینانه تر از اثربخشی آن را تضمین می کند.