Overfit زمانی اتفاق می افتد که یک مدل یادگیری ماشینی اطلاعات آموزشی را به خوبی یاد می گیرد، از جمله سر و صدا و غیرکلامی، که توانایی آن را برای تعمیم به داده های جدید کاهش می دهد، برای توسعه مدل های قوی ضروری است.این مقاله استراتژی های عملی و اصول ریاضی پشت جلوگیری از بیش از حد.

درک Overfit

Overfit زمانی اتفاق می افتد که یک مدل به جای الگوی زیر، سر و صدا را در داده های آموزشی ضبط می کند، این امر منجر به دقت بالا در داده های آموزش می شود، اما عملکرد ضعیف در داده های ناشناخته است.

استراتژی های عملی برای جلوگیری از Overfit

  • اعتبار سنجی: از تکنیک هایی مانند ولتاژ متقابل k-fold برای ارزیابی عملکرد مدل در زیرمجموعه های داده مختلف استفاده کنید.
  • بازگشت به جرم: [FLT 1] مجازات هایی مانند L1 یا L2 مرتب سازی برای محدود کردن پیچیدگی مدل اعمال کنید.
  • توقف: آموزش هالت در هنگام عملکرد در داده های اعتباری شروع به کاهش می کند.
  • اجرای: مدل های ساده سازی با حذف پارامترهای غیر ضروری یا شاخه ها.
  • ] [داده های ] آگوستت: [ [FLT 1 ] افزایش تنوع داده ها برای بهبود تعمیم.

بنیادهای ریاضی

تکنیک های منظم سازی عملکرد از دست دادن را برای مجازات مدل های پیچیده تغییر می دهند.برای مثال، میانگین L2 یک اصطلاح متناسب با مربع وزن مدل اضافه می کند:

[ متن ] = متن (Original Loss + lambda − {i} w i^2)

در جایی که (لابا) قدرت منظم سازی را کنترل می کند، این باعث کاهش وزن های کوچکتر، کاهش پیچیدگی مدل و جلوگیری از بیش از حد می شود.