Overfit و underfit مسائل رایج در مدل های یادگیری ماشین هستند.آنها بر توانایی مدل برای تعمیم از داده های آموزشی به داده های دیده نشده تأثیر می گذارند. درک پایه های ریاضی آنها به طراحی مدل های بهتر و انتخاب راه حل های مناسب کمک می کند.

بنیادهای ریاضی

Overfit زمانی اتفاق می افتد که یک مدل نه تنها الگوی اساسی را یاد می گیرد بلکه سر و صدا در داده های آموزشی نیز به صورت ریاضی، منجر به یک خطای آموزش پایین می شود، بلکه خطای بالا در داده های جدید اتفاق می افتد زمانی که مدل بسیار ساده برای گرفتن ساختار داده ها، که منجر به خطاهای بالا در هر دو آموزش و آزمایش داده ها می شود.

معامله گری تعصبی این پدیده ها را توضیح می دهد. مدل های تعصب بالا تمایل به کم کاری دارند، در حالی که مدل های با اختلاف بالا تمایل به بیش از حد تعادل دارند و اختلاف نظر برای عملکرد مدل بهینه ضروری است.

شاخص های ریاضی

متریک هایی مانند خطای مربعی (MSE) و امتیازات متقابل-validation به شناسایی بیش از حد و کمتر مناسب کمک می کنند. شکاف قابل توجهی بین آموزش و خطاهای اعتباری نشان دهنده بیش از حد، خطاهای بالا در هر دو مجموعه داده پیشنهاد می شود.

راه حل ها و تکنیک ها

چندین روش به تکنیک های بیش از حد و مناسب مانند L1 و L2 اضافه کردن مجازات به پیچیدگی مدل کمک می کند. Cross-validation کمک می کند تا hyperparameters تنظیم شود. سیمینگ مدل باعث کاهش بیش از حد مناسب می شود، در حالی که افزایش پیچیدگی می تواند کاهش یابد.

  • منظم سازی
  • صلیب-validation
  • انتخاب
  • مدل سازی پیچیدگی تعدیل
  • افزایش داده ها