Table of Contents
Overfit زمانی اتفاق می افتد که یک مدل یادگیری ماشینی اطلاعات آموزشی را به خوبی یاد می گیرد، از جمله سر و صدا و غیرکلامی، که عملکرد آن را در داده های جدید کاهش می دهد. تکنیک های منظم سازی کمک می کند تا با اضافه کردن محدودیت ها به مدل، ترویج سادگی و بهبود تعمیم، از بیش از حد جلوگیری کنند.
درک منظم
منظم سازی شرایط اضافی را به عملکرد از دست دادن در طول آموزش معرفی می کند، این اصطلاحات مدل های پیچیده را مجازات می کنند، راه حل های ساده تر را تشویق می کنند که کمتر به روش های معمول تعمیم می دهند، شامل L1 و L2 منظم سازی.
تکنیک های معمول سازی
- مرتب سازی (Lasso): ارزش مطلق ضریب را به تابع از دست دادن اضافه می کند، ترویج کمپرستی.
- مرتب سازی (Ridge): ارزش مربعی از ضریب ها را اضافه می کند، تشویق وزن های کوچکتر.
- Dropout: به طور تصادفی نورون ها را در طول آموزش در شبکه های عصبی غیرفعال می کند تا از co-adaptation جلوگیری شود.
- توقف: آموزش را متوقف می کند، زمانی که عملکرد در داده های اعتباری شروع به کاهش می کند.
مثال های دنیای واقعی
در وظایف تشخیص تصویر، استفاده از قطره کمک می کند تا شبکه های عصبی بهتر به تصاویر دیده نشده تعمیم دهند، برای مدل های رگرسیون خطی پیش بینی قیمت مسکن، L2 منظم سازی با کاهش ضریب های بزرگ، منجر به پیش بینی های قابل اعتماد تر می شود.
در پردازش زبان طبیعی، توقف اولیه برای جلوگیری از بیش از حد در طول آموزش مدل های زبان استفاده می شود، اطمینان حاصل می شود که آنها به خوبی در داده های متنی جدید عمل می کنند.این تکنیک ها در زمینه های مختلف برای بهبود استحکام مدل و دقت مدل ضروری هستند.