Table of Contents
منظم سازی یک تکنیک است که در یادگیری ماشین برای جلوگیری از بیش از حد با اضافه کردن مجازات به عملکرد از دست دادن استفاده می شود، این به مدل ها کمک می کند تا داده های بهتر به دیده نشده را با مسدود کردن راه حل های بیش از حد پیچیده تعمیم دهند.
نظریه منظم سازی
منظم سازی شرایط اضافی را به عملکرد عینی در طول آموزش معرفی می کند، این اصطلاحات پارامترهای مدل بزرگ را مجازات می کنند، مدل های ساده تر را تشویق می کنند که کمتر احتمال دارد در داده های آموزشی سر و صدا قرار بگیرند.
تکنیک های معمول سازی
- منظم سازی: ارزش مطلق ضریب را به تابع از دست دادن اضافه می کند، ترویج کمپرستی.
- مرتب سازی: ارزش مربعی از ضریب ها را اضافه می کند، تشویق وزن های کوچکتر.
- Dropout: به طور تصادفی واحدهای را در طول آموزش برای کاهش وابستگی به نورون های خاص کاهش می دهد.
- توقف: آموزش را متوقف می کند، زمانی که عملکرد در داده های اعتباری شروع به کاهش می کند.
محاسبه ها و اجرای
به عنوان مثال، در رگرسیون خطی، میانگین L2 تابع هزینه را به صورت زیر اصلاح می کند:
از دست دادن = سوم خطاهای مربعی + λ * سوم وزن های مربعی
جایی که λ (lambda) پارامتر منظم سازی کنترل قدرت مجازات است.انتخاب λ مناسب بسیار مهم است و اغلب از طریق تعادل متقابل انجام می شود.
بهترین تمرین ها
هنگام پیاده سازی منظم، بهترین شیوه های زیر را در نظر بگیرید:
- از cross-validation برای تنظیم پارامترهای منظم استفاده کنید.
- با مدل های ساده شروع کنید و به تدریج پیچیدگی را افزایش دهید.
- تکنیک های منظم سازی چندگانه را در صورت لزوم ترکیب کنید.
- نظارت بر عملکرد اعتبار سنجی برای جلوگیری از کمپوش یا بیش از حد.