Table of Contents
تکنیک های منظم سازی در یادگیری ماشین برای جلوگیری از بیش از حد و بهبود تعمیم مدل ضروری است.آنها فرایند یادگیری را با اضافه کردن محدودیت ها یا مجازات به پارامترهای مدل تغییر می دهند.این مقاله تئوری پشت منظم سازی، چگونگی انجام محاسبات و بهترین شیوه ها برای پیاده سازی را بررسی می کند.
بنیادهای تئوری منظم سازی
منظم سازی شرایط اضافی را به تابع از دست دادن برای مجازات مدل های پیچیده معرفی می کند. روش های مشترک شامل L1 مرتب سازی، که باعث تشویق به کم تحرکی و منظم شدن L2 می شود، که باعث دلسرد کردن وزن های بزرگ می شود.این تکنیک ها به تعادل مدل مناسب و پیچیدگی کمک می کنند.
محاسبه ها و اجرای
محاسبه عملکرد منظم از دست دادن شامل اضافه کردن شرایط مجازات به از دست دادن اصلی است.برای مثال، تابع از دست دادن L2 به طور منظم:
[[ویرایش] [۱] [۱۰] [۱] [۱۰] [۱] [۱۰] [۱۰] [۱۰] [۱۰] [۳] [۱۰] [۳] [۳] [۳] [۲] [۱۰] [۲] [۱۰] [۳] [۳] [۳] [۳] [۳] [۲] [۲] [۳] [۲] [۲] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۲] [۲] [۲] [۲] [۳] [۲] [۳] [۳] [۲] [۲] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۲] [۲] [۲] [۳]
در جایی که λ پارامتر منظم کنترل قدرت مجازات است. الگوریتم های بهینه سازی مانند شیب دار برای شامل این مجازات ها، به روز رسانی وزن بر اساس آن سازگار هستند.
بهترین روش ها برای منظم سازی
انتخاب تکنیک و پارامترهای منظم مناسب بسیار مهم است. Cross-validation به تعیین λ value مطلوب کمک می کند.همچنین مهم است که عملکرد مدل را برای جلوگیری از کمپوش یا بیش از حد منظم سازی، با تکنیک های دیگر مانند انتخاب ویژگی برای بهترین نتایج ترکیب شود.