Table of Contents
تکنیک های منظم سازی در یادگیری ماشین برای جلوگیری از بیش از حد ضروری هستند، که زمانی رخ می دهد که یک مدل به جای الگوی اساسی، سر و صدا را یاد می گیرد. پیاده سازی روش های منظم موثر باعث بهبود تعمیم مدل و عملکرد در داده های ناشناخته می شود.
L1 مرتب سازی (Lasso)
مرتب سازی L1 یک مجازات برابر با مقدار مطلق از اندازه ضریب ها اضافه می کند، این باعث می شود که کمپرستی، به طور موثر کاهش برخی از ضریب ها به صفر، که می تواند منجر به انتخاب ویژگی و مدل های ساده تر شود.
2 مرتب سازی (Ridge)
مرتب سازی L2 یک مجازات متناسب با مربع از ضریب ها را اضافه می کند.این باعث می شود وزن های بزرگ را دلسرد کند و منجر به مدل های نرم تر می شود که نسبت به نوسانات داده های آموزشی حساس نیستند.
Dropout
Dropout یک تکنیک است که عمدتا در شبکه های عصبی مورد استفاده قرار می گیرد که در طی آموزش نورون های منتخب به طور تصادفی نادیده گرفته می شوند، این مانع از آن می شود که نورون ها بیش از حد، کاهش بیش از حد و بهبود قوی بودن مدل ها.
توقف اولیه
توقف اولیه شامل نظارت بر عملکرد مدل در یک مجموعه اعتبار در طول آموزش است. آموزش متوقف می شود زمانی که عملکرد شروع به کاهش می کند، جلوگیری از مدل از بیش از حد داده های آموزش.
منظم سازی در تمرین
استفاده از تکنیک های منظم سازی نیاز به تنظیم هیپرپارمتر مانند قدرت منظم سازی دارد. Cross-validation به تعیین ارزش های بهینه، متعادل کردن پیچیدگی مدل و عملکرد کمک می کند.