Table of Contents
تکنیک های منظم سازی در یادگیری عمیق برای جلوگیری از بیش از حد و افزایش توانایی مدل برای تعمیم به داده های دیده نشده ضروری است. پیاده سازی روش های منظم موثر می تواند منجر به مدل های قوی تر و دقیق تر در سراسر وظایف مختلف شود.
Dropout
Dropout یک تکنیک معمول است که به طور تصادفی یک زیرمجموعه از نورون ها را در طول آموزش غیرفعال می کند، این مانع از سلول های عصبی از co-adapting می شود و شبکه را تشویق می کند تا ویژگی های قوی تری را توسعه دهد.به طور معمول، نرخ های ترک از 0.2 به 0.5، بسته به مدل و مجموعه داده ها.
کاهش وزن
کاهش وزن، که به عنوان منظم L2 نیز شناخته می شود، یک اصطلاح مجازات برای عملکرد از دست دادن را بر اساس اندازه وزن ها اضافه می کند، این باعث می شود که وزن های بزرگ را دلسرد کند، که منجر به مدل های ساده تر می شود که کمتر مستعد بیش از حد هستند.این معمولا در ارتباط با الگوریتم های بهینه سازی مانند آدام یا SGD استفاده می شود.
اطلاعات آگوست
تقویت داده ها شامل ایجاد نمونه های آموزشی اضافی از طریق تحولات مانند چرخش، مقیاس پذیری یا رولینگ است.این تکنیک تنوع داده های آموزشی را افزایش می دهد، کمک به مدل یادگیری ویژگی های عمومی تر و کاهش بیش از حد.
توقف اولیه
توقف اولیه عملکرد مدل را در یک مجموعه اعتبار سنجی در طول آموزش نظارت می کند.هنگامی که عملکرد اعتبار متوقف می شود، آموزش متوقف می شود.این مانع از مدل بیش از حد داده های آموزش و کمک به حفظ قابلیت های عمومی سازی می شود.