Overfit یک چالش رایج در آموزش شبکه های عصبی پیچیده است که در آن مدل ها به خوبی در داده های آموزشی اما ضعیف در داده های دیده نشده عمل می کنند. تکنیک های منظم سازی کمک می کنند تا توانایی تعمیم این مدل ها را با جلوگیری از بیش از حد بهبود بخشد.این مقاله روش های منظم پیشرفته ای را بررسی می کند که برای شبکه های عصبی پیچیده موثر هستند.

رها کردن و تنوع

Dropout یک تکنیک منظم است که به طور تصادفی یک زیرمجموعه از نورون ها را در طول آموزش غیرفعال می کند. Variants مانند Dropout و DropConnect تغییراتی را برای بهبود عملکرد در سناریوهای خاص ارائه می دهند. Dropout به کاهش وابستگی به نورون های خاص کمک می کند و یادگیری ویژگی های قوی تر را ترویج می دهد.

منظم وزن

منظم وزن اضافه کردن شرایط مجازات به تابع از دست دادن برای محدود کردن اندازه وزن های رایج شامل L1 مرتب سازی، که باعث تشویق آبگرمکنی، و L2 منظم سازی، که باعث دلسرد کردن وزن بزرگ می شود، این تکنیک ها به جلوگیری از صدا مناسب در داده های آموزش کمک می کند.

Data Augmentation و Noise injection

تقویت داده ها به طور مصنوعی مجموعه داده های آموزشی را با استفاده از تحولات مانند چرخش، مقیاس پذیری یا تغییرات رنگ گسترش می دهد. تزریق نویز شامل اضافه کردن سر و صدا تصادفی به ورودی ها یا وزنه ها در طول آموزش است. هر دو روش تقویت مدل را بهبود می بخشد و با افشای مدل به تغییرات داده های مختلف، بیش از حد کاهش می یابد.

تکنیک های پیشرفته

سایر روش های منظم سازی پیشرفته عبارتند از:

  • [[۱]:۰ [۱]) عادی سازی: [[۱۰] [۱۰] [۱]]) ورودی های لایه را برای تثبیت یادگیری نرمال می کند.
  • [در این باره]: [[۱]] [۱۰] [۱] [۱]] [۱۰] [۱]] [۱] [۱]] آموزش را متوقف می کند، در حالی که عملکرد اعتبار سنجی متوقف می شود.
  • [[۱]:۱۰] عادی سازی: [[۱۰] [۱۰] [۱] [۱۰] [۱] [۱] [۱] [۱] [۱]] [۱] [۱] [۱] [۱] [۱]] [۱] [۱] [۱] [۱]] [۱] [۱]] [۱] [۳] [۱] [۱] [۱] [۱] [۱]] [۱] [۳] [۱] [۳] [۳] [۱] [۱]]] [۳] [۳]]] [۱] [۳] [۳]] [۳] [۳]]]]]]]]]] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۱] [۱] [۱] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳] [۳]]] [۱] [۳
  • DropBlock: مناطق پر پیچ و خم را در نقشه های ویژگی، افزایش منظم.