Table of Contents
بهینه سازی عملکرد شبکه های عصبی شامل انتخاب تکنیک های مناسب برای اولیه وزن و منظم سازی است.این روش ها به بهبود کارایی آموزش و دقت مدل با جلوگیری از مسائل مانند از بین رفتن گرادیان و بیش از حد.
تکنیک های اولیه وزن
اولیه وزن مناسب برای آموزش موثر بسیار مهم است.این تضمین می کند که شبکه با وزن مناسب شروع می شود، تسهیل همگرایی سریع تر و عملکرد بهتر است.
روش های اولیه سازی مشترک
- آغاز اولیه: [FLT 1] ارزش های تصادفی کوچک را به وزن، اغلب با استفاده از یکنواخت یا توزیع های عادی اختصاص می دهد.
- اولین بار در مرحله اول: [FLT 1] طراحی شده برای حفظ و فصل فعالیت های سازگار با لایه ها.
- [[۱] [۱۰] [۱] [۱۰] [۱] [۱۰] [۱]] [۳] [۳] [۳] [۳] برای فعال سازی مجدد مناسب است، و این امر بر اساس تعداد واحدهای ورودی، تفاوت ها را سازگار می کند.
تکنیک های منظم سازی
روش های منظم سازی به جلوگیری از بیش از حد با اضافه کردن محدودیت ها به فرآیند آموزش کمک می کند.آنها توانایی مدل را برای تعمیم به داده های دیده شده بهبود می دهند.
روش های منظم سازی محبوب
- Dropout: به طور تصادفی نورون ها را در طول آموزش برای کاهش وابستگی به مسیرهای خاص غیرفعال می کند.
- [[۱] [۱۰]: ۲ [۱۰] مرتب سازی: [[۱۰] [۱۰] [۱] [۱] [۱] [۱] مجازات متناسب با وزن های مربعی به تابع از دست دادن اضافه می کند.
- توقف: آموزش را متوقف می کند، زمانی که عملکرد در داده های اعتباری شروع به کاهش می کند.