اولیه وزن یک گام مهم در آموزش شبکه های عصبی است. روش های مناسب به اطمینان از اینکه شبکه به طور موثر آموزش می دهد و عملکرد بهتری را به دست می آورد، کمک می کند.

اهمیت اولیه سازی مناسب

شروع وزن به درستی می تواند به طور قابل توجهی بر ثبات و سرعت آموزش تاثیر بگذارد.اول شدن خوب مانع از اشباع شدن نورون ها می شود و به حفظ گرادینت های سالم در سراسر شبکه کمک می کند.

تکنیک های اولیه سازی مشترک

چندین روش برای اولیه وزن به طور گسترده ای مورد استفاده قرار می گیرد:

  • آغاز اولیه: [FLT 1] ارزش های تصادفی کوچک، اغلب از توزیع نرمال یا یکنواخت را نشان می دهد.
  • [[۱] [۱۰]: [۱] [۱۰] [۱] [۱] [۱۰] [۱] [۱] [۱] [۱] برای فعال سازی های sigmoid و تانهید، حفظ وان و اختلاف در لایه ها.
  • [[۱] [۱۰] [۱] [۱۰] [۱] [۱۰] [۱]] برای فعال سازی مجدد LU بهینه سازی، کمک به جلوگیری از نورون های مرگ.

بهترین روش ها برای اولیه سازی

برای بهبود ثبات آموزش شبکه عصبی، بهترین شیوه های زیر را در نظر بگیرید:

  • روش های اولیه سازی را بر اساس توابع فعال سازی انتخاب کنید.
  • • اولویت های اولیه را به صفر یا ثابت های کوچک تبدیل کنید.
  • از دانه های تصادفی ثابت برای تکرار استفاده کنید.
  • آموزش نظارت بر نشانه های از بین رفتن یا انفجار گرادیان