از بین رفتن و انفجار گرادیان مسائل رایج در آموزش شبکه های عصبی عمیق هستند.آنها زمانی رخ می دهند که گرادیان در طول ارتقاء عقب بسیار کوچک یا خیلی بزرگ می شوند، که بر روند یادگیری تأثیر می گذارد. درک این پدیده ها شامل تجزیه و تحلیل محاسبات پشت به روز رسانی وزن و بررسی راه حل های بالقوه است.

دانلود فیلم Vanishing

ناپدید شدن Gradient زمانی اتفاق می افتد که گرادیان به طور چشمگیری کاهش می یابد زیرا آنها از طریق لایه ها به عقب پخش می شوند، این منجر به به به روز رسانی های بسیار کوچک وزن می شود، و باعث می شود شبکه به طور آهسته یاد بگیرد یا یادگیری را متوقف کند.

اگر از لحاظ ریاضی، مشتق تابع فعال کمتر از 1، گرادیان در لایه l] بیان شود، می توان به عنوان:

[[ویرایش] [[[ویرایش] [[[ویرایش]] [[[ویرایش]]] [[[[ویرایش]]] [[[ویرایش]] [[[ویرایش]] [[[ویرایش]] [[[[ویرایش] [2 ] [F2 ] [2 ] [F ] [2 ] [F ] [2 ] [ ] [ ] [ [ ] [ ] [ [ ] [ ] [ [ [ ] [ ] ] [ [ ] [ ] [ ] ] ] [ [ ] ] [ ] ] [ [ [ [ ] ] ] ] [ [ [ [ [ ] ] ] ] [ [ [ ] ] ] ] ] ] ] [ ] ] ] ] ] ] [ [ [ [ [ [ [ ] [ [ [ ] ] [ ] [ [ [ [ ] ] ] ] [ [ ] ] ] ] ] [ [ [ ] ] ] ] ] ] ] [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ ] ] ] ] ] ] ] ] ] ] ] [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ]

در جایی که [FLT1 ] ] [ [ [ [ مشتق از تابع فعال سازی است.

بهره برداری از Gradient Exploding

انفجار Gradient زمانی رخ می دهد که گرادیان به طور چشمگیری در طول ارتقاء مجدد رشد می کنند.این منجر به به به روز رسانی های بسیار بزرگ وزن می شود که می تواند باعث بی ثباتی و اختلاف در آموزش شود.

از نظر ریاضی، اگر مشتقات درگیر بیش از 1 باشند، گرادیان می توانند به صورت نمایی افزایش یابند:

[[ویرایش] [[[ویرایش] [[[ویرایش]] [[[[ویرایش]]]] [[[[ویرایش]]] [[[[ویرایش]]] [و ] [[[[ویرایش] [2] [2 ] [F=2 ] [F=2 ] [F= ] [2 ] [2 ] [F= ] [ [ [ [ ] [ [ [ [ ] [ ] [ ] [ ] [ ] [ ] [ ] [ ] [ ] [ ] [ [ ] [ [ ] [ ] [ ] [ ] [ ] [ ] [ ] [ [ ] [ ] [ ] [ ] [ ] [ ] ] [ ] [ ] [ ] [ ] [ ] [ [ ] [ ] [ ] [ [ [ [ ] [ ] [ [ ] [ ] ] ] [ [ ] [ ] [ ] ] [ ] [ [ [ [ [ [ [ ] [ ] [ ] [ ] [ [ [ [ [ ] [ ] [ ] [ ] [ ] [ ] [ [ [ [ ] [ ] [ ] [ [ [ [ [ [ [ ] ] ] [ [ [ ] ] ] ] ] ] [ ] [ ] [ ]

راه حل برای Vanishing و Exploding Gradients

چندین تکنیک می توانند این مسائل را کاهش دهند:

  • آغاز اولیه: استفاده از روش هایی مانند خاویر یا اولیه او کمک می کند تا گرادیان پایدار حفظ شود.
  • [[۱] [۱۰] [۱] [۱] [۱] [۱] [۱]] [۱] [۱]] [۱] [۱]] [۱]] [۱] [۱] [۱] [۱]] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۲] [۲] [۲]] [۲] [۲] [۲] [۲] [۲] [۲] [۱] [۲] [۲] [۱]]] [۲] [۲] [۲] [۲] [۱]]] [۱]]]]] [۲] [۱] [۲] [۱] [۱] [۲] [۲] [۱] [۱] [۱] [۱] [۱] [۲] [۲] [۲] [۲] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [۲] [
  • نمونه برداری مستقیم: [FLT 1] محدود کردن حداکثر ارزش گرادیان جلوگیری از انفجار.
  • عادی سازی: عادی سازی Batch فرآیند یادگیری را تثبیت می کند.