Table of Contents
شبکه های عصبی عمیق می توانند با چالش هایی مانند ناپدید شدن و منفجر کردن گرادیان مواجه شوند که مانع آموزش موثر می شوند. پیاده سازی استراتژی های طراحی مناسب می تواند عملکرد شبکه و ثبات را بهبود بخشد.
درک فارغ التحصیلان گمشده و Exploding Gradients
گرادیان های از دست رفته زمانی اتفاق می افتند که گرادیان ها خیلی کوچک می شوند و از به روز رسانی موثر وزن جلوگیری می کنند. شیب های پراکنده زمانی اتفاق می افتند که گرادیان به طور بیش از حد بزرگ شوند و باعث می شوند هر دو مسائل می توانند مانع روند یادگیری در شبکه های عمیق شوند.
استراتژی های جلوگیری از فارغ التحصیلان از ناپدید
استفاده از توابع فعال سازی مانند ReLU به حفظ جریان گرادیان کمک می کند. تکنیک های اولیه وزن مناسب مانند خاویر یا اولیه سازی او همچنین خطر را کاهش می دهد.
استراتژی های جلوگیری از فارغ التحصیلان
کلیپ سازی Gradient یک تکنیک رایج برای محدود کردن اندازه گرادیان در طول ارتقاء عقب است.انتخاب نرخ های یادگیری مناسب و استفاده از لایه های عادی سازی می تواند این مشکل را کاهش دهد.
طراحی اضافی
- پیاده سازی اتصالات باقیمانده برای تسهیل جریان گرادیان
- از عادی سازی دسته برای تثبیت فعال سازی استفاده کنید.
- طراحی شبکه های کم عمق در صورت امکان
- به طور منظم در طول آموزش، هنجارهای شیب را نظارت می کنند.