ويشكل إنهاء مشاكل التدرج تحدياً مشتركاً في تدريب الشبكات العصبية العميقة، إذ تحدث عندما تصبح المواظب على التدرج صغيرة جداً، مما يحول دون تعلم الشبكة بفعالية، ويمكن فهم الأسباب والحلول أن يحسن الأداء النموذجي واستقرار التدريب.

فهم العتّاب المختفين

وتنشأ مشكلة التدرج المختفية في المقام الأول في شبكات عميقة أثناء عمليات التخلف، حيث أن الإشارة الخاطئة تتجه إلى الوراء عبر طبقات عديدة، فإن التدرجات يمكن أن تتناقص بشكل متقطع، مما يؤدي إلى بطء شديد في التعلم أو إلى عدم التعلم في طبقات سابقة.

الأسباب المشتركة

  • استخدام وظائف التنشيط مثل النسيج أو التدفئة التي تُدخل في النطاقات الصغيرة.
  • بنية الشبكة العميقة مع العديد من الطبقات
  • -العملية الأولية غير مناسبة للوزن

الحلول العملية

ويمكن لعدة تقنيات أن تخفف من التدرجات المفقودة وأن تحسن نتائج التدريب.

وظائف النشء

كما أن رد الظواهر الجاذبية أو الشم مع وحدة خطوط الصرف المعدلة أو متغيراتها يساعد على الحفاظ على تدفق التدرجات، ولا تحصر هذه المهام المدخلات في النطاقات الصغيرة، مما يسمح للمتدرجين بأن يمروا عبرها بمزيد من الفعالية.

بدء التشغيل

وباستخدام أساليب الاستبدالية السليمة، مثل الاختراع في الزافيير أو الاستهلالية، يمكن أن يحول دون اختفائ أو انفجار المتدرجين في بداية التدريب.

الهيكل الشبكي

ويسمح تنفيذ الاتصالات المتبقية أو الروابط المتسربة للمتدرجين بالتجاوز عن بعض طبقاتهم، مع الحفاظ على قوتهم أثناء عمليات التبريد.