إن اختيار حجم مناسب أو معدل تعليمي أمر أساسي لتدريب الشبكات العصبية العميقة بفعالية، وهو يؤثر على سرعة تقريب النماذج ويؤثر على استقرار عملية التدريب، وتوفر هذه المادة نهجا عمليا لحساب حجم خطى النسب في نماذج التعلم العميق.

فهم نسبة كبار السن

النسب المتدرج هو خوارزمية مُستَخدَمة للتقليل من وظيفة الخسارة إلى أدنى حد من خلال التحديث المُتكرر لأثقال النموذج، حجم الخطوة يحدد حجم هذه التحديثات، وحجم خطوة كبير جداً يمكن أن يسبب الإفراط في التصويب، بينما قد يؤدي صغر حجمها إلى تباطؤ التقارب.

حساب حجم الخطوة

طريقة عملية واحدة تتضمن استخدام "ليبستشيتز" الثابت لدرجات الخسارة إذا كان هذا ثابتاً، مخصوماً بـ "إل" معروفاً أو مقدراً، يمكن تحديد حجم الخطوة بـ "1L" وهذا يضمن التقارب المستقر أثناء التدريب

وفي الحالات التي لا يعرف فيها إل، يتمثل النهج المشترك في إجراء بحث خطي أو استخدام أساليب تهوية مثل جداول معدلات التعلم، وهذه التقنيات تكيف حجم الخطوة استنادا إلى التقدم المحرز في التدريب.

النمر العملي

  • ابدأ بمعدل تعليمي صغير و ازيده تدريجياً
  • رصد وظيفة الخسارة للكشف عن التقارب أو التقارب البطيء.
  • استخدموا أجهزة التكييف مثل (آدم) أو (ارمبروب) التي تعدل حجم الخطوة تلقائياً
  • معدل التعلم التطبيقي يتناقص لتكرير التدريب أثناء تقدمه.