إن نظام التسرب هو تقنية تستخدم في الشبكات العصبية لمنع الإفراط في التأثير، وهو ينطوي على القيام عشوائياً بإبطال مفعول مجموعة فرعية من الأعصاب أثناء التدريب، مما يساعد النموذج على تعميم البيانات غير المنظورة بشكل أفضل، وتوضح هذه المادة كيفية تنفيذ التسرب، وكيفية إجراء الحسابات، وتأثيره على أداء الشبكة العصبية.

فهم نظام التسرب

:: أعمال التسرب عن طريق تحديد نسبة من النواتج العصبية إلى الصفر بشكل عشوائي خلال كل عملية تدريب، مما يحول دون اعتماد الأعصاب اعتمادا مفرطا على سمات محددة، ويشجع الشبكة على تطوير أشكال أقوى، ويحدد معدل التسرب نسبة من الأعصاب التي تم تعطيلها.

حسابات تورطت في إسقاط

وأثناء التدريب، يُحتفظ بكل عصبي مع احتمال p]. ويُحسب ناتج الأعصاب () بعد التسرب على النحو التالي:

yi = ri] x]i

Where r]i is a Bernoulli random change with probability p] of being 1 (retained) and 0 (dropped). During inference, weights are scaled by

التأثير على تعميم الشبكة العصبية

تنفيذ الإنقطاع عن الدراسة يحسن قدرة النموذج على التعميم من خلال تقليل الملاءمة، ويجبر الشبكة على تعلم التمثيلات الزائدة، مما يجعلها أكثر مرونة للضوضاء والاختلافات في البيانات، ونتيجة لذلك، فإن النماذج التي تتركها تؤدي بشكل أفضل في بيانات المصادقة والاختبار.

  • الحد من الاعتماد على الأعصاب المحددة
  • يشجع على التعلم القوي في مجال السمات
  • انخفاضات في الملاءمة
  • تحسين دقة الاختبار