فالتسرب هو أسلوب تنظيمي يستخدم في الشبكات العصبية لمنع الإفراط في الملاءمة، وهو ينطوي على تعطيل عشوائي لمجموعة فرعية من الأعصاب أثناء التدريب، مما يشجع الشبكة على تطوير سمات أكثر قوة، ويمكن فهم أساسها النظري وتنفيذها العملي أن يحسن الأداء النموذجي والتعميم.

المؤسسات النظرية للإسقاط

وقد تم إدخال التسرب كوسيلة للحد من التماثلات المعقدة بين الأعصاب، ومن خلال التسرب العشوائي للوحدات أثناء التدريب، تتعلم الشبكة التمثيلات الزائدة، مما يعزز قدرتها على تعميم البيانات غير المنظورة، ويمكن النظر إلى هذه التقنية على أنها تقريب لتدريب مجموعة من الشبكات المختلفة في آن واحد.

نُهج التنفيذ العملي

ويتطلب تنفيذ الانقطاع عن الدراسة اهتماماً فعالاً لبعض المعايير، إذ إن معدل الانقطاع عن الدراسة، الذي يحدد احتمال تعطيل الأعصاب، يتراوح عادة بين 0.2 و0.5، وهو يطبق عادة بعد طبقات متصلة تماماً وأحياناً بعد طبقات الثورة، تبعاً للهيكل.

وأثناء التدريب، يكون التسرب نشطاً، ولكن يُطفى أثناء الاختبار، ولتعويض الوحدات المسقطة، يتم ضخ الأوزان بشكل مناسب أثناء الاختبار، ويعالج العديد من أطر التعلم العميق هذا تلقائياً، مما يبسط عملية التنفيذ.

عدد إضافي من الأدوات المستخدمة في استخدام التسرب

  • الإنقطاع عن العمل مع طرق أخرى لتسوية الوزن
  • تعديل معدلات التسرب استنادا إلى تعقيد النموذج ومجموعة البيانات.
  • استخدام التسرب في طبقات متصلة بالكامل، أساسا، لأنه أقل فعالية في طبقات الثورة.
  • رصد أداء المصادقة لتجنب التسرب المفرط، مما قد يعوق التعلم.