وتشكل طبقات التسرب أسلوباً لتنظيم نماذج التعلم العميقة، ويستخدم لمنع الإفراط في التأقلم، وهي تعمل على نحو عشوائي على تعطيل مجموعة فرعية من الأعصاب أثناء التدريب، مما يشجع الشبكة على تطوير سمات أكثر قوة، ويمكن للتنفيذ السليم لطبقات التسرب أن يحسن بشكل كبير تعميم النماذج وأدائها.

مبادئ تصميم لاصدار السقوط

والمبدأ الأساسي وراء التسرب هو إدخال الضوضاء أثناء التدريب، مما يقلل من الاعتماد على الأعصاب المحددة، وهذا الطابع العشوائي يرغم الشبكة على تعلم التمثيلات الزائدة، مما يجعلها أكثر مرونة بالنسبة للبيانات الجديدة، وتشمل الاعتبارات الرئيسية اختيار معدل التسرب والتنسيب في هيكل الشبكة.

الاستخدام الفعال للتسرب في النماذج

ويصبح التسرب أكثر فعالية عندما يطبق على طبقات متصلة تماما وقبل طبقة الإنتاج، وتتراوح معدلات التسرب من 0.2 إلى 0.5، تبعا لتعقد النموذج ومجموعة البيانات، ومن الضروري تحقيق التوازن بين قوة التسرب لتجنب نقص القدرة على العمل أو الإفراط في نظام التوزيع.

أفضل الممارسات في مجال التنفيذ

  • تطبيق التسرب بعد القيام بمهام الحفز مثل وحدة التحكم في الممتلكات.
  • استخدام معدلات التسرب المختلفة لطبقات مختلفة إذا لزم الأمر.
  • التسرب من المركبة مع تقنيات أخرى لتسوية الوضع مثل تفكك الوزن
  • رصد أداء المصادقة لتعديل معايير التسرب.