ونماذج التعلم العميقة أدوات قوية ولكنها غالبا ما تواجه عقبات مشتركة يمكن أن تعوق أدائها، ويمكن أن يساعد فهم هذه القضايا وتطبيق البصيرة الرياضية على تحسين دقة النماذج وقوتها.

التغليف المفرط وفوائده

(أ) يُحدث التفوه عندما يتعلم نموذجاً الضوضاء في بيانات التدريب، مما يؤدي إلى سوء التعميم، ويحدث الضعف عندما يكون النموذج بسيطاً جداً لالتقاط الأنماط الأساسية، وتُضاف أساليب التنظير، مثل تسوية لام2، فترة عقوبة إلى وظيفة الخسارة استناداً إلى الأوزان التي يثقلها النموذج، ويمكن التعبير عنها على النحو التالي:

Loss = Empirical Loss + ⁇

حيث يتحكم (إيكو) في قوة التنظيم، يساعد على تحقيق التوازن بين التحيز والفروق.

التخزين والتفريغ

وأثناء عملية التخلف، يمكن أن تصبح التدرجات صغيرة جدا (مُنَزَّعة) أو كبيرة جداً (مُستغلة) تعوق التدريب، ويخفف استخدام وظائف الحفز مثل وحدة إعادة التوطين وإعادة الإدماج من التدرجات المختفية لأن مشتقاتها ثابتة في المدخلات الإيجابية، وبالإضافة إلى ذلك، فإن تقنيات التطبيع مثل تطبيع البات تثبِّت التدريب بالإبقاء على متوسط واختلاف مدخلات الطبقات.

سوء الاستهلال

ومن شأن البدء في الأوزان بشكل غير سليم أن يبطئ من التدريب أو يسبب مشاكل التقارب، إذ أن عملية الاستيعاب المكثفة تحدد الأوزان استنادا إلى عدد المدخّلات والعصابات المنتجة، بهدف الحفاظ على الفرق بين الأنشطة المتسقة عبر المستويات، ومن الناحية المواضيعية، يتم أخذ الأوزان من التوزيع مع الفرق:

Var(w) = 2 / (n]in + n]out)]]

توازن البيانات

ويمكن أن تؤدي مجموعات البيانات المتوازنة إلى نماذج تحيز نحو فئات الأغلبية، وتفرض تقنيات مثل وظائف الخسارة المرجحة عقوبات أعلى على أخطاء فئات الأقليات، وترجح الخسائر الشاملة لعدة جوانب هي:

Loss = - ]i wi] ♪ y]i لوج (]i9]

  • تسوية الأوضاع
  • الاستهلالية السليمة
  • تقنيات التطبيع
  • زيادة البيانات
  • وزن الرتبة