ويحدث اختلال في البيانات عندما يكون توزيع الفصول في مجموعة بيانات غير متكافئ، مما قد يؤثر تأثيراً كبيراً على أداء نماذج التعلم الخاضعة للإشراف، مما يؤدي إلى التنبؤات المتحيزة وإلى انخفاض الدقة في صفوف الأقليات.

فهم توازن البيانات

وفي كثير من سيناريوهات العالم الحقيقي، تكون بعض الفصول أكثر شيوعاً من غيرها، ففي الكشف عن الاحتيال، تكون المعاملات الاحتيالية نادرة مقارنة بالمعاملات المشروعة، وهذا الاختلال يمكن أن يسبب نماذج لتفضيل فئة الأغلبية، متجاهلاً فئة الأقليات.

قياس الأثر

وللتقييم كيف يؤثر اختلال التوازن في البيانات على نموذج ما، يمكن استخدام عدة مقاييس:

  • Accuracy:] may be misleading in imbalanced datasets, as high accuracy can be achieved by always predicting the majority class.
  • الدقة وال Recall: يوفر رؤية عن قدرة النموذج لتحديد الحالات الإيجابية.
  • F1 Score:] Combines accurate and recall to give a balanced measure.
  • مقاييس قدرة النموذج على التمييز بين الصفوف عبر العتبات

حساب الأثر

ومن بين النهج المتبع في تحديد أثر اختلال التوازن في البيانات كميا مقارنة الأداء النموذجي على مجموعات البيانات المتوازنة مقابل البيانات غير المتوازنة.

  • تطبيق أساليب إعادة أخذ العينات مثل الإفراط في أخذ العينات أو أخذ العينات في الحسبان.
  • باستخدام توليد البيانات الاصطناعية مثل SMOTE.
  • تقييم القياسات قبل وبعد تقنيات الموازنة
  • تحليل التغيرات في الدقة، والتذكر، وسجل F1.

ويمكن للممارسين، من خلال قياس هذه القياسات، أن يقيّموا مدى تأثير الاختلالات على التنبؤات النموذجية وأن يحددوا استراتيجيات التخفيف الملائمة.