والمعلومات المتبادلة هي تدبير إحصائي يستخدم لتقييم التبعية بين متغيرين، وفي اختيار الملامح، يساعد على تحديد السمات التي لها أهم المعلومات عن المتغير المستهدف، وتستخدم هذه الطريقة على نطاق واسع في التعلم الآلات لتحسين الأداء النموذجي باختيار الملامح الأكثر استنارة.

ما هي المعلومات المتبادلة؟

وتصنف المعلومات المتبادلة كمية المعلومات التي يتم الحصول عليها عن طريق متغير عشوائي آخر، وهي تقيس الحد من عدم التيقن الذي يكتنف أحد المتغيرات، نظراً لمعرفة الآخر، وتدل القيمة العالية للمعلومات المتبادلة على وجود اعتماد أقوى بين المتغيرات.

حساب المعلومات المتبادلة

وتشمل الحسابات توزيع المتغيرات المحتملة، وتستند الصيغة إلى التوزيع المشترك للاحتمالات وتوزيع المتغيرات حسب الاحتمالات الفردية، والصيغة العامة هي:

I(X;Y) = مجموع المساحة الإجمالية للقطع (x،y) (p(x,y) / (p(x) p(y))))

أين:

  • p(x,y)] هو الاحتمال المشترك لل X و Y
  • p(x)] and ]p(y) are the marginal probabilities

الطلب في اختيار الأعضاء

وفي مجال اختيار الملامح، تساعد المعلومات المتبادلة على تحديد السمات الأكثر أهمية للمتغير المستهدف، وتعتبر المعالم التي لها درجات أعلى من المعلومات المتبادلة أكثر استنارة، وتعطى الأولوية للتدريب النموذجي، وتخفض هذه العملية البعدية وتحسن كفاءة النموذج.

وتشمل الأساليب المشتركة حساب المعلومات المتبادلة بين كل سمة والهدف، ثم اختيار الملامح الرئيسية استنادا إلى النقاط، وهذا النهج مفيد بصفة خاصة لمعالجة البيانات الرفيعة الأبعاد.