ويعد حساب المكاسب في مجال المعلومات خطوة أساسية في بناء أشجار القرار، ويساعد على تحديد أفضل سمة لتقسيم البيانات في كل عقد، وتحسين دقة النموذج، وتشمل هذه العملية قياس الانخفاض في التلقيح بعد تقسيم مجموعة البيانات على أساس خصائص محددة.

Understanding Entropy

ويُحسب استخدام احتمالية كل فئة في مجموعة البيانات، كما أن مجموعة البيانات التي تحتوي على فئات مختلطة لديها بيانات أعلى، في حين أن مجموعة بيانات صافية لديها بيانات أقل.

والصيغة المستخدمة في النسخ هي:

Entropy = - 03 p]i log2] p]i]

حساب الدخل في مجال المعلومات

ويكمن الفارق في الحصول على المعلومات بين مجموعة البيانات الأصلية والمتوسط المرجح للنسخ بعد الانقسام، ويصف مدى عدم اليقين الذي يُخفَّض عن طريق تقسيم البيانات استنادا إلى سمة.

والصيغة التي تُستخدم للحصول على المعلومات هي:

Information Gain = Entropy(parent) - tal ( weight of child) × Entropy(child)]

خطوات الحساب العملي

ولحساب المكاسب التي تكسبها المعلومات في الممارسة العملية، اتبع هذه الخطوات:

  • قم بحساب نسخة مجموعة البيانات بأكملها
  • تقسيم مجموعة البيانات استنادا إلى السمة التي يجري تقييمها.
  • قم بحساب المُدخل لكلّ مجموعة فرعية تمّ إنشاؤها بواسطة الإنقسام.
  • احسب متوسط هذه المنافذ
  • اسحب هذه القيمة من النسخة الأصلية لإيجاد مكسب المعلومات

مثال

يفترض أن مجموعة البيانات تحتوي على نسخة أولية تبلغ 0.94، وبعد تقسيمها على أساس سمة، يبلغ متوسط المثقل في مجموعات فرعية 0.5، ويصل ارتفاع المعلومات عن هذا القسم إلى 0.44، مما يشير إلى انخفاض كبير في عدم اليقين.