חישוב קבלת מידע עבור בניין עץ ההחלטות בפועל

חישוב קבלת מידע הוא צעד בסיסי בבניית עצי החלטות.זה עוזר לקבוע את התכונה הטובה ביותר לפיצול הנתונים בכל צומת, שיפור הדיוק של המודל.תהליך זה כרוך במדידת ההפחתה של האנטרופיה לאחר שנקודת נתונים מפוצלת על בסיס תכונה מסוימת.

הבנה של Entropy

אנטרופיה מודדת את ההפרעה או חוסר הסבלנות בנקודת נתונים.זה מחושב באמצעות ההסתברות של כל מחלקה בתוך תחילת הנתונים. A Dataset עם כיתות מעורבות יש אנטרופיה גבוהה יותר, בעוד ש-Dataset טהור יש אנטרופיה נמוכה יותר.

הנוסחה של אנטרופיה היא:

(ב) ויקרא י"ד): "ה' ויקרא י':2 ויקרא יט:2 ויקרא יט" (בראשית כ"ד, כ"ד): "וַיְהִיאוּדְהִי" (בראשית כ"ד)

חישוב מידע מקבל

רווח מידע הוא ההבדל בין הטרופיה של הנתונים המקוריים לבין הטרופיה הממוצעת במשקל לאחר פיצול.זה מגדיר כמה אי ודאות מופחתת על ידי חלוקת הנתונים על בסיס תכונה.

הנוסחה לקבלת מידע היא:

(ב) ⁇ (ב) ⁇ (הילד) ⁇ (משקל) × Entropy(ילד)

צעדים מעשיים

כדי לחשב רווח של מידע בפועל, בצע את השלבים הבאים:

• חישוב הטרופיה של כל הנתונים.
• חלוקת הנתונים על בסיס התכונה שאותה הוערך.
• חישוב הטרופיה עבור כל תת-קבוצה שנוצרה על ידי הפיצול.
• נציח את הממוצע המכובד של הנטיות הללו.
• צמצם את הערך הזה מהמנזר המקורי כדי למצוא את רווח המידע.

דוגמא

נניח שלתנת נתונים יש אנטרופיה ראשונית של 0.94.לאחר פיצול מבוסס על תכונה, את ממוצע המכובד של תת-קרקעית הוא 0.5.המידע המתקבל מהפיצול הזה הוא 0.44, המציין ירידה משמעותית באי-ודאות.