Η μέτρηση του κέρδους των πληροφοριών είναι ένα θεμελιώδες βήμα στην κατασκευή δέντρων αποφάσεων. Βοηθά στον καθορισμό του καλύτερου χαρακτηριστικού για τη διάσπαση των δεδομένων σε κάθε κόμβο, βελτιώνοντας την ακρίβεια του μοντέλου. Αυτή η διαδικασία περιλαμβάνει τη μέτρηση της μείωσης της εντροπίας μετά από ένα σύνολο δεδομένων χωρίζεται με βάση ένα συγκεκριμένο χαρακτηριστικό.

Κατανόηση Εντροπίας

Η εισαγωγή μετράει τη διαταραχή ή την πρόσμειξη σε ένα σύνολο δεδομένων. Υπολογίζεται χρησιμοποιώντας την πιθανότητα κάθε τάξης μέσα στο σύνολο δεδομένων. Ένα σύνολο δεδομένων με μεικτές τάξεις έχει υψηλότερη εντροπία, ενώ ένα καθαρό σύνολο δεδομένων έχει χαμηλότερη εντροπία.

Ο τύπος της εντροπίας είναι:

Εντροπία = - ⁇ pi log2 p]i

Υπολογισμός των πληροφοριών που κερδίζουν

Το κέρδος πληροφοριών είναι η διαφορά μεταξύ της εντροπίας του αρχικού συνόλου δεδομένων και της σταθμισμένης μέσης εντροπίας μετά από μια διάσπαση.

Ο τύπος για την απόκτηση πληροφοριών είναι:

Πληροφορίες Κερδίστε = Entropy(parent) - ⁇ (weight of child) × Entropy(child)

Πρακτικές Βήματα Υπολογισμόςς

Για να υπολογίσετε την απόκτηση πληροφοριών στην πράξη, ακολουθήστε τα παρακάτω βήματα:

  • Υπολογίστε την εντροπία ολόκληρου του συνόλου δεδομένων.
  • Διαχωρισμός του συνόλου δεδομένων με βάση το χαρακτηριστικό που αξιολογείται.
  • Υπολογίστε την εντροπία για κάθε υποσύνολο που δημιουργείται από το διαχωρισμό.
  • Υπολογίστε το σταθμισμένο μέσο όρο αυτών των εντροπιών.
  • Αποσύρετε αυτή την τιμή από την αρχική εντροπία για να βρείτε το κέρδος πληροφοριών.

Παράδειγμα

Ας υποθέσουμε ότι ένα σύνολο δεδομένων έχει μια αρχική εντροπία 0,94. Μετά από διάσπαση με βάση ένα χαρακτηριστικό, ο σταθμισμένος μέσος όρος εντροπίας των υποσυνόλων είναι 0,5. Η πληροφορία που προκύπτει από αυτό το διαχωρισμό είναι 0,44, υποδεικνύοντας μια σημαντική μείωση της αβεβαιότητας.