Die Berechnung des Informationsgewinns ist ein grundlegender Schritt bei der Erstellung von Entscheidungsbäumen. Sie hilft dabei, das beste Merkmal für die Aufteilung der Daten an jedem Knoten zu bestimmen, wodurch die Genauigkeit des Modells verbessert wird.

Entropie verstehen

Die Entropie misst die Unordnung oder Unreinheit in einem Datensatz. Sie wird anhand der Wahrscheinlichkeit jeder Klasse innerhalb des Datensatzes berechnet. Ein Datensatz mit gemischten Klassen hat eine höhere Entropie, während ein reiner Datensatz eine geringere Entropie aufweist.

Die Formel für Entropie ist:

Entropie = -Σ pi log2 pi

Berechnung des Informationsgewinns

Der Informationsgewinn ist die Differenz zwischen der Entropie des ursprünglichen Datensatzes und der gewichteten durchschnittlichen Entropie nach einem Split, der quantifiziert, wie viel Unsicherheit durch Partitionierung der Daten auf der Grundlage eines Merkmals reduziert wird.

Die Formel für den Informationsgewinn lautet:

Informationsgewinn = Entropie(Elternteil) - Σ (Gewicht des Kindes) × Entropie(Kind)

Praktische Berechnungsschritte

Um den Informationsgewinn in der Praxis zu berechnen, folgen Sie diesen Schritten:

  • Berechnen Sie die Entropie des gesamten Datensatzes.
  • Partitionieren Sie den Datensatz basierend auf dem bewerteten Merkmal.
  • Berechnen Sie die Entropie für jede durch den Split erzeugte Teilmenge.
  • Berechnen Sie den gewichteten Durchschnitt dieser Entropien.
  • Subtrahieren Sie diesen Wert von der ursprünglichen Entropie, um den Informationsgewinn zu finden.

Beispiel

Angenommen, ein Datensatz hat eine anfängliche Entropie von 0,94. Nach der Aufteilung auf der Grundlage eines Merkmals beträgt die gewichtete durchschnittliche Entropie der Teilmengen 0,5. Der Informationsgewinn aus dieser Aufteilung beträgt 0,44, was auf eine signifikante Verringerung der Unsicherheit hinweist.