Calcolo dell'informazione Guadagna per la costruzione di alberi di decisione in pratica
Il calcolo del guadagno di informazioni è un passo fondamentale nella costruzione di alberi decisionali, che aiuta a determinare la migliore funzionalità per la divisione dei dati a ogni nodo, migliorando l'accuratezza del modello.
Comprendere Entropy
L'inquadratura misura il disordine o l'impurità in un set di dati. Viene calcolato utilizzando la probabilità di ogni classe all'interno del dataset. Un dataset con classi miste ha un'entropia più alta, mentre un set di dati puro ha un'entropia più bassa.
La formula per l'entropia è:
[Intropia = -∑ p[]i] log[2[]] ]]i]]]]]
Calcolo del guadagno di informazioni
Il guadagno di informazioni è la differenza tra l'entropia del dataset originale e l'entropia media ponderata dopo una divisione.
La formula per il guadagno di informazioni è:
Informazione Gain = Entropy(parent) - ∑ (peso del bambino) × Entropy(bambino)
Pratiche fasi di calcolo
Per calcolare l'acquisizione di informazioni in pratica, seguire questi passaggi:
- Calcola l'entropia dell'intero set di dati.
- Partizione del set di dati in base alla funzione da valutare.
- Calcola l'entropia per ogni sottoinsieme creato dalla divisione.
- Compiti la media ponderata di queste entropie.
- Sottrarre questo valore dall'entropia originale per trovare il guadagno di informazioni.
Esempio
Supponiamo che un dataset abbia un entropia iniziale di 0,94. Dopo la divisione basata su una caratteristica, l'entropia media ponderata dei sottoset è di 0,5. L'aumento di informazioni da questa divisione è di 0,4, indicando una significativa riduzione dell'incertezza.