Calculando información obtenida para la construcción de árboles de decisión en la práctica
Calcular la ganancia de información es un paso fundamental en la construcción de árboles de decisión. Ayuda a determinar la mejor característica para dividir los datos en cada nodo, mejorando la precisión del modelo. Este proceso implica medir la reducción de la entropía después de que un conjunto de datos se divide en base a un atributo específico.
Entrometerse
La entropía mide el desorden o la impureza en un conjunto de datos. Se calcula utilizando la probabilidad de cada clase dentro del conjunto de datos. Un conjunto de datos con clases mixtas tiene una entropía más alta, mientras que un conjunto de datos puro tiene una entropía menor.
La fórmula para la entropía es:
Entropy = - $7 pi] 2 p]i ]
Cálculo de la información obtenida
La ganancia de información es la diferencia entre la entropía del conjunto de datos original y la entropía promedio ponderada después de una división. Cuantifica cuánto se reduce la incertidumbre partiendo los datos basados en una característica.
La fórmula para el aumento de la información es:
]Reunión de la información = Entropía(parente) - ándula (peso del niño) × Entropía(niño)
Pasos de cálculo práctico
Para calcular el aumento de la información en la práctica, siga estos pasos:
- Calcular la entropía de todo el conjunto de datos.
- Partición del conjunto de datos basado en la función que se está evaluando.
- Calcula la entropía para cada subconjunto creado por la división.
- Computa el promedio ponderado de estas entropías.
- Retraer este valor de la entropía original para encontrar el beneficio de la información.
Ejemplo
Supongamos que un conjunto de datos tiene una entropía inicial de 0.94. Después de dividirse en función de una característica, la entropía promedio ponderada de los subconjuntos es 0.5. El aumento de la información de esta división es 0.44, lo que indica una reducción significativa en la incertidumbre.