Calcul du gain d'information pour la construction d'arbres décisionnels en pratique
La détermination de la meilleure caractéristique pour diviser les données à chaque nœud, en améliorant la précision du modèle, consiste à mesurer la réduction de l'entropie après la division d'un ensemble de données en fonction d'un attribut spécifique.
Comprendre l'entropie
L'entropie mesure le trouble ou l'impureté dans un ensemble de données. Elle est calculée en utilisant la probabilité de chaque classe dans l'ensemble de données. Un ensemble de données avec des classes mixtes a une entropie plus élevée, tandis qu'un ensemble de données pures a une entropie plus faible.
La formule pour l'entropie est:
Entropie = ---i log2 pi
Calcul du gain en information
Le gain d'information est la différence entre l'entropie de l'ensemble de données d'origine et l'entropie moyenne pondérée après une scission. Il quantifie la réduction de l'incertitude en partitionnant les données sur la base d'une caractéristique.
La formule pour obtenir des renseignements est la suivante :
Gain d'information = Entropie(parent) - , (poids de l'enfant) × Entropie(enfant)
Étapes pratiques de calcul
Pour calculer les gains d'information dans la pratique, suivez les étapes suivantes :
- Calculer l'entropie de l'ensemble de données.
- Partition de l'ensemble de données basé sur la fonction évaluée.
- Calculez l'entropie pour chaque sous-ensemble créé par la scission.
- Calculer la moyenne pondérée de ces entropies.
- Soustrayez cette valeur de l'entropie originale pour trouver le gain d'information.
Exemple
Supposons qu'un ensemble de données ait une entropie initiale de 0,94. Après scission basée sur une caractéristique, l'entropie moyenne pondérée des sous-ensembles est de 0,5. Le gain d'information de cette scission est de 0,44, ce qui indique une réduction significative de l'incertitude.