Calculando o ganho de informação para a construção da árvore de decisão na prática

Calcular o ganho de informação é um passo fundamental na construção de árvores de decisão. Ajuda a determinar a melhor funcionalidade para dividir os dados em cada nó, melhorando a precisão do modelo. Este processo envolve medir a redução da entropia após um conjunto de dados ser dividido com base num atributo específico.

Compreender a Entropia

A entropia mede o distúrbio ou impureza em um conjunto de dados. É calculada usando a probabilidade de cada classe dentro do conjunto de dados. Um conjunto de dados com classes mistas tem maior entropia, enquanto um conjunto de dados puro tem menor entropia.

A fórmula para entropia é:

Entropia = - .p_i log_2[ p_i

Calculando o Ganho de Informação

O ganho de informação é a diferença entre a entropia do conjunto de dados original e a entropia média ponderada após uma divisão. Ele quantifica quanta incerteza é reduzida dividindo os dados com base em uma funcionalidade.

A fórmula para ganho de informação é:

Ganho de Informação = Entropia(pai) - □ (peso da criança) × Entropia(criança)

Passos de Cálculo Práticos

Para calcular o ganho de informação na prática, siga estes passos:

• Calcular a entropia de todo o conjunto de dados.
• Partição do conjunto de dados baseado na funcionalidade a ser avaliada.
• Calcular a entropia para cada subconjunto criado pela divisão.
• Calcular a média ponderada destas entropias.
• Subtraia este valor da entropia original para encontrar o ganho de informação.

Exemplo

Suponha que um conjunto de dados tenha uma entropia inicial de 0,94. Após a divisão baseada numa funcionalidade, a entropia média ponderada dos subconjuntos é de 0,5. O ganho de informação desta divisão é de 0,44, indicando uma redução significativa na incerteza.