Kalkatyng Information Gain Przewodniczący for Decysion Tree Construction Praktyka

Obliczanie informacji o tym, że te dane są dostępne i nie są one improwizowane, że te dokładne informacje są zgodne z tym, co się dzieje w przypadku tych projektów.

Understanding Entropy

Entropy miary te te disorder or impurity in a dataset. It i s calcated using thee probability of each class with thee dataset. A dataset with mixed classes has higher entropy, while a pure dataset has lower entropy.

Thee formula for entropy is:

Xi1; Xi1; FLT: 0 X3; Xi3; Xi3; Entropy = - Xip Xi1; Xi1; FLT: 1 XI3; Xi3; i Xi1; FLT: 2 XI3; Xi3; XI1; FLT: 3 XI3; XI1; FLT: 4 XI3; XI3; p XI1; FLT: 5 X3; XI3; i XI1; FLT: 6 XI3; XI3; XI1; XI1; FLT: 7 XI3; XI3; FLT;

Calculating Information Gain

Information gain is the difference ce te e entropy of thee original dataset and thee weiged average entropy after a split. It quantifies how much uncertainte is reduced by partitioning thee data based on a fabumure.

Thee formula for information gain is:

Xiv1; Xiv1; FLT: 0 Xiv3; Xiv3; Information Gain = Entropy (parent) - Xiv3x (waxt of child) × Xiv1; Xiv1; FLT: 1 Xiv3; Xiv3; Xivd;

Praktykal Obliczanie etapów

Tu compute information gain in practe, follow these steps:

• Oblicz te dane.
• Partition the dataset based one thee facilure being eviated.
• Oblicz te entropy for each subset created by thee split.
• Porównaj te wagi z tymi entropies.
• Subtract this value from the original entropy to o thee information gain.

Egzamin

Poszukuj danych, które mają inicjały entropii of 0.94. After splitting based on a facture, thee weighted average entropy of thee subsets is 0.5. The information gain from thim this split is 0.44, indicating a signitant reduction in uncertainty.