Table of Contents

Bilgi kazancı hesaplamak, karar ağaçları inşa etmek için temel bir adımdır. Her düğümdeki verileri bölmek için en iyi özelliği belirlemenize yardımcı olur, modelin doğruluğunu geliştirir.Bu işlem, bir veri kümesinden sonra entropideki azalmayı ölçmeyi içerir.

Entropy

Entropy bir veri kümesindeki bozukluğu veya dürtüyü ölçer. Her sınıfın veri kümesi içindeki olasılığını kullanarak hesaplanır. Bir veri kümesi ile karışık sınıflar daha yüksek entropiye sahiptir, ancak saf bir veri kümesi daha düşük entropiye sahiptir.

Entropi formülü:

[FONT=0)[0][Dönemli = ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

Bilgi Hesaplamak

Bilgi kazancı, orijinal veri kümesinin entropisi ve bir bölünmeden sonra ağırlıklandırılan ortalama entropi arasındaki farkdır. Verilere dayalı olarak veri bölmesi ile ne kadar belirsizlik azaltılır.

Bilgi kazancı için formül:

[FONT=0)Bilgi Girişi = Entropy (baba) - ⁇ (çocuk ağırlığı) × Entropy (çocuk)).

Pratik Hesaplama Adımları

Bilgi uygulamada elde etmek için, bu adımları takip edin:

  • Tüm veri kümesinin entropisini hesaplayın.
  • Özelliklerin değerlendirilmesine dayanan veri kümesini kapat.
  • Bölünmüş her alt set için entropiyi hesaplayın.
  • Bu entropilerin ağırlıklarını ayırın.
  • Bu değeri orijinal entropiden bilgi kazancı bulmak için altüst edin.

Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek Örnek

Bir veri kümesinin 0.94'ün ilk entropisine sahip olduğunu varsayalım. Bir özellike dayanarak ayrıldıktan sonra, alt setlerin ağırlığı 0,5'dir.Bu bölünmeden elde edilen bilgiler 0.44'dür, belirsizlikte önemli bir azalma gösterir.