Menghitung perolehan informasi adalah langkah mendasar dalam menyusun pohon keputusan. Ini membantu menentukan fitur terbaik untuk membagi data pada setiap node, meningkatkan akurasi model. Proses ini melibatkan pengukuran pengurangan entropi setelah sebuah dataset dipisah berdasarkan atribut tertentu.

Ketermasukan Pengertian Keterlaluan

Keantropi nutfah mengukur gangguan atau ketidakmurnian dalam suatu dataset.Dihitung menggunakan kemungkinan setiap kelas dalam dataset.Sebuah dataset dengan kelas campuran memiliki entropi yang lebih tinggi, sementara sebuah dataset murni memiliki entropi yang lebih rendah.

Formula untuk entropi adalah:

Entropi = - ⁇ p]i[ log2 pi]

Menghitung Informasi Gain

Peningkatan informasi odeco adalah perbedaan antara entropi dari dataset asli dan entropi rata-rata berbobot setelah sebuah split. Ini mengkuantifikasi berapa banyak ketidakpastian dikurangi dengan memisah data berdasarkan fitur.

Formula untuk mendapatkan informasi adalah:

[[NOLGAL:0]]Information Gain = Entropy(parent) - ⁇ (berat anak) × Entropy(child)[

Langkah-langkah Penghitungan Praktis

Untuk menghitung keuntungan informasi dalam praktek, ikuti langkah-langkah ini:

  • Menghitung entropi seluruh dataset.
  • madomi dataset berdasarkan fitur yang sedang dievaluasi.
  • codecates entropi untuk setiap subset yang dibuat oleh split.
  • Menghitung rata-rata berat entropi ini.
  • Tolak nilai ini dari entropi asli untuk mencari keuntungan informasi.

Contoh [email protected]

Misalkan sebuah dataset memiliki entropi awal sebesar 0.94. Setelah pemisahan berdasarkan fitur, entropi rata-rata berbobot dari subset adalah 0.5. Perolehan informasi dari split ini adalah 0,44, menunjukkan pengurangan signifikan dalam ketidakpastian.