Informasi Mutual etik adalah ukuran statistik yang digunakan untuk mengevaluasi ketergantungan antara dua variabel. Dalam seleksi fitur, informasi ini membantu mengidentifikasi fitur yang memiliki informasi paling relevan tentang variabel target. Metode ini banyak digunakan dalam pembelajaran mesin untuk meningkatkan kinerja model dengan memilih fitur yang paling informatif.

Apa Informasi Mutual Itu?

Informasi Mutual qualifikasi jumlah informasi yang diperoleh tentang satu variabel acak melalui variabel acak yang lain. Ini mengukur pengurangan ketidakpastian satu variabel yang diberikan pengetahuan tentang yang lain. Nilai informasi bersama yang lebih tinggi menunjukkan ketergantungan yang lebih kuat antara variabel.

Menghitung Informasi yang Bermakna

Perhitungan ungsi melibatkan kemungkinan distribusi variabel. rumusnya didasarkan pada distribusi probabilitas bersama dan kemungkinan individu distribusi variabel. rumus umum adalah:

[[OGALAL:0]]I(X;Y) = ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ log (p( ) ⁇ ⁇ ) ⁇ ⁇ ⁇ ) ⁇ ⁇ ⁇

Di mana:

  • p(x,y) adalah probabilitas gabungan dari X dan Y
  • [[GALALT:0]]p(x) and p(y) adalah probabilitas marjinal

Aplikasi dalam Seleksi Fitur

Dalam seleksi fitur, informasi bersama membantu menentukan fitur mana yang paling relevan dengan variabel target. Fitur dengan nilai informasi bersama yang lebih tinggi dianggap lebih informatif dan diprioritaskan untuk pelatihan model. Proses ini mengurangi kedimensian dan meningkatkan efisiensi model.

Metode-metode umum termasuk menghitung informasi bersama antara masing-masing fitur dan target, kemudian memilih fitur-fitur atas berdasarkan skor. Pendekatan ini terutama berguna untuk menangani data berdimensi tinggi.