Karşılıklı bilgi, iki değişken arasındaki bağımlılığı değerlendirmek için kullanılan bir istatistiksel ölçümdür. Özel seçimde, hedef değişken hakkında en alakalı bilgilere sahip özellikleri tanımlamaya yardımcı olur. Bu yöntem, en bilgilendirici özellikleri seçerek makine öğreniminde yaygın olarak kullanılır.

Karşılıklı Bilgi Nedir?

Karşılıklı bilgi, diğer bir değişken aracılığıyla elde edilen bilgilerin miktarını ölçmektedir. Diğerlerinden verilen bir değişkenin belirsizliğine yönelik azalmayı ölçer. Daha yüksek karşılıklı bilgi değeri değişkenleri arasında daha güçlü bir bağımlılık gösterir.

Karşılıklı Bilgiyi Hesaplamak

Hesaplama değişkenlerin olasılık dağıtımlarını içerir. Formül, ortak olasılık dağıtımına ve değişkenlerin bireysel olasılık dağıtımlarına dayanmaktadır. Genel formül:

[X;Y) = ⁇ ⁇ p(x,y) log (p(x,y) / (p(x) p(y))).

Nerede:

  • [x,y) x ve Y-Yöneticisinin ortak olasılığıdır.
  • [x)[0] ve ) [y)[Döneticileri) [Döneticileri) [Döneticileri) [Döneticileri) [Döneticileri)

Özel Seçmede Uygulama

Özel seçimde, karşılıklı bilgi, hangi özelliklerin hedef değişkene en uygun olduğunu belirlemeye yardımcı olur. Daha yüksek karşılıklı bilgi puanları ile ilgili özellikler daha fazla bilgilendirici olarak kabul edilir ve model eğitimi için önceliklenir.Bu süreç boyutality ve modelleme verimliliğini azaltır.

Ortak yöntemler her özellik ve hedef arasındaki karşılıklı bilgileri hesaplamak, sonra puanlara dayanan ilk özellikleri seçmek.Bu yaklaşım özellikle yüksek boyutlu verileri işlemek için yararlıdır.