Keskinäinen tieto on tilastollinen mitta, jolla arvioidaan kahden muuttujan välistä riippuvuutta. Se auttaa tunnistamaan ominaisuuksia, joilla on tarkoituksenmukaisin tieto tavoitemuuttujasta. Tätä menetelmää käytetään laajalti koneoppimisessa mallin suorituskyvyn parantamiseksi valitsemalla informatiiviset ominaisuudet.

Mitä on keskinäinen tieto?

Keskinäinen tieto määrää yhden satunnaismuuttujan osalta saatujen tietojen määrän toisen kautta. Se mittaa yhden muuttujan epävarmuuden vähenemistä, kun otetaan huomioon toisen tieto. Korkeampi keskinäinen informaatioarvo osoittaa, että muuttujat ovat riippuvaisempia toisistaan.

Keskinäisten tietojen laskeminen

Laskelmassa on mukana muuttujien todennäköisyysjakaumat. Kaava perustuu yhteiseen todennäköisyysjakaumaan ja muuttujien yksilöllisiin todennäköisyysjakaumaihin. Yleinen kaava on:

I(X;Y) = Σ Σ p(x,y) log (p(x,y) / (p(x) p(y))) []

jossa

  • p(x,y) on X:n ja Y:n yhteinen todennäköisyys
  • ]p(x][ ja p(y) ovat marginaalitodennäköisyyksiä

Sovellus ominaisuuden valinnassa

Hahmovalinnassa molemminpuolinen tieto auttaa määrittämään, mitkä ominaisuudet ovat tavoitemuuttujan kannalta kaikkein merkityksellisiä. Ominaisuudet, joilla on korkeammat keskinäiset tietopisteet, katsotaan informatiivisemmiksi ja ne priorisoidaan mallikoulutukseen. Tämä prosessi vähentää dimensiota ja parantaa mallin tehokkuutta.

Yhteiset menetelmät ovat kunkin ominaisuuden ja kohteen keskinäisen tiedon laskeminen, sitten huippuominaisuuksien valinta pistemäärien perusteella. Tämä lähestymistapa on erityisen hyödyllinen korkean mittaluokan datan käsittelyssä.