Informaţiile reciproce sunt o măsură statistică utilizată pentru evaluarea dependenţei dintre două variabile. În selectarea caracteristicilor, ele ajută la identificarea caracteristicilor care au cele mai relevante informaţii despre variabila ţintă. Această metodă este folosită pe scară largă în învăţarea maşinilor pentru îmbunătăţirea performanţei modelului prin selectarea celor mai informative caracteristici.

Ce este Informaţia reciprocă?

Informaţiile reciproce cuantifică cantitatea de informaţii obţinută cu privire la o variabilă aleatoare prin alta. Ea măsoară reducerea incertitudinii unei variabile date de cunoaşterea celeilalte. O valoare mai mare a informaţiei reciproce indică o dependenţă mai puternică între variabile.

Calcularea informațiilor reciproce

Calculul presupune distribuţia probabilităţilor variabilelor. Formula se bazează pe distribuţia probabilităţilor comune şi distribuţiile individuale ale probabilităţilor variabilelor. Formula generală este:

I(X;Y) = Σ Σ p(x,y) log (p(x,y) / (p(x) p(y) ]]]

unde:

  • p(x,y) este probabilitatea comună a X și Y
  • p(x) și p [y] sunt probabilitățile marginale

Aplicație în selecția caracteristicilor

În selectarea caracteristicilor, informațiile reciproce ajută la determinarea caracteristicilor cele mai relevante pentru variabila țintă. Caracteristicile cu scoruri mai mari de informații reciproce sunt considerate mai informative și sunt prioritare pentru formarea de modele. Acest proces reduce dimensiunea și îmbunătățește eficiența modelului.

Metodele comune includ calcularea informaţiilor reciproce între fiecare caracteristică şi ţintă, apoi selectarea caracteristicilor de top pe baza scorurilor. Această abordare este deosebit de utilă pentru manipularea datelor de înaltă dimensiune.