Comprensione e calcolo delle informazioni utili per la selezione delle caratteristiche

Le informazioni utili sono una misura statistica utilizzata per valutare la dipendenza tra due variabili. Nella selezione delle caratteristiche, aiuta a identificare le caratteristiche che hanno le informazioni più rilevanti sulla variabile di destinazione. Questo metodo è ampiamente utilizzato nell'apprendimento automatico per migliorare le prestazioni del modello selezionando le caratteristiche più informative.

Che cosa è Mutual Information?

Le informazioni mutue quantificano la quantità di informazioni ottenute su una variabile casuale attraverso l'altra, misurando la riduzione dell'incertezza di una variabile data conoscenza dell'altra.

Calcolo delle informazioni Mutuali

Il calcolo comporta distribuzioni di probabilità delle variabili. La formula si basa sulla distribuzione delle probabilità congiunte e sulle distribuzioni di probabilità individuali delle variabili. La formula generale è:

I(X;Y) = log Σ p(x,y) (p(x,y) / (p(x) p(y)))]

Dove:

• p(x,y)[] è la probabilità congiunta di X e Y
• p(x)] e p(y)] sono le probabilità marginali

Applicazione nella selezione delle caratteristiche

Nella selezione delle caratteristiche, le informazioni reciproche aiutano a determinare quali caratteristiche sono più rilevanti per la variabile di destinazione. Le caratteristiche con maggiori punteggi di informazioni comuni sono considerate più informative e sono prioritarie per la formazione del modello.

I metodi comuni includono il calcolo delle informazioni comuni tra ogni funzione e l'obiettivo, quindi la selezione delle caratteristiche principali in base ai punteggi.