Στην επιλογή χαρακτηριστικών, βοηθά στον εντοπισμό χαρακτηριστικών που έχουν τις πιο σχετικές πληροφορίες σχετικά με τη μεταβλητή-στόχο. Αυτή η μέθοδος χρησιμοποιείται ευρέως στην εκμάθηση μηχανών για τη βελτίωση της απόδοσης του μοντέλου επιλέγοντας τα πιο πληροφοριακά χαρακτηριστικά.

Τι είναι η Αμοιβαία Ενημέρωση;

Η αμοιβαία πληροφόρηση ποσοτικοποιεί το ποσό των πληροφοριών που λαμβάνονται σχετικά με τη μία τυχαία μεταβλητή μέσω της άλλης.

Υπολογισμός των αμοιβαίων πληροφοριών

Ο υπολογισμός περιλαμβάνει κατανομές πιθανοτήτων των μεταβλητών. Ο τύπος βασίζεται στην κατανομή της κοινής πιθανότητας και τις επιμέρους κατανομές πιθανοτήτων των μεταβλητών. Ο γενικός τύπος είναι:

I(X;Y) = Σ Σ σ p(x,y) log [p(x,y) / [p(x) p(y)]

όπου:

  • p(x,y) είναι η πιθανότητα άρθρωσης των X και Y
  • p(x) και p(y) είναι οι οριακές πιθανότητες

Εφαρμογή στην επιλογή χαρακτηριστικών

Στην επιλογή χαρακτηριστικών, οι αμοιβαίες πληροφορίες βοηθούν στον καθορισμό των χαρακτηριστικών που είναι πιο σημαντικά για τη μεταβλητή-στόχο. Τα χαρακτηριστικά με υψηλότερες βαθμολογίες αμοιβαίας πληροφόρησης θεωρούνται πιο ενημερωτικά και έχουν προτεραιότητα για την κατάρτιση μοντέλου.

Οι κοινές μέθοδοι περιλαμβάνουν τον υπολογισμό της αμοιβαίας πληροφορίας μεταξύ κάθε χαρακτηριστικού και του στόχου, επιλέγοντας στη συνέχεια τα κορυφαία χαρακτηριστικά με βάση τις βαθμολογίες.