Η επιλογή χαρακτηριστικών είναι ένα κρίσιμο βήμα στην εποπτευόμενη μάθηση που περιλαμβάνει τον προσδιορισμό των πιο σχετικών μεταβλητών για την κατάρτιση μοντέλου. Η σωστή επιλογή χαρακτηριστικών μπορεί να βελτιώσει την ακρίβεια του μοντέλου, να μειώσει την υπερβολική προσαρμογή και να μειώσει το υπολογιστικό κόστος.

Τεχνικές επιλογής κοινών χαρακτηριστικών

Αυτές οι τεχνικές μπορούν να κατηγοριοποιηθούν σε φίλτρα, περιτύλιγμα και ενσωματωμένες μεθόδους. Κάθε προσέγγιση έχει τα πλεονεκτήματά της και είναι κατάλληλη για διαφορετικούς τύπους συνόλων δεδομένων και προβλημάτων.

Μέθοδοι φίλτρου

Οι μέθοδοι φίλτρων αξιολογούν τη σημασία των χαρακτηριστικών που βασίζονται σε στατιστικά μέτρα. Είναι γρήγορες και κλιμακούμενες, καθιστώντας τις κατάλληλες για δεδομένα υψηλής διάστασης. Οι κοινές τεχνικές φίλτρων περιλαμβάνουν:

  • Συντελεστής Correlation: Μετρά τη γραμμική σχέση μεταξύ χαρακτηριστικών και της μεταβλητής-στόχου.
  • Τεστ Τσι-Τετράγωνο: Συναγωνίζεται την ανεξαρτησία μεταξύ κατηγορηματικών χαρακτηριστικών και του στόχου.
  • Αμοιβαίες πληροφορίες: Ποσοτικός προσδιορισμός του ποσού των πληροφοριών που μοιράζονται μεταξύ των χαρακτηριστικών και του στόχου.

Μέθοδοι Περιτυλίγματος

Οι μέθοδοι περιτυλίγματος αξιολογούν υποσύνολα χαρακτηριστικών με μοντέλα εκπαίδευσης και επιλέγοντας το συνδυασμό που αποδίδει την καλύτερη απόδοση.

  • Forward Selection: Ξεκινά χωρίς χαρακτηριστικά και προσθέτει ένα κάθε φορά με βάση τη βελτίωση των επιδόσεων.
  • Πίσω Αποβολή: Αρχίζει με όλα τα χαρακτηριστικά και αφαιρεί τα λιγότερο σημαντικά επαναληπτικά.
  • Αναδρομική Αποβολή Χαρακτηριστικού: Αναδρομικά τρένα μοντέλα και εξαλείφει τα πιο αδύναμα χαρακτηριστικά.

Ενσωματωμένες μέθοδοι

Οι ενσωματωμένες μέθοδοι ενσωματώνουν την επιλογή χαρακτηριστικών ως μέρος της διαδικασίας κατάρτισης μοντέλου.

  • Λάσο Οπισθοχώρηση: Χρησιμοποιεί την ρύθμιση L1 για να συρρικνώσει κάποιους συντελεστές στο μηδέν, επιλέγοντας αποτελεσματικά χαρακτηριστικά.
  • Δέντρα Αποφάσεως: Φυσικά επιλέξτε χαρακτηριστικά βασισμένα σε κέρδος πληροφοριών κατά τη διάρκεια των διασπάσεων.
  • Κανονισμένα Μοντέλα: Συνδυάστε τις ποινές με την τοποθέτηση μοντέλου για την επιλογή σχετικών χαρακτηριστικών.