La selezione delle caratteristiche è un passo cruciale nell'apprendimento supervisionato che coinvolge l'identificazione delle variabili più rilevanti per la formazione dei modelli. La selezione corretta delle funzionalità può migliorare la precisione del modello, ridurre il sovraccarico e ridurre i costi computazionali.

Tecniche di selezione della caratteristica comune

Sono stati utilizzati diversi metodi per selezionare le caratteristiche dell'apprendimento supervisionato, che possono essere ampiamente classificate in metodi filtranti, wrapper e incorporati, e che possono essere utilizzati in modo da ottenere vantaggi e condizioni diverse.

Metodi di filtrazione

I metodi di filtraggio valutano la pertinenza delle caratteristiche basate su misure statistiche, veloci e scalabili, rendendole adatte a dati di alta dimensione.

  • Coefficiente di correlazione:[] Misura il rapporto lineare tra le caratteristiche e la variabile di destinazione.
  • Chi-Square Test:[ Assesse l'indipendenza tra caratteristiche categoriche e l'obiettivo.
  • Informazioni pratiche:[[]] Quantificare la quantità di informazioni condivise tra le caratteristiche e l'obiettivo.

Metodi di tramoggia

I metodi Wrapper valutano i sottoset delle caratteristiche mediante i modelli di formazione e selezionano la combinazione che produce le migliori prestazioni, che sono più accurate ma computazionalmente intensive.

  • Selezione di marcia:[] Inizia senza caratteristiche e aggiunge una alla volta in base al miglioramento delle prestazioni.
  • Eliminazione di ritorno:[] Comincia con tutte le caratteristiche e rimuove quelle meno significative iterativamente.
  • Eliminazione delle caratteristiche ricorrenti:[ Formati ricorsivi modelli ed elimina le caratteristiche più deboli.

Metodi incorporati

I metodi incorporati incorporano la selezione delle caratteristiche come parte del processo di formazione del modello, che sono efficienti e spesso producono buoni risultati.

  • Regressione del lasso:[] Utilizza la regolarizzazione L1 per ridurre alcuni coefficienti a zero, selezionando efficacemente le caratteristiche.
  • Alberi di precisione:[] Naturalmente selezionare le caratteristiche basate sul guadagno di informazioni durante le scissioni.
  • Modelli regolamentati:[] Combinare sanzioni con il modello di adattamento per selezionare le caratteristiche pertinenti.