La selezione e l'ingegneria delle caratteristiche sono passi essenziali nell'apprendimento supervisionato. Aiutano a migliorare le prestazioni del modello, ridurre il overfitting e ridurre il tempo di formazione.

Tecniche di selezione caratteristica

La selezione delle caratteristiche comporta la scelta delle caratteristiche più rilevanti dal dataset. Le tecniche comuni includono metodi di filtro, metodi di wrapper e metodi incorporati.

Metodi di filtrazione

I metodi di filtro valutano le caratteristiche basate su misure statistiche come la correlazione, il chi-square o le informazioni comuni, sono computazionalmente efficienti e adatti per dati ad alta dimensione.

Metodi di tramoggia

I metodi Wrapper selezionano le caratteristiche formando modelli su diversi sottoinsiemi e valutando le loro prestazioni. Le tecniche includono l'eliminazione delle caratteristiche ricorrenti e la selezione in avanti/indietro.

Metodi incorporati

I metodi incorporati incorporano la selezione delle caratteristiche durante la formazione di modello. Esempi includono tecniche di regolarizzazione come Lasso e misure di importanza basate sugli alberi di decisione.

Strategie di ingegneria della caratteristica

L'ingegneria delle caratteristiche trasforma i dati grezzi in caratteristiche significative che migliorano l'apprendimento del modello, include la creazione di nuove funzionalità, la codifica delle variabili categoriche e la scalazione dei dati numerici.

Creazione di nuove funzionalità

La generazione di nuove funzionalità può comportare combinazioni matematiche, aggregazioni o trasformazioni specifiche del dominio, che possono rivelare i modelli nascosti nei dati.

Codifica Variabili Categorici

La conversione dei dati categorici in formato numerico è fondamentale. I metodi comuni includono la codifica a un punto, la codifica delle etichette e la codifica dei destinatari.

Dati numerici di scala

La scala assicura caratteristiche sono su scale paragonabili, che beneficiano di molti algoritmi. Le tecniche includono scaling min-max e la standardizzazione.