L'eccesso di tempo si verifica quando un modello di apprendimento automatico impara i dati di formazione troppo bene, tra cui rumore e outlier, che riduce le sue prestazioni su nuovi dati. Le tecniche di regolarizzazione aiutano a prevenire il sovraccarico aggiungendo vincoli al modello, promuovendo semplicità e migliorando la generalizzazione.

Comprensione della regolarizzazione

La regolarizzazione introduce ulteriori termini alla funzione di perdita durante la formazione, che penalizzano i modelli complessi, incoraggiando soluzioni più semplici che sono meno propensi a sovraccaricarsi.

Tecniche di regolarizzazione comuni

  • L1 Regolarizzazione (Lasso):[] Aggiunge il valore assoluto dei coefficienti alla funzione di perdita, promuovendo la sparsità.
  • L2 Regolarizzazione (Ridge):[] Aggiunge il valore quadrato dei coefficienti, incoraggiando i pesi più piccoli.
  • Dropout:[] Disattiva casualmente i neuroni durante l'allenamento nelle reti neurali per prevenire la co-adaptazione.
  • Cerca la memorizzazione immediata:[] Smette di allenarsi quando le prestazioni sui dati di convalida cominciano a declinare.

Esempi del mondo reale

Nelle attività di riconoscimento delle immagini, l'applicazione delle reti neurali aiuta a generalizzare meglio le immagini inedite.Per i modelli di regressione lineare che prevedono i prezzi degli alloggi, la regolarizzazione L2 riduce il sovrafinanziamento riducendo i grandi coefficienti, portando a previsioni più affidabili.

Nel trattamento delle lingue naturali, viene utilizzata una rapida sosta per evitare il sovraccarico durante la formazione dei modelli linguistici, garantendo di eseguire bene i nuovi dati di testo, essenziali in vari domini per migliorare la robustezza e l'accuratezza del modello.