Le reti neurali sono strumenti potenti per risolvere problemi complessi, ma possono anche sovraccaricare i dati di formazione, riducendo la loro capacità di generalizzare i nuovi dati. Le tecniche di regolarizzazione aiutano a controllare la complessità del modello e migliorare le prestazioni sui dati invisibili.

Goccia

Il dropout è una tecnica in cui vengono ignorati i neuroni selezionati casualmente durante l'allenamento, che impedisce ai neuroni di co-adattare e incoraggia la rete a sviluppare caratteristiche più robuste. Durante i test vengono utilizzati tutti i neuroni, ma le loro uscite vengono scalate per tenere conto della caduta durante l'allenamento.

Decay di peso

Il decadimento del peso aggiunge una penalità alla funzione di perdita basata sulla dimensione dei pesi, che scoraggia grandi pesi, che possono portare a un eccesso di guadagno.

Aumento dei dati

L'aumento dei dati aumenta la diversità dei dati formativi applicando trasformazioni come rotazioni, traduzioni o scalamenti, che aiutano il modello a conoscere più caratteristiche generali e a ridurre il sovraccarico, soprattutto nelle attività di immagine e di parola.

Stoccaggio anticipato

La formazione viene arrestata quando le prestazioni si fermano, impedendo al modello di sovraccaricare i dati di formazione.

  • Dropout:[ Ignora casualmente i neuroni durante l'allenamento.
  • Decay di tenuta:[] Penalizza grandi pesi per evitare il sovraccarico.
  • Data Augmentation:[] Espande i dati di formazione con trasformazioni.
  • Cerca la mappatura:[] Smette di allenarsi quando gli altipiani di prestazioni di validazione.