Overfitting è una sfida comune nella formazione di reti neurali complesse, dove i modelli si esibiscono bene sui dati di formazione ma in modo non visibile. Le tecniche di regolarizzazione aiutano a migliorare la capacità di generalizzazione di questi modelli impedendo il sovraccarico.

Goccia e Varianti

Dropout è una tecnica di regolarizzazione ampiamente utilizzata che disattiva casualmente un sottoinsieme di neuroni durante l'allenamento. Varianti come il Dropout spaziale e DropConnect introduce modifiche per migliorare le prestazioni in scenari specifici. Dropout aiuta a ridurre l'affidabilità su neuroni specifici, promuovendo l'apprendimento delle caratteristiche più robuste.

Regolazione del peso

La regolarizzazione del peso aggiunge i termini di penalità alla funzione di perdita per limitare la grandezza dei pesi. I metodi comuni includono la regolarizzazione L1, che incoraggia la parsimonia e la regolarizzazione L2, che scoraggia i grandi pesi. Queste tecniche aiutano a impedire al modello di adattare il rumore ai dati di formazione.

Aumento dei dati e iniezione del rumore

L'aumento dei dati espande artificialmente il dataset di formazione applicando trasformazioni come rotazioni, scaling o turni di colore. L'iniezione del rumore comporta l'aggiunta di rumore casuale agli input o ai pesi durante la formazione. Entrambi i metodi migliorano la robustezza del modello e riducono l'overfitting esponendo il modello a diverse variazioni di dati.

Tecniche avanzate

Altri metodi di regolarizzazione avanzati includono:

  • Normalizzazione del batch:[] normalizza gli input dei livelli per stabilizzare l'apprendimento.
  • Early Stopping:[]] interrompe l'allenamento quando le prestazioni di validazione smette di migliorare.
  • Normalizzazione specifica:[]] costringe la norma spettrale delle matrici di peso a stabilizzare la formazione.
  • DropBlock:[] gocce regioni contigue nelle mappe delle caratteristiche, migliorando la regolarizzazione.