Suprapotrivirea apare atunci când o rețea neurală învață prea bine datele de formare, inclusiv zgomot și outliers, care reduce capacitatea sa de a generaliza la date noi. Depanarea supraadecvată implică identificarea semnelor și aplicarea tehnicilor pentru a îmbunătăți performanța modelului pe date nevăzute.

Semne de suprapotrivire

Indicatorii comuni includ o precizie de formare ridicată, asociată cu o precizie de validare semnificativ mai mică. În plus, pierderea de formare continuă să scadă în timp ce platourile de pierdere de validare sau creșteri.

Tehnici de a mitui suprapotrivire

Mai multe metode pot ajuta la reducerea suprapotrivirii în rețelele neuronale:

  • Regularizare: Adăuga o penalizare la funcția de pierdere pentru a descuraja modele complexe, cum ar fi regularizarea L1 sau L2.
  • Dropout: Dezactivează în mod aleatoriu neuronii în timpul pregătirii pentru a preveni coadaptarea.
  • Oprire timpurie: Opri formarea atunci când performanța de validare începe să scadă.
  • Augmentarea datelor: Creste diversitatea datelor de formare prin transformare.
  • Reducator Model Complexity: Foloseste arhitecturi mai simple cu mai putini parametri.

Calcule și calcule metrologice

Monitorizarea indicatorilor precum pierderea de validare și acuratețea ajută la identificarea suprapotrivirii. Calculele, cum ar fi diferența dintre precizia de formare și validare pot cuantifica o severitate supraadecvată. Validarea încrucișată oferă o estimare mai robustă a generalizării modelului.