Überanpassung tritt auf, wenn ein neuronales Netzwerk die Trainingsdaten zu gut lernt, einschließlich Rauschen und Ausreißern, was seine Fähigkeit, auf neue Daten zu verallgemeinern, verringert.

Anzeichen von Overfitting

Zu den gängigen Indikatoren gehören eine hohe Trainingsgenauigkeit gepaart mit einer deutlich geringeren Validierungsgenauigkeit, wobei der Trainingsverlust weiter abnimmt, während der Validierungsverlust Plateaus oder erhöht.

Techniken zur Minderung von Overfitting

Mehrere Methoden können dazu beitragen, das Überfitting in neuronalen Netzwerken zu reduzieren:

  • Regularisierung: Fügt der Verlustfunktion eine Strafe hinzu, um komplexe Modelle wie die Regularisierung von L1 oder L2 zu entmutigen.
  • Dropout: Deaktiviert zufällig Neuronen während des Trainings, um Co-Adaption zu verhindern.
  • Early Stoping: Stoppt das Training, wenn die Validierungsleistung zu sinken beginnt.
  • Data Augmentation: Erhöht die Vielfalt der Trainingsdaten durch Transformationen.
  • Reduziert die Modellkomplexität: Verwendet einfachere Architekturen mit weniger Parametern.

Berechnungen und Metriken

Messgrößen wie Validierungsverlust und -genauigkeit helfen dabei, Überanpassungen zu erkennen. Berechnungen wie der Unterschied zwischen Trainings- und Validierungsgenauigkeit können den Überanpassungsschweregrad quantifizieren. Kreuzvalidierung bietet eine robustere Schätzung der Modellverallgemeinerung.