Überanpassungen treten auf, wenn ein maschinelles Lernmodell die Trainingsdaten zu gut lernt, einschließlich Rauschen und Ausreißer, was die Leistung bei neuen Daten verringert. Regularisierungstechniken helfen, Überanpassungen zu verhindern, indem sie dem Modell Einschränkungen hinzufügen, die Einfachheit fördern und die Generalisierung verbessern.

Regularisierung verstehen

Die Regularisierung führt zusätzliche Begriffe in die Verlustfunktion während des Trainings ein, die komplexe Modelle bestrafen und einfachere Lösungen fördern, die weniger wahrscheinlich überpassen.

Allgemeine Regularisierungstechniken

  • L1 Regularisierung (Lasso): Addiert den absoluten Wert der Koeffizienten zur Verlustfunktion und fördert die Sparsity.
  • L2 Regularisierung (Ridge): Addiert den quadrierten Wert der Koeffizienten und fördert kleinere Gewichte.
  • Dropout: Deaktiviert zufällig Neuronen während des Trainings in neuronalen Netzwerken, um eine Co-Adaption zu verhindern.
  • Early Stoping: Stoppt das Training, wenn die Leistung der Validierungsdaten zu sinken beginnt.

Reale Welt Beispiele

Bei Bilderkennungsaufgaben hilft das Anwenden von Dropout neuronalen Netzwerken, Bilder besser zu verallgemeinern. Bei linearen Regressionsmodellen, die die Immobilienpreise vorhersagen, reduziert die L2-Regulierung das Übersetzen durch das Schrumpfen großer Koeffizienten, was zu zuverlässigeren Vorhersagen führt.

In der Verarbeitung natürlicher Sprache wird ein frühzeitiges Abbrechen eingesetzt, um eine Überanpassung während des Trainings von Sprachmodellen zu verhindern und sicherzustellen, dass sie bei neuen Textdaten gut funktionieren.