Méthodes pratiques de régularisation dans l'apprentissage profond pour améliorer la généralisation

Les techniques de régularisation sont essentielles pour un apprentissage profond afin d'éviter les surajustements et d'améliorer la capacité du modèle à généraliser des données invisibles.

Abandon

L'abandon scolaire est une technique populaire de régularisation qui désactive au hasard un sous-ensemble de neurones pendant l'entraînement, ce qui empêche les neurones de co-adapter et encourage le réseau à développer des caractéristiques plus robustes.

Décaissement du poids

La désintégration du poids, également connue sous le nom de régularisation L2, ajoute un terme de pénalité à la fonction de perte en fonction de l'ampleur des poids. Cela décourage les gros poids, ce qui conduit à des modèles plus simples qui sont moins enclins à l'excès de montage.

Augmentation des données

L'augmentation des données consiste à créer des échantillons de formation supplémentaires par des transformations telles que la rotation, l'échelle ou le basculement. Cette technique augmente la diversité des données de formation, aidant le modèle à apprendre des caractéristiques plus générales et à réduire les surajustements.

Arrêt précoce

L'arrêt anticipé surveille les performances du modèle sur un ensemble de validation pendant la formation. Lorsque les performances de validation cessent d'améliorer, la formation est interrompue. Cela empêche le modèle de suradapter les données de formation et aide à maintenir les capacités de généralisation.