Les réseaux neuraux sont des outils puissants pour résoudre des problèmes complexes, mais ils peuvent également suradapter les données de formation, réduisant leur capacité à généraliser vers de nouvelles données. Les techniques de régularisation aident à contrôler la complexité des modèles et à améliorer les performances sur les données invisibles.

Abandon

L'abandon scolaire est une technique qui permet de ne pas tenir compte des neurones sélectionnés au hasard pendant l'entraînement, ce qui empêche les neurones de co-adapter et encourage le réseau à développer des caractéristiques plus robustes.

Décaissement du poids

La désintégration du poids ajoute une pénalité à la fonction de perte en fonction de la taille des poids. Cela décourage les poids importants, ce qui peut conduire à une suradaptation.

Augmentation des données

L'augmentation des données augmente la diversité des données de formation en appliquant des transformations telles que des rotations, des traductions ou des échelles. Cela aide le modèle à apprendre des fonctionnalités plus générales et réduit le surajustement, en particulier dans les tâches d'image et de parole.

Arrêt précoce

L'arrêt précoce consiste à surveiller le rendement du modèle sur un ensemble de validation pendant la formation. La formation est interrompue lorsque le rendement cesse d'améliorer, empêchant le modèle de suradapter les données de formation.

Résumé des techniques de régularisation

  • Épaisseur: ignore aléatoirement les neurones pendant l'entraînement.
  • ]Pénalise les poids importants pour éviter les surajustements.
  • Augmentation des données: Élargit les données de formation avec des transformations.
  • Stopping précoce:[ Arrête l'entraînement lorsque les plateaux de performance de validation.