Le surajustement se produit lorsqu'un réseau neuronal apprend trop bien les données de formation, y compris le bruit et les aberrations, ce qui réduit sa capacité à généraliser les nouvelles données.

Signes de surajustement

Les indicateurs communs comprennent une précision de formation élevée jumelée à une précision de validation nettement inférieure. De plus, la perte de formation continue de diminuer pendant que les plateaux de perte de validation ou augmente.

Techniques pour réduire les surajustements

Plusieurs méthodes peuvent aider à réduire le surajustement dans les réseaux neuronaux:

  • Regularisation:[ Ajoute une pénalité à la fonction perte pour décourager les modèles complexes, comme la régularisation L1 ou L2.
  • Dépôt: Désactive aléatoirement les neurones pendant l'entraînement pour empêcher la co-adaptation.
  • Stopping précoce:[ Arrête la formation lorsque la performance de validation commence à diminuer.
  • Augmentation des données: Augmente la diversité des données de formation par des transformations.
  • Réduction de la complexité du modèle:[ Utilise des architectures plus simples avec moins de paramètres.

Calculs et métriques

La surveillance de mesures comme la perte de validation et la précision aide à identifier les surajustements. Les calculs comme la différence entre la formation et la précision de validation peuvent quantifier la gravité des surajustements. La validation croisée fournit une estimation plus robuste de la généralisation du modèle.