Le surajustement se produit lorsqu'un modèle d'apprentissage automatique apprend trop bien les données de formation, y compris le bruit et les aberrations, ce qui réduit ses performances sur de nouvelles données. Les techniques de régularisation aident à éviter le surajustement en ajoutant des contraintes au modèle, en favorisant la simplicité et en améliorant la généralisation.

Comprendre la régularisation

La régularisation introduit des termes supplémentaires à la fonction de perte pendant la formation. Ces termes pénalisent les modèles complexes, encourageant des solutions plus simples qui sont moins susceptibles de sur-adapter.

Techniques communes de régularisation

  • L1 Regularization (Lasso):[ Ajoute la valeur absolue des coefficients à la fonction perte, favorisant la sparsité.
  • L2 Régularisation (Ridge): Ajoute la valeur carrée des coefficients, encourageant des poids plus petits.
  • Dropout:[ Désactive aléatoirement les neurones pendant l'entraînement sur les réseaux neuraux pour empêcher la co-adaptation.
  • Stopping précoce:[ Arrête la formation lorsque la performance sur les données de validation commence à diminuer.

Exemples de monde réel

Dans les tâches de reconnaissance d'images, l'application de l'abandon aide les réseaux neuronaux à généraliser les images invisibles. Pour les modèles de régression linéaire qui prédisent les prix du logement, la régularisation L2 réduit l'ajustement excessif en réduisant les grands coefficients, ce qui conduit à des prédictions plus fiables.

Dans le traitement naturel du langage, l'arrêt précoce est utilisé pour éviter le surajustement lors de la formation des modèles de langue, en s'assurant qu'ils fonctionnent bien sur les nouvelles données de texte.