Le surajustement se produit lorsqu'un modèle d'apprentissage profond apprend trop bien les données de formation, y compris le bruit et les aberrations, ce qui réduit sa capacité à généraliser de nouvelles données.

Comprendre les surajustements

Le surajustement se produit lorsqu'un modèle devient trop complexe par rapport à la quantité et à la variabilité des données de formation. Il se traduit par une grande précision des données de formation, mais un rendement médiocre sur des données invisibles.

Techniques pour éviter les surajustements

Plusieurs stratégies peuvent aider à atténuer les suradaptations aux modèles d'apprentissage profond :

  • Regularisation:[ Application de pénalités L1 ou L2 aux poids modèles pour décourager la complexité.
  • Épaisseur:[ Désactivation aléatoire des neurones pendant l'entraînement pour empêcher la co-adaptation.
  • Stopping précoce:[ Halte à la formation lorsque la performance de validation cesse d'améliorer.
  • Augmentation des données:[ Augmentation de la variabilité des données par des transformations visant à améliorer la généralisation.
  • Réduction de la complexité du modèle:[ Utilisation d'architectures plus simples ou de paramètres moins nombreux.

Solutions du monde réel

La mise en œuvre de ces techniques nécessite un réglage attentif. Par exemple, la combinaison de l'abandon scolaire et de l'arrêt précoce entraîne souvent des améliorations importantes.