Dépannage des modèles profonds : calculs et mesures préventives

Il y a suradaptation lorsqu'un modèle d'apprentissage profond apprend trop bien les données de formation, y compris le bruit et les aberrations, ce qui réduit sa capacité à généraliser les nouvelles données.

Comprendre les surajustements

Le surajustement se produit lorsqu'un modèle saisit les détails de la formation de manière excessive, ce qui entraîne une grande précision des données de formation, mais une mauvaise performance sur les données invisibles.

Calculs pour détecter les surajustements

La surveillance de la différence entre la formation et la précision ou la perte de validation permet de détecter les surajustements.

• Perte de formation[ : L'erreur sur l'ensemble de formation.
• Perte de validation[ : L'erreur sur l'ensemble de validation.
• Différence: L'écart entre les mesures de formation et de validation.

Mesures préventives

Les stratégies de mise en œuvre peuvent réduire les effets de la généralisation des modèles sur l'adaptation et l'amélioration de ces derniers.

• Regularisation: Les techniques comme L1 et L2 ajoutent des pénalités aux poids du modèle.
• Dropout: Désactive aléatoirement les neurones pendant l'entraînement pour empêcher la co-adaptation.
• Stopping précoce[: Arrête la formation lorsque la performance de validation cesse d'améliorer.
• Augmentation des données: élargit les données de formation avec des transformations.
• Simplification du modèle[: Réduit la complexité du modèle par des couches ou des paramètres décroissants.