Calculs des fonctions de perte dans l'apprentissage supervisé: de Mse à l'entropie croisée

Les fonctions de perte sont essentielles dans l'apprentissage supervisé car elles mesurent la différence entre les sorties prévues et les étiquettes réelles. Elles guident le processus de formation en fournissant une métrique pour optimiser.

Erreur carrée moyenne (ESM)

L'erreur carrée moyenne est couramment utilisée pour les tâches de régression. Elle calcule la moyenne des carrés des différences entre les valeurs prévues et réelles. La formule est la suivante :

MSE = (1/n) .[yi - .i2

où yi est la vraie valeur, -i est la valeur prédite, et n est le nombre d'échantillons. MSE pénalise les erreurs plus importantes plus fortement, encourageant le modèle à minimiser les écarts significatifs.

Pertes d'entropie croisée

La perte d'entropie croisée est principalement utilisée pour les tâches de classification. Elle mesure la dissemblance entre la distribution de probabilité prédite et la distribution réelle. Pour la classification binaire, la formule est:

Cross-Entropy = - [ y log(-) + (1 - y) log(1 - -)]

où y est le vrai label (0 ou 1), et - - est la probabilité prédite de la classe positive. Cette fonction de perte pénalise les prédictions incorrectes plus fortement lorsque le modèle est confiant mais faux.

Comparaison et utilisation

MSE convient aux variables de sortie continue, tandis que l'entropie croisée est idéale pour les données catégoriques. Le choix de la fonction de perte appropriée dépend du type de problème et de la nature de la sortie.