Comment calculer les intervalles de confiance du modèle dans l'apprentissage automatique
Les intervalles de confiance du modèle fournissent une plage dans laquelle la performance réelle du modèle ou la valeur des paramètres devrait tomber avec une certaine probabilité. Ils sont utiles pour comprendre l'incertitude associée aux estimations du modèle dans les applications d'apprentissage automatique.
Comprendre les intervalles de confiance
Un intervalle de confiance est une plage statistique calculée à partir de données qui contient probablement la valeur du paramètre réel. Dans l'apprentissage automatique, cela peut se référer à des paramètres tels que la précision, la précision ou les coefficients de modèle.
Étapes pour calculer les intervalles de confiance
Suivez ces étapes pour calculer les intervalles de confiance pour les mesures du modèle:
- Recueillir un échantillon de mesures de performance du modèle par validation croisée ou par plusieurs essais.
- Calculer l'écart moyen et l'écart type de l'échantillon.
- Choisissez un niveau de confiance (p. ex. 95 %).
- Déterminer la valeur critique appropriée à partir de la distribution en t ou de la distribution en z en fonction de la taille de l'échantillon et du niveau de confiance.
- Calculer la marge d'erreur: valeur critique × (écart type / taille de l'échantillon).
- Calculer l'intervalle de confiance comme suit: moyenne ± marge d'erreur.
Exemple de calcul
Supposons que la précision d'un modèle soit évaluée sur 30 tours, avec une précision moyenne de 85 % et un écart-type de 3 %. Pour un niveau de confiance de 95 %, la valeur critique de la distribution en t est d'environ 2,045.
La marge d'erreur est de : 2,045 × (3 / √30) ш 2,045 × 0,547 ш 1,12%. L'intervalle de confiance est de 85 % ± 1,12%, ce qui donne une fourchette d'environ 83,88% à 86,12%.