Cómo calcular las intervalsiones de confianza modelo en el aprendizaje de la máquina

Los intervalos de confianza modelo proporcionan un rango dentro del cual se espera que el verdadero rendimiento modelo o valor de parámetro caiga con cierta probabilidad. Son útiles para entender la incertidumbre asociada con estimaciones modelo en aplicaciones de aprendizaje automático.

Comprender las intervalaciones de confianza

Un intervalo de confianza es un rango estadístico calculado a partir de datos que probablemente contenga el valor del parámetro verdadero. En el aprendizaje automático, esto puede referirse a métricas como la precisión, precisión o coeficientes de modelos.

Pasos para calcular las intervalaciones de confianza

Siga estos pasos para calcular intervalos de confianza para las métricas modelo:

• Recoger una muestra de métricas de rendimiento modelo a través de la validación cruzada o múltiples carreras.
• Calcular la desviación media y estándar de la muestra.
• Elija un nivel de confianza (por ejemplo, 95%).
• Determinar el valor crítico adecuado de la distribución t o la distribución z basada en el tamaño de la muestra y el nivel de confianza.
• Computar el margen de error: valor crítico × (desviación estándar / √sample size).
• Calcular el intervalo de confianza como: significa ± margen de error.

Cálculo de ejemplo

Supongamos que la precisión de un modelo se evalúa en más de 30 carreras, con una precisión media del 85% y una desviación estándar del 3%. Para un nivel de confianza del 95%, el valor crítico de la distribución t es aproximadamente 2.045.

El margen de error es: 2.045 × (3 / √30) ♥ 2.045 × 0.547 ♥ ♥ 1,12%. El intervalo de confianza es de 85% ± 1,12%, lo que da lugar a una gama de aproximadamente 83.88% a 86.12%.