Mathematical Modeling in Engineering
Common Pitfalls in Supervised Learning and How to Address Them with Calculations
Table of Contents
El aprendizaje supervisado es un enfoque de aprendizaje de máquinas ampliamente utilizado que implica modelos de capacitación en datos etiquetados. Sin embargo, los practicantes a menudo encuentran obstáculos comunes que pueden afectar el rendimiento y la fiabilidad de sus modelos. Entender estos problemas y aplicar cálculos apropiados puede ayudar a mitigar su impacto.
Superficie y ajuste
El exceso de equipamiento ocurre cuando un modelo aprende demasiado bien los datos de entrenamiento, incluyendo el ruido, lo que conduce a una mala generalización de los nuevos datos. El ajuste ocurre cuando el modelo es demasiado simple para captar patrones subyacentes. Cálculos como las tasas de error de formación y validación pueden ayudar a identificar estos problemas.
Por ejemplo, comparar el error de entrenamiento (E]train]) y el error de validación (Eval) puede indicar sobreseír si E]train es muy bajo mientras que E]val] es un error elevado.
Clase de equilibrio
El desequilibrio de clase se produce cuando algunas clases están insuficientemente representadas en el conjunto de datos, lo que lleva a modelos parciales. El cálculo de porcentajes de distribución de clases ayuda a identificar desequilibrios.
Supongamos que el conjunto de datos tiene 1000 muestras, con 900 pertenecientes a la clase A y 100 a la clase B. Los porcentajes de distribución de clases son:
Clase A: (900/1000) * 100 = 90%
Clase B: (100/1000) * 100 = 10%
Evaluación del rendimiento del modelo
Las métricas, como la precisión, la precisión, la memoria y el núcleo F1 son esenciales para evaluar el rendimiento del modelo.
- Positivos Verdaderos (TP)
- Falsos Positivos (FP)
- Falsos Negativos (FN)
Por ejemplo, la precisión se calcula como:
Precisión = TP / (TP + FP)
Datos de ruido
Los datos ruidosos pueden distorsionar la formación de modelos. Las cálculos como la relación ruido-a-signal ayudan a cuantificar la calidad de los datos.
Supongamos que el conjunto de datos contiene 100 muestras ruidosas de 1000 muestras totales. La relación de ruido es:
Ratio de ruido = (Número de muestras de ruido) / ( Muestras totales) = 100 / 1000 = 0,1 o 10%