Los árboles de decisión son uno de los algoritmos de aprendizaje automático más intuitivos y ampliamente utilizados, apreciados por su transparencia y facilidad de interpretación. Si se aplica a las tareas de clasificación o regresión, estos modelos rompen las decisiones en una serie de reglas simples si-entonces que reflejan el razonamiento humano. Esta interpretación hace que los árboles de decisión sean una opción predeterminada para el análisis de datos exploratorios y para los dominios donde la capacidad de la explicación del modelo es primordial.

¿Qué es la validación cruzada?

La validación cruzada es un procedimiento de reelaboración utilizado para evaluar la capacidad de un modelo de aprendizaje automático para generalizar un conjunto de datos independiente. En lugar de confiar en una sola división de pruebas de tren, la validación cruzada divide el conjunto de datos en varios subconjuntos complementarios, llamados pliegues. El modelo se entrena en una combinación de todos pero un pliegue, y luego se prueba en el pliegue restante.

Históricamente, la validación cruzada surgió de la necesidad de evaluar el rendimiento del modelo sin desperdiciar datos. La variante más simple, validación de la retención, establece una parte fija de los datos para la prueba. Sin embargo, la retención puede producir estimaciones de alta varianza que dependen en gran medida de las muestras específicas aterrizan en el conjunto de pruebas.

¿Por qué los árboles de decisión son propensos a sobreajustar

La superación ocurre cuando un modelo aprende los datos de entrenamiento demasiado bien, incluyendo su ruido y los atípicos, a expensas de la tendencia general. Los árboles de decisión son particularmente vulnerables a la superposición por varias razones. Primero, pueden crecer a cualquier profundidad, dividiendo los datos hasta que cada hoja contenga sólo una observación única o sea perfectamente pura.

Considere un árbol de decisión entrenado en un conjunto de datos pequeño con 100 muestras y muchas características. Si el árbol crece a 50 hojas, cada hoja puede contener sólo un par de muestras. En el conjunto de entrenamiento, el árbol alcanzará una precisión casi perfecta porque se ha memorizado esencialmente cada muestra. Sin embargo, cuando se presenta con nuevos datos, el árbol actuará mal porque los patrones específicos que aprendió no son generales.

El papel de la validación cruzada en la selección de modelos y el ajuste del hiperparametro

Más allá de la evaluación simple, la validación cruzada juega un papel central en la selección de modelos y la optimización del hiperparametro. Al construir un árbol de decisiones, debe elegir hiperparametros como la profundidad máxima, el número mínimo de muestras requeridas para dividir un nodo interno y las muestras mínimas por hoja. Estas opciones controlan directamente la complejidad del modelo y su tendencia a sobrepalancamiento.

La validación cruzada también ayuda a comparar diferentes modelos, como un árbol de decisión profunda contra un árbol podado, o un árbol de decisión contra un bosque aleatorio. Al evaluar cada modelo utilizando el mismo procedimiento de validación cruzada, obtiene una comparación de manzanas a aplicaciones que representa la varianza. El modelo con el mejor rendimiento cruzado es el que debe seleccionar para el despliegue, asumiendo la precisión de la evaluación de los alcantarillas con su objetivo de clasificación de negocio.

Tipos de Técnicas de Validación Cruzada

Existen varias técnicas de validación cruzada, cada una con sus propias fortalezas y desvíos. La elección depende del tamaño de conjunto de datos, el tipo de problema y el presupuesto computacional. Aquí cubremos los métodos más relevantes para la evaluación de los árboles de decisión.

K-Fold Cross-Validation

5) El sistema de prueba de la bivalidación es aleatoriamente dividido en k pliegues de igual tamaño. El modelo se entrena en k-1 pliegues de la prueba de la varianza más grandes [FLT:]

Validación cruzada de K-Fold estratificada

Los árboles estándar de la cabalgata pueden producir pliegues con distribuciones de clase desbalanzadas, especialmente cuando la variable objetivo es rara. Si un pliegue termina sin muestras de una clase minoritaria, el rendimiento del modelo en ese pliegue podría ser engañoso. La selección transversal de los k estrados es más segura, por ejemplo, preservando el porcentaje de muestras para cada clase en cada pliegue.

La única salida de la validación cruzada (LOOCV)

LOOCV es un caso extremo de la validación cruzada de k-fold, donde k equivale al número de muestras en el conjunto de datos. Cada muestra se utiliza como un único conjunto de pruebas una vez, mientras que las muestras restantes forman el conjunto de entrenamiento. LOOCV es computacionalmente caro porque requiere entrenamiento como muchos modelos como hay muestras.

Repetida K-Fold Cross-Validation

La validación cruzada repetida de k repite el proceso de k varias veces, cada vez con diferentes divisiones aleatorias de los datos en pliegues. Esto reduce aún más la variabilidad en la estimación de rendimiento. Por ejemplo, puede realizar 5 veces la validación cruzada repetida 3 veces, resultando en 15 evaluaciones. La métrica final es el promedio de todas las repeticiones.

Validación de retención vs. Validación cruzada

La validación de la retención, donde los datos se dividen una vez en un conjunto de entrenamiento y un conjunto de pruebas (por ejemplo, 80/20), es más simple y más rápido pero sufre de alta varianza. La estimación de rendimiento depende en gran medida de qué muestras aterrizan en el conjunto de pruebas. Para los árboles de decisión, una sola retención puede sobreestimar o subestimar el rendimiento verdadero, lo que conduce a decisiones de modelo deficientes.

Aplicación de la validación cruzada: Guía práctica

La mayoría de las bibliotecas de aprendizaje automático proporcionan soporte integrado para la validación cruzada. En Python, la biblioteca es el estándar de facto para los modelos de árboles de decisión. La función automatiza el proceso de división, entrenamiento y puntuación.

Cuando se implemente la validación cruzada para los árboles de decisión, preste atención a la preprocesación de datos. Cualquier transformación que aprenda los parámetros de los datos, como escalar o encoder, debe realizarse dentro de cada plegado de entrenamiento para evitar fugas de datos. Para los árboles de decisión, el escalado es generalmente innecesario porque los árboles son invariantes a las transformaciones monotónicas, pero una codificación de variables categóricas debe hacerse consistentemente a través de redadas.

Pitfalls comunes y mejores prácticas

Si la validación cruzada es una herramienta poderosa, debe aplicarse correctamente. Un error común es usar la validación cruzada para la selección de características antes de evaluar el modelo. Si selecciona características basadas en todo el conjunto de datos, está filtrando información del conjunto de pruebas, lo que conduce a un rendimiento excesivamente optimista. La selección de características debe realizarse dentro del bucle de la validación cruzada, utilizando sólo los datos de entrenamiento de cada pliegue.

[LT] La elección del valor de k es también importante. Para la mayoría de los conjuntos de datos, k=5 o k=10 funciona bien. Con datos muy grandes, puede usar k=3 [LT comp.]

Otra mejor práctica es utilizar la validación cruzada para la comparación de modelos con pruebas de significación estadística. Incluso si el modelo A tiene una puntuación más alta media validada que el modelo B, la diferencia podría deberse a la casualidad. Utilice la prueba t amparada corregida o la prueba de Wilcoxon firmado-rank para determinar si la diferencia es significativa. Estas pruebas representan las dependencias entre pliegues.

Finalmente, recuerde que la validación cruzada no es una panacea. Estima el rendimiento de los datos extraídos de la misma distribución que los datos de entrenamiento. Si los datos de implementación son de una distribución diferente (desplazamiento de distribución), la validación cruzada no revelará eso. En tales casos, necesita validación adicional de datos que representen el dominio objetivo. La validación cruzada tampoco le dice por qué el modelo falla; sólo da una confusión numérica estimación de diagnóstico.

Validación cruzada en el contexto de los conjuntos de árboles de decisión

Los árboles de decisión se utilizan a menudo como estudiantes de base en métodos conjuntos como bosques aleatorios y el impulso de gradiente. Mientras que los conjuntos reducen la sobreajuste en comparación con un solo árbol, la validación cruzada sigue siendo importante para ajustar los hiperparametros de ensemble (número de árboles, máxima profundidad, tasa de aprendizaje, etc.) Para los bosques aleatorios, la validación cruzada ayuda a determinar el número óptimo de las características consideradas.

Conclusión

Los documentos de validación cruzada son una herramienta indispensable para la evaluación de los modelos de árboles de decisión. Su capacidad para proporcionar una estimación robusta y de baja duración del rendimiento del modelo ayuda a detectar el exceso de ajuste, guía el ajuste del hiperparamétrico y apoya la selección de modelos informada.