Las redes neuronales son herramientas poderosas para resolver problemas complejos, pero también pueden sobrepalancar datos de capacitación, reduciendo su capacidad de generalizarse a nuevos datos. Las técnicas de regularización ayudan a controlar la complejidad del modelo y mejorar el rendimiento en datos no vistos.

Abandonación

El abandono es una técnica en la que se ignoran las neuronas seleccionadas aleatoriamente durante el entrenamiento. Esto evita que las neuronas co-adapting y alienta a la red a desarrollar características más robustas. Durante las pruebas, se utilizan todas las neuronas, pero sus salidas se escalan para tener en cuenta el desplegamiento durante el entrenamiento.

Denegación de peso

La desintegración de peso añade una penalización a la función de pérdida basada en el tamaño de los pesos. Esto desalienta los pesos grandes, que pueden conducir a la sobreajuste. Comúnmente, se utiliza la regularización de L2, donde la penalización es proporcional a la suma de pesos cuadrados.

Aumento de los datos

La ampliación de los datos aumenta la diversidad de los datos de formación mediante la aplicación de transformaciones como rotaciones, traducciones o escalado. Esto ayuda al modelo a aprender más características generales y reduce el exceso de adaptación, especialmente en las tareas de imagen y lenguaje.

Detenimiento temprano

La parada temprana implica monitorizar el rendimiento del modelo en un conjunto de validación durante el entrenamiento. La formación se detiene cuando el rendimiento deja de mejorar, evitando que el modelo se superponga a los datos de entrenamiento.

Resumen de las técnicas de regularización

  • Dropout:] Aleatoriamente ignora las neuronas durante el entrenamiento.
  • Despido de peso: Penaliza grandes pesos para prevenir la sobreajuste.
  • Acentración de datos: Amplia los datos de capacitación con transformaciones.
  • Detenerse: Detiene el entrenamiento cuando se realizan mesetas de rendimiento de validación.