Los conjuntos de datos infrarrojos son comunes en muchas aplicaciones del mundo real, como detección de fraude, diagnóstico médico y detección de anomalías. El abordaje del desequilibrio es crucial para la creación de modelos eficaces de aprendizaje automático. Este artículo explora técnicas prácticas apoyadas por principios matemáticos para manejar datos desbalanzados de manera efectiva.

Comprensión de los datos

El desequilibrio de datos se produce cuando el número de instancias en una clase supera significativamente a las de otra. Este desequilibrio puede sesgar modelos hacia la clase mayoritaria, reduciendo su capacidad de detectar instancias de clase minoritaria. Matemáticamente, si N es el número total de muestras y N la relación de la minoría[FLT][

Técnicas para el manejo de la Imbalance

Varias técnicas pueden mitigar los efectos del desequilibrio de datos, que pueden clasificarse ampliamente en enfoques de nivel de datos y de algoritmo.

Métodos de datos

  • Oversampling: Increasing minority class samples, often using methods like SMOTE, which generates syn data points based on existing minority samples.
  • Undersampling: Reducir muestras de clase mayoritaria para equilibrar el conjunto de datos, lo que puede arriesgar la pérdida de información valiosa.
  • Hybrid approaches: Combinando el oversampling y el subsampling para optimizar el balance de datos.

Métodos Algoritm-Level

  • Aprendizaje sensible al consumidor: Asignar costos de clasificación superior a errores de clase minoritaria para influir en el enfoque del modelo.
  • Ensemble methods: Usando técnicas como el impulso para mejorar la detección de clases minoritarias.
  • Ajuste de los umbrales de decisión: Modificar la probabilidad de corte para favorecer las predicciones de clase minoritaria.

Fundaciones Matemáticas

Muchas técnicas se basan en conceptos estadísticos y matemáticos. Por ejemplo, SMOTE crea muestras sintéticas interpolando entre puntos de clase minoritarios:

xnuevo = x]i + lambda (x]j] - xi] ]

xi ] y x]j]]]] son muestras de clase minoritaria, y lambda es un número aleatorio de datos de la clase 0 aleatoria.