Der Umgang mit unausgewogenen Datensätzen ist eine häufige Herausforderung beim maschinellen Lernen. Wenn eine Klasse die anderen signifikant übertrifft, können Modelle verzerrt werden, was zu einer schlechten Leistung in Minderheitenklassen führt. Die Umsetzung praktischer Strategien kann die Modellgenauigkeit und -gerechtigkeit verbessern.

Imbalanced Datasets verstehen

Ein unausgewogener Datensatz tritt auf, wenn die Verteilung von Klassen ungleichmäßig ist. Bei der Betrugserkennung sind betrügerische Transaktionen im Vergleich zu legitimen selten. Die Anerkennung dieses Ungleichgewichts ist der erste Schritt, um es effektiv anzugehen.

Datenebenentechniken

Techniken auf Datenebene ändern den Datensatz, um die Klassenverteilung auszugleichen.

  • Übergreifend: Erhöhen der Anzahl von Minderheitsklassenproben, oft unter Verwendung von Techniken wie SMOTE.
  • Undersampling: Reduzieren der Mehrheitsklassen-Samples, um die Größe der Minderheitsklassen zu erreichen.
  • Datenvergrößerung: Erstellen neuer synthetischer Proben zur Verbesserung der Repräsentation von Minderheitenklassen.

Algorithmen-Ebene Strategien

Die Anpassung des Lernalgorithmus kann auch das Klassenungleichgewicht beheben.

  • Kostensensibles Lernen: Höhere Fehlklassifizierungskosten für Fehler in Minderheitenklassen zuweisen.
  • Klassengewichte anpassen: Die Bedeutung von Klassen während des Modelltrainings ändern.
  • Ensemble-Methoden: Kombinieren mehrerer Modelle zur Verbesserung der Erkennung von Minderheitenklassen.

Auswertungsmetriken

Die Verwendung geeigneter Metriken ist für die Bewertung der Modellleistung bei unausgewogenen Daten unerlässlich.

  • Präzision: Der Anteil der wahren Positiven unter den vorhergesagten Positiven.
  • Erinnern Sie sich: Der Anteil der tatsächlichen Positiven richtig identifiziert.
  • F1 Score: Das harmonische Mittel von Präzision und Rückruf.
  • AUC-ROC: misst die Fähigkeit des Modells, zwischen Klassen zu unterscheiden.