Bewertung der Clustering-Qualität: Metriken und Berechnungen für technische Anwendungen

Clustering ist eine gängige Technik in der Datenanalyse, die zur Gruppierung ähnlicher Datenpunkte verwendet wird. Die Bewertung der Qualität dieser Cluster ist von wesentlicher Bedeutung, um aussagekräftige Ergebnisse zu erzielen, insbesondere in technischen Anwendungen, bei denen die Genauigkeit die Entscheidungsfindung beeinflusst. Verschiedene Metriken und Berechnungen helfen dabei, zu quantifizieren, wie gut das Clustering mit der zugrunde liegenden Datenstruktur übereinstimmt.

Interne Bewertungsmetriken

Interne Metriken bewerten den Zusammenhalt und die Trennung von Clustern ausschließlich auf der Grundlage der Daten selbst. Sie erfordern keine externen Etiketten oder Ground Truth. Diese Metriken helfen zu bestimmen, wie kompakt und unterschiedlich die Cluster sind.

• Silhouette Score: misst, wie ähnlich ein Objekt seinem eigenen Cluster im Vergleich zu anderen Clustern ist.
• Dunn Index: Bewertet das Verhältnis zwischen dem kleinsten Abstand zwischen Beobachtungen in verschiedenen Clustern und dem größten Intra-Cluster-Abstand.
• Davies-Bouldin Index: Berechnet die durchschnittliche Ähnlichkeit zwischen jedem Cluster und seinem ähnlichsten.

Externe Bewertungsmetriken

Externe Metriken vergleichen Clustering-Ergebnisse mit einer vordefinierten Grundwahrheit oder Labels, die nützlich sind, wenn echte Klassifikationen bekannt sind, wie z. B. in überwachten Szenarien.

• Adjusted Rand Index (ARI): misst die Ähnlichkeit zwischen den vorhergesagten Clustern und echten Labels, wobei die Werte von -1 bis 1 um den Zufall angepasst werden.
• Normalisierte gegenseitige Information (NMI): Quantisiert die gegenseitige Abhängigkeit zwischen dem Clustering und den wahren Labels, normalisiert auf einen Bereich zwischen 0 und 1.
• Homogenitäts-Score: Prüft, ob jeder Cluster nur Datenpunkte enthält, die Mitglieder einer einzelnen Klasse sind.

Berechnungen und Interpretation

Die Berechnung dieser Metriken umfasst spezifische Formeln und Entfernungsmaße. Beispielsweise verwendet der Silhouette-Score die mittlere Intra-Cluster-Entfernung und die mittlere nächste Cluster-Entfernung für jeden Punkt. Externe Metriken erfordern oft eine Verwirrungsmatrix oder eine Kontingenztabelle, die vorhergesagte Cluster mit echten Labels vergleicht.

Die Interpretation der Ergebnisse hängt vom Kontext ab. Höhere Silhouette-Werte und NMI-Werte deuten auf eine bessere Clustering-Qualität hin, während niedrigere Davies-Bouldin-Indizes auf gut getrennte Cluster hindeuten. Die Kombination mehrerer Metriken bietet eine umfassende Bewertung.