Clustering is een veel gebruikte techniek in data-analyse om vergelijkbare datapunten te groeperen. Het evalueren van de kwaliteit van deze clusters is essentieel om zinvolle resultaten te garanderen, vooral in engineering toepassingen waar nauwkeurigheid invloed heeft op de besluitvorming. Verschillende metrics en berekeningen helpen kwantificeren hoe goed de clustering uitlijnt met de onderliggende data-structuur.

Interne evaluatie Metrics

Interne metrics beoordelen de samenhang en scheiding van clusters uitsluitend op basis van de gegevens zelf. Ze hebben geen externe labels of grondwaarheid nodig. Deze metrics helpen bepalen hoe compact en onderscheiden de clusters zijn.

  • Silhouette Score: Meet hoe een object lijkt op zijn eigen cluster in vergelijking met andere clusters. Waarden variëren van -1 tot 1, met hogere scores die een betere clustering aangeven.
  • Dunn Index: Evalueert de verhouding tussen de kleinste afstand tussen waarnemingen in verschillende clusters en de grootste intra-clusterafstand. Hogere waarden suggereren een betere scheiding.
  • Davies-Bouldin Index: Berekent de gemiddelde overeenkomst tussen elke cluster en de meest vergelijkbare. Lagere waarden wijzen op betere clustering.

Externe evaluatie Metrics

Externe metrics vergelijken clustering resultaten met een vooraf gedefinieerde grond waarheid of labels. Ze zijn nuttig wanneer echte classificaties bekend zijn, zoals in gecontroleerde scenario's.

  • Aangepaste Rand Index (ARI): Meet de gelijkenis tussen de voorspelde clusters en ware labels, waarbij de waarden voor toeval worden aangepast.
  • Genormaliseerde wederzijdse informatie (NMI): Kwantificeert de wederzijdse afhankelijkheid tussen clustering en ware labels, genormaliseerd tussen 0 en 1.
  • Homogeniteitsscore: Controleert of elk cluster alleen gegevenspunten bevat die deel uitmaken van één klasse.

Berekeningen en interpretatie

Het berekenen van deze metrics omvat specifieke formules en afstandsmetingen. Bijvoorbeeld, de Silhouette Score gebruikt de gemiddelde intra-cluster afstand en de gemiddelde dichtstbijzijnde-cluster afstand voor elk punt. Externe metrics vereisen vaak een verwarringsmatrix of noodtabel, waarbij voorspelde clusters met echte labels worden vergeleken.

Het interpreteren van de resultaten hangt af van de context. Hogere Silhouette scores en NMI waarden wijzen op een betere clusterkwaliteit, terwijl lagere Davies-Bouldin indices wijzen op goed gescheiden clusters. Het combineren van meerdere metrics biedt een uitgebreide evaluatie.