A agregação é uma técnica comum na análise de dados usada para agrupar pontos de dados semelhantes. A avaliação da qualidade desses clusters é essencial para garantir resultados significativos, especialmente em aplicações de engenharia onde a precisão impacta a tomada de decisão. Várias métricas e cálculos ajudam a quantificar o quão bem o agrupamento se alinha com a estrutura de dados subjacente.

Métricas internas de avaliação

As métricas internas avaliam a coesão e separação de clusters com base apenas nos dados em si. Elas não requerem rótulos externos ou verdade de terra. Essas métricas ajudam a determinar o quão compactos e distintos são os clusters.

  • Silhuette Score: Mede como um objeto é similar ao seu próprio cluster em comparação com outros clusters. Os valores variam de -1 a 1, com pontuações mais altas indicando melhor agrupamento.
  • Índice de Dunn: Avalia a razão entre a menor distância entre as observações em diferentes clusters e a maior distância intra-cluster. Valores mais elevados sugerem uma melhor separação.
  • Índice de Davies-Bouldin: Calcula a similaridade média entre cada cluster e o seu mais semelhante. Valores mais baixos indicam melhor agrupamento.

Métricas de Avaliação Externa

As métricas externas comparam resultados de agrupamento com uma verdade ou rótulos de base predefinidos. São úteis quando classificações verdadeiras são conhecidas, como em cenários supervisionados.

  • Índice Rand Ajustado (ARI): Mede a similaridade entre os clusters preditos e rótulos verdadeiros, ajustando-se para o acaso. Os valores variam de -1 a 1.
  • Normalizado Informação Mútua (NMI): Quantifica a dependência mútua entre o agrupamento e rótulos verdadeiros, normalizados para variar entre 0 e 1.
  • Homogeneidade Pontuação: Verifica se cada cluster contém apenas pontos de dados que são membros de uma única classe.

Cálculos e Interpretação

Calculando estas métricas, as fórmulas específicas e as medidas de distância. Por exemplo, o Silhouette Score utiliza a distância média intra-cluster e a distância média mais próxima-cluster para cada ponto. As métricas externas frequentemente requerem uma matriz de confusão ou tabela de contingência comparando os clusters preditos com rótulos verdadeiros.

A interpretação dos resultados depende do contexto. Os escores mais elevados da Silhouette e os valores do NMI indicam melhor qualidade de agrupamento, enquanto os índices de Davies-Bouldin mais baixos sugerem clusters bem separados.