Calculando Precisão, Recordação e Pontuação F1 para Tarefas de Classificação Nlp

Precisão, memória e escore F1 são métricas importantes utilizadas para avaliar o desempenho dos modelos de classificação de NLP, que ajudam a entender como um modelo prediz diferentes classes, especialmente em conjuntos de dados desequilibrados.

Compreender a Precisão

A precisão mede a proporção de predições positivas verdadeiras entre todas as predições positivas feitas pelo modelo. Indica quantos dos casos positivos previstos são realmente positivos.

Lembrar o Entendimento

Lembrar, também conhecida como sensibilidade, mede a proporção de casos positivos reais que são corretamente identificados pelo modelo, refletindo a capacidade do modelo em detectar instâncias positivas.

Calculando o F1-Score

O escore F1 é a média harmônica de precisão e memória. Ele fornece uma única métrica que equilibra ambos, especialmente útil quando a distribuição da classe é desigual.

Cálculo de Exemplo

Suponhamos que um modelo prediça 80 casos positivos, dos quais 60 estão corretos. Os casos positivos reais totais são 70. Os cálculos são os seguintes: