Entender overfitting e underfitting é essencial para avaliar modelos de aprendizado de máquina. Esses conceitos ajudam a determinar o quão bem um modelo generaliza para dados invisíveis. Calcular métricas relevantes fornece insights sobre desempenho de modelo e guias de melhorias.

Métricas sobremontantes

O ajuste excessivo ocorre quando um modelo se dá bem em dados de treinamento, mas pouco em novos dados. As métricas comuns para detectar o ajuste excessivo incluem:

  • [[FLT: 0]] Erro de formação vs. Validação: Uma grande lacuna indica sobreposição.
  • Medidas de complexidade: Tal como o número de parâmetros relativos aos pontos de dados.
  • Cross-Validation Scores: Os escores de treinamento significativamente mais elevados em comparação com os escores de validação sugerem sobreposição.

métrica de sub-fitting

A subconfiguração acontece quando um modelo é muito simples para capturar os padrões de dados subjacentes. As métricas que indicam subconfiguração incluem:

  • Alto Erro em Conjuntos de Treinamento e Validação: Indica que o modelo é muito simplista.
  • Baixa Complexidade do Modelo: Tal como muito poucas características ou parâmetros.
  • Performance Consistente: Através de dados de treinamento e validação.

Calculando a Métrica

As métricas comuns utilizadas incluem precisão, precisão, memória e pontuação F1. Para avaliar o ajuste excessivo ou o ajuste inferior, compare essas métricas com os conjuntos de dados de treinamento e validação. Uma discrepância significativa sugere o ajuste excessivo, enquanto escores uniformemente baixos indicam o ajuste inferior.

O uso de validação cruzada ajuda na avaliação da estabilidade do modelo. Calcular o desempenho médio em múltiplas dobras fornece uma estimativa mais confiável de como o modelo irá se comportar em dados não vistos.