Cálculos das funções de perda na aprendizagem supervisionada: da Mse à entropia cruzada

As funções de perda são essenciais na aprendizagem supervisionada, pois medem a diferença entre as saídas previstas e as etiquetas reais. Eles orientam o processo de treinamento fornecendo uma métrica para otimizar. Diferentes funções de perda são usadas dependendo do tipo de problema e características dos dados.

Erro médio quadrado (MSE)

O Erro Quadrado Médio é comumente usado para tarefas de regressão. Ele calcula a média dos quadrados das diferenças entre os valores preditos e os reais. A fórmula é:

MSE = (1/n) Ñ (yi - □i)2

onde yi é o valor verdadeiro, .i é o valor previsto, e n é o número de amostras. MSE penaliza erros maiores mais fortemente, incentivando o modelo a minimizar desvios significativos.

Perda de Entropia Cruzada

A perda de entropia cruzada é usada principalmente para tarefas de classificação. Mede a dissimilaridade entre a distribuição de probabilidade prevista e a distribuição verdadeira. Para classificação binária, a fórmula é:

Cross-Entropy = - [y log( ) + (1 - y) log(1 - )]

onde y é o rótulo verdadeiro (0 ou 1), e , é a probabilidade prevista da classe positiva. Esta função de perda penaliza as previsões incorretas mais fortemente quando o modelo está confiante, mas errado.

Comparação e Uso

O MSE é adequado para variáveis de saída contínua, enquanto a entropia cruzada é ideal para dados categóricos. A escolha da função de perda adequada depende do tipo de problema e da natureza da saída.