Calcoli delle funzioni di perdita nell'apprendimento supervisionato: da Mse a cross-entropy

Le funzioni di perdita sono essenziali nell'apprendimento supervisionato, poiché misurano la differenza tra le uscite predette e le etichette effettive, guidando il processo di formazione fornendo una metrica per ottimizzare.

Errore di Mean Squared (MSE)

L'errore quadrato di Mena è comunemente usato per le operazioni di regressione, calcola la media delle quadratiche delle differenze tra i valori predetti e quelli effettivi.

MSE = (1/n) Σ (y]i] - ⁇ i[]]]]2]

dove yi[]] è il vero valore, ⁇ [i[]] è il valore predetto, e n è il numero di campioni. MSE penalizza più pesantemente errori più grandi, incoraggiando il modello a minimizzare deviazioni significative.

Perdita di croce

La perdita di cross-entropy viene utilizzata principalmente per le attività di classificazione, misura la dissimila tra la distribuzione predetta delle probabilità e la distribuzione vera.

Cross-Entropy = - [ y log( ⁇ ) + (1 - y) log(1 - ⁇ ) ]]

dove y è la vera etichetta (0 o 1), e ⁇ è la probabilità prevedibile della classe positiva. Questa funzione di perdita penalizza le previsioni errate più pesantemente quando il modello è sicuro ma sbagliato.

Confronto e utilizzo

MSE è adatto per variabili di uscita continue, mentre cross-entropy è ideale per i dati categorici. La scelta della funzione di perdita appropriata dipende dal tipo di problema e dalla natura dell'output.