Förlustfunktioner är avgörande i övervakad lärande eftersom de mäter skillnaden mellan förutspådda utgångar och faktiska etiketter. De styr träningsprocessen genom att ge en metrisk för att optimera. Olika förlustfunktioner används beroende på typen av problem och dataegenskaper.
Mean Squared Error (MSE)
Mean Squared Error används vanligen för regressionsuppgifter. Det beräknar genomsnittet av rutorna av skillnaderna mellan förutspådda och faktiska värden. Formeln är:
]]MSE = (1/n) Õ (y][]] - Ã]]][]]]]]][[]]]]
där y] är det sanna värdet, ]]]] är det förutspådda värdet, och n är antalet prover. MSE straffar större fel mer kraftigt, vilket uppmuntrar modellen att minimera betydande avvikelser.
Cross-Entropy förlust
Förlust av korsentropi används främst för klassificeringsuppgifter. Det mäter olikheten mellan den förutspådda sannolikhetsfördelningen och den sanna fördelningen. För binär klassificering är formeln:
]]Cross-Entropy = - [y log( Õ) + (1 - y) log(1 - δ)]]]
där y är den sanna etiketten (0 eller 1), och Õ är den förutspådda sannolikheten för den positiva klassen. Denna förlustfunktion straffar felaktiga förutsägelser mer kraftigt när modellen är säker men fel.
Jämförelse och användning
MSE är lämplig för kontinuerliga utgångsvariabler, medan tvärentropi är idealisk för kategoriska data. Välja lämplig förlustfunktion beror på problemtypen och utgångens natur.
- Regressionsproblem
- Klassificeringsproblem
- Modellkonvergens överväganden
- Hantering av outliers