Funcţiile de pierdere sunt esenţiale în învăţarea supravegheată, deoarece măsoară diferenţa dintre rezultatele anticipate şi etichetele reale. Ele ghidează procesul de formare prin furnizarea unui metric pentru optimizarea. Funcţiile diferite de pierdere sunt utilizate în funcţie de tipul de probleme şi caracteristicile datelor.

Eroare medie pătrată (MSE)

Media Erorile pătrate este frecvent utilizată pentru sarcini de regresie. Calculează media pătratelor diferențelor dintre valorile anticipate și cele reale. Formula este:

MSE = (1/n) Σ (y[i -

unde y[i este valoarea reală,

Pierderea entropiei încrucişate

Pierderea trans-entropiei este utilizată în primul rând pentru sarcinile de clasificare. Acesta măsoară diferenţa dintre distribuţia probabilă şi distribuţia reală. Pentru clasificarea binară, formula este:

Cross-Entropy = - [y log(

în cazul în care y este adevărata etichetă (0 sau 1), și

Comparație și utilizare

MSE este potrivit pentru variabilele de ieșire continuă, în timp ce entropie încrucișată este ideal pentru date categorice. Alegerea funcției de pierdere corespunzătoare depinde de tipul de problemă și natura de ieșire.

  • Probleme de regresie
  • Probleme de clasificare
  • Modele de considerente de convergență
  • Manipularea de outliers