Valvottu oppiminen on koneoppimisen ydinalue, johon kuuluu koulutusmalleja tunnistetun datan avulla. Matemaattinen perusta auttaa suunnittelemaan tehokkaita algoritmeja, jotka johtavat tappiofunktioita ja niiden kaltevuuksia, jotka ohjaavat optimointiprosessia.

Menetystoiminnot valvotussa oppimisessa

Tappiotoiminnot mittaavat eroa mallin ennustettujen tuotosten ja todellisten merkkien välillä. Ne ovat olennaisia koulutusmallien kannalta tarjoamalla scalar-arvo, joka osoittaa mallin toimivuuden.

Yhteiset tappiotoiminnot sisältävät regressiotehtäviin liittyvän Mean Squared Error (MSE) -virheen ja Cross-Entropy Loss -tappion luokitustehtäviin. Loputtomuustoiminnon valinta vaikuttaa oppimisprosessiin ja konvergenssikäyttäytymiseen.

Menetyksen asteet

Gradientit ovat mallin parametrien osalta tappiotoiminnon johdannaisia. Ne osoittavat, miten suuria ja suuria säätöjä tarvitaan minimoimaan menetyksen aikana.

Esimerkiksi MSE:n kaltevuus ennusteen suhteen (hat{y) on (2(hat{y} - y)), jossa (y) on todellinen merkki. Tämä johdannainen ohjaa päivityssääntöä liukuvärin laskeutumisalgoritmeissa.

Optimointi Gradientien avulla

Gradient-laskeutumisalgoritmit päivittävät mallin parametreja iteratiivisesti siirtymällä kaltevuutta vastapäätä olevaan suuntaan. Tämä prosessi minimoi tappiotoiminnon ja parantaa mallin tarkkuutta ajan mittaan.

  • Laske nykyisten ennusteiden tappio.
  • Lasketaan häviön kaltevuus parametrien osalta.
  • Päivitä parametrit vähentämällä skaalattu kaltevuus.
  • Toista kunnes lähentymis- tai pysäytyskriteerit täyttyvät.