Säännöstely on koneoppimisessa käytetty tekniikka, jolla estetään ylivarustelu lisäämällä tappiofunktioon rangaistus. Se auttaa malleja yleistymään paremmin näkymättömään dataan hillitsemällä liian monimutkaisia ratkaisuja.

Säännöstenmukaisuuden teoria

Säännöstely tuo koulutuksen aikana objektiivista toimintoa koskevia lisäehtoja, jotka rankaisevat suuria malliparametreja ja kannustavat yksinkertaisempiin malleihin, jotka eivät todennäköisesti sovi koulutustietoihin.

Yleiset sääntöjenmukaisuuden valvontatekniikat

  • L1 Säännöstely:[ Lisää kertoimia itseisarvon tappiofunktioon, edistää sparsity.
  • L2 Säännöstely:[ Lisää neliöarvo kertoimia, rohkaisee pienempiä painoja.
  • Lähtö: [ Satunnaisesti pudottaa yksiköitä koulutuksen aikana vähentää riippuvuutta tiettyihin neuronien.
  • Early Pysähtyy:[] Lopettaa koulutuksen, kun validointitietojen suorituskyky alkaa heikentyä.

Laskelmat ja toteutus

Lineaarisessa regressiossa esimerkiksi L2-normalisoituminen muuttaa kustannusfunktiota seuraavasti:

Tappio = neliövirheiden summa + λ * neliöpainojen summa

jossa λ (lambda) on regulalisaatioparametri, joka ohjaa rangaistusvoimaa. Sopivan λ:n valinta on ratkaisevan tärkeää ja usein tehdään ristivalidoinnin kautta.

Parhaat käytännöt

Laillistamisen toteuttamisessa on otettava huomioon seuraavat parhaat käytännöt:

  • Käytä ristivalidointia normalisoinnin parametrien viritykseen.
  • Aloita yksinkertaisista malleista ja vähitellen lisää monimutkaisuutta.
  • Yhdistä tarvittaessa useita laillistamistekniikoita.
  • Seuraa validointia, jotta vältetään varustelun tai asennuksen ahtaus.