Säännöstely on tekniikka, jota käytetään valvotussa oppimisessa estämään yliasennus lisäämällä rangaistus mallin monimutkaisuuteen. Se auttaa parantamaan mallin yleistymistä näkymättömään dataan ja parantaa sen ennakoivaa suorituskykyä.

Säännöstenmukaisuuden ymmärtäminen

Säännöstely muuttaa tappion toimintoa koulutuksen aikana sisällyttämällä siihen rangaistustermin. Yleisiä tyyppejä ovat L1 regulalisaatio (Lasso) ja L2 regulalisaatio (Ridge). Nämä menetelmät ohjaavat malliparametrien suuruusluokkaa, mikä kannustaa yksinkertaisempiin malleihin.

Laskelmat, joihin sisältyy sääntöjenmukaisuus

Ohjatussa oppimisessa laillistettu tappiotoiminto voidaan ilmaista seuraavasti:

Loss = Alkuperäinen tappio + λ × Säännöllinen termi

Jossa λ (lambda) on laillistamisen parametri, joka määrittää vahvuus laillistamisen. Esimerkiksi Ridge regressio, laillistaminen termi on summa neliön kertoimia:

λ × Σ (kertoimet)^2

Parhaat käytännöt sääntöjenmukaisuuden varmistamiseksi

  • Valitse asianmukainen normalisointiparametri (λ) ristivalidoinnin kautta.
  • Aloita pienillä λ-arvoilla ja kasvata vähitellen havaitaksesi vaikutuksia mallin suorituskykyyn.
  • Käytä L1- regulalisaatiota, kun ominaisuusvalinta on haluttu.
  • Yhdistä laillistaminen ominaisuus skaalaus parempiin tuloksiin.
  • Seuraa koulutus- ja validointivirheitä, jotta vältetään varustelun tai asennuksen liiallinen määrä.