Pudotus ja laillistaminen ovat koneoppimisessa käytettäviä tekniikoita, joilla parannetaan mallin suorituskykyä estämällä ylivarustelua. Ylikompensointi tapahtuu, kun malli oppii melua koulutusdatassa, mikä vähentää sen kykyä yleistyä uuteen tietoon. Näiden strategioiden täytäntöönpanoon liittyy erityisiä laskelmia ja parhaita käytäntöjä.

Jättöjen ymmärtäminen

Poistuminen satunnaisesti poistaa murto-osan neuronien aikana koulutuksen, joka auttaa estämään verkon tulossa liian riippuvainen tiettyjä reittejä. Keskeytysnopeus määrittää prosentuaalinen neuronien deaktivoitu kussakin iterointi.

Tyypilliset keskeyttämisasteet vaihtelevat 0,2-0,5. Esimerkiksi 0,3 prosentin pudotusnopeus tarkoittaa 30%:n neuronien sammuttamista jokaisen harjoitusvaiheen aikana. Tämä kannustaa verkostoa kehittämään vahvempia ominaisuuksia.

Täytäntöönpanon sääntöjenmukaisuuden valvonta

Säännöstely lisää rangaistus tappio toiminto estää monimutkaisia malleja. Yleisin muoto on L2 laillistaminen, joka rankaisee suuria painoja. Laillistaminen termi lasketaan seuraavasti:

]Loss = Alkuperäinen tappio + λ * Σ(w2)[]

jossa λ (lambda) on laillistamisparametri ja Σ(w2[) on neliöpainojen summa. Sopivan λ:n valinta on ratkaisevan tärkeää; tyypilliset arvot vaihtelevat 0,001:stä 0,1:een.

Strategiat liiallisen varustelun ehkäisemiseksi

Yhdistämällä keskeyttämiset ja laillistaminen voivat tehokkaasti vähentää ylivarustelua. Muita strategioita ovat varhainen pysäyttäminen, tietojen lisääminen ja ristiinvalidointi. Säännöllisesti seuraamalla validointi suorituskykyä auttaa määrittämään optimaalisen laillistamisen parametrit.

  • Käytä keskeyttämisiä 0,2-0,5 prosentin välillä
  • Käytä L2- regulalisaatiota noin 0,01 λ:llä
  • Suoritetaan koulutuksen aikana varhainen pysäyttäminen
  • Lisätiedot koulutuksen kehittämiseksi monimuotoisuuden lisäämiseksi