Ylivarustelu on yhteinen haaste koulutus monimutkaisia hermoverkkoja, jossa mallit toimivat hyvin koulutusdataa mutta huonosti näkymätön data. Säännöstely tekniikat auttavat parantamaan yleistys kyky näiden mallien estämällä ylivarustelua. Tämä artikkeli tutkii kehittyneitä laillistaminen menetelmiä, jotka ovat tehokkaita monimutkaisia hermoverkkoja.

Jätteet ja variantit

Pudotus on laajalti käytetty laillistamistekniikka, joka satunnaisesti deaktivoi neuronien osajoukon koulutuksen aikana. Muunnokset kuten Spatial Dropout ja DropConnect tuovat muutoksia parantaa suorituskykyä tietyissä skenaarioissa. Palautus auttaa vähentämään riippuvuutta tiettyjä neuronit, edistää vankempaa ominaisuus oppimista.

Painon säätäminen

Painon normalisointi lisää rangaistustermejä tappio toiminto rajoittaa suuruus painot. Yhteisiä menetelmiä ovat L1 laillistaminen, joka kannustaa sparrititeetti, ja L2 laillistaminen, joka estää suuria painoja. Nämä tekniikat auttavat estämään mallin asentaa melua harjoitustiedot.

Tietojen muokkaus ja melun ruiskutus

Datan lisäys laajentaa keinotekoisesti harjoitusaineistoa muuntamalla muunnoksia, kuten kiertoja, skaalausta tai värinsiirtoja. Melun ruiskuttaminen tarkoittaa satunnaisen melun lisäämistä syötteisiin tai painoihin koulutuksen aikana. Molemmat menetelmät parantavat mallin kestävyyttä ja vähentävät sen asentamista altistamalla mallin erilaisille datavariaatioille.

Kehittyneet tekniikat

Muita kehittyneitä laillistamismenetelmiä ovat:

  • Batch normalisointi:[ normalisoi kerros syötteet vakauttaa oppimista.
  • Early Pysähtyy:[ keskeyttää koulutuksen, kun validointisuoritus lakkaa parantumasta.
  • Spektral Normalization:[ rajoittaa painomatriiseja spektrin mukaan koulutuksen vakauttamiseksi.
  • Lopulta:[ pudottaa vierekkäisiä alueita ominaisuuskarttoihin, mikä lisää laillistamista.