Säännöstelytekniikat ovat välttämättömiä syväoppimisessa, jotta voidaan estää ylivarustelu ja parantaa mallin kykyä yleistyä näkymättömään dataan. Tehokkaat laillistamismenetelmät voivat johtaa vahvempiin ja tarkempiin malleihin eri tehtävissä.

Jätä

Pudotus on suosittu laillistustekniikka, joka satunnaisesti deaktivoi neuronien osajoukon koulutuksen aikana. Tämä estää neuronien sopeutumista ja kannustaa verkkoa kehittämään vankempia ominaisuuksia. Tyypillisesti keskeyttämisaste vaihtelee 0,2-0,5, mallista ja dataaineistosta riippuen.

Painon aleneminen

Painon hajoaminen, joka tunnetaan myös nimellä L2 regulalisaatio, lisää rangaistustermin tappion toiminto perustuu suuruus painot. Tämä estää suuria painoja, mikä johtaa yksinkertaisempiin malleihin, jotka ovat vähemmän alttiita ylivarustelua. Sitä käytetään yleisesti yhdessä optimointialgoritmit kuten Adam tai SGD.

Tietojen muokkaus

Datan täydentäminen edellyttää lisäkoulutusnäytteiden luomista muunnelmilla, kuten pyörittelyllä, skaalauksella tai flippingillä. Tämä tekniikka lisää koulutustietojen monimuotoisuutta, auttaa mallissa oppimaan yleisluontoisempia ominaisuuksia ja vähentää ylivarustelua.

Varhainen pysäytys

Varhainen pysäytys seuraa mallin suorituskykyä validointia varten koulutuksen aikana. Kun validointisuoritus pysähtyy, koulutus keskeytetään. Tämä estää mallin yliasennuksen ja auttaa ylläpitämään yleistyskykyä.