Pudotus on hermoverkoissa käytettävä laillistustekniikka, jolla estetään yliasennuksen syntyminen. Siihen kuuluu neuronien satunnaisen deaktivoinnin käynnistäminen koulutuksen aikana, mikä kannustaa verkostoa kehittämään vankempia ominaisuuksia. Sen teoreettisen perustan ja käytännön toteutuksen ymmärtäminen voi parantaa mallin suorituskykyä ja yleistymistä.

Teoreettiset perusteet

Pudotus otettiin käyttöön keinona vähentää monimutkaisia neuronien välisiä sopeutumisia. Satunnaisesti pudottamalla yksikköjä koulutuksen aikana verkko oppii tarpeettomia esityksiä, mikä parantaa sen kykyä yleistyä näkymättömään dataan. Tekniikkaa voidaan pitää lähentämisenä monien eri verkkojen yhteenkokoamiseen samanaikaisesti.

Käytännön toteutusvinkkejä

Toteutus keskeytys vaatii tehokkaasti huomiota tiettyihin parametreihin. Keskeytysnopeus, joka määrittää neuronin deaktivoinnin todennäköisyyden, vaihtelee tyypillisesti 0,2-0,5. Sitä käytetään yleisesti täysin kytkettyjen kerrosten jälkeen ja joskus konvolutionaalisten kerrosten jälkeen, riippuen arkkitehtuurista.

Koulutuksen aikana keskeyttäminen on aktiivista, mutta se on pois päältä päättelyn aikana. Jotta pudotetut yksiköt voitaisiin korvata, painot skaalataan testin aikana. Monet syväoppimisjärjestelmät käsittelevät tätä automaattisesti yksinkertaistaen toteutusprosessia.

Lisävinkkejä pudotuskatkon käyttöön

  • Yhdistä keskeyttäjä muiden laillistamismenetelmien kuten painon hajoaminen.
  • Säädä keskeyttämisasteet mallin ja tietokokonaisuuden monimutkaisuuden perusteella.
  • Käytä keskeyttämisjaksoa täysin yhdistetyissä kerroksissa ensisijaisesti, koska se on vähemmän tehokas konvolutionaalisissa kerroksissa.
  • Seurataan validointituloksia, jotta vältetään liiallinen keskeyttäminen, mikä voi haitata oppimista.