Pudotuslaiminlyönti on tekniikka, jota käytetään hermoverkoissa yliasennuksen estämiseksi. Siihen kuuluu neuronien osa-alueen satunnaisesti deaktivointi koulutuksen aikana, mikä auttaa mallia yleistymään paremmin näkymättömään dataan. Tämä artikkeli selittää, miten keskeyttämiset toteutetaan, miten laskelmat suoritetaan ja miten ne vaikuttavat hermoverkon suorituskykyyn.

Ymmärtäminen Palautustila

Palautus toimii asettamalla satunnaisesti osuuden neuronin lähtö nollaan kunkin harjoitusiteroinnin aikana. Tämä estää neuronien joutumasta liian riippuvaiseksi tietyistä ominaisuuksista ja kannustaa verkostoa kehittämään vankempia esityksiä. Keskeytysnopeus määrittää pois käytöstä pois käytöstä jääneiden neuronien osuuden.

Laskelmat, jotka sisältyvät pudotusjaksoon

Koulutuksen aikana jokainen neuroni säilyy todennäköisenä p. Neuronin i tulos sen jälkeen, kun se on laskettu seuraavasti:

[LLT:0]]y[[[LLT:1]]]i[[LLT:2]] = r[[LLT:3]]]i[[[LLT:4]] * x[[LLT:5]]]i[[[LLT:6]][[[[LLT:7]]]]]

jossa r[]i[ on Bernoullin satunnaismuuttuja, jonka todennäköisyys ] on 1 (jatkuva) ja 0 (dropped). Päätelmän mukaan painot luokitellaan p[:llä, jotta voidaan ottaa huomioon keskeyttämiset koulutuksen aikana.

Vaikutus hermoverkon yleistymiseen

Toteutus keskeytys parantaa mallin kykyä yleistyä vähentämällä ylivarustelua. Se pakottaa verkon oppimaan tarpeettomia lähetyksiä, mikä tekee siitä kestävämmän melulle ja datan vaihteluille. Tämän seurauksena mallit, joissa on keskeytys, toimivat tyypillisesti paremmin validoinnissa ja testiaineistoissa.

  • Vähentää riippuvuutta tiettyihin neuroniin
  • Kannustaa vankkaa hahmooppimista
  • Vähentää oversibility- varustelua
  • Parantaa testitarkkuutta