Deep neurale nettverk kan møte utfordringer under trening, spesielt med det forsvinnende gradientproblemet. Dette problemet oppstår når gradienter blir svært små, hindrer nettverkets evne til å lære effektivt. Ulike teknikker er utviklet for å løse dette problemet og forbedre treningsprosessen.

Forstå problemet med å forsvunne overgangsalderen

Det forsvinnende gradientproblemet påvirker primært dype nettverk med mange lag. Under tilbakepropagasjon, blir gradienter forplantet bakover gjennom nettverket. Hvis gradientene reduserer eksponentielt, lærer tidligere lag svært sakte eller slutter å lære helt. Dette begrenser nettverkskapasiteten til å modellere komplekse funksjoner.

Teknikker for å gi oss problemet

Flere metoder kan bidra til å redusere virkningen av forsvinnende gradienter:

  • Aktiveringsfunksjoner: Ved å bruke funksjoner som ReLU (Rektifisert lineær enhet) i stedet for sigmoid eller tanh bidrar til å opprettholde sterkere gradienter.
  • Svak initialisering: Korrekte initialiseringsmetoder, som Xavier eller Han initialisering, hindrer gradienter i å krympe eller eksplodere i utgangspunktet.
  • Batch Normalisering: Normalisering av laginnganger stabiliserer læring og opprettholder sunn gradientstrøm.
  • Hopp over forbindelser: Arkitekturer som ResNet introduserer snarveier som tillater gradienter å omgå visse lag.
  • Graduate Clipping: Begrensning av størrelsen på gradienter under trening hindrer dem i å bli for små eller for store.

Beregninger og matematiske innsikter

Gradienten ved lag l] under tilbakepropagasjonen kan uttrykkes som:

]]] = ⁇ L/ ⁇ a]]]] × ⁇ a]]]/w]]l]

hvor L] er tapet, w]l] er vektene, og ]a]l er aktiveringene. Kjederegelen multipliserer derivater på tvers av lag, som kan føre til eksponentiell forfall hvis derivatene er mindre enn én.

For aktiveringsfunksjoner som sigmoid er det derivat:

CAS'(x) = σ(x) × (1 - σ(x))

Siden CAS(x) varierer mellom 0 og 1, kan derivatet være svært lite, spesielt for store ⁇ x ⁇ , noe som bidrar til det forsvinnende gradientproblem.