Backpropagation er en grunnleggende algoritme som brukes til å trene dype nevrale nettverk. Det innebærer å beregne gradienter av tapsfunksjonen med hensyn til hver vekt i nettverket, slik at vektoppdateringer som minimerer feil. Denne artikkelen gir en trinnvis oversikt over backpropagasjonsprosessen, med fokus på beregningene som er involvert i trening av et dypt nettverk.

Forward Pass

Prosessen starter med et framoverpass, hvor inngangsdata blir forplantet gjennom nettverket. Hver nevron beregner en vektet sum av inngangene, legger til en bias og anvender en aktiveringsfunksjon. Utgangen fra hvert lag tjener som inngang for det neste laget til den endelige forutsetningen er oppnådd.

Beregner tapet

Når nettverket produserer en utgang, måler tapsfunksjonen forskjellen mellom den forventede utgangen og den sanne etiketten. Felles tapsfunksjoner inkluderer middels firkantet feil og kryss-entropy. Målet er å minimere dette tapet gjennom vektjusteringer.

Bakoverpass: Gradientberegning

Kjernen i bakpropagasjonen innebærer å beregne gradientene i tapet med hensyn til hver vekt. Fra utgangslaget beregnes feilbegrepet og forplantnes bakover gjennom nettverket. Dette innebærer å påføre kjederegelen til å beregne derivater ved hvert lag.

For hvert nevron bestemmes feilbegrepet ved å multiplisere derivatet av aktiveringsfunksjonen med vektet sum av feil fra det påfølgende laget. Disse feilbegrepene brukes så til å beregne gradienter for hver vekt og bias.

Oppdaterer vekt

Ved hjelp av de beregnede gradientene oppdateres vektene vanligvis via gradientnedstigning. Oppdateringsregelen trekker en brøkdel av gradienten fra den nåværende vekten, kontrollert av læringshastigheten. Denne prosessen reduserer tapet over påfølgende iterasjoner.

Sammendrag av nøkkeltrinn

  • Utfør et videre pass for å beregne forutsigelser.
  • Beregn tapet mellom spådommer og ekte etiketter.
  • Beregne feilbegreper som starter fra utgangslaget bakover.
  • Beregn gradienter for hver vekt og bias.
  • Oppdater vekter ved hjelp av gradientnedstigning.