Aktiveringsfunksjoner er viktige komponenter i nevrale nettverk. De bestemmer om en nevron bør aktiveres eller ikke, påvirker nettverkets evne til å lære komplekse mønstre. Forstå hvordan disse funksjonene fungerer og hvordan å beregne dem er grunnleggende i nevrale nettverk design.

Hva er aktiveringsfunksjoner?

Aktiveringsfunksjoner introduserer ikke-lineæritet i nettverket. Uten dem ville det nevrale nettverket oppføre seg som en lineær modell, og begrenser kapasiteten til å løse komplekse problemer. De forvandler inngangssignalene til utgangssignaler som kan overføres til påfølgende lag.

Felles aktiveringsfunksjoner

  • Sigmoid: Utgangsverdier mellom 0 og 1, som er nyttige for sannsynlighetsberegning.
  • Relu: Utgir inngangen direkte hvis den er positiv; ellers null. Det er beregningsmessig effektiv og bidrar til å redusere forsvinnende gradienter.
  • Tanh: Utgangsverdier mellom -1 og 1, sentrert rundt null, som kan forbedre treningsdynamikken.

Rekrutteringsaktiveringsfunksjoner

Hver aktiveringsfunksjon har en matematisk formel som brukes til å beregne sin utgang fra inngangen. For eksempel:

Sigmoid:
f(x) = 1 / (1 + e]]-x])

Relu:
]f(x) = max(0, x)

Tanh:
f(x) = (e]]x] - e]]-x]) / (e]]x + e]-x)