Aktivointitoiminnot ovat hermoverkkojen olennaisia osia. Ne päättävät, pitäisikö neuroni aktivoida vai ei, mikä vaikuttaa verkon kykyyn oppia monimutkaisia kuvioita. Näiden toimintojen toiminnan ymmärtäminen ja niiden laskenta on perustavanlaatuista hermoverkon suunnittelussa.

Mitä ovat aktivointitoiminnot?

Aktivointitoiminnot tuovat epälineaarisuutta verkkoon. Ilman niitä neuroverkko käyttäytyisi kuin lineaarinen malli, rajoittaen sen kykyä ratkaista monimutkaisia ongelmia. Ne muuttavat tulosignaalit lähtösignaaleiksi, jotka voidaan siirtää seuraaville kerroksille.

Yhteiset aktivointitoiminnot

  • Sigmoid:[] Tuotokset arvot välillä 0 ja 1, hyödyllinen todennäköisyysarvion.
  • RELU:[ tuottaa syötteen suoraan, jos se on positiivinen; muutoin se on nolla. Se on laskennallisesti tehokas ja auttaa lieventämään katoavia kaltevuuksia.
  • Tanh:[] Tuotokset arvot välillä -1 ja 1, keskittyen noin nolla, joka voi parantaa koulutusdynamiikkaa.

Tietokoneaktivointitoiminnot

Jokaisella aktivointitoiminnolla on matemaattinen kaava, jota käytetään laskemaan sen tuloste syötteestä. Esimerkiksi:

Sigmoidi:[
f(x) = 1 / (1 + e]]-x[])

RELU:
f(x) = max(0, x)

Tanh:[
]f(x) = (e]x[ - e[]]]-x[]]]]) / (e[[]x[[[] + e[-x[[]])