Aktivointitoiminnot ovat hermoverkkojen olennaisia osia. Ne määrittävät neuronin tuotoksen sen syötteen perusteella, jolloin verkko voi oppia monimutkaisia kuvioita. Tässä artikkelissa selitetään, miten aktivointitoiminnot lasketaan askel askeleelta.

Aktivointitoimintojen ymmärtäminen

Aktivointitoiminnot muuntavat syötesignaalit tulosteiksi, joita voidaan käyttää seuraavissa kerroksissa. Yhteisiä toimintoja ovat sigmoid, tanh ja ReLU. Jokaisella on ainutlaatuisia ominaisuuksia, jotka vaikuttavat oppimisprosessiin.

Sigmoid-toiminnon laskeminen

Sigmoidifunktio määritellään f(x) = 1 / (1 + e]-x][]. Laskemiseksi:

  • Syötä arvo x.
  • Laske eksponentiaalinen x.
  • Lisää 1 tähän eksponentiaaliseen.
  • Jaa tulos 1 tulosteella saadaksesi tulosteen.

ReLU-toiminnon laskeminen

Rectified Linear Unit (ReLU) on yksinkertainen: f(x) = max(0, x)[. Lasketaan:

  • Syötä arvo x.
  • Jos x on suurempi kuin 0, lähtö x.
  • Jos x on pienempi tai yhtä suuri kuin 0, lähtö 0.

Tanh-toiminnon laskeminen

Hyperbolinen tangenttitoiminto on f(x) = (e]x[ - e]-x[]]) / (e[]x[[[]]]]][[[]]].

  • Lasketaan ex ja e-x.
  • Vähennetään e[]-x ex.
  • Lisätään ex ja e-x.
  • Jaa ero summalla saadaksesi tulosteen.