Functiile de activare sunt componente esentiale ale retelelor neurale. Ele determina iesirea unui neuron bazat pe intrarea sa, permitand retelei sa invete modele complexe. Acest articol explica modul in care se calculeaza functionalitatile de activare pas cu pas.

Înțelegerea funcțiilor de activare

Funcţiile de activare transformă semnalele de intrare în ieşiri care pot fi folosite de straturile ulterioare. Funcţiile comune includ sigmoid, tanou şi ReLU. Fiecare are proprietăţi unice care afectează procesul de învăţare.

Calcularea funcției Sigmoid

Funcția sigmoid este definită ca f(x) = 1 / (1 + e-x]. Pentru a calcula:

  • Introduceţi valoarea x.
  • Calculează exponenţialul lui -x.
  • Adăugaţi 1 la acest exponenţial.
  • Divide 1 de rezultatul pentru a obține ieșirea.

Calcularea funcției ReLU

Unitatea liniară rectificată (ReLU) este simplă: f(x) = max(0, x). Pentru a calcula:

  • Introduceţi valoarea x.
  • Dacă x este mai mare de 0, ieșire x.
  • Dacă x este mai mic sau egal cu 0, ieșire 0.

Calcularea funcției Tanh

Funcția tangentă hiperbolică este f(x) = (e[x[ - e[-x]) / (e]x + e[-x]].

  • Calculează e[x și e-x.
  • De asemenea, Comisia a considerat că, în cazul în care un operator economic privat nu ar fi putut să își exercite controlul asupra unei întreprinderi, acesta ar fi putut să își exercite controlul asupra unei întreprinderi care nu era în măsură să își exercite controlul asupra unei întreprinderi.
  • Se adaugă e[x și e-x.
  • Împarte diferența prin suma pentru a obține ieșirea.