Aktivierungsfunktionen sind wesentliche Komponenten neuronaler Netze. Sie bestimmen, ob ein Neuron aktiviert werden soll oder nicht, was die Fähigkeit des Netzes beeinflusst, komplexe Muster zu lernen. Es ist von grundlegender Bedeutung für das Design neuronaler Netze, zu verstehen, wie diese Funktionen funktionieren und wie sie berechnet werden können.

Was sind Aktivierungsfunktionen?

Aktivierungsfunktionen führen zu einer Nichtlinearität in das Netzwerk. Ohne sie würde sich das neuronale Netzwerk wie ein lineares Modell verhalten, was seine Fähigkeit zur Lösung komplexer Probleme einschränkt. Sie verwandeln die Eingangssignale in Ausgangssignale, die an nachfolgende Schichten weitergegeben werden können.

Gemeinsame Aktivierungsfunktionen

  • Sigmoid: Gibt Werte zwischen 0 und 1 aus, die für die Wahrscheinlichkeitsschätzung nützlich sind.
  • ReLU: Gibt die Eingabe direkt aus, wenn positiv; ansonsten Null. Es ist recheneffizient und hilft, verschwindende Gradienten zu mildern.
  • Tanh: Gibt Werte zwischen -1 und 1, zentriert um Null, aus, was die Trainingsdynamik verbessern kann.

Computeraktivierungsfunktionen

Jede Aktivierungsfunktion hat eine mathematische Formel, die verwendet wird, um ihre Ausgabe aus der Eingabe zu berechnen.

Sigmoid:
f(x) = 1 / (1 + e-x)

ReLU:
f(x) = max(0, x)

Tanh:
f(x) = (ex - e-x) / (ex + e-x