Berechnung von Aktivierungsfunktionen in neuronalen Netzwerken: Ein Schritt-für-Schritt-Ansatz

Aktivierungsfunktionen sind wesentliche Komponenten neuronaler Netze. Sie bestimmen die Ausgabe eines Neurons auf der Grundlage seines Eingangs, so dass das Netzwerk komplexe Muster lernen kann. In diesem Artikel wird erläutert, wie Aktivierungsfunktionen schrittweise berechnet werden.

Aktivierungsfunktionen verstehen

Die Aktivierungsfunktionen verwandeln die Eingangssignale in Ausgänge, die von nachfolgenden Schichten verwendet werden können.

Berechnung der Sigmoidfunktion

Die Sigmoidfunktion ist definiert als f(x) = 1 / (1 + e^-x] Um es zu berechnen:

• Geben Sie den Wert von x ein.
• Berechnen Sie den Exponentialwert von -x.
• Addiere 1 zu diesem Exponential.
• Teilen Sie 1 durch das Ergebnis, um die Ausgabe zu erhalten.

Berechnung der ReLU-Funktion

Die rektifizierte Lineareinheit (ReLU) ist einfach: f(x) = max(0, x)

• Geben Sie den Wert von x ein.
• Wenn x größer als 0 ist, Ausgabe x.
• Wenn x kleiner oder gleich 0 ist, Ausgabe 0.

Berechnung der Tanh-Funktion

Die hyperbolische Tangentenfunktion ist f(x) = (e^x - e^-x / (e^x + e^-x) Um zu berechnen:

• Berechnen Sie e^x und e^-x.
• Subtrahieren Sie e^-x von e^x.
• Fügen Sie e^x und e^-x hinzu.
• Teilen Sie die Differenz durch die Summe, um den Output zu erhalten.