激活功能是神经网络的基本组成部分,它们根据神经元的输入决定神经元的输出,使神经元能够学习复杂的规律,此篇文章解释了如何逐步计算激活功能.

理解激活函数

激活函数将输入信号转换为输出,供后续层使用. 常见的函数包括sigmoid, tanh, 和 ReLU. 每个函数都有独特的属性, 影响学习过程.

计算 Sigmoid 函数

sigmoid函数的定义是f(x)=1/(1+e]-x。要计算它:

  • 输入 x 的值。
  • 计算 -x 的指数。
  • 在此指数中添加 1 。
  • 除以1 得到输出的结果。

计算 ReLU 函数

校正线性单元(ReLU)简单:f(x)=最大(0,x)。要计算:

  • 输入 x 的值。
  • 如果x大于0,则输出x.
  • 如果x小于或等于0,则输出0.

计算 Tanh 函数

双曲切函数为f(x)=(e]x]--x]] /(ex+-]。

  • 计算 e x 和 e -x .
  • e-x从ex中分出.
  • 添加ex]和e-x.
  • 除以总和以获得输出。