激活功能是神经网络的基本组成部分,它们决定神经元是否应该被激活,影响网络学习复杂模式的能力,理解这些功能是如何工作的以及如何计算这些功能在神经网络设计中是根本的.

什么是激活函数?

激活功能将非线性引入网络中。没有这些功能,神经网络将表现为线性模型,限制了其解决复杂问题的能力。它们将输入信号转化为输出信号,可以传递到后续的层中。

共同激活函数

  • Sigmoid:输出值在0到1之间,用于概率估计.
  • ReLU: 如果正则直接输出输入; 否则为零。 它在计算上是有效的,有助于减轻渐变。
  • 坦赫:-1之间输出值,以0为中心,可以改善训练动态.

计算激活函数

每个激活函数都有数学公式,用来计算输入输出。例如:

希格莫德:[
f(x)=1/(1+e]-x]]).

ReLU:
f(x)=最大(0,x)

] 谭赫:[
]f(x)=(e]x]]--x]]]]/(e]x]+e-]]])).