后向传播是用于训练深神经网络的基本算法,它涉及计算网络中每个重量损失函数的梯度,允许重重更新以尽量减少错误。本条对后向传播过程提供了逐步概述,侧重于训练深网络所涉及的计算。

前进传

过程从一个前传开始,输入数据通过网络传播。每个神经元计算输入的加权和,增加偏差,并应用激活函数。每个层的输出都作为下层的输入,直到获得最后预测。

计算损失

一旦网络输出,损失函数会测量预测输出和真实标签之间的差值。常见的损失函数包括平均平方误差和交叉输入误差。目标是通过加权调整来尽量减少这一损失。

后向传:渐变计算

反向传播的核心是计算每个重的丢失梯度。从输出层开始,错误术语通过网络向后计算和传播。这涉及应用链规则计算每个层的衍生物。

对于每个神经元,错误术语的确定是通过将激活函数的衍生物与随后层的误差加权和乘以来决定的,然后这些错误术语用于计算每个重和偏差的梯度.

更新重量

使用计算梯度,加权通常通过梯度下降来更新。更新规则从当前加权中减去了一小部分梯度,由学习率控制。这一过程会减少损失,而不是连续的迭代。

关键步骤摘要

  • 执行前传计算预测.
  • 计算预测和真实标签之间的损失。
  • 从输出层向后计算出错误术语 。
  • 计算每个重量和偏差的梯度。
  • 使用梯度下降来更新加权。