监督学习是机器学习的核心领域,它涉及使用标注数据的培训模型。 理解数学基础有助于通过推导损失函数及其梯度来设计有效的算法,从而指导优化进程。

监督学习中的函数丢失

丢失函数测量模型的预测输出与实际标签之间的差异,这些函数通过提供显示模型表现如何的标量,对培训模型至关重要。

常见的损失函数包括回归任务的平均平方错误(MSE)和分类任务的交叉输入损失。损失函数的选择会影响学习过程和趋同行为。

函数损失的衍生梯度

梯度是模型参数损失函数的衍生物,它们表明在培训中尽量减少损失所需的调整方向和幅度。

例如, MSE 相对于预测( hat{y}) 的梯度是 (2) (hat{y} - y), 其中(y) 是真实的标签。 这个衍生工具在梯度降级算法中指导更新规则 。

使用渐变优化

渐变下降算法通过向梯度相反的方向移动来迭代更新模型参数。这一过程将损失函数最小化,随着时间的推移,提高模型的准确性。

  • 计算当前预测的损失 。
  • 计算参数损失的梯度。
  • 以减缩放梯度来更新参数。
  • 重复,直到达到汇合或停止标准。