规范化是一种机器学习中通过给损失函数添加一个惩罚来防止过度配制的技术。 它通过阻止过于复杂的解决方案,帮助模型更好地将数据普遍化。

规范化理论.

规范化在培训期间引入了客观功能的附加术语,这些术语惩罚了大型模型参数,鼓励了更简单的模型,这些模型在培训数据中不太可能适合噪音.

通用规范化技术

  • L1 规范化:] 将系数的绝对值加入损失函数,促进筋挛化.
  • L2 规范化: 添加系数的平方值,鼓励较小的权重.
  • 脱落:[] 在训练中随机降下单位以减少对特定神经元的依赖.
  • early stoping:[ 当验证数据上的表现开始下降时,停止训练.

计算和执行

例如,在线性回归中,L2正规化修改了成本函数如下:

损失 = 方差数 + + * 方差数 加权数

选择适当的 QQ 参数是控制惩罚强度的规范化参数。选择适当的 QQ 至关重要,而且经常通过交叉验证进行。

最佳做法

在实行正规化时,考虑下列最佳做法:

  • 使用交叉验证调谐规范化参数.
  • 以简单的模型开始,并逐渐增加复杂性.
  • 必要时结合多种规范化技术.
  • 监控验证性能,避免不适或过重.