规范化技术是机器学习中防止模型过度适应和改进模型通俗化的基本工具,有助于平衡模型的复杂性和在无形数据上表现良好的能力,本条探讨了通用的规范化方法及其应用.

理解规范化

规范化意味着在模式培训期间给损失功能增加一个惩罚,这种惩罚会阻止过于复杂的模式,使其过于接近培训数据。 通过控制模式的复杂性,规范化可以增强模式的通用能力。

通用规范化技术

  • L1 规范化(拉索): 添加一个与系数绝对值成比例的罚则,促进伸缩.
  • L2 正规化(Ridge): 加上一个与系数平方成比例的罚分,鼓励较小的权重.
  • 脱落:[]在训练时随机解除神经元功能,以防止共同适应.
  • early stoping:[ 当验证数据上的表现开始下降时,停止训练.

选择右向规范化

选择合适的规范化方法取决于具体问题和模式。对于零散的解决方案,L1规范化是有效的。对于降低整体模式复杂性,L2通常更受欢迎。结合技术也可以产生更好的效果。