规范化是一种在监督学习中使用的技术,通过给模型的复杂性增加一个惩罚来防止过度配色,它有助于改进模型的通缩到隐形数据,并增强它的预测性能.

理解正规化

规范化在训练中通过包含一个罚项来改变损失功能. 常见的种类包括L1规范化(Lasso)和L2规范化(Ridge). 这些方法控制模型参数的大小,鼓励更简单的模型.

涉及正规化的计算

在受监督的学习中,正规化的损失函数可以表示为:

损失=原损失+++× 规范化期]

o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o. o.

××(系数)^2]

规范化的最佳做法

  • 通过交叉验证选择一个合适的规范化参数(QQ).
  • 从小QQ值开始,并逐渐增加以观察对模型性能的影响.
  • 需要选择特性时使用 L1 规范化 。
  • 将规范化与特征规模化结合起来,以取得更好的成果。
  • 监控培训和验证错误,避免不适或过重.