当机器学习模型对训练数据,包括噪音和外延器的学习得过好时,就会出现过度适应,这降低了其在新数据上的性能. 规范化技术通过给模型添加约束,促进简单化,提高通俗化,有助于防止过度适应.

理解规范化

规范化在培训期间引入了损失功能的额外术语,这些术语惩罚复杂的模型,鼓励更简单的解决方案,而更不可能过度匹配. 常见的规范化方法包括L1和L2规范化.

通用规范化技术

  • L1 正规化(拉索): 将系数的绝对值加到损失函数中,促进伸缩性.
  • L2 正规化(Ridge): 添加系数的平方值,鼓励较小的权重.
  • 脱落:[] 在神经网络训练中随机解除神经元功能,防止协同适应.
  • early stoping:[ 当验证数据上的表现开始下降时,停止训练.

现实世界实例

在图像识别任务中,应用退出有助于神经网络对看不见图像的概括。 对于预测房价的线性回归模型,L2规范化通过缩小大系数来减少过度匹配,从而导致更可靠的预测。

在自然语言处理中,早期停止用于防止语言模型训练时的过度适应,确保它们能很好地使用新的文本数据。这些技术在各个领域对于提高模型的稳健性和准确性至关重要。