神经网络是解决复杂问题的强大工具,但是它们也可以过度适应训练数据,降低它们通俗化到新数据的能力. 规范化技术有助于控制模型复杂性,改善在无形数据上的性能. 本条探索了神经网络训练中常用的规范化方法.

辍学

退学是一种在训练中随机选择的神经元被忽略的技术,这阻止了神经元共同适应,并鼓励网络发展更强健的特征. 在测试中,所有神经元都被使用,但其输出量被缩放,以计入训练时的退学.

重量衰减

重量衰减会根据重量大小给损失功能增加一个罚局,这不利于大重量,这会导致过度配齐,通常使用L2规范化,即罚局与平方重量之和成比例.

数据增强

数据增强通过应用旋转,翻译或缩放等转换来增加培训数据的多样性. 这有助于模型学习更一般的特性,减少过度适应,特别是在图像和语音任务方面.

提前停止

早期停止涉及在培训期间通过一套验证系统监测模型的性能,当性能停止改善时,培训就会停止,防止模型过度适应培训数据。

正规化技术摘要

  • 脱发:[]在训练时随机忽略神经元.
  • 重量衰减:[] 惩罚重物以防止过度配制.
  • 数据增强:[] 扩展训练数据,进行变换.
  • early stoping:[] 验证性能高原时停止训练.