过度适应是训练复杂神经网络的常见挑战,模型在训练数据上表现良好,但在隐形数据上表现不佳. 规范化技术通过防止过度适应帮助提高这些模型的通俗化能力. 本条探索了对复杂神经网络有效的先进的规范化方法.

辍学和备选

退学是一种广泛使用的规范化技术,在训练期间随机解除了一部分神经元的子集. SpaceDropout和DropConnect等变体引入了修改,以改善特定情景中的性能. 退学有助于减少对特定神经元的依赖,促进更强的特征学习.

重量正规化

体重规范化增加了损失功能的罚则,以限制重量的大小。 常见的方法包括鼓励痉挛的L1规范化和L2规范化,这些方法阻止了大重量的规范化。 这些技术有助于防止模型在培训数据中安装噪音。

数据增强和噪声注入

数据增强通过应用旋转,缩放或色调等变换来人为地扩展训练数据集. 噪声注射涉及在训练过程中在输入或重量中加入随机噪声,这两种方法都通过让模型暴露于不同的数据变异来提高模型的稳健性,减少过度的适应性.

高级技术

其他先进的正规化方法包括:

  • 批量正常化: 使层输入正常化,以稳定学习.
  • 停止: 当验证性能停止改善时,停止训练.
  • 规格正常化: 限制重量矩阵的光谱规范以稳定训练.
  • DropBlock:]在地物图中投放毗连区域,增强规范化.