当一个深层神经网络对培训数据,包括噪音和外源学得过好,从而降低了其在新数据上的性能时,就会出现过度适应。 了解如何衡量和缓解过度适应对于开发有效的模型至关重要。

计算过度适应

检测过度匹配的一个常见方法是比较培训和验证的准确性或损失,一个显著的差距表明过度匹配,在培训期间监测这些衡量标准有助于确定模型何时开始记忆培训数据而不是概括。

另一种方法涉及使用交叉验证,即将数据集分为多个子集,该模型经过这些子集的培训和验证,以评估其通缩能力.

减少过度适应的技术

几项战略有助于减少在深层神经网络中的过度适应:

  • 脱落:[]在训练中随机解除神经元功能,以防止依赖特定路径.
  • early stoping:[] 当验证性能开始下降时停止训练.
  • 规范化:[]在损失函数中添加惩罚,以抑制复杂的模型.
  • 数据增强: 通过将变换应用到现有数据来扩展训练数据集.
  • 降低模型复杂度:[ 使用更简单的架构防止过度配色.

结论

通过验证度量和运用技术(如辍学、提前停止和规范)来衡量过度适应,可以改善模型的概括。 对过度适应的正确管理可以提高深层神经网络在无形数据上的性能。