当神经网络对训练数据,包括噪音和外线的学习得过好时,就会出现过度适应,这降低了其对新数据进行概括的能力。 解决过度适应的问题需要识别信号,并应用技术来改进在无形数据上的模型性能。

过度适应的迹象

共同的指标包括培训精度高,验证精度低得多,此外,在验证损失高原或增加的同时,培训损失继续减少。

减缓过度适应的技术

几种方法可以帮助减少神经网络中的过度适应:

  • 规范化: 在损失函数中添加一个罚则,以劝阻L1或L2规范化等复杂的模型.
  • 脱发:[]在训练中随机使神经元丧失功能,以防止共同适应.
  • early stoping:[] 当验证性能开始下降时停止训练.
  • 数据增强:[]通过转换增加培训数据的多样性.
  • 减少模型复杂度:[ 使用参数较少的较简单的架构.

计算和计量

诸如验证损失和准确度等监测指标有助于识别过度配比。 诸如培训和验证准确度之间的差别等计算可以量化过度配比的严重程度。 交叉验证为模型的通用提供了更可靠的估计。