当深层学习模型对培训数据(包括噪音和外部数据)的学习得过好时,过度适应就会发生,这降低了其向新数据概括的能力。 解决过度适应问题对于构建在现实世界应用中表现良好的强健模型至关重要。

理解过度适应

相对于培训数据的数量和可变性而言,模型过于复杂,导致培训数据高度准确,但无形数据上的表现不佳,承认过度适应涉及监测验证指标和发现与培训绩效的差异。

防止过度适应的技术

几项战略有助于减轻深层学习模式的过度适应:

  • 规范化:[] 将L1或L2的处罚应用到模型加权上,以抑制复杂.
  • 脱落:[] 在训练中随机地去功能神经元,以防止共同适应.
  • 停止训练,当验证性能停止改善时。
  • 数据增强:[]通过转换来增加数据可变性,以提高通化性.
  • 减少模型复杂度:[]使用更简单的架构或更少的参数.

现实世界解决方案

实施这些技术需要仔细调整,例如,将辍学和提前停课结合起来往往能带来显著的改善,此外,确保高质量、多样化的培训数据对于减少过度调整至关重要,定期验证和监测有助于确定最佳培训期限和模式配置。