当深层学习模型对培训数据,包括噪音和外部数据了解得过深时,就会出现过度适应,这削弱了其向新数据概括的能力。 识别和防止过度适应对于构建有效的模型至关重要。

理解过度适应

当一个模型过度获取培训数据的细节时,就会出现过度适应,导致培训数据高度准确,但无形数据上的表现不佳。 其原因往往是相对于数据集大小而言,模型过于复杂。

检测过量配制的计算

监测培训与鉴定准确性或损失之间的差别有助于发现偏差。

  • 训练损失[:训练集的错误.
  • 校验损失:校验集的错误.
  • 差 :培训与验证度量标准之间的差距.

预防措施

实施战略可以减少过度适应,改进模式的普及。

  • 规范化[:L1和L2等技术在模型重量上添加处罚.
  • 脱落[:在训练期间随机解除神经元功能,以防止协同适应.
  • early stoping:当验证性能停止改善时停止训练.
  • 数据增强[:以变换方式扩展训练数据.
  • 模组简化[:通过减小层或参数来降低模型的复杂性.