当机器学习模型对培训数据,包括噪音和异常点的学习得过好时,就会出现过度适应,这削弱了其向新数据概括的能力。 检测和防止过度适应对于开发强健模型至关重要。

过度适应的迹象

培训与鉴定工作之间差异很大,这往往表明校准过大。 当一个模型在培训数据方面表现特别出色,但在无形数据方面表现不佳时,可能出现校准过大的情况。

检测过度适应的技术

用于验证数据集的监测模型性能有助于识别过于匹配。

  • 绘制培训和验证准确度
  • 评估单独测试数据上的绩效衡量标准
  • 使用交叉验证技术

防止过度适应的战略

预防措施有助于改进模式的普及。

  • 规范化:[] 应用惩罚模式复杂度,如L1或L2规范化.
  • 推算:[] 简化决定树,去除没有显著贡献的分支.
  • 停止: 当验证性能停止改善时停止训练.
  • 数据增强:[] 提高培训数据多样性,以减少过度配制.
  • 脱落:[]在神经网络训练中随机导致神经功能丧失.