当机器学习模型对培训数据(包括噪音和外部数据)的学习太好,从而降低了其向新数据概括的能力时,就会出现过度适应。 解决过度适应问题对于创建在无形数据集上表现良好的强健模型至关重要。

理解过度适应

相对于现有数据数量而言,模型过于复杂,它捕捉到培训数据中的噪音而不是基本模式,导致培训数据高度准确,但测试数据性能不佳。

防止过度适应的技术

可以通过几种方法减少机器学习模式的过度适应:

  • 十字-变形:[] 将数据分解到培训和验证集中,以调谐模型参数.
  • 规范化: 添加复杂程度的处罚,如L1或L2规范化.
  • 普鲁士:[]通过去除不提供动力的分支来简化决策树等模型.
  • 快速停止: 当验证数据上的表现开始下降时停止训练.
  • 脱落:[]在神经网络训练中随机去功能神经元.

实际实例

应用这些技术可以大大改善模型的概括性。 比如,在线性回归中应用规范化可以降低系数,防止模型安装噪音。 利用神经网络中的退出有助于避免依赖特定的神经元,促进更好的学习。

选择正确的技术组合取决于数据和模型类型,定期评估验证数据对于识别过度调整和相应调整策略至关重要。