了解机器学习模型的预期通缩错误对于在无形数据上评价其性能至关重要。它衡量模型对新数据点的预测程度,并帮助选择最佳模型配置。

什么是通用错误 ?

概括化错误是训练数据错误和新的、隐蔽数据错误之间的区别,它表明模型在它所训练的数据之外,其概括性有多好。

计算预期一般化错误的方法

估计预期的概括性错误有几种方法,包括交叉验证、拖曳和理论界限。 每一种方法都有其优点和局限性,取决于数据集和模型的复杂性。

使用交叉校验

交叉验证涉及将数据分割成多个子集,对模型进行一些子集的培训,对其它子集进行测试。 所有测试的平均误差都提供了模型的概括误差的估计值。

与理论界的估算

理论界限,如从VC理论或Rademacher复杂性中得出的界限,根据模型的能力和训练数据大小提供估计值,这些界限可以指导预期,但可能是保守的.

  • 交叉验证
  • 启动
  • 理论界限
  • 拖放方法