模型置信间隔提供了一种范围,在其中,真正的模型性能或参数值预计会以一定概率下降,这些值对于了解机器学习应用中模型估计的不确定性很有用.

理解信任间隙

置信间隔是一个统计范围,它来自可能包含真实参数值的数据。在机器学习中,这可以指精确度、精度或模型系数等计量标准。

计算信任间距的步骤

遵循这些步骤计算模型度量的置信间隔:

  • 通过交叉验证或多次运行,采集模型性能度量表样本.
  • 计算样本的平均值和标准偏差。
  • 选择信任级别(例如95%).
  • 根据样本大小和置信度确定 t 分布或 Z 分布的合适关键值.
  • 计算误差幅度: 临界值×(标准偏差/ ⁇ 样大小) .
  • 计算置信间隔为: 表示±差错.

示例计算

如果一个模型的准确性被评价超过30个运行,平均精确度为85%,标准偏差为3%。 对于95%的置信度,T分配的关键值约为2.045。

误差范围为:2.045×(3/ ⁇ 30) ^ 2.045× 0.547× 1.12%. 置信间隔为85%±1.12%,结果约为83.88%至86.12%.