成本敏感的学习是被监督的机器学习模型中的一种技术,用于处理不同类型错误产生不同后果的情况。 它涉及调整学习过程,以尽量减少总体成本,而不仅仅是错误率。 这种方法在医疗、欺诈检测和信用评分等领域特别有用,因为错误分类的成本差异很大。

理解成本矩阵

成本矩阵是成本敏感学习的一个基本组成部分。 它定义了与每类预测结果相关的成本,如真实的正数、假的正数、假的负数和真实的负数。 通过分配不同的成本,模型可以优先减少最昂贵的错误。

比如,在医学诊断中,缺失疾病(假阴性)比假警报(假阳性)成本更高。 成本矩阵有助于将这些优先事项编码为培训过程。

成本敏感学习计算

计算涉及将成本矩阵纳入模型的客观功能中,模型不是将误差率降到最低,而是将总成本降到最低,即单个预测成本的总和,按其概率加权计算.

对于二进制分类,总成本(C)可以表示为:

C = CFP]*FP + C]]FN ]*FN + C]TP *TP + C]TN ]]*TN ]]][FLTN][FLT]][FLT][FLT][FLT][FLT][FLT]][FLT][FLT][FLT][FLT:][FLT][FLT][FLT:][FLT][FLT][FLT:][FLT][F][FLT]][F]][FLT]][FLT

其中CXY表示与每个预测结果相关的成本,FP,FN,TP,TN分别表示虚假阳性,假阴性,真阳性,真阴性等的计数.

执行战略

可以通过各种方法实施对成本敏感的学习:

  • 调整班次权重:在训练期间将较高权重分配给成本更高的班级.
  • 修改决定阈值: 改变概率阈值,以偏好成本较低的错误.
  • 使用成本敏感算法:[] 使用设计直接包含成本矩阵的算法.
  • 复标数据:] 超标或低于标的类,根据其相关成本计算.

大多数机器学习库,如scikit-learn,支持班次权重和门槛调整,以方便成本敏感的学习.