了解特征的重要性对于有监督的学习以识别哪些变量对模型的预测影响最大,对于评估特征重要性,每一种方法都有其优点和应用,这篇文章探索了共同技术,并提供了澄清其用途的例子。

计算特性重要性的方法

几种方法用于确定特征重要性,包括模型特异性和模型不可知性方法,这些技术通过突出具有影响力的特征,帮助解释模型并提高其性能.

模式特定方法

模型特定方法适合特定的算法,例如,决策树和Random Forest等共性模型根据如何频繁使用特征来分割数据以及由此导致杂质减少的情况,提供了具有特征重要性的内在计量标准。

模型不可知性方法

模型不可知技术可以应用于任何预测模型。 超常重要性是一种常用方法, 用来测量一个特性的值随机洗涤时预测错误的增加。 这表明模型在多大程度上依赖于该特性 。

特征重要性计算实例

假设随机森林模型经过了预测房价的培训。内置的特征值分数显示哪些特征,如平方片段或位置,对预测的影响最大。 或者,在模型培训后,可以使用演化重要性来验证这些发现。

  • 降杂质决定树具有重要性
  • 随机森林重要性分数
  • 对模型不可知评价的具有长期重要性
  • 用于详细特征贡献分析的SHAP值