特征选择是监督学习的关键步骤,它涉及确定模型培训最相关的变量。 适当的特征选择可以提高模型的准确性,减少过度调整,降低计算成本。 本条探讨了选择特征的常用技术以及如何加强监督学习模式。

通用特性选择技术

多种方法用于选择受监督的学习中的特征。这些技术可以大致分为过滤、包装和嵌入式方法。每种方法都有其优点,适合不同类型的数据集和问题。

过滤方法

过滤方法根据统计计量来评价特征的相关性,它们速度快,可扩展,适合高维度数据。

  • 校正系数:测量特征与目标变量之间的线性关系.
  • 奇方测试: 评估绝对特征与目标的独立性.
  • mutual Information: 量化功能与目标共享的信息量.

包装方法

包装方法通过培训模型评价特征子集,选择产生最佳性能的组合,这些方法比较准确,但计算密集。

  • 前置选择:[] 开始没有特性,一次根据性能改进而增加一个.
  • 背面消除:[] 开始所有特性,并迭代删除最不重要的特性.
  • 递归特性消除:[ 递归式列车车型并消除最弱特性.

嵌入方法

嵌入式方法将特征选择作为示范培训进程的一部分,它们效率高,往往产生良好结果。

  • 拉索回归:[] 使用L1正规化将一些系数缩到零,有效选择特征.
  • 决定树:[根据在分裂过程中的信息收益自然选择特征.
  • 规范型号:[ 将惩罚与适合选择相关特征的型号结合起来.