特征选择是监督学习的关键步骤,它涉及确定模型培训最相关的变量。 它有助于改进模型性能、减少过度调整和降低计算成本。 有效的选择特征、平衡复杂性和准确性,有不同的技术。

过滤方法

过滤方法基于统计计量来评价特征的相关性,它们速度快,可扩展,适合高维度数据,常见技术包括关联系数,千平方测试,以及相互信息.

包装方法

包装方法通过对不同子集的培训模式来选择特征并评价其性能,它们往往产生更好的结果,但具有计算密集性,技术包括递归特征消除和前向选择。

嵌入方法

嵌入式方法将特征选择纳入示范培训进程,兼顾效率和效益,例如拉索和基于决策树的方法等正规化技术。

选择正确的技术

选择特征选择方法取决于数据大小,计算资源,以及所期望的模型精度. 组合技术还可以通过发挥各自的优势来提升结果.