监督学习中特色选择和工程实用方法

特色选择和工程是监督学习中必不可少的步骤,有助于改进模型性能,减少过度适应,减少培训时间。本文讨论了有效选择和设计特征的实用方法。

特性选择技术

特性选择涉及从数据集中选择最相关的特性. 常见的技术包括过滤方法,包装方法,以及嵌入式方法.

过滤方法基于关联性、 chi- 平方或相互信息等统计计量来评价特征。它们是计算效率高、适合高维度数据。

包装方法通过不同子集的培训模型来选择特征,并评价其性能. 技术包括递归特征消除和前向/后向选择.

嵌入式方法包括模式培训期间的特征选择,例如拉索等正规化技术和基于决策树的重要性措施。

特性工程将原始数据转化为有意义的功能,可以增强模型学习。它包括创建新的功能,编码绝对变量,以及缩放数字数据。

生成新的特性可以涉及数学组合,聚合,或域特定变换,这些特性可以在数据中揭示隐藏的规律.

将绝对数据转换成数字格式至关重要。常用的方法包括单热编码、标签编码和目标编码。

缩放能确保特性在可比尺度上,这有利于许多算法。技术包括分马克缩放和标准化。