特性缩放是神经网络培训中一个关键的预处理步骤,它涉及调整输入特性的范围,以提高模型性能和趋同速度。理解数学基础有助于将正确的缩放技术应用于不同的情景。

地物放大数学基础

特性缩放方法修改数据,以确保每个特性对学习过程都作出同等的贡献. 常见的技术包括分马克缩放和标准化. Min-max缩放将特性转换为特定范围,一般为[0, 1],使用公式:

x 尺度=(x-min(x))/(max(x)-min(x))]

另一方面,标准化中心则以单位差异为中心:

x 标准化=(x-μ)/ / \ ]

对神经网络培训的影响

适当的特征缩放可以大大改进培训过程,通过防止从主导学习更新到更大范围的特征加快趋同速度。 此外,缩放的特征导致更稳定的梯度,降低梯度消失或爆炸的风险。

具有Sigmoid或tanh等激活功能的神经网络对特征尺度特别敏感。 放大可确保输入属于这些功能的有效区域,提高学习效率。

实际考虑

在应用特性缩放时,必须只将缩放器安装在培训数据上,然后将同样的转换应用到验证和测试数据上,这可以防止数据泄漏,并确保数据集之间一致的缩放.

  • 对有界限的特性使用 min- max 缩放 。
  • 对正常分布的数据实行标准化.
  • 总是只把比例尺装在训练数据上
  • 数据增强后重新调整数据尺度。