辍学和规范化是机器学习中通过防止过度适应来提高模型性能的技术。 当模型在培训数据中学习噪音时,就会发生过度适应,从而降低其通俗化到新数据的能力。 实施这些战略需要具体的计算和最佳做法。

了解辍学情况

退学在训练期间随机使一小部分神经元丧失功能,这有助于防止网络过于依赖特定路径。退学率决定了神经元在每个周期中被关闭的百分比。

典型的辍学率从0.2到0.5不等。 例如,0.3的辍学率意味着每一步的训练中30%的神经元都被关闭,这鼓励网络发展更强健的特征。

实施正规化

规范化增加了损失功能的处罚,以劝阻复杂的模型. 最常见的形式是L2规范化,它惩罚了大权重. 规范化术语的计算方式是: 规范化,即: 规范化,即规范化,规范化,规范化,规范化,规范化,规范化,规范化,规范化,规范化,规范化,规范化,规范化,规范化,规范化,规范化,规范化,规范化,规范化,规范化,规范化,规范化,规范化,规范化,规范化,规范化,规范化,规范化,规范化,规范化,规范化,规范化,规范化,规范化,规范化,规范化,规范化,规范化化,规范化,规范化,规范化,规范化化,规范化,规范化,规范化,规范化,规范化,规范化,规范化,规范化化,规范化,规范化化,规范化,规范化,规范化,规范化化化,规范化化化,规范化,规范化,规范化,规范化化化,规范化,规范化化,规范化,规范化,规范化

损失=原损失+ + + + * (w2 ]] ]]

以 QQ (lambda) 为正态参数,而 QQ (w 2 ) 为平方格的和。选择适当的 QQ是关键;典型值从 0.01 到 0.1 。

防止过度适应的战略

将辍学和正规化相结合可以有效减少过度调整。 其他策略包括早期停止、数据增强和交叉验证。 定期监测验证性能有助于确定最佳规范化参数。

  • 使用辍学率在0.2至0.5之间
  • 将 L2 规范化, 大约为 0.01
  • 培训期间实行提前停止
  • 增加培训数据,以增加多样性