退学是一种在神经网络中为防止过度适应而使用的规范化技术,它涉及在训练期间随机去除一部分神经元,这鼓励网络发展更强健的特征. 了解其理论基础和实际实施可以改善模型性能和概括性.

辍学理论基础

退学是减少神经元中复杂共适应的一种方法。在训练期间,网络通过随机投放单位来学习冗余的表示,从而增强它通俗化到隐蔽数据的能力。这一技术可以被看作是同时训练许多不同网络的组合的近似。

实际执行提示

有效实现退学需要注意某些参数。 退学率规定神经元的去功能概率一般在0.2到0.5之间。通常在完全连接的层后使用,有时在转录层后使用,取决于结构。

培训期间,辍学现象十分活跃,但在推论期间却被关闭。 为了补偿辍学单位,在测试期间适当调整加权。 许多深层学习框架都自动处理,简化了实施过程。

使用退出的额外提示

  • 将辍学与其他正常化方法相结合,如体重衰减。
  • 根据模型和数据集的复杂性调整辍学率。
  • 将退出主要用于完全连接的层,因为它在演化层中效果较差.
  • 监测验证性能,避免过度辍学,这可能会妨碍学习.