退学层是一种在深层学习模型中用于防止过度适应的规范化技术,它们通过在训练中随机去除一部分神经元,鼓励网络发展更强健的特征来发挥作用. 适当执行退学层可以大大改善模型的概括性和性能.

辍学层的设计原理

辍学背后的首要原则是在培训期间引入噪音,从而减少对特定神经元的依赖。 这种随机性迫使网络学习冗余表达,使其更能适应新数据。 关键考虑包括选择辍学率和网络架构中的安置。

模式中辍学的有效利用

退学在完全连接的层层和输出层之前最为有效。典型的退学率从0.2到0.5不等,这取决于模型和数据集的复杂性。 有必要平衡退学强度,以避免不适应或过度正规化。

执行最佳做法

  • 在启动后应用退出功能, 如 ReLU 。
  • 必要时对不同的层次使用不同的辍学率。
  • 将辍学与其他正规化技术相结合,如体重衰减。
  • 监测校验性能,以调整退出参数.