辍学规范化是神经网络中防止过度适应的一种技术。它涉及在训练期间随机去除一个神经元子集,这有助于模型的通用性更好地隐蔽数据。本文解释了辍学是如何实施的,如何进行计算,以及其对神经网络性能的影响。

了解辍学问题

退学是通过在每次训练迭代中随机将神经元输出比例设定为零来完成的。这可以防止神经元过度依赖特定特征,并鼓励网络发展更强的表达方式。退学率决定了神经元失效的分数。

与辍学有关的计算

在训练期间,每个神经元都以概率保留p. 神经元的输出i 退出后计算为:

y i =r ]i ] * i ]]] ]] ]]]]] ]] ]]] ] ] ] ] ] ]] [FLT:]]][FLT][FLT:]][FLT:[FLT:]]]

e. 假设在培训期间,加权数以p 表示退学。

对神经网络的影响

实施退出可以降低过度适应,从而增强模型的通俗化能力。 它迫使网络学习冗余表达,使其更能适应噪音和数据变化。 因此,退出模式在验证和测试数据集方面通常表现更好。

  • 减少对特定神经元的依赖
  • 鼓励扎实开展特色学习
  • 减少过度适应
  • 提高测试准确性