规范化技术对于深刻学习防止模型过度适应和增强模型通俗化到无形数据的能力至关重要。 实施有效的规范化方法可以导致各种任务中更有力、更准确的模型。

辍学

退学是一种流行的规范化技术,在训练期间随机解除了神经元的子集,这阻止了神经元的协同适应,并鼓励网络发展更强健的特征。 通常情况下,退学率从0.2到0.5不等,取决于模型和数据集。

重量衰减

重量衰减,又称L2正规化,根据重量的大小,在损失函数上增加了一个罚分词,这抑制了大重量,导致更简单的模型更不易过度配制,通常与亚当或SGD等优化算法结合使用.

数据增强

数据增强涉及通过旋转、缩放或翻转等转换来创建更多的培训样本。 这一技术增加了培训数据的多样性,帮助模型学习更通用的特征,并减少过度配对。

提早停止

早期停止在训练期间在一组验证器上监视模型的性能,当验证器停止改进时,训练就会停止,这样可以防止模型过度匹配训练数据,并有助于维持归纳能力.