オーバーフィッティングは、モデルがトレーニングデータにうまく機能する複雑なニューラルネットワークを訓練する一般的な課題ですが、未発表のデータでは不十分です。正規化技術は、過度の不適切な予防によって、これらのモデルの一般化能力を向上させることができます。この記事では、複雑なニューラルネットワークに有効である高度な正規化方法について説明します。

ドロップアウトとバリアント

Dropoutは、トレーニング中に神経のサブセットをランダムに非アクティブにする、広く使用されている正規化技術です。 Spatial DropoutやDropConnectなどのバリアントは、特定のシナリオでパフォーマンスを向上させるための変更を導入しています。ドロップアウトは、特定のニューロンに対する信頼性を低下させ、より堅牢な機能学習を促進するのに役立ちます。

重量の正規化

重量正規化は、体重のの大きさを制約するために損失関数にペナルティ条件を追加します。 一般的な方法は、スパリゼーションを促すL1正規化、および大きな体重を補償するL2正規化を含みます。 これらの技術は、モデルがトレーニングデータの適切な騒音から予防するのに役立ちます。

データ拡張とノイズ注入

データを集計し、回転、スケーリング、色シフトなどの変換を適用することで、トレーニングデータセットを人工的に拡張します。ノイズインジェクションは、トレーニング中に入力や重量にランダムノイズを追加することを含みます。両方の方法は、モデルを多様なデータバリエーションに分けることで、モデルの堅牢性を向上させ、過度の補正を削減します。

高度な技術

他の高度の正規化方法は下記のものを含んでいます:

  • バッチ正規化:]は、レイヤーの入力を正規化して学習を安定させます。
  • ]アーリーストッピング:[]] 検証性能が改善を中止したときにトレーニングをハレットします。
  • スペクトル正規化:[] は、トレーニングを安定させるために体重の行列のスペクトル規範を制約します。
  • DropBlock:]]は、機能マップの連続した領域をドロップし、正規化を強化します。