神経ネットワークは複雑な問題を解決するための強力なツールですが、トレーニングデータをオーバーフィットし、新しいデータに一般化する能力を減らすこともできます。正規化技術は、モデルの複雑性を制御し、予期しないデータに対するパフォーマンスを向上させることができます。この記事では、ニューラルネットワークのトレーニングで使用される一般的な正規化方法について説明します。

ドロップアウト

ドロップアウトは、トレーニング中にランダムに選択されたニューロンが無視される技術です。 これは、神経を共適応させ、ネットワークを促し、より強力な機能を開発する。 テスト中、すべてのニューロンが使用されますが、その出力はトレーニング中にドロップアウトを考慮するためにスケールされます。

重量の Decay

重量デカイトは、体重の大きさに基づいて損失機能にペナルティを追加します。 この不満につながることができる大きな体重を捨てます。 一般的に、L2正規化が使用され、ペナルティは四角形の体重の合計に比例しています。

データ拡張

データの拡張は、回転、翻訳、スケーリングなどの変換を適用することで、トレーニングデータの多様性を増加させます。このモデルは、より一般的な機能を学び、過度の機能、特に画像やスピーチタスクで過度の影響を減らすのに役立ちます。

早期停止

早期停止には、トレーニング中にセットされたバリデーションでモデルのパフォーマンスを監視することが含まれます。 パフォーマンスが改善しなくなると、トレーニングデータを上書きするモデルを防ぐトレーニングが停止されます。

正規化技術の概要

  • 抜粋:] ランダムに訓練中にニューロンを無視します。
  • ウェイト・デカイ:]は、過度の疲労を防ぐための大きな体重を罰します。
  • データ拡張:]] トランスフォーメーションでトレーニングデータを拡張します。
  • ]アーリーストッピング:[]]] バリデーション性能のプラトーのトレーニングを停止します。