マシン学習モデルが、ノイズやアウターなど、トレーニングデータを学習する際、さらには、新しいデータの性能を低下させる効果が高まります。正規化技術は、モデルに制約を加えることで、過度を防止し、単純性を高め、一般化を改善するのに役立ちます。

正規化の理解

レギュレーションは、トレーニング中に損失機能に追加の用語を導入しています。これらの用語は、複雑なモデルを貫通し、過度の可能性が低いよりシンプルなソリューションを奨励します。一般的な正規化方法は、L1とL2正規化を含みます。

一般的な正規化技術

  • [L1正規化(Lasso):[ 損失関数に係数の絶対値を追加し、スパリシティを促進します。
  • L2正規化(Ridge):[ 係数の四角形値を追加し、より小さい重量を奨励する。
  • 抜粋:] 神経系ネットワークのトレーニング中に神経系をランダムに非活性化させ、共帰を防ぐことができます。
  • ]アーリーストッピング:[]]] 検証データのパフォーマンスが低下し始めるとトレーニングを停止します。

リアルワールド事例

画像認識タスクでは、ドロップアウトを適用することで、ニューラルネットワークは、イメージを解明するのにより優れている。 線形回帰モデルでは、住宅価格を予測するために、L2正規化は、より信頼性の高い予測につながる、大きな係数を縮小することにより、過度に影響を低減します。

自然言語処理では、言語モデルのトレーニング中に不適切な対策をするために、早期の停止が使用され、新しいテキストデータでうまく機能します。これらの技術は、モデルの堅牢性と精度を向上させるために、さまざまなドメインで不可欠です。