レギュレーションは、モデルの複雑さにペナルティを加えることによって、過度の苦難を防ぐための超判読学習で使用される技術です。それはモデルの汎用性を予期しないデータに改善し、予測的なパフォーマンスを向上させるのに役立ちます。

正規化の理解

レギュレーションは、ペナルティの用語を含むトレーニング中に損失関数を変更します。一般的なタイプには、L1レギュレーション(Lasso)とL2レギュレーション(Ridge)が含まれます。これらの方法は、モデルパラメータの倍率を制御し、より単純なモデルを奨励します。

計算 進化正規化

想定学習では、正規化損失関数を以下のように表現できます。

Loss = 原損失 + λ × 正規化期間]

λ(lambda)が正規化の強さを決定する正規化パラメータである場合。例えば、リッジ回帰では、正規化の用語は、四角化係数の合計です。

λ×Σ(係数)^2]

正規化のためのベストプラクティス

  • 相互検証による適切な正規化パラメータ(λ)を選択します。
  • 小さい λ 値で始まり、モデル性能に対する効果を観察するために徐々に増加します。
  • 機能選択が希望されるときL1正規化を使用して下さい。
  • 機能のスケーリングで正規化を組み合わせて、より良い結果が得られます。
  • トレーニングを監視し、検証エラーを監視して、不足や過度の影響を回避します。