レ正規化は、損失機能にペナルティを加えることによって、機械学習で使用される技術です。 それは、モデルが過剰に複雑なソリューションを開示することにより、データを解明するためによりよく役立ちます。

正規化の理論

レ正規化は、トレーニング中に客観的な機能に追加の条件を導入しています。 これらの用語は、大規模なモデルパラメータをペナルライズし、トレーニングデータにノイズを収まる可能性が低い、よりシンプルなモデルを奨励します。

一般的な正規化技術

  • [L1正規化:]]]は、パーシャリティを促進し、損失関数に係数の絶対値を追加します。
  • L2正規化:]]は、小さめの重みを奨励する係数の四角値を追加します。
  • ドロップアウト:] 特定のニューロンに対する依存性を減らすために、トレーニング中にユニットをランダムにドロップします。
  • ]アーリーストッピング:[]]] 検証データのパフォーマンスが低下し始めるとトレーニングを停止します。

計算と実装

線形回帰では、例えば、L2 正規化は以下のようなコスト関数を修飾します。

損失 = 四角形のエラーのSum + λ * 四角形の体重のSum

λ(lambda)がペナルティの強さを制御する正規化パラメータである場合。適切なλを選択することは、多くの場合、交差validationを介して行われる。

ベストプラクティス

正規化を実施する際には、次のベストプラクティスを検討してください。

  • 正規化パラメータをチューニングするために、クロスバリデーションを使用します。
  • シンプルなモデルで始めて、複雑さを徐々に増やします。
  • 必要に応じて複数の正規化技術を組み合わせます。
  • 妥当性や過度の影響を避けるために、検証性能を監視します。