ディープラーニングモデルは強力なツールですが、多くの場合、パフォーマンスを妨げる一般的な落とし穴に遭遇します。これらの問題を理解し、数学的な洞察を適用することで、モデルの精度と堅牢性を向上させることができます。

過度と不足

モデルがトレーニングデータでノイズを学習し、低体化につながるときに過度の影響が起こります。モデルが根本的なパターンをキャプチャするのが非常に単純であるときに、不足が起こります。L2正規化などの正規化技術は、モデルの体重に基づいて損失関数にペナルティの用語を追加します。

Loss = 空の損失 + λ * ||重量|[2]

λ が正規化の強さを制御するところ。 λ の適切な調整はバランスの偏差および分散を助けます。

勾配のバニシングと搾取

バックプロパゲーション中に、グラデーションは非常に小さい(有利)か非常に大きい(搾取)、ひだが付く訓練になることができます。ReLUのような活発化機能を使用して、派生物が正の入力のために定数であるので、勾配を緩和します。さらに、バッチ正規化のような正規化技術は、レイヤー入力の平均と分散を維持することにより、トレーニングを安定させます。

貧しい初期化

重みを初期化することは、不適切に訓練を遅らせるか、または有力な問題を引き起こす可能性があります。 Xavier の初期化は、入力と出力ニューロンの数に基づいて体重を設定し、レイヤー全体で一貫した活性化の分散を維持することを目指しています。 数学的に、重量は分散による分布から見なされます。

[]Var(w) = 2 / (n[]]]in]])] + n[]アウト]]]] [

データ・インバランス

バランスの取れたデータセットは、大部分のクラスに向かってモデルをバイアスできます。重みのある損失機能のような技術は、よりマイナーなレベルのエラーにより高いペナルティを割り当てます。重みのあるクロスエントロピーの損失は次のとおりです。

]Loss = -Δ]i w]]i] * ]i[] *ログ(p[[i]])]]

  • 正規化
  • 適切な初期化
  • 正規化技術
  • データ集計
  • クラスの重み付け