ドロップアウト正規化は、過度の影響を防ぐためにニューラルネットワークで使用される技術です。 トレーニング中にニューロンのサブセットをランダムに非アクティブ化することを含みます。これにより、モデルは、データを偽りなくするためにより優れているのを助けます。 この記事では、ドロップアウトが実装されている方法、計算がどのように実行され、ニューラルネットワークのパフォーマンスへの影響について説明します。

ドロップアウト正規化の理解

ドロップアウトは、各トレーニングの反復中にゼロにニューロン出力の割合をランダムに設定することで動作します。これにより、ニューロンは特定の機能に確実に依存し、ネットワークがより堅牢な表現を開発するのを奨励するのを防ぎます。ドロップアウト率は、ニューロンの非アクティブ化の割合を決定します。

ドロップアウトに関与した計算

トレーニング中に、各ニューロンは確率で保持されます]p。 降下後のニューロン[]iの出力は、次のように計算されます。

]yi[]]] = r]]]i] * xi[

ここで [r]]iは、有効確率p[]]の1(保持)と0(低下)のBernoulliランダム変数です。 推論中に、体重はpによってスケールされ、トレーニング中にドロップアウトのアカウントに値します。

神経ネットワークの総合化への影響

ドロップアウトを実装することで、モデルの機能をオーバーフィッティングを削減することで、一般化します。ネットワークを強制的にし、冗長表現を学習し、データの騒音や変動により弾力性を高めます。その結果、ドロップアウトのあるモデルは、通常、検証とテストデータセットでより良いパフォーマンスを発揮します。

  • 特定のニューロンに対する依存性を低下させる
  • 堅牢な機能学習を奨励
  • 不適切な意思決定
  • 試験精度の向上