活性化機能は、モデルが複雑なパターンを学ぶことを可能にする非線形性を導入し、ニューラルネットワークの重要なコンポーネントです。適切な活性化機能を選択すると、モデルのパフォーマンスとトレーニング効率が大幅に影響する可能性があります。この記事では、一般的な活性化機能の定量的な概要を提供し、通知された選択をするのに役立ちます。

共通の活動化機能

複数の活性化機能は、それぞれ独自の特性を持つニューラルネットワークで広く使用されています。 量的特性を理解することは、特定のタスクに最適な機能を選択するのに役立ちます。

性能のメートル

アクティベーション機能を評価するための重要なメトリックには、以下が含まれます。

  • 接流:] は、バックプロパゲーション中に機能が勾配を伝播する方法を決定します。
  • 出力範囲:]] 異なるデータ分布をモデル化する活性化の能力の影響。
  • 計算効率:]]] トレーニング速度とリソース使用量に影響します。

定量的比較

以下は、その特性に基づいて、一般的な活性化機能の比較です。

  • ReLU:]] 正入の負の入力と線形のゼロを出力します。 正の値の1の勾配があり、ディープネットワークを訓練するために効率的です。
  • ダイモイド:] 出力を0と1の間で生成します。 大きい入力の大きさの勾配分は、学習を遅くすることができます。
  • [Tanh:]] -1と1の間の出力。 sigmoidと同様だが、ゼロで中心になっていて、場合によっては収束を改善します。
  • リーキール:]]は、マイナス入力の小さな勾配を可能にし、 "Dying ReLU"の問題を軽減します。

右活性化機能の選択

選択は特定のアプリケーションとモデルアーキテクチャに依存します。定量分析は、ReLUとその変種が一般的により速いトレーニングと深いネットワークの勾配のフローを容易にすることを意味します。 ジモイドとタンは、境界出力を必要とする出力層や特定のタスクに適した場合があります。