活性化機能は、神経ネットワークの重要なコンポーネントです。神経が活性化されるべきかどうかを判断し、複雑なパターンを学ぶためのネットワークの能力を影響します。これらの機能がどのように機能するか、そしてそれらを計算する方法を理解することは、神経ネットワークの設計の根本的です。

アクティベーション機能とは?

アクティベーション機能はネットワークに非線形性を導入します。 それらなしで、ニューラルネットワークは、複雑な問題を解決するために能力を制限するリニアモデルのように振る舞います。 それらは、入力信号を出力信号に変換し、その後のレイヤーに渡されることができます。

共通の活動化機能

  • ] 重ね合わせ:] 出力値 0～1 の出力値で、確率推定に役立ちます。
  • [ReLU:]]] 出力は、正なら直接入力を出力します。 そうでなければ、ゼロ。 それは、計算的に効率的で、分散剤を緩和するのに役立ちます。
  • [Tanh:]] トレーニングダイナミクスを向上させることができる、約1〜1の出力値。

活性化機能の計算

各活性化関数は、入力から出力を計算するために使用される数学式を持っています。例えば:

] ジモイド:
]f(x) = 1 / (1 + e] - x)])

ReLU:
f(x) = max(0, x)

[]Tanh:] [
]f(x) = (ex] - e - ]))/(e[x + - - [[FLT] - - [FLT]