活性化機能は、ニューラルネットワークの重要なコンポーネントです。 それらは、その入力に基づいてニューロンの出力を決定し、ネットワークが複雑なパターンを学ぶことを可能にします。 この記事では、アクティベーション機能を段階的に計算する方法について説明します。

活性化機能の理解

アクティベーション機能により、入力信号を出力に変換し、その後のレイヤーで使用できる。 一般的な機能には、シグマイド、タン、およびReLUが含まれます。 各機能には、学習プロセスに影響を及ぼすユニークな特性があります。

ジモイド機能の計算

sigmoid関数はf(x) = 1 / (1 + e]-x]]]) と定義されます。 計算するには:

  • x の値を入力します。
  • -xの指数関数を計算します。
  • この指数に 1 を追加してください。
  • 出力を得る結果によって1を分けます。

ルール関数の計算

整形リニアユニット(ReLU)は単純です:f(x) = max(0, x)。 計算するには:

  • x の値を入力します。
  • xが0よりも大きい場合は、xを出力します。
  • x が 0 に相当する、または 0 を出力するよりも小さい場合。

タン機能の計算

多重球形関数は f(x) = (ex]]] - e - x]]) / (e[[]x + e-x])] [FLT: [FLT:]]] です。 計算するには: [FLT:]

  • e[x]とe-xを計算します。
  • e[]x]から、e[]をサブトラクトします。
  • e[x]とe-xを追加します。
  • 出力を取得するには、合計の差分を分割します。