Gradient descentは、最も低い点に向かって反復的に動くことによって機能を最小限に抑えるために使用される最適化アルゴリズムです。 エラーを減らすためにパラメータを調整することにより、モデルを最適化するために機械学習で広く使用されています。 この記事では、機械学習タスクの勾配下を適用することに関与するステップバイステップの計算について説明します。

勾配のDescentアルゴリズムを理解する

勾配降下の中心的な考え方は、損失関数の負勾配の方向にモデルパラメータを更新することです。このプロセスは、パラメータが最小限点まで続くまで、理想的にはグローバル最小限です。

ステップバイステップ計算プロセス

当社では、Mean Squared Error(MSE)などの損失機能を備えたシンプルなリニア回帰モデルがあります。 勾配降下を適用するための手順は次のとおりです。

  • パラメータ(例、重量、偏差)を小さなランダム値で初期化します。
  • 予測された出力を現在のパラメータで計算します。
  • 予測や実際のデータに基づいて損失関数値を計算します。
  • 各パラメータに関して損失関数の勾配を計算します。
  • 学習率と対応するグラデーションの製品を抽出することで、各パラメータを更新します。

反復回数の繰り返し、損失の変動が無視されるまで繰り返します。

計算例

入力[[]x = 2[]]と出力]]]と単一のデータポイントを考慮してください。 体重]w = 0.5[]]と偏差 b = 0]]。 0.1の学習率を使用してください。

予測を計算する: ]] 湾 = wx + b = 0.5 * 2 + 0 = 1

計算エラー: error = 線 - y = 1 - 4 = -3]

グラデーションを計算する:

重力 w.r.t. 重: ] ⁇ L/ ⁇ w = 2 * エラー * x = 2 * (-3) * 2 = -12

重力 w.r.t. 偏差: ]] と な と な と な と な と な い い い い た い い た い た い た い た い い た い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い い

更新パラメータ:

新規重量: w = 0.5 - 0.1 * (-12) = 0.5 + 1.2 = 1.7

新規のバイアス: ]b = 0 - 0.1 * (-6) = 0 + 0.6 = 0.6]