監督された学習は、ラベル付きデータを使用してトレーニングモデルを含む機械学習のコア領域です。数学の基礎を理解することは、最適化プロセスを導く損失機能と勾配を導き、効果的なアルゴリズムの設計に役立ちます。

監督学習における損失関数

損失関数は、モデルと実際のラベルの予測された出力間での不透明度を測定します。 それらは、モデルがどれだけうまく動作するかを示すスカラー値を提供することによって、トレーニングモデルにとって不可欠です。

一般的な損失関数には、回帰タスクの「意味の正方形のエラー(MSE)」と「分類タスクのクロス・エントロピーの損失」が含まれます。損失関数の選択は、学習プロセスと収束動作に影響を及ぼします。

損失機能の勾配を付与する

勾配はモデルパラメータに関して損失関数の派生物です。それらは訓練の間に損失を最小にするために必要な調整の方向そして大きさを示します。

例えば、予測(hat{y})に関してMSEの勾配は(y))で、真のラベルです。この派生物は、勾配の降下アルゴリズムの更新ルールをガイドします。

グラデーションによる最適化

勾配の降下アルゴリズムは、勾配の方向に動かすことで、反復的にモデルパラメータを更新します。このプロセスは、損失関数を最小限に抑え、モデルの精度を時間とともに向上させます。

  • 予測の損失を計算します。
  • パラメータに関して損失の勾配を計算します。
  • スケールされた勾配を割くことでパラメータを更新します。
  • 条件を強制または停止するまで繰り返します。