監督学習における損失関数の計算: マウスからクロスエントロピーまで

予測された出力と実際のラベルの違いを測定するので、監視された学習では損失関数が不可欠です。それらは、最適化するためのメトリックを提供することでトレーニングプロセスを誘導します。問題やデータ特性の種類に応じて異なる損失関数が使用されます。

意味スクエアエラー(MSE)

平均の正方形のエラーは、回帰タスクに一般的に使用されます。これは、予測値と実際の値の違いの平方の平均を計算します。式は次のとおりです。

[]MSE = (1/n) Σ (y_]]]i]]] - 湾_i])2[

y_]i]は真の値で、湾_]iは予測値であり、nはサンプル数です。 MSEはより大きなエラーをより重く浸透させ、モデルを集中して重要な偏差を最小限に抑えます。

十字不法損失は、主に分類タスクに使用されます。予測確率分布と真の分布の間の異種性を測定します。バイナリ分類については、式は次のとおりです。

[]クロスエントロピー = - [ y log( ) + (1 - y) log(1 - 地球) ]

y が真のラベル(0 または 1) であり、湾は正クラスの予測確率です。この損失関数は、モデルが自信が悪いときに、より重く誤った予測をペナルトします。

MSEは連続出力変数に適していますが、クロスエントロピーは分類データに理想的です。適切な損失機能を選択すると、問題の種類と出力の性質によって異なります。