モデルの信頼性の間隔は、真のモデル性能またはパラメータ値が特定の確率で落ちることが期待される範囲を提供します。それらは機械学習アプリケーションにおけるモデル推定に関連する不確実性を理解するのに役立ちます。

機密インターバルの理解

信頼性の間隔は、真のパラメータ値を含む可能性のあるデータから計算される統計的な範囲です。機械学習では、精度、精度、モデル係数などのメトリックを参照できます。

機密インターバルを計算するステップ

以下は、モデルメトリックの信頼性の間隔を計算する手順に従ってください。

  • 相互検証または複数の実行によるモデル性能メトリックのサンプルを収集します。
  • サンプルの平均と標準偏差を計算します。
  • 自信レベル(95%など)を選択してください。
  • t-distribution または z-distribution から、サンプルサイズと自信レベルに基づいて、適切な重要な値を決定します。
  • エラーの余白を計算します。[] 重要な値× (標準偏差/ √sampleサイズ)]。
  • エラーの±マージンのように、自信の間隔を計算します。

計算例

モデルは、モデルの精度が30以上の動作で評価され、平均精度が85%、標準偏差が3%である。95%の信頼性レベルでは、t-ディストリビューションの重要な値は約2.045である。

エラーのマージンは:2.045 x (3/ √30) ≈ 2.045 x 0.547 ≈ 1.12%です。 自信の間隔は85% ± 1.12%で、およそ83.88%から86.12%の範囲でなります。