マシン学習モデルの予測された汎用化のエラーを理解することは、そのパフォーマンスを未評価のデータを評価するために不可欠です。モデルが新しいデータポイントを予測し、最高のモデル構成を選択するのに役立ちます。

ジェネレーションエラーとは?

汎用エラーは、トレーニングデータと新しい、未発表のデータに関するエラーの違いです。 訓練されたデータを超えてモデルが一般化する方法を示しています。

期待される一般化エラーを計算する方法

期待される汎用化エラーを推定するために、クロスバリデーション、ブーツトラッピング、理論的バウンスを含むいくつかの方法が存在します。各アプローチは、データセットやモデルの複雑性に応じて、その利点と制限があります。

クロス・バリデーションの利用

断続化には、データを複数のサブセットに分割し、いくつかのサブセットでモデルを訓練し、他の人でテストすることが含まれます。すべてのテストの平均エラーは、モデルの汎用エラーの推定を提供します。

理論的な境界線で推定

VC理論やラデマチャーの複雑さから派生したような理論的境界は、モデルの容量とトレーニングデータの規模に基づいて推定値を提供します。これらの境界は期待を導きますが、保守的なものになる可能性があります。

  • クロス検証
  • ブーツトラップ
  • 理論的境界
  • ホールドアウト方式