캘리브레이션은 캘리브레이션의 핵심 요소입니다. 이 개념은 캘리브레이션의 모델과 비교하여, 모델의 데이터를 캘리브레이션하는 방법을 결정합니다. 관련 메트릭은 모델 성능과 가이드 개선에 대한 통찰력을 제공합니다.

미터를 극복

모델은 교육 데이터에 잘 수행하지만 새로운 데이터에 거의 거의 없습니다. 과잉을 감지하는 일반적인 메트릭은 다음과 같습니다.

  • Training vs. 유효성 검사 오류: 큰 간격은 과잉을 나타냅니다.
  • Complexity Measures: data point와 상대 파라미터의 수와 같은.
  • Cross-Validation Scores: 검증 점수에 비해 더 높은 교육 점수가 과감하게됩니다.

미터의 밑에

모델이 너무 간단할 때 발생합니다. 아래 데이터 패턴을 캡처 할 수 있습니다. 아래 항목의 미터는 다음과 같습니다.

  • ]두 개의 교육 및 검증 세트에 대한 높은 오류: 모델은 너무 단순하다.
  • Low Model Complexity: 매우 몇 가지 기능이나 매개 변수와 같은.
  • 지능:] Across 훈련 및 검증 자료.

측정 미터

일반적으로 사용되는 미터는 정확도, 정밀도, 회신 및 F1 점수를 포함합니다. 과잉 또는 하향을 평가하기 위해, 훈련 및 검증 데이터 세트의 맞은편에 이러한 미터를 비교하십시오. 중요한 공시는 과잉을 제안하고, 균일하게 낮은 점수는 하향을 나타냅니다.

크로스 유효성을 사용하여 모델 안정성을 평가하는 데 도움이됩니다. 여러 접의 평균 성능을 계산하면 모델이 불충분한 데이터에서 수행 할 수있는 더 신뢰할 수있는 견적을 제공합니다.