모델의 신뢰 간격은 진정한 모델 성능이나 매개 변수 값이 특정 확률로 떨어지는 것으로 예상되는 범위 내에서 범위를 제공합니다. 그들은 기계 학습 응용 프로그램에 모델 추정과 관련된 불확실성을 이해하는 데 유용합니다.

Confidence Intervals에 대한 이해

자신감을 가지는 데이터에서 계산된 통계 범위는 true 매개변수 값이 포함될 수 있습니다. 기계 학습에서는 정확성, 정밀도, 모델 계수와 같은 메트릭을 참조할 수 있습니다.

Confidence Intervals를 계산하는 단계

모델 메트릭에 대한 신뢰 간격을 준수하는 이러한 단계를 따르십시오.

  • 크로스 유효성 또는 여러 실행을 통해 모델 성능 지표의 샘플을 수집합니다.
  • 샘플의 의미와 표준 편차를 계산합니다.
  • 신뢰 수준을 선택하십시오 (예 : 95 %).
  • 샘플 크기와 신뢰 수준에 따라 t-distribution 또는 z-distribution에서 적절한 중요한 값을 결정합니다.
  • 오류의 마진을 계산: ]실험적인 값 × (표준 편차 / √sample 크기).
  • 자신감을 계산 : ] 오류의 ± 마진.

예제 계산

모델의 정확도를 공급하는 것은 30의 실행 이상 평가되며, 85%의 평균 정확도와 3%의 표준 편차가 있습니다. 95 %의 신뢰 수준에 대한 t-distribution의 중요한 값은 약 2.045입니다.

오류의 마진은: 2.045 × (3 / √30) ≈ 2.045 × 0.547 ≈ 1.12%. 신뢰 간격은 85% ± 1.12%, 대략 83.88%에서 86.12%의 범위에서 유래하.