기계 학습 모델이 새로운, 비문 데이터에서 잘 수행 할 수있는 능력을 줄이기 위해 소음과 아웃 런을 포함하여 교육 데이터를 너무 잘 배울 때 발생. 주소 초과는 효과적으로 일반 모델 만들기에 필수적입니다. 이 문서는 문제 해결 및 완화에 사용되는 일반적인 기술 및 계산에 대해 논의합니다.

의외출

과잉은 훈련 및 검증 데이터셋에 모델 성능 비교에 의해 감지 될 수 있습니다. 모델이 유효성 데이터보다 훈련 데이터에 크게 더 나은 수행하면 과잉은 가능성이 발생합니다. 키 지표는 높은 교육 정확도와 낮은 유효성 정확도를 포함합니다.

과감한 감소를 위한 기술

몇몇 방법은 overfitting를, 포함하여 막을 것을 도울 수 있습니다:

  • Regularization:] 복잡한 모델에 대한 손실 함수에 대한 처벌을 추가합니다.
  • Dropout: 특정 뉴런에 의존을 줄이기 위해 훈련 중에 무작위로 방울 단위.
  • Early Stopping: 유효성능이 감소될 때 훈련을 중지합니다.
  • Data Augmentation: 기존 데이터의 수정된 버전을 생성하여 dataset 크기를 증가시킵니다.
  • 모델 Simplification:은 몇몇 매개변수 또는 간단한 알고리즘을 사용합니다.

Model 평가 계산

유효 손실과 정확도와 같은 미터는 과잉을 평가하기 위해 필수적입니다. 계산은 다음과 같습니다.

  • 정확도의 문제: 검증 정확도 마이너스 교육 정확도.
  • Validation loss: 연수 손실에서 다이브를 감지하는 검증 데이터에 대한 모니터링 손실.
  • Cross-validation: 다른 데이터 분할에 걸쳐 모델 안정성을 평가하는 k-fold cross-validation을 사용하여.

관련 기사

이 기법과 계산을 구현하는 것은 새로운 데이터에 대한 일반화 모델에 대한 과잉을 식별하고 감소시킬 수 있습니다. 검증 미터의 정기 모니터링은 최적의 모델 성능을 유지하기위한 것이 중요합니다.