기계 학습 모델이 소음과 아웃리에를 포함하여 교육 데이터를 잘 배울 때 발생하면 새로운 데이터에 대한 전반적인 능력을 줄일 수 있습니다. 과감하게 방지하는 것은 강력한 모델 개발을 위해 필수적입니다.

의 회원

과잉은 종종 훈련 및 검증 성능의 중요한 차이에 의해 표시된다. 모델은 훈련 데이터에 탁월하게 잘 수행하지만, 불충분한 데이터에 대한 위험이 없습니다.

극복을 감지하는 기술

검증 데이터셋에 대한 모니터링 모델 성능은 과잉을 식별하는 데 도움이됩니다. 일반적인 방법은 다음과 같습니다.

  • epochs에 훈련 및 검증 정확도
  • 별도의 테스트 데이터에 대한 성능 측정
  • 크로스 유효성 검사

과잉을 방지하는 전략

예방 조치는 모델의 일반화 개선을 돕습니다. 주요 전략은 다음과 같습니다.

  • Regularization: L1 또는 L2 정규화와 같은 모델 복잡성에 대한 처벌을 적용.
  • Pruning: 분기에 기여하지 않는 제거로 결정 나무를 단순화.
  • Early stopping: Halting training when validation performance stops improve.
  • 데이터 낙하: 학습 데이터 다양성을 증가시키는 과잉을 감소시킨다.
  • Dropout: 신경 네트워크에서 훈련 중에 무작위로 신경을 비활성화합니다.