딥 신경 네트워크가 새로운 데이터에 대한 성능을 줄이기 위해 소음과 아웃리에 이르기까지 교육 데이터를 잘 배울 때 발생했습니다. 측정 및 완화에 대한 이해는 효과적인 모델 개발을 위해 필수적입니다.

캘리포니아

과잉을 감지하는 일반적인 방법은 훈련 및 검증 정확도 또는 손실을 비교하여입니다. 중요한 간격은 과잉을 나타냅니다. 훈련 중에 이러한 미터를 모니터링하면 모델이 일반화보다 훈련 데이터를 기억하기 시작합니다.

또 다른 접근법은 크로스 유효성을 사용하여 여러 하위 설정으로 데이터셋이 나뉘어지는 것을 포함합니다. 이 모델은 이러한 하위 세트를 통해 수행되고 검증된 결과를 통해 일반화 능력을 평가합니다.

과감한 감소를 위한 기술

몇몇 전략은 깊은 신경망에서 overfitting를 도울 수 있습니다:

  • Dropout: 특정 경로에 의존을 방지하기 위해 훈련 중에 거의 신경을 비활성화합니다.
  • Early Stopping: 유효성능이 감소될 때 훈련을 중지합니다.
  • Regularization: 복잡한 모델에 대한 손실 기능에 대한 처벌을 추가합니다.
  • Data Augmentation: 기존 데이터에 대한 변환을 적용하여 교육 데이터 세트를 확장합니다.
  • 모델 컴플렉스티먼트:] 를 사용하여 겹치기 방지를 위한 단순한 아키텍처를 사용합니다.

관련 기사

검증된 메트릭을 통해 과잉을 측정하고 드롭아웃, 초기 정지, 정기화 등의 기법을 적용하면 모델의 일반화를 향상시킬 수 있습니다. 과잉의 Proper 관리는 미립자 네트워크의 성능이 향상되지 않는 데이터에 있습니다.