Dropout 및 일괄 정상화는 모델 성능과 안정성을 향상시키기 위해 신경 네트워크 교육에서 사용되는 기술입니다. 디자인 원칙과 실용적인 이점을 이해하는 것은 더 효과적인 기계 학습 모델을 구축하는 데 도움이 될 수 있습니다.

Dropout: 감소

Dropout은 훈련 중에 신경의 하위 세트를 무작위로 비활성화하는 정기적인 방법입니다. 이것은 특정 경로에 따라 네트워크가 너무 의존하지 않고 더 강력한 기능을 배우기 위해 노력합니다.

각 훈련이 진행 중에는 신경의 비율이 꺼져 있으며 나머지 신경을 강제로 전환합니다. 방해 시간에서 모든 신경은 활성이지만 출력은 훈련 중 떨어지는 계정에 확장됩니다.

배치 정상화: 훈련을 가속

Batch Normalization는 각 층의 입력을 정상화하여 일관된 배포를 갖습니다. 이것은 내부의 covariate 교대를 감소시키고, 더 높은 학습 비율과 빠른 융합을 허용합니다.

각 미니 배치 내에서 입력을 표준화하여 학습 가능한 스케일과 이동 매개 변수를 적용한 다음, 이 프로세스는 교육 프로세스를 안정화하고 전반적인 모델 정확도를 향상시킬 수 있습니다.

디자인 원리

두 기술 모두 모델의 일반화 및 교육 효율성을 개선하는 것을 목표로합니다. 드롭 아웃은 학습을 정상적인화하는 동안 과잉을 방지하기 위해 훈련 중에 소음을 소개합니다.

이 방법을 구현하는 것은 드롭 아웃 속도 및 일괄 크기와 같은 hyperparameters의 주의적 조정을 필요로합니다. Proper 통합은 더 견고하고 빠른 훈련 프로세스로 이어질 수 있습니다.

Practical 이점

  • 향상된 모델 일반화
  • 훈련 중 더 빠른 융합
  • 과잉의 위험 감소
  • 향상된 교육 안정성