정상적인 기술은 교육 신경 네트워크에 필수적입니다. 그들은 융합 속도, 안정성, 전반적인 성능을 향상 돕는다. 이 가이드는 일반적인 정상적인화 방법 및 신경 네트워크 교육 과정에 미치는 영향을 개요를 제공합니다.

일반화 기술의 종류

몇몇 정상적인화 방법은 신경 네트워크 훈련에서, 각 특정한 이점으로 이용됩니다. 일반적인 기술은 배치 정상적인화, 층 정상화 및 Instance 정상화 포함합니다. 이 방법은 학습을 촉진하기 위하여 입력 또는 활성화를 표준화합니다.

일괄 정상적인화

배치 정상화는 소형 배치의 각 층의 입력을 정상화합니다. 그것은 내부 covariate 교대를 감소시키고, 더 높은 학습 비율 및 빠른 훈련을 허용하. 그것은 또한 정기화기로 작동하고, 때때로 Dropout를 위한 필요를 감소시킵니다.

층 정상화

단일 데이터 포인트 내에서 기능의 정상적인 레이어 정상화. 그것은 특히 재전류 신경 네트워크 및 작업에 유용합니다 배치 크기가 작습니다. 그것은 이러한 경우에 더 안정적인 교육을 제공합니다.

Neural Network 교육에 대한 영향

정상적인화 기술을 적용하면 크게 훈련을 역동적으로 영향을 줄 수 있습니다. 그들은 종종 더 빠른 융합, 향상된 정확도 및 더 나은 종합에 이어질 수 있습니다. 그러나, 방법의 선택은 특정 아키텍처 및 데이터 세트에 따라 달라집니다.

  • 빠른 융합
  • 훈련 중에 향상된 안정성
  • 교육 epochs의 잠재적 인 감소
  • 향상된 모델 정확도