이 문서는 교육의 기본 원칙을 준수합니다. 이 문서는 교육 데이터의 기초에 대한 이해를 돕기 위해 개발되었습니다. 이 문서는 교육 데이터의 기초에 대한 이해를 돕기 위해 개발되었습니다. 이 문서는 복잡한 신경 네트워크에 효과적인 고급 정기화 방법을 탐구합니다.

탈락과 배리제

Dropout은 훈련 중에 신경의 하위 세트를 무작위로 비활성화하는 널리 사용되는 정기화 기술입니다. Spatial Dropout 및 DropConnect와 같은 Variants는 특정 시나리오에서 성능을 향상시키기 위해 수정을 소개합니다. Dropout은 특정 신경에 대한 의존도를 감소시켜 더 강력한 기능 학습을 촉진합니다.

무게 일정화

무게 정기화는 체중의 규모를 제한하기 위해 손실 기능에 대한 처벌을 추가합니다. 일반적인 방법은 큰 무게를 디스크로 처리하는 sparsity 및 L2 정규화를 격려하는 L1 정규화가 포함되어 있습니다. 이 기술은 교육 데이터에 맞는 소음에서 모델을 방지합니다.

Data Augmentation 및 소음 주입

Data augmentation는, 회전, 스케일링, 또는 색상 교대와 같은 변환을 적용하여 교육 데이터 세트를 적극적으로 확장합니다. 소음 주입은 훈련 중에 입력 또는 무게에 임의의의 소음을 추가합니다. 두 방법 모두 모델 견고성을 향상시키고 다양한 데이터 변형에 모델을 exposing함으로써 과감하게 감소시킵니다.

고급 기술

다른 고급 정기화 방법은 다음과 같습니다 :

  • Batch Normalization: 학습을 안정화하기 위해 레이어 입력을 정상화합니다.
  • Early Stopping: halts training when validation performance stop improve.
  • Spectral Normalization: 훈련을 안정화하기 위해 무게 매트릭스의 스펙트럼 규범을 변형시킵니다.
  • DropBlock: 은 기능 맵에 오염된 지구를 제거하고 정기화를 강화합니다.