Dropout 정규화는 신경 네트워크에서 사용 된 기술로 과잉을 방지합니다. 그것은 훈련 중에 신경의 하위 세트를 무작위로 비활성화하는 것을 포함하며, 모델은 데이터를 흔하게하는 데 도움이됩니다. 이 문서는 드롭아웃이 구현되는 방법을 설명하고 계산이 수행되고 신경 네트워크 성능에 미치는 영향에 대해 설명합니다.

Dropout의 정기화

Dropout은 각 훈련 반복 도중 0에 neuron 산출의 비율을 무작위로 조정해서 작동합니다. 이것은 특정한 특징에 과 의존하고 더 튼튼한 표현을 개발하기 위하여 네트워크를 격려하는 neurons를 방지합니다. 탈락 비율은 neurons의 분수를 deactivated 결정합니다.

계산은 Dropout에 참여

훈련 중, 각 신경은 확률로 유지됩니다 p]. 뉴런의 출력 i) 드롭아웃 후 계산됩니다:

yi]= ri] * xi] ]]

여기서 r]i]]]는 확률이 높은 버틀러 임의 변수 p)의 1 (리테이너)와 0 (리드). 출간 중, 무게는 p])에 의해 스케일링됩니다.

Neural Network의 효과

Dropout을 구현하는 모델의 기능을 일반화하여 과잉을 감소시킵니다. 그것은 네트워크가 과잉 표현을 배우기 위해, 데이터의 소음과 변이에 더 탄력을 만들기. 결과적으로, dropout과 모델은 일반적으로 검증 및 테스트 데이터 세트에 더 잘 수행.

  • 특정 neurons에 의존 감소
  • 강력한 기능 학습
  • 의붓기
  • 시험 정확도 향상