Dropout 층은 깊은 학습 모델에서 사용 된 정기화 기술로 과잉을 방지합니다. 그들은 훈련 중에 신경의 하위 세트를 무작위로 결정하여 더 강력한 기능을 개발하는 네트워크를 격려합니다. 드롭 아웃 층의 Proper 구현은 크게 모델 일반화 및 성능을 향상시킬 수 있습니다.

Dropout 층의 설계 원칙

Dropout 뒤에 기본 원리는 특정 신경에 의존하는 훈련 도중 소음을 소개하는 것입니다. 이 무작위는 네트워크가 중복 표현을 배우기 위하여 힘을, 새로운 자료에 더 탄력 있는 만들기. 중요한 고려사항은 네트워크 건축 내의 하락 비율과 배치를 선택 포함합니다.

모델에 있는 Dropout의 효과적인 사용

드롭아웃은 완전히 연결된 층과 산출 층의 앞에 적용될 때 가장 효과적입니다. 모형과 자료 세트의 복잡성에 따라서 0.2에서 0.5에 전형적인 드롭아웃 비율 범위. 그것은 underfitting 또는 over-regularization를 피하기 위하여 떨어지는 힘에 근본적입니다.

구현을위한 모범 사례

  • ReLU와 같은 활성화 함수 후에 dropout을 적용하십시오.
  • 다른 층을 위한 다른 dropout 비율을 필요에 따라 사용하십시오.
  • 체중 감소와 같은 다른 정규화 기술로 낙하를 결합하십시오.
  • dropout 매개변수를 조정하는 감시자 validation 성과.