Dropout 및 정기화는 기계 학습에서 사용되어 모델 성능을 향상시키기 위해 사용됩니다. 모델이 교육 데이터에 소음을 배울 때 발생하며 새로운 데이터에 대한 전반적인 능력을 줄입니다. 이러한 전략을 구현하는 것은 특정 계산과 모범 사례를 포함합니다.

Dropout 이해

무작위로 훈련 중에 신경의 분수를 비활성화하는 것은 특정 경로에 너무 의존하지 않고 네트워크를 방지하는 데 도움이되는 것입니다. 드롭 아웃 비율은 각 반복에서 비활성화 된 신경의 비율을 결정합니다.

0.2에서 0.5까지의 전형적인 드롭 아웃 속도 범위. 예를 들어, 0.3의 드롭 아웃 속도는 각 훈련 단계에서 신경의 30 %가 꺼집니다. 이것은 네트워크가 더 강력한 기능을 개발하도록 권장합니다.

정기화

정기화는 복잡한 모델을 디스크화하는 손실 함수에 대한 처벌을 추가합니다. 가장 일반적인 형태는 L2 정규화이며, 큰 무게를 곱합니다. 정기화 기간은 다음과 같습니다.

Loss = Original Loss + λ * Σ(w2]]])]]]

λ (lambda)는 정규화 매개변수이고, Σ (w]2)는 사각형 무게의 합계입니다. 적합한 λ를 선택하면 결정적입니다. 0.001에서 0.1까지의 전형적인 값 범위.

과잉을 방지하는 전략

Dropout과 정규화 결합은 효과적으로 과감하게 감소시킬 수 있습니다. 다른 전략은 초기 중지, 데이터 낙태 및 교차 유효성을 포함합니다. 정기적으로 검증 성능 모니터링은 최적의 정기화 매개 변수를 결정하는 데 도움이됩니다.

  • 0.2와 0.5 사이의 비율을 가진 하락을 사용하십시오
  • L2 규칙을 0.01 정도의 λ로 적용
  • 훈련 중 일찍 멈추기
  • Augment 교육 데이터는 다양성을 높이기 위해