딥러닝 모델은 강력한 도구이지만 종종 성능이 방해 할 수있는 일반적인 pitfalls를 만날 수 있습니다. 이러한 문제를 이해하고 수학 통찰력을 적용하면 모델 정확도와 견고성을 향상시킬 수 있습니다.

과잉 과 Underfitting

모델이 교육 데이터에 소음을 배우면, 일반화가 지속될 때 발생합니다. 모델이 너무 심하게 캡처 할 때 모델이 너무 간단해질 때 발생합니다. L2 정규화와 같은 정기화 기술은 모델의 무게에 따라 손실 기능에 대한 처벌 용어를 추가합니다.

Losss = Empirical Loss + λ *|무게||]2]

λ가 정기적인 힘을 제어합니다. λ의 Proper tuning는 균형 편견 및 variance를 돕습니다.

그라디언트 밴싱 및 폭발

재개발 중에는, 윤활제는 아주 작을 수 있습니다 (반대로) 또는 아주 큰 (상승), 끊는 훈련. 그것의 유래물이 긍정적인 입력을 위해 일정하기 때문에 ReLU mitigates 파괴 윤활제 같이 활성화 기능을 사용하여. 또한, 층 입력의 평균 그리고 variance를 유지해서 배치 정상화와 같은 정상적인화 기술.

Poor 초기화

초기화 중량은 훈련을 늦추거나 융합 문제를 일으킬 수 있습니다. Xavier 초기화는 입력 및 출력 뉴런의 수를 기반으로하며 레이어 전체에 일관성있는 활성화의 차이를 유지하는 것을 목표로합니다. Mathematically, 무게는 다양한 유통에서 샘플화됩니다.

Var(w) = 2 / (n]in] + nout]]]]]]]

데이터 임밸런스

불균형 데이터셋은 대부분의 클래스에 대한 모델이 될 수 있습니다. 무게가 많은 손실 기능과 같은 기술은 소수성 클래스 오류에 더 높은 처벌을 할당합니다. 무게가 많은 크로스 엔트로피 손실은 다음과 같습니다.

Loss = -∑]i] w]i] * y]i] * 로그(p]]i])

  • 관련 상품
  • Proper 초기화
  • 정상적인 기술
  • 데이터 augmentation
  • 종류 무게를 달기