기계 학습 모델이 새로운 데이터에 성능이 감소하는 소음과 아웃리에 대해 교육 데이터를 잘 배울 때 발생했습니다. 정기화 기술은 모델에 제약을 추가하여 과감하게 예방하고, 단순성을 촉진하고 일반화 개선을 촉진하는 데 도움이됩니다.

자주 묻는 질문

정기화는 훈련 중에 손실 기능에 추가적인 용어를 소개합니다. 이러한 용어는 복잡한 모델, 과잉 가능성이 적은 간단한 솔루션에 대한 만족을 제공합니다. 일반적인 정기화 방법은 L1 및 L2 정규화가 포함됩니다.

일반 정기적 인 기술

  • L1 정규화 (Lasso): 의 절대값을 손실 함수에 추가, 스파르함을 촉진.
  • L2 정규화 (Ridge): 계수의 사각형 값을 추가, 적은 무게를 격려.
  • Dropout: 신경 네트워크에서 훈련하는 동안 무작위로 신경을 비활성화하여 공동 승인을 방지합니다.
  • Early Stopping: 유효성 검사 데이터에 대한 성능이 감소될 때 훈련을 중지합니다.

Real-world 예제

이미지 인식 작업에서, 드롭아웃을 적용하는 것은 신경 네트워크가 이미지를 끊지 않도록 일반화하는 데 도움이됩니다. 선형 회귀 모델 예측 주택 가격, L2 정규화는 더 신뢰할 수있는 예측을 선도하는 큰 계수를 축소함으로써 과감하게 감소시킵니다.

자연적인 언어 가공에서는, 초기 멈출은 언어 모형의 훈련 도중 overfitting 방지하기 위하여 이용됩니다, 그들은 새로운 원본 자료에 잘 실행합니다. 이 기술은 각종 도메인에서 모형 견고와 정확도를 개량하기 위하여 근본적입니다.