정기화는 손실 기능에 대한 벌금을 추가함으로써 과잉을 방지하기 위해 기계 학습에 사용되는 기술입니다. 그것은 모델을 일반화하는 데 도움이 데이터에 대한 이상적 복잡한 솔루션.

정기화의 이론

정규화는 훈련 도중 목표 기능에 추가 기간을 소개합니다. 이 기간은 큰 모형 모수를, 훈련 자료에 있는 소음을 적합하기 위하여 더 적은 확률이 있는 더 간단한 모형을 encouraging.

일반 정기적 인 기술

  • L1 정기화: 의 절대값을 손실 함수에 추가, 스파르티를 촉진.
  • L2 정기화: 계수의 사각형 값을 추가, 적은 무게를 격려.
  • Dropout: 특정 뉴런에 의존을 줄이기 위해 훈련 중에 무작위로 방울 단위.
  • Early Stopping: 유효성 검사 데이터에 대한 성능이 감소될 때 훈련을 중지합니다.

계산 및 구현

선형 회귀에서 예를 들어, L2 정규화는 다음과 같이 비용 함수를 수정합니다.

손실 = 사각형 오류의 합계 + λ * 사각형 무게의 합계

λ (lambda)는 평형화 매개 변수가 공산 강도를 제어하는 것입니다. 적절한 λ를 선택하면 교차 유효성을 통해 종종 수행됩니다.

가장 좋은 연습

정기적인 실행을 위해서는 다음의 모범 사례를 고려하십시오.

  • 정규화 매개변수를 조정하는 cross-validation를 사용하십시오.
  • 간단한 모델로 시작하고 점차 복잡성을 증가합니다.
  • 필요한 경우 여러 정규화 기술을 결합합니다.
  • 손상을 입히거나 과잉을 피하기 위해 검증 성능 모니터링.