신경 네트워크의 용량을 이해하는 것은 지나치게하지 않고 잘 수행되는 모델 설계에 필수적입니다. Vapnik-Chervonenkis (VC) 치수는 이론적인 프레임 워크를 제공하여이 용량을 측정합니다. 이 문서는 VC 차원 원칙이 신경 네트워크의 용량을 계산하는 데 적용 될 수 있는지 탐구합니다.

VC 차원은 무엇입니까?

VC 차원은 데이터 포인트를 분류하는 기능의 세트의 용량의 측정입니다. 그것은 기능 클래스에 의해 (모든 가능한 방법으로 정확히 분류) 형성 될 수있는 가장 큰 포인트를 나타냅니다. 더 높은 VC 차원은 더 큰 용량을 가진 더 복잡한 모델을 제안한다.

VC 차원을 Neural Networks에 적용

신경망의 경우 VC 치수는 매개 변수, 레이어 및 활성화 기능의 수와 같은 요인에 따라 다릅니다. 이론적 경계는 이러한 요인에 따라 VC 치수를 추정하고 네트워크의 용량에 대한 통찰력을 제공합니다.

모형 수용량을 냉각하는

VC 차원은 네트워크의 무게 (parameters)의 수를 사용하여 VC 차원을 추정하는 것입니다. W 무게를 가진 네트워크를 위해, VC 차원은 W 기록 W에 비례로 대략적으로 일 수 있습니다. 이 관계는 모수가 수용량에 영향을 미치는지 이해하는 것을 돕습니다.

Model Design에 대한 적용

  • 데이터 크기와 균형 모델 복잡성.
  • overfit 할 수있는 복잡한 모델을 피하십시오.
  • VC 치수 견적을 사용하여 건축 선택.
  • 정기화 기술은 용량을 관리할 수 있습니다.