기능 스케일링은 교육 신경 네트워크에서 중요한 사전 처리 단계입니다. 모델 성능과 융합 속도를 향상시키기 위해 입력 기능의 범위를 조정하는 것이 포함됩니다. 수학 기반을 이해하는 것은 다른 시나리오에 적합한 스케일링 기술을 적용하는 데 도움이됩니다.

기능 확장의 수학 재단

기능 스케일링 방법은 각 기능을 학습 과정에 똑같이 기여하는 데이터를 수정합니다. 일반적인 기술은 최소 최대 스케일링 및 표준화가 포함됩니다. 최소 최대 스케일링은 특정 범위에 대한 기능을 변형, 일반적으로 [0, 1], 공식을 사용하여:

x scaled = (x - min(x)) / (최대(x) - min(x))

다른 한편으로는, 중심은 단위 variance와 함께 의미의 특징을 강조합니다:

x standardized = (x - μ) / σ]

Neural Network 교육에 대한 영향

Proper 기능 스케일링은 크게 교육 과정을 개선할 수 있습니다. 학습 업데이트의 향상에서 더 큰 범위와 기능을 방지함으로써 더 빠른 융합에 도움이됩니다. 또한 스케일링 기능으로 더 안정적인 윤활제로 이어지고, 파괴 또는 폭발 윤활제의 위험을 감소시킵니다.

sigmoid 또는 tanh와 같은 활성화 기능을 가진 신경 네트워크는 특히 기능 가늠자에 과민합니다. Scaling는 이 기능의 활동 지구 안에 들어가는 것을, 학습 효율성을 강화하는 것을 지킵니다.

연구 및 개발

기능 스케일링을 적용하면, 교육 데이터에 대한 스케일러에 맞게 중요하며, 검증 및 테스트 데이터에 동일한 변화를 적용합니다. 이 데이터 누설을 방지하고 데이터셋에 따라 일관성있는 스케일링을 보장합니다.

  • 결합된 특징을 위한 min-max scaling를 사용하십시오.
  • 일반적으로 분산 된 데이터에 대한 표준화를 적용합니다.
  • 항상 교육 데이터에 맞는 스케일러만.
  • 데이터 augmentation 후 재 스케일 데이터.