신경 네트워크는 복잡한 문제를 해결하기위한 강력한 도구이지만, 그들은 새로운 데이터에 대한 능력을 줄이기 위해 교육 데이터를 과잉 할 수 있습니다. 정기화 기술은 모델 복잡성을 제어하고 데이터를 관리하는 데 도움이됩니다. 이 문서는 신경 네트워크 교육에서 사용되는 일반적인 정기화 방법을 탐구합니다.

팟캐스트

Dropout은 무작위로 선택된 신경이 훈련 중에 무시되는 기술입니다. 이것은 공동 적응에서 신경을 방지하고 더 강력한 기능을 개발하기 위해 네트워크를 격려합니다. 테스트 중 모든 신경은 사용되지만, 출력은 훈련 중 드롭아웃을 위해 계정으로 확장됩니다.

무게 Decay

무게 감퇴는 무게의 크기에 근거를 둔 손실 기능에 형벌을 추가합니다. 이 신중한 무게는, overfitting에 지도할 수 있습니다. 일반적으로, L2 정규화는, 불린은 사각형 무게의 합계에 비례합니다.

데이터 Augmentation

Data augmentation은 회전, 번역, 스케일링과 같은 변형을 적용하여 다양한 교육 데이터를 증가시킵니다. 이 모델은 더 일반적인 기능을 배우고, 이미지 및 연설 작업에서 과감하게 감소시킵니다.

초기 정지

초기 정지는 훈련 중에 검증 세트에 모델의 성능을 모니터링하는 것을 포함한다. 훈련은 성능이 향상 될 때 반감기이며, 훈련 데이터를 과잉하는 모델이 방지됩니다.

정기적 인 기술 요약

  • Dropout: 은 훈련 중 신경을 무시합니다.
  • 무게 Decay:배출을 방지하기 위해 큰 무게를 곱합니다.
  • Data Augmentation: 변화에 대한 교육 데이터를 확장합니다.
  • Early Stopping: 유효성능의 판다시 훈련 중지.