정기화 기술은 과잉을 방지하고 데이터를 일반화하기 위해 모델의 능력을 향상시키기 위해 딥러닝에 필수적입니다. 효과적인 정기화 방법을 구현하면 다양한 작업에 걸쳐 강력한 정확한 모델을 실현할 수 있습니다.

팟캐스트

Dropout은 훈련 중에 신경의 하위 세트를 무작위로 비활성화하는 인기있는 정기화 기술입니다. 이것은 공동 적응에서 신경을 방지하고 더 강력한 기능을 개발하기 위해 네트워크를 격려합니다. 일반적으로 모델 및 데이터 세트에 따라 0.2 ~ 0.5의 드롭 아웃 속도 범위.

무게 Decay

L2 정규화로 알려진 체중 감퇴는 체중의 규모에 따라 손실 기능에 대한 벌금을 추가합니다. 이 신중한 큰 무게는, 과잉에 더 적은 머리인 더 간단한 모형에 지도합니다. 그것은 일반적으로 Adam 또는 SGD와 같은 최적화 알고리즘과 함께 사용됩니다.

데이터 Augmentation

Data augmentation은 교체, 스케일링, 또는 플립과 같은 변환을 통해 추가 교육 샘플을 생성하는 것입니다. 이 기술은 교육 데이터의 다양성을 증가시키고 모델을 더 일반 기능을 배우고 과감한 과잉을 줄입니다.

초기 정지

초기 정지 모니터는 훈련 중에 검증 설정에 모델의 성능을 모니터링합니다. 유효성능이 향상되면 훈련은 반감됩니다. 이 훈련 데이터를 과잉하여 모델을 방지하고 일반화 기능을 유지할 수 있습니다.