Dropout, mikro ağlarda aşırılık önlemeyi önlemek için kullanılan düzenli bir tekniktir. Eğitim sırasında rastgele bir nöronların alt kümesini etkiler, bu da ağı daha sağlam özellikleri geliştirmeyi teşvik eder. teorik temel ve pratik uygulama modellemeyi anlayabilir.
Ölçeğin Teorik Temelleri
Dropout, eğitim sırasında rastgele düşen birimlerin düşmesiyle birlikte, algoritmaların yeniden seçilmesinin bir yolu olarak tanıtıldı, bu da görünmeyen verilere genelleme yeteneğini artırır. Teknik aynı anda birçok farklı ağla bir araya gelmenin bir yolu olarak görülebilir.
Pratik İpuçları
Bir nöron'ı tersine çevirme olasılığına uygun olarak, genellikle tam bağlantılı katmanlardan sonra ve bazen konvolutional katmanların ardından uygulanır.
Eğitim sırasında, damlaout aktif, ancak inference sırasında kapatılır. Boş üniteler için telafi etmek için, ağırlıklar test sırasında uygun şekilde ölçeklenir. Birçok derin öğrenme çerçeveleri bunu otomatik olarak ele alır, uygulama sürecini basitleştirir.
Dropout Kullanımı için Ek İpuçları
- Kilo çürümesi gibi diğer normalleştirme yöntemleri ile birlikte.
- Model ve veri kümesinin karmaşıklığına dayanan düşüş oranları.
- Tamamen bağlantılı katmanlarda düşüş kullanın, çünkü konvolutional katmanlarında daha az etkilidir.
- Aşırı damlalardan kaçınmak için geçerliliği izleyin, bu da öğrenmeyi engelleyebilir.