Dropout ve düzenlileştirme, bu stratejileri uygulama ve en iyi uygulamaları kullanarak modellemeyi öğrenmek için makine öğreniminde kullanılan tekniklerdir. Overfitting, eğitim verilerindeki bir modelin gürültüyü öğrendiğinde, yeni verilere genelleme yeteneğini azaltır.Bu stratejileri uygulamaktadır.
Dropout
Eğitim sırasında rastgele bir nöronların bir kısmını devre dışı bırakır, bu da ağı belirli yollarda çok fazla bağımlı hale getirmenize yardımcı olur. düşüş oranı her iterasyonda nöronların yüzdesini belirler.
Tipik düşüş oranları, 0,5'ten 0,5'e kadar aralığına kadar aralığın 0,3'ün düşüş oranı her eğitim aşamasında nöronların% 30'u kapatılır. Bu, ağ daha sağlam özellikler geliştirmeyi teşvik eder.
Düzenlileştirmeyi Uygulamayı
Düzenlileştirme karmaşık modelleri cesaret etmek için kaybı işlevine bir ceza ekler. En yaygın form L2 normalizasyondur, bu penalizes büyük ağırlıklar. Düzenlilaştırma terimi hesaplanmıştır:
[0]Loss = Orijinal Kayıp + ⁇ * ⁇ (w[D:2)[Dönem: 2 )[Dönemli)[Dönemli: 3 )
⁇ (lambda) normalleştirme parametresi ve ⁇ (w[Dön:0)2[Dönemli ağırlıklar) uygun bir ⁇ seçmek önemlidir; 0.001'den 0.1'e kadar tipik değerler.
Aşırılık önlemek için stratejiler
Ayrılma ve düzenlileştirme etkili bir şekilde aşırı yüklemeyi azaltabilir. Diğer stratejiler erken durdurma, veri augmentasyonunu ve çapraz-validasyonunu içerir. Düzenli olarak izleme doğrulama performansı en uygun normalleştirme parametrelerini belirlemenize yardımcı olur.
- 0.2 ve 0,5 arasında fiyatlar ile damlat kullanın
- L2 normalizasyonu yaklaşık 0.0
- Eğitim sırasında erken duraklama
- Çeşitli çeşitliliği artırmak için artırılmış eğitim verileri