Overfitting, karmaşık sinir ağları eğitimi konusunda iyi performans gösteren karmaşık bir meydan okumadır, modeller eğitim verileri üzerinde iyi performans gösterir, ancak görünmez veriler üzerinde kötü bir şekilde yapılır. Düzenlileştirme teknikleri, bu modellerin genelleştirme yeteneklerini aşırı yüklemeye yardımcı olur.Bu makale karmaşık sinir ağları için etkili olan gelişmiş düzenlileştirme yöntemleri araştırıyor.

Dropout and Variants

Dropout, eğitim sırasında rastgele bir nöronların alt setini devre dışı bırakmak için yaygın olarak kullanılan bir düzenlileştirme tekniğidir. Spatial Dropout ve DropConnect gibi faktörler belirli senaryolarda performans geliştirmek için değişiklikler sunar. Dropout, belirli nöronlara güvenmeye yardımcı olur, daha sağlam bir özellik öğrenmesini sağlar.

Düzenlilaştırma

Kilo normalizasyon, kiloların boyutunu kısıtlamak için kaybın fonksiyonunun ceza koşullarını ekliyor. Ortak yöntemler, L1 normalleştirmeyi teşvik eden ve L2 düzenlileştirmeyi teşvik eden, bu teknikler, eğitim verilerindeki uygun gürültüden kaynaklanan modeli önlemeye yardımcı oluyor.

Data Augmentation and Gürültü Enjeksiyon

Veri augmentasyon yapay olarak, rotasyonlar, ölçeklendirme veya renk değişimleri gibi dönüşümleri uygulayarak eğitim veri kümesini genişletir. Gürültü enjeksiyonu, eğitim sırasında girişlere veya ağırlıklara rastgele gürültü eklemek içerir. Her iki yöntem de model sağlamlığı geliştirir ve modeli çeşitli veri varyasyonlarına maruz bırakır.

Gelişmiş Teknikler

Diğer gelişmiş düzenlileştirme yöntemleri şunları içerir:

  • [FONT=0)Batch Normalizasyon:[Dönetici:[Dönetici:0) Normalleştirme:[Döneticileri normalleştirmek için tabaka girişleri normalleştirmek.
  • [FONT:0)Early Stopping:[Dönemli:[Dönemli:[Döntme:0)) Geçerlilik performansı iyileştirmeyi durduran eğitimi durdurur.
  • [FONTD:0]Spectral Normalizasyon:), eğitim için ağırlık matrislerinin formülasyon normunu kısıtlar.
  • [FONT:0]DropBlock:[DropBlock:[DFLT:1), belirli haritalarda yoğun bölgelerin düşmesi, düzenlileşmenin arttırılması.