Düzenlileştirme, makine öğreniminde, kayıp fonksiyonunun cezası ekleyerek aşırılık sağlamak için kullanılan bir tekniktir. Modeller, karmaşık çözümlerle yanlış anlama yoluyla daha iyi görünür hale getirmeye yardımcı olur.
Düzenlilaştırma Teorisi
Düzenlileşme eğitim sırasında objektif işlevine ek terimler getirir. Bu terimler büyük model parametrelerini cezalandırır, eğitim verilerinde gürültüye sığabilecek daha az sayıda model teşvik eder.
Yaygın Düzenlileştirme Teknikleri
- [FONT:0)L1 Düzenlileştirme:[Dönetici:[Dönetici:[Dönetici:0))) Katliamıların kaybı işlevine mutlak değerini ekleyin, sparsity'yi teşvik edin.
- [FONT:0)L2 Düzenlileştirme:[Dönetici:[Dönetici:[Dönetici:0))) Katliamıların meydan okuma değerini ekleyin, daha küçük ağırlıkları teşvik eder.
- [FONT:0)Dropout:[DFLT:1), Belirli nöronlara güvenme eğitimi sırasında rastgele düşen birimleri düşürüyor.
- [FONT:0]Early Stopping:[Dönemli:[Dönemli:[Dönemli:0)[Dönemli Durma:[Dönem:[Dönemli:[Dönemli) Geçerlilik verileri üzerinde performans azalırken antrenmanı durdurur.
Hesaplamalar ve Uygulama
Örneğin, lineer regresyonda L2 normalleştirme, maliyet fonksiyonunu aşağıdaki gibi değiştirir:
Kayıp = Kareli hataların Sum + ⁇ * Kareli ağırlıkların Sum
⁇ (lambda) ceza gücünü kontrol eden düzenlileştirme parametresi nerededir. Uygun bir ⁇ seçmek çok önemlidir ve genellikle çapraz-validasyon yoluyla yapılır.
En İyi Uygulamaları
Düzenlileşmeyi uygularken, aşağıdaki en iyi uygulamaları göz önünde bulundurun:
- Düzenlileştirme parametrelerini ayarlamak için çapraz değer kullanın.
- Basit modeller ile başlayın ve yavaş yavaş karmaşıklığı arttırır.
- Gerekirse birden fazla düzenlileştirme tekniğini bir araya getirin.
- Taklit veya aşırılık önlemek için geçerliliği izleyin.