Gradient vanishing ve patlama derin sinir ağları eğitimi konusunda ortak konulardır. gradients geri çekilme sırasında çok küçük veya çok büyük hale geldiğinde meydana gelirler, öğrenme sürecini etkiler. Bu fenomenlerin anlaşılması, ağırlık güncellemelerin arkasındaki hesaplamaları analiz eder ve potansiyel çözümleri keşfederler.

Gradient Vanishing

Gradient vanishing, yüksek lisanslar tabakalar aracılığıyla geri yayıldığı için üst üste düşer. Bu sonuçlar çok küçük ağırlık güncellemelerde, ağ yavaş yavaş öğrenmelerine veya tamamen öğrenmeyi durdurmasına neden olur.

Matematiksel olarak, eğer aktivasyon fonksiyonunun türevleri 1'den daha azsa, tabakadaki gradient:0)l) olarak ifade edilebilir:

[FONT:0) ⁇ L/ ⁇ w[DÜDÜDÜŞÜŞÜŞÜŞÜNÜŞÜŞÜŞÜNÜŞÜNÜŞÜŞÜŞÜŞÜNÜŞÜNÜ TÜSİADİ[Üye Olmayanlar İçin Tıklayınız.

[FONT:0] ⁇ a)[Dönetici:0)[Dönetici: 4)[Dönetici: 4 )[Dönetici: 4)[Dönetici: 4)[Dönetici: 4)[Dönetici: 4))[Dönetici: 4)))[Düzerdekiler, bu tür bir işlemden daha azsa, bu tür bir işlemden daha az bir süre sonra tekrarlanabilir.

Gradient Exploding

Gradient patlama, gradients geri çekilme sırasında üst üste büyürken meydana gelir. Bu, eğitimde dengesizliğe ve ayrımına neden olabilir çok büyük ağırlık güncellemelerine yol açar.

Matematiksel olarak, eğer dahil edilen türler 1'den daha büyükse, gradients üstel olarak artırabilir:

[FONT=0) ⁇ L/ ⁇ w[DÜDÜDÜDÜŞÜŞÜŞÜNÜŞÜŞÜŞÜNÜŞÜNÜŞÜŞÜŞÜK/ÜŞÜK/ÜŞÜK/Üye ait) * ( ⁇ a)[DÜye Olmayanlar[DÜye Olmayanlar[Üye Olmayanlar[Üyeler) *

Vanishing ve Exploding Gradients

Bu sorunları birkaç teknik hafifletebilir:

  • [FONT:0)Weight İlkizasyon: [Dönetici: Xavier veya He başlangıçlandırma gibi yöntemleri kullanarak istikrarlı gradyanları korumaya yardımcı olur.
  • [FONT=0)Aktif Fonksiyonlar:[Dönetici:[Dönetici:0)ReLU ve varyantları vanishing gradients riskini azaltır.
  • [FONT:0)Gradient Clipping: gradientlerin maksimum değerini sınırlayın.
  • [FONT:0) Normalleşme: Batch normalizasyon öğrenme sürecini stabilize eder.