Backpropagation derin bir sinir ağları eğitmek için kullanılan temel bir algoritmadır. Bu makale, derin bir ağ eğitimi ile ilgili hesaplamaları hesaplamayı içerir.
İleri Pass
Süreç ileriye dönük bir geçişle başlar, giriş verileri ağ üzerinden yönlendirilir. Her nöron girdilerinin ağırlıklandırılmış bir miktarını hesaplar, bir önyargı ekler ve bir aktivasyon işlevi uygular. Her katmanın çıktısı, nihai tahmin elde olana kadar bir sonraki katman için giriş olarak hizmet eder.
Kayıpları hesaplayın
Ağ bir çıktı üretirken, kayıp fonksiyonu tahmin edilen çıktı ile gerçek etiket arasındaki farkı ölçer. Ortak kayıp fonksiyonları, ortalama Squared Hata ve Cross-Entropy. Hedef bu kaybı kilo ayarlamaları yoluyla en aza indirmektir.
Backward Pass: Gradient Computation
Geri dönüşüm temeli, her bir ağırlıka saygı duyan kaybın lisansını içerir. Çıktı katmanından başlayarak, hata terimi hesaplanır ve ağ üzerinden geri gönderilir. Bu, her katmanda türevler hesaplamak için zincir kuralı uygular.
Her nöron için, hata terimi, aktivasyon fonksiyonunun türlerini sonraki katmandan gelen hataların ağırlıklandırılmasıyla çoğaltmak tarafından belirlenir.Bu hata koşulları daha sonra her ağırlık ve önyargı için gradients hesaplamak için kullanılır.
Updating Kilos
Hesaplamalı gradients kullanarak, ağırlıklar genellikle gradient inme ile güncellenir. güncelleme kuralı, mevcut ağırlıktan bir kısmını kaldırır, öğrenme oranı tarafından kontrol edilir.Bu işlem başarılandırıcı iterasyonlar üzerindeki kaybı azaltır.
Anahtar Adımları Özeti
- Tahminleri hesaplamak için ileriye dönük bir geçiş yapın.
- Tahminler ve gerçek etiketler arasındaki kaybı hesaplayın.
- Çıktı katmanından başlayan karmaşık hata koşulları geriye dönük olarak.
- Her ağırlık ve önyargı için lisanslamalar.
- Sgradient iniş kullanarak güncel ağırlıklar.