Gradient iniş, makine öğrenimi görevleri için yüksek çözünürlükte bir işlevi en düşük noktaya kadar en aza indirmek için kullanılan bir optimizasyon algoritmasıdır.Bu makale, makine öğrenme görevleri için yüksek lisanslama işlemlerine dahil edilen adım hesaplamalarını açıklar.

Gradient Descent Algorithm'i anlamak

Yüksek lisansüstü iniş fikri, kayıp fonksiyonunun negatif yüksek çözünürlük yönünde modelleme parametrelerini güncellemektir. Bu işlem minimum noktaya kadar devam eder, ideal olarak minimum seviyeye kadar devam eder.

Step-by-Step Hesaplama Süreci

Diyelim ki kayıp bir işlevle basit bir doğrusal regresyon modeli var, örneğin Squared Hata (MSE) uygulamak için adımlar aşağıdaki gibidir:

  • İlke parametreleri (örneğin, ağırlıklar ve önyargı) küçük rastgele değerler ile.
  • Mevcut parametreleri kullanarak tahmin edilen çıktıyı hesaplamak.
  • Tahminlere ve gerçek verilere dayanan kayıp fonksiyonunun değerini anlamak.
  • Her parametreye saygı duyan kayıp fonksiyonunun yüksekliğini hesaplayın.
  • Öğrenme oranının ürününü ve ilgili gradient'i ortadan kaldırmak için her parametreyi güncelleyin.

Bu süreç, belirli sayıdaki iterasyon için tekrarlanır veya kaybındaki değişiklik makul hale gelir.

Örnek Hesaplama

Giriş ile tek bir veri noktası göz önünde bulundurun:0)x = 2) ve [[Dönetici:2))[Dönetici: 4) Ağırlıklı: 0,5[D) ve önyargı = 0 = 0||D)

Hesaplama:0) ⁇ = wx + b = 0,5 * 2 + 0 = 1)

Tamamlayıcı hata: 0:0) Terör = ⁇ - y = 1 - 4 = -3).

Hesaplamalar:

Gradient w.r.t. ağırlık:ENFLT:0) ⁇ L/ ⁇ w = 2 * hata * x = 2 * (-3) * 2 = -12).

Gradient w.r.t. önyargı:0) ⁇ L/ ⁇ b = 2 * hata = 2 * (-3) = 6).

Güncelleme parametreleri:

Yeni ağırlık:FLENT:0)w = 0,5 - 0.1 * (-12) = 0,5 + 1.2 = 1.7)

Yeni önyargı:0)b = 0 - 0.1 * (-6) = 0 + 0.6 = 0.6).