Gradien lentur dan meledak adalah masalah umum dalam melatih jaringan saraf dalam. hal ini terjadi ketika gradien menjadi terlalu kecil atau terlalu besar selama backpropagasi, mempengaruhi proses pembelajaran. pemahaman fenomena ini melibatkan menganalisis perhitungan di balik update berat dan mengeksplorasi solusi potensial.

Kelenyapan Gradien

Gradien lenyap terjadi ketika gradien menurun secara eksponensial saat mereka dipropagasi mundur melalui lapisan. Hal ini mengakibatkan update berat yang sangat kecil, menyebabkan jaringan belajar sangat lambat atau berhenti belajar sama sekali.

Secara matematis, jika turunan fungsi aktivasi kurang dari 1, gradien pada lapisan l dapat dinyatakan sebagai:

⁇ L/ ⁇ w]l= ( ⁇ L/ ⁇ al] * ( ⁇ al/ ⁇ zl] * ( ⁇ z]l[FLT]][FLT]]/ ⁇ w]]

⁇ a] ⁇ a]l]/ ⁇ zl] adalah turunan dari fungsi aktivasi. Jika turunan ini kurang dari 1, perkalian berulang menyebabkan gradien berkurang secara eksponensial.

Pencabutan Gradien

Pemancaran gradien terjadi ketika gradien tumbuh secara eksponensial selama backpropagasi. Hal ini menyebabkan pembaruan berat yang sangat besar, yang dapat menyebabkan ketidakstabilan dan divergensi dalam pelatihan.

Secara matematis, jika turunan yang terlibat lebih besar dari 1, gradien dapat meningkat secara eksponensial:

⁇ L/ ⁇ wl ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ]/ ⁇ z]l] * ( ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

Solusi untuk Melestari dan Meledakkan Gradien

Beberapa teknik dapat mengintervensi isu-isu ini:

  • Pelatan Awalan: Menggunakan metode seperti Xavier atau Dia inisialisasi membantu mempertahankan gradien stabil.
  • [[LLT:0]] Fungsi Aktivis: ReLU dan variannya mengurangi risiko lenyapnya gradien.
  • Gradient Clipping: Membatasi nilai maksimum gradien mencegah ledakan.
  • ORMAL [[LRT:0]]Normalisasi: Normalisasi Batch menstabilkan proses pembelajaran.