Eksternal Backpropagasi adalah algoritme fundamental yang digunakan untuk melatih jaringan saraf dalam. Ini melibatkan perhitungan gradien fungsi kehilangan sehubungan dengan setiap berat dalam jaringan, memungkinkan untuk pembaruan berat yang meminimalkan kesalahan. Artikel ini menyediakan selangkah demi selangkah overview dari proses backpropagasi, berfokus pada perhitungan yang terlibat dalam pelatihan jaringan yang mendalam.

Jalur Maju vinada

Proses dimulai dengan pass maju, dimana data masukan dipropagasi melalui jaringan. Setiap neuron menghitung jumlah yang ditimbang dari masukannya, menambahkan bias, dan menerapkan fungsi aktivasi. Keluaran dari setiap lapisan berfungsi sebagai input untuk lapisan berikutnya sampai prediksi akhir diperoleh.

Mengira Kehilangan

Setelah jaringan menghasilkan keluaran, fungsi kehilangan mengukur perbedaan antara output yang diprediksi dan label yang benar. Fungsi kerugian umum termasuk Mean Squared Error dan Cross-Entropy. Tujuannya adalah untuk meminimalkan penurunan ini melalui penyesuaian berat.

Lulusan Mundur: Komputasi Gradien

Inti core dari backpropagasi melibatkan komputasi gradien dari kehilangan sehubungan dengan setiap berat. Dimulai dari lapisan output, istilah kesalahan dihitung dan dipropagasi mundur melalui jaringan. Ini melibatkan penerapan aturan rantai untuk menghitung turunan pada setiap lapisan.

Untuk setiap neuron, istilah kesalahan ditentukan dengan mengalikan turunan fungsi aktivasi dengan jumlah kesalahan yang diberatkan dari lapisan selanjutnya. Istilah kesalahan ini kemudian digunakan untuk menghitung gradien untuk setiap berat dan bias.

Mengemaskinikan Berat Berat

Diagnona menggunakan gradien yang dihitung, berat diperbarui biasanya melalui turunan gradien. Aturan pembaruan mengurangi sebagian kecil gradien dari berat saat ini, yang dikendalikan oleh tingkat belajar. proses ini mengurangi penurunan dari iterasi berturutan.

Ringkasan Langkah Kunci

  • Lakukan sebuah tahap maju untuk menghitung prediksi.
  • Mengeluarkan kerugian antara prediksi dan label sejati.
  • Istilah kesalahan komputasi dimulai dari lapisan output kebelakang.
  • Menghitung gradien untuk setiap berat dan bias.
  • berat update menggunakan gradien turunan.