Turunan gradien morfica adalah algoritme optimasi yang digunakan untuk meminimalkan fungsi dengan secara iteratif bergerak ke arah titik terendah. Digunakan secara luas dalam pembelajaran mesin untuk mengoptimalkan model dengan menyesuaikan parameter untuk mengurangi kesalahan. Artikel ini menjelaskan perhitungan langkah-per demi langkah yang terlibat dalam menerapkan gradien turunan untuk tugas pembelajaran mesin.

Memahami Algoritma Keberpindahan Gradien

Ide inti dari gradien turunan adalah untuk memperbarui parameter model ke arah gradien negatif dari fungsi kehilangan. Proses ini berlanjut sampai parameter berkumpul ke titik minimum, idealnya minimum global.

Proses Penghitungan Langkah-berdasarkan Langkah

Misalkan kita memiliki model regresi linear sederhana dengan fungsi yang hilang, seperti Mean Squared Error (MSE). Langkah untuk menerapkan gradien turunan adalah sebagai berikut:

  • Inisialisasi parameter (misalnya, berat dan bias) dengan nilai acak kecil.
  • Hasil perkiraan yang diperkirakan menggunakan parameter saat ini.
  • Mengira nilai fungsi kehilangan berdasarkan prediksi dan data aktual.
  • undia gradien fungsi kehilangan sehubungan dengan setiap parameter.
  • Update setiap parameter dengan menolak produk dari tingkat pembelajaran dan gradien yang sesuai.

Proses ini berulang untuk bilangan iterasi yang ditetapkan atau sampai perubahan kerugian menjadi tidak dapat diterima.

Contoh Penghitungan Contoh sebolan

mempertimbangkan sebuah titik data tunggal dengan input x = 2 dan output y = 4. Menginisialisasikan berat w = 0.5 dan bias b = 0]. Gunakan tingkat belajar dariFLT [[8]]0.1].

Prediksi hitungan morfoid: ⁇ = wx + b = 0.5 * 2 + 0 = 1]

Kesalahan komputasi frakteri: error = ⁇ - y = 1 - 4 = -3

Gradien berhitung gradasi:

berat: ] ⁇ L/ ⁇ w = 2 * error * x = 2 * (-3) * 2 = -12

Gradien w.r.t. bias: ⁇ L/ ⁇ b = 2 * error = 2 * (-3) = -6

Parameter update= yang tidak diketahui akan diabaikan (bantuan)Pemeliharaan CS1: Bahasa yang tidak diketahui (link)

Berat badan badan baru: w = 0.5 - 0.1 * (-12) = 0.5 + 1.2 = 1.7

ufias baru: b = 0 - 0.1 * (-6) = 0 + 0.6 = 0.6]