Turunan gradien morfik adalah algoritme optimasi fundamental yang digunakan dalam pelatihan model pembelajaran mesin diawasi. Ini membantu meminimalkan fungsi kesalahan dengan menyesuaikan parameter model secara iteratif. Memahami bagaimana untuk memperoleh dan menerapkan metode ini sangat penting untuk pelatihan model yang efektif.

Derivasi Keberuntungan Gradien

Ide inti dari gradien turunan melibatkan komputasi gradien fungsi kehilangan dengan sehubungan dengan parameter model. Gradien ini menunjukkan arah peningkatan terjal. Untuk meminimalkan kehilangan, parameter diperbarui dalam arah berlawanan dari gradien.

Secara matematis, aturan pembaruan parameter dinyatakan sebagai:

tool ] tha tha - thale ⁇ L( tha)

BAHASA dimana [5] [5] [5] → mewakili parameter model, thale adalah tingkat belajar, dan ⁇ L( ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

Terapkan Keberkenan Gradien

Untuk menerapkan gradien turunan, langkah - langkah berikut biasanya diikuti:

  • Inisialisasikan model parameter secara acak atau dengan nilai tertentu.
  • Mengeluarkan fungsi kehilangan berdasarkan parameter dan data pelatihan saat ini.
  • Mengkomparasi gradien kerugian sehubungan dengan setiap parameter.
  • Aku akan memperbarui parameternya dengan menggunakan aturan keturunan gradien.
  • Mengulang proses sampai kesilangan converges atau jumlah set iterasi dicapai.

Betina Memilih Kadar Belajar

Tingkat belajar morfolansi treas menentukan ukuran setiap langkah update. Tingkat belajar yang kecil dapat mengakibatkan konvergensi lambat, sementara yang besar dapat menyebabkan overshoot minimum. Memilih tingkat belajar yang sesuai sangat penting untuk pelatihan yang efektif.