Ekspansi ludah adalah teknik yang digunakan dalam jaringan saraf untuk mencegah overfitting. Ini melibatkan pengonaktifan secara acak subset neuron selama pelatihan, yang membantu model memanumasikan data yang lebih baik untuk tak terlihat. Artikel ini menjelaskan bagaimana dropout diimplementasikan, bagaimana perhitungan dilakukan, dan dampaknya pada kinerja jaringan saraf.

Regulerisasi Penguraian Pengertian Singkir

Infando dropout bekerja dengan mengatur secara acak proporsi output neuron ke nol selama setiap iterasi pelatihan. Hal ini mencegah neuron menjadi terlalu bergantung pada fitur tertentu dan mendorong jaringan untuk mengembangkan representasi yang lebih kuat. Tingkat putus asa menentukan fraksi neuron yang dinon-aktifkan.

Penghitungan Ekskilasi Terlibat dalam Pengguguran

Selama pelatihan, setiap neuron dipertahankan dengan probabilitas p. Keluaran dari sebuah neuron i[ setelah dropout dihitung sebagai:

tool i = ri * x]i

everhere r]i adalah sebuah variabel acak Bernoulli dengan probabilitas p dari menjadi 1 (terlepas) dan 0 (terjatuh). Selama inferensi, berat diskalakan oleh p] untuk memperhitungkan dropout selama pelatihan.

Efek Ajaib pada Generalisasi Jaringan Neural

Implementasi dropout meningkatkan kemampuan model untuk generalisasi dengan mengurangi overfitting. Ini memaksa jaringan untuk mempelajari redundan representatif, membuatnya lebih tangguh terhadap kebisingan dan variasi data. Akibatnya, model dengan dropout biasanya melakukan lebih baik pada validasi dan tes dataset.

  • Kebergantungan pada neuron tertentu
  • Anak - Anak yang Bergaul Mendorong pengajaran yang kuat
  • Kekurang-kekurangan mengurangi kesetimbangan
  • Kemampuan tes yang lebih akurat