Ang mga suson ng patak ay isang pamamaraan ng regularisasyon na ginagamit sa malalim na mga modelo ng pagkatuto upang maiwasan ang labis na pag - asa. Ang mga ito ay gumagana sa pamamagitan ng pasumalang pag - aalis ng isang subset ng mga neuron sa panahon ng pagsasanay, na humihimok sa network na gumawa ng mas matitibay na bahagi.

Mga Simulain sa Disenyo ng mga Layer na Nalalaglag

Ang pangunahing prinsipyo sa likod ng dropout ay ang pagpapakilala ng ingay sa panahon ng pagsasanay, na binabawasan ang pananalig sa espesipikong mga neuron.Ang konsumpsiyon na ito ay pumupuwersa sa network na pag-aralan ang mga representasyong redundant, na ginagawa itong mas matatag sa bagong datos.Ang mga pagsasaalang-alang ay kinabibilangan ng pagpili ng dropout rate at paglalagay ng mga entidad sa loob ng arkitekturang network.

Mabisang Paggamit ng mga Model

Pinakamabisa ang pagbabaybay kapag ikinapit sa mga patong na lubos na magkakaugnay at bago ang patong na output. ang karaniwang mga rate ng dropout ay mula 0.2 hanggang 0.5, depende sa kasalimuutan ng modelo at dataset. Mahalagang balansehin ang lakas ng dropout upang maiwasan ang under-setite o o over-regularization.

Pinakamabuting Gawain Para sa Pag - aayos

  • Pahiran ng dropout pagkatapos ng mga gawaing aktwal tulad ng ReLU.
  • Gumamit ng iba't ibang dropout rate para sa iba't ibang layer kung kinakailangan.
  • Ihalo ang dropout sa iba pang mga pamamaraan ng regularisasyon tulad ng pagkabulok ng timbang.
  • Sinisiyasat ang harmonasyong pagganap upang maiayos ang mga dropout parameter.