Ang batch normalization ay isang pamamaraan na ginagamit sa malalim na pag - aaral upang mapasulong ang proseso ng pagsasanay ng mga neural network.

Mga Pagkalkula sa Normalisasyon ng Batch

Sa panahon ng pagsasanay, ang punsiyon normalisasyon ay nagkokodigo ng mean at pagkakaiba ng bawat katangian sa ibayo ng kasalukuyang mini-batch. Ang normalisadong halaga ay saka kinakalkula sa pamamagitan ng pagbabawas ng mean at paghahati sa pamamagitan ng pamantayang paglihis. Ang pormula ay:

Normalized na halaga: [x ⁇ = (x - ⁇ ) / ⁇ (−2 + ⁇ )[

kung saan x ang input, []] ang combutation mean, [[2] ] Ang random variantation object, at ang ]] ay isang maliit na patuloy na pag-iwas sa paghahati sa pamamagitan ng sero.

Output: ]y = ⁇ * xif ⁇ + ⁇ []

Mga Pakinabang ng Normalisasyon ng Bata

Ang batch normalization ay nagbibigay ng ilang mga bentaha sa pagsasanay ng mga neural networks.Ito ay nakababawas sa internal covariate shift, na siyang pagbabago sa distribusyon ng network activisions. ang saksakang ito ay nagpapahintulot sa mas mataas na bilang ng mga mag-aaral at mas mabilis na pag-iisa. Isa pa, ito ay nagsisilbing isang anyo ng regularisasyon, maaaring mabawasan ang pangangailangan para sa ibang mga pamamaraan tulad ng droveout.

Kabilang sa iba pang mga pakinabang ang mas mahusay na katumpakan at pagiging matipuno ng modelo, gayundin ang kakayahang gumamit ng mas malalalim na network nang hindi nasisira o sumasabog na mga bangin.

Praktikal na Pag - aalis ng Normalisasyon sa Batch

Ang pag-implementmentmenting lot normalization sa isang neural network ay kinasasangkutan ng pagdaragdag ng isang talaksan normalization layer pagkatapos ng bawat convolutional o lubos na konektadong layer. sa mga balangkas tulad ng TensorFlow o PyTorch, ito ay direkta na may mga de-debut na mga tungkulin.

Sa panahon ng pagsasanay, ang mga suson ng normalization ay nagrere - update sa kanilang gumagalaw na mga average ng mean at di - pantay na pag - aayos, at sa panahon ng pag - aayos, ang mga average na ito ay ginagamit para sa normalization, anupat tinitiyak ang di - nagbabagong paggawa.

Mahalagang isaalang - alang ang laki ng talaksan kapag naglalagay ng talaksan na normalization.