Karaniwang mga Patibong sa Malalim na Pagkatuto at Kung Paano Ito Itutuwid sa Pamamagitan ng Mathematical Insights

Ang mga masusing modelo sa pag-aaral ay mga makapangyarihang kasangkapan ngunit kadalasang nahaharap ang mga karaniwang patibong na maaaring makahadlang sa kanilang pagganap. Ang pag-unawa sa mga isyung ito at pagkakapit ng mga matematikal na pang-unawa ay makatutulong upang mapabuti ang pagiging tumpak at pagiging matipuno ng modelo.

Labis na Angkop at Angkop

Ang labis na pag-aangkop ay nangyayari kapag ang isang modelo ay nag-aaral ng ingay sa mga datos ng pagsasanay, na humahantong sa hindi mabuting paglalahat. underangkop kapag ang modelo ay masyadong simple upang makuha ang mga saligang huwaran. ang mga pamamaraang regularisasyon, tulad ng L2 regularization, ay nagdaragdag ng isang terminong parusa sa tungkulin ng pagkawala batay sa mga bigat ng modelo, na maaaring ipahayag bilang:

Loss = Empirical Loss + ⁇ * ⁇ i ⁇ i ⁇ i ⁇ ²[][]

Ang tamang pag - aayos ng muspha ay tumutulong para maging balanse ang pagkiling at di - pagkakasundo.

Di - kaayaayang Pagkabagot at Pagdami

Sa panahon ng reprobagasyon, ang mga spaghetti ay maaaring maging napakaliit (vaishing) o napakalaki (exploding), na humahadlang sa pagsasanay. gamit ang mga gawaing aktibidad tulad ng ReLU mititagates naglalahong mga speciation dahil ang pinagmulan nito ay hindi nagbabago para sa positibong input. Karagdagan pa, ang mga teknik sa normalisasyon tulad ng Batch Normalization ay nagpapatatag ng pagsasanay sa pamamagitan ng pagpapanatili ng mean at mga spesipikong input.

Mahinang Pag - uumpisa

Ang di - wastong paglalagay ng timbang ay maaaring magpabagal sa pagsasanay o maging sanhi ng mga isyu sa pagbuo ng mga bagay - bagay.

[Var(w) = 2 / (n_in[ + n_out)[[[[[[[[[[[[[[[5]]

Pag - aalis ng mga Data

Ang mga imbalanced dataset ay maaaring magtangi ng mga modelo sa karamihan ng mga klase. Ang mga pamamaraan tulad ng mga tungkulingweed loving ay nag-aatas ng mas mataas na mga parusa sa mga pagkakamali ng klaseng minoridad. Ang may bigat na cross-entropiya ay:

Loss = - ⁇ [ _[[ w _[ * ⁇ _{[[[[[[T:[[[[[[L]]] * log(p[[[[FLT:[[[[[[[[[[[[[[[[[[[[[[[T:8]]][[[[[[[[[[[[T]]]][[[[[[[[[[[T]]]]]]]][[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[[]]]]]]]]]]]]]]]]]}

• Regularisasyon
• Wastong Pag - iispresa
• Mga pamamaraan ng Normalisasyon
• Karagdagang mga Data
• Pagtitimbang ng mga Klase