Mahalaga ang pagpili ng angkop na hakbang, o bilis ng pagkatuto, para mabisang masanay ang malalalim na neural network, anupat naiimpluwensiyahan nito ang bilis ng pagbuo at pag - aaral ng modelong ito para malaman ang laki ng mga ito.

Pag - unawa sa mga Kapani - paniwala

Ang gradient descement ay isang optimisasyong algorithm na ginagamit upang mabawasan ang pagkawala sa pamamagitan ng pag-angat ng mga timbang ng modelo.Ang sukat ng hakbang ay nagtatakda ng laki ng mga update na ito. ang isang hakbang na napakalaki ay maaaring maging sanhi ng labis na pag-ebolb, habang ang isang napakaliit na sukat ay maaaring humantong sa mabagal na pag-iisa.

Pagtaya sa Hakbang na Laki

Ang isang praktikal na pamamaraan ay ang paggamit ng Lipschiz constant of the love election's frayf. Kung ang constant na ito, na tinutukoy bilang L, ay kilala o tinatayang, ang hakbang na sukat ay maaaring itakda bilang 1/L. Ito ay tumitiyak ng matatag na pag-iisa sa panahon ng pagsasanay.

Sa mga kaso kung saan ang L ay hindi alam, ang isang karaniwang pamamaraan ay magsagawa ng isang line search o gumamit ng mga pamamaraang heuristiko gaya ng pag-aaral ng mga iskedyul ng rate. Ang mga teknik na ito ay nag-aangkop ng sukat ng hakbang batay sa pagsulong ng pagsasanay.

Praktikal na mga Tip

  • Magsimula sa kaunting pagkatuto at unti - unting dagdagan ito.
  • Suriin ang pagkawala upang mapansin ang pagkakaiba o mabagal na pag - iisa.
  • Gumamit ng mga reflictive optimic revilizer tulad ni Adan o RMSprop na kusang nag - aayos ng hakbang na sukat.
  • Ikapit ang antas ng pagkasira ng pagkatuto upang dalisayin ang pagsasanay habang ito ay sumusulong.