Ang mga problema sa pag - aalis ng mga ngipin ay isang karaniwang hamon sa pagsasanay ng malalalim na neural network kapag ang mga ito ay naging napakaliit, anupat hinahadlangan ang network na matutuhan nang mabisa ang mga sanhi at mga solusyon ay maaaring mapahusay ang pagiging maayos ng modelo at pagsasanay.

Pag - unawa sa Naglalahong mga Karampot

Ang naglalahong problema sa pag - urong ay pangunahin nang bumabangon sa malalalim na network sa panahon ng pag - unlad ng likod, habang ang maling hudyat ay kumakalat nang paatras sa maraming suson, ang mga pag - urong ay maaaring makabawas sa pagiging mabilis na matuto o hindi matuto sa naunang mga suson.

Karaniwang mga Sanhi

  • Ang paggamit ng mga gawaing tancion ay tulad ng sigmoid o tanh na nagdurulot ng input sa maliliit na mga hanay.
  • Mga arkitektura ng malalim na network na maraming patong.
  • Pag - aayos ng timbang.

Praktikal na mga Solusyon

Ang ilang pamamaraan ay maaaring magpahupa sa mga dalisdis at pagbutihin ang mga resulta ng pagsasanay.

Mga Kawili - wiling Aktibsyon

Ang pagpapalit ng sigmoid o tanth sa pamamagitan ng ReLU (Rected Linear Unit) o ang mga variant nito ay nakatutulong upang mapanatili ang daloy ng shuffle. Ang mga gawaing ito ay hindi nag - aalis ng mga input sa maliliit na hanay, na nagpapahintulot sa mga groove na dumaan nang mas mabisa.

Pag - una sa Timbang

Ang paggamit ng wastong mga paraan ng pag - a - oversusization, gaya ng Xavier o Hepegization, ay makahahadlang sa pag - urong o pagsabog ng mga talon sa pasimula ng pagsasanay.

Arkitektura ng Network

Ang pag - aalis ng mga koneksiyon o mga koneksiyon sa pag - aanapruba ay nagpapangyari sa mga groove na lumampas sa ilang suson, pinananatili ang kanilang lakas sa panahon ng pagbabalik sa dating kakayahan.