Ang pag - aalis ng malalalim na modelo sa mga aparatong pang - gilid ay nangangailangan ng mahusay na pag - unawa sa laki at kahusayan sa pagkalkula. Ang pagpupupunto at pagtabas ay dalawang pamamaraan na tumutulong upang mabawasan ang pagiging masalimuot ng modelo habang patuloy na isinasagawa ang mga ito.

Pag - unawa sa Kuwalisasyon

Ang quantization ay kinasasangkutan ng pagbabawas ng prekwensiya ng mga numerong ginagamit upang kumatawan sa mga modelong parameter at mga aktres. Sa halip na 32-bit lumulutang-point na numero, ang mga mas mababang-presiyon format tulad ng 8-bit na integers ay ginagamit.Ito ay binabawasan ang paggamit ng memorya at pinabibilis ang pag-iinfyut sa mga magtutugma na hardware.

Ang mga karaniwang pamamaraan ng quanisasyon ay kinabibilangan ng post-training quanization at quanization-acreadre training. Ang Post-training quanization ay naglalapat ng quanization pagkatapos ng pagsasanay, habang ang quanization-aware ay kinabibilangan ng quanization sa panahon ng proseso ng pagsasanay para sa mas mahusay na katumpakan.

Pag - aani

Ang pagpiprutasyon ay nag-aalis ng hindi kinakailangan o hindi gaanong mahahalagang mga pabigat mula sa isang neural network.Ito ay nagbubunga ng mas kaunting modelo na nangangailangan ng mas kaunting mga kalkulasyon. ang pag-aalsa ay maaaring ipahid sa panahon o pagkatapos ng pagsasanay, sa pamamagitan ng mga pamamaraan tulad ng magnitude least, na nag-aalis ng mga pabigat sa ilalim ng isang tiyak na pagsisimula.

Kabilang sa mga estratehiya sa pagpupupusta ang maayos na pagtabas, na nag - aalis ng buong mga neuron o panala, at ang di - naiaayos na pagpungos, na nag - aalis ng indibiduwal na mga pabigat.

Pinagsasamang Kuwalipikasyon at Pag - uunti

Ang prosesong ito ay karaniwan nang para mabawasan ang sukat at kasalimuutan, na sinusundan ng quanization para mas ma - compress ang modelo at mas mapahusay ang bilis ng pag - imbento.

Kailangan ang maingat na pag-iinterminasyon upang mapanatili ang model eksaktung-tumpak. ang mga pamamaraan tulad ng pinong-pagpunto pagkatapos ng pagpungos at quanisasyon ay tumutulong upang mabawi ang potensiyal na pagkawala ng pagganap. Hardware combinence ay dapat ding isaalang-alang upang mapataas ang mga benepisyo.

Mga Tip sa Pag - aayos

  • Magsimula sa pagtabas upang alisin ang mga pabigat na reunundant.
  • Gumamit ng pagsasanay sa quanization-aware para sa mas tumpak na quartation stage.
  • Subukin ang pinakamahusay na modelo sa target na hardware para sa mga pakinabang sa paggawa.
  • Fine-tune ang modelo pagkatapos ikapit ang parehong pamamaraan.
  • Subukin ang katumpakan upang matiyak ang kaunting pagkasira.