Retragerea de la normalizare este o tehnica folosita in retelele neurale pentru a preveni suprapotrivirea. Implica dezactivarea aleatoriua a unui subset de neuroni in timpul antrenamentului, care ajuta modelul sa se generalizeze mai bine la datele nevazute. Acest articol explica modul in care abandonul este implementat, modul in care calculele sunt efectuate, si impactul acestuia asupra performantei retelei neurale.

Înțelegerea regularizării abandonului

Renunţarea funcţionează prin stabilirea aleatorie a unei proporţii de ieşiri din neuroni la zero în timpul fiecărei iterări de formare. Aceasta împiedică neuronii să se bazeze prea mult pe caracteristici specifice şi încurajează reţeaua să dezvolte reprezentări mai robuste. Rata abandonului determină fracţiunea de neuroni dezactivată.

Calcule implicate în abandon

În timpul pregătirii, fiecare neuron este reținut cu probabilitate p.Ieșirea unui neuron i după abandon se calculează ca:

y[i = r[i * xi]

unde ri[[[ este o variabilă aleatorie Bernoulli cu probabilitate ]p de a fi 1 (reținut) și 0 (căzut). În timpul unei trageri, greutățile sunt scalate cu [p pentru a contabiliza abandonul în timpul formării.

Efectul asupra generalizării rețelei neuronale

Implementarea abandonului îmbunătăţeşte capacitatea modelului de a generaliza prin reducerea suprapotrivirii. Aceasta forţează reţeaua să înveţe reprezentări redundante, făcând-o mai rezistentă la zgomot şi variaţii ale datelor. Ca urmare, modelele cu abandon de obicei funcţionează mai bine la validarea şi seturile de testare.

  • Reduce dependența de neuroni specifici
  • Încurajează învățarea solidă a caracteristicilor
  • Scăderea gradului de adecvare
  • Îmbunătățește precizia încercării