Descendența gradient este un algoritm de optimizare fundamental utilizat în formarea modelelor de învățare a mașinilor supravegheate. Aceasta ajută la minimizarea funcției de eroare prin ajustarea iterativă a parametrilor modelului. Înțelegerea modului de deriva și de aplicare a acestei metode este esențială pentru formarea eficientă a modelului.

Derivarea de coborâre Gradient

Ideea de bază a coborârii gradientului implică calcularea gradientului funcției de pierdere în raport cu parametrii modelului. Acest gradient indică direcția de creștere cea mai abruptă. Pentru a minimiza pierderea, parametrii sunt actualizați în direcția opusă a gradientului.

Matematica, regula de actualizare a parametrilor este exprimată ca:

θnew[ = θold - η

unde θ reprezintă parametrii modelului, η este rata de învățare, iar

Aplicarea Gradient Descendent

Pentru a aplica coborârea în gradient, sunt de obicei urmați următorii pași:

  • Inițializează parametrii modelului aleatoriu sau cu valori specifice.
  • Calculează funcția de pierdere bazată pe parametrii actuali și datele de formare.
  • Calculează gradientul pierderii în raport cu fiecare parametru.
  • Actualizează parametrii folosind regula de coborâre a gradientului.
  • Se repetă procesul până când pierderea se converge sau se atinge un număr set de iterații.

Alegerea ratei de învăţare

Rata de învățare η determină dimensiunea fiecărei etape de actualizare. O rată mică de învățare poate duce la o convergență lentă, în timp ce una mare poate provoca depășirea minimă. Selectarea unei rate de învățare adecvate este esențială pentru formarea eficientă.