Descendența gradient este un algoritm de optimizare folosit pentru a minimiza o funcție de mișcare iterativ spre cel mai mic punct. Este utilizat pe scară largă în învățarea mașinii pentru a optimiza modelele prin ajustarea parametrilor pentru a reduce eroarea. Acest articol explică calculele pas cu pas implicate în aplicarea coborâre gradientul pentru sarcinile de învățare mașină.

Înțelegerea Algoritmului de Descentă Gradient

Ideea de bază a coborârii gradientului este de a actualiza parametrii modelului în direcția gradientului negativ al funcției de pierdere. Acest proces continuă până când parametrii convergent la un punct minim, ideal minimul global.

Procesul de calcul pas cu pas

Să presupunem că avem un model simplu de regresie liniară cu o funcție de pierdere, cum ar fi Mean Squared Error (MSE). Pașii pentru aplicarea coborâre gradient sunt după cum urmează:

  • Inițializează parametrii (de exemplu, greutăți și prejudecată) cu valori mici aleatorii.
  • Calculează puterea estimată utilizând parametrii de curent.
  • Calculează valoarea funcției de pierdere bazată pe predicții și date reale.
  • Calculează gradientul funcției de pierdere în raport cu fiecare parametru.
  • Actualizează fiecare parametru prin scăderea produsului ratei de învățare și a gradientului corespunzător.

Acest proces se repetă pentru un număr de iterații sau până când schimbarea pierderii devine neglijabilă.

Calculul de exemplu

Consideră un singur punct de date cu intrare x = 2[[ și ieșire [y = 4[. Greutate inițializată w = 0,5 și prejudecată b = 0[.Folosim o rată de învățare de 0.1.

Se calculează predicția:

Eroare de calcul: error =

Calculează gradienții:

Greutatea gardientului w.r.t.:

Abaterea la gradient a valorii de referință:

Parametrii de actualizare:

Greutate nouă: w = 0,5 - 0,1 * (-12) = 0,5 + 1,2 = 1.7

Noi prejudecată: b = 0 - 0,1 * (-6) = 0 + 0,6 = 0,6