Gradientnedstigning er en optimalisering algoritme som brukes til å minimere en funksjon ved å iterativt bevege seg mot det laveste punktet. Det brukes mye i maskinlæring for å optimalisere modeller ved å justere parametre for å redusere feil. Denne artikkelen forklarer trinn-for-trinn beregninger involvert i å påføre gradientnedstigning for maskinlæring oppgaver.

Forstå den Gradient Descent Algoritme

Kjernen ideen om gradientnedstigning er å oppdatere modellparametrene i retning av den negative gradienten til tapsfunksjonen. Denne prosessen fortsetter til parametrene konvergerer til et minimum punkt, ideelt det globale minste.

Trinn-for-steg beregningsprosess

Anta at vi har en enkel lineær regresjonsmodell med en tapsfunksjon, som for eksempel gjennomsnittlig firkantet feil (MSE). Trinnene for å påføre gradientnedstigning er som følger:

  • Initier parametre (f.eks. vekter og bias) med små tilfeldige verdier.
  • Beregn den forventede utgangen ved hjelp av gjeldende parametere.
  • Beregne verdien av tapsfunksjon basert på spådommer og faktiske data.
  • Beregn gradienten til tapsfunksjonen med hensyn til hver parameter.
  • Oppdater hver parameter ved å trekke produktet fra læringshastigheten og den tilsvarende gradienten.

Denne prosessen gjentar for et sett antall iterasjoner eller inntil endringen i tap blir ubetydelig.

Eksempelberegning

Tenk på et enkelt datapunkt med inngang x = 2] og utgang ]y = 4]. Initialiser vekt ]w = 0,5] og bias ]b = 0]. Bruk en læringsrate på 0,1].

Beregn forutsigelse: ⁇ = wx + b = 0,5 * 2 + 0 = 1]

Beregn feil: error = ⁇ - y = 1 - 4 = -3]

Beregn gradienter:

Gradient v.r.t. vekt: ⁇ L/ ⁇ w = 2 * feil * x = 2 * (-3) * 2 = -12

Gradient w.r.t. bias: ⁇ L/ ⁇ b = 2 * feil = 2 * (-3) = -6

Oppdateringsparametere:

Ny vekt: w = 0.5 - 0.1 * (-12) = 0.5 + 1,2 = 1,7]

Ny bias: b = 0 - 0,1 * (-6) = 0 + 0,6 = 0,6