Regularisering er en teknikk som brukes i maskinlæring for å hindre overfitting ved å legge til en straff til tapsfunksjonen. Det hjelper modeller generelt bedre å usynlige data ved å diskutere overkomplekse løsninger.

Teorien om regulasjon

Regularisering introduserer ytterligere vilkår for den objektive funksjonen under trening. Disse begrepene straffer store modellparametre, og oppmuntrer enklere modeller som er mindre sannsynlig å passe støy i treningsdataene.

Vanlige regulasjonsteknikker

  • L1 Regularization: legger til den absolutte verdien av koeffisienter til tapsfunksjonen, og fremmer sparsity.
  • L2 Regularization: legger til den andre verdien av koeffisienter, som oppmuntrer til mindre vekter.
  • Dropout: tilfeldigvis dråper enheter under trening for å redusere tilliten til bestemte nevroner.
  • Stopping: Stopper trening når ytelsen på valideringsdata begynner å synke.

Beregninger og implementering

I lineær regresjon endrer f.eks. L2 kostnadsfunksjonen som følger:

Tap = Summen av andre feil + λ * Summen av andre vekter

hvor λ (lambda) er regulasjonsparameteren som styrer straffstyrken. Å velge en passende λ er avgjørende og ofte gjort via kryssvalidering.

Beste praksis

Når du gjennomfører regularisering, bør du vurdere følgende beste praksis:

  • Bruk kryssvalidering til å justere regulasjonsparametre.
  • Start med enkle modeller og gradvis øke kompleksiteten.
  • Kombinere flere regulasjonsteknikker om nødvendig.
  • Overvåk valideringsytelse for å unngå å undertilpasse eller overtilpasse.