Regularisering är en teknik som används i maskininlärning för att förhindra överfitning genom att lägga till ett straff för förlustfunktionen. Det hjälper modeller att generalisera bättre för att osynliga data genom att avskräcka alltför komplexa lösningar.
Teori om regularisering
Regularisering introducerar ytterligare villkor för den objektiva funktionen under träningen. Dessa villkor bestraffar stora modellparametrar, uppmuntrar enklare modeller som är mindre benägna att passa buller i träningsdata.
Vanliga regulariseringstekniker
- ]] L1 Regularization: lägger till det absoluta värdet av koefficienter till förlustfunktionen, främjar gleshet.
- ]] L2 Regularization: lägger till det kvadratvärde av koefficienter, vilket uppmuntrar mindre vikter.
- Dropout:] Randomly droppar enheter under träning för att minska beroendet av specifika neuroner.
- Tidigt stopp: slutar utbildning när prestanda på valideringsdata börjar minska.
Beräkningar och genomförande
I linjär regression ändrar L2-reguleringen till exempel kostnadsfunktionen enligt följande:
Förlust = Summa kvadratfelen + λ * Summa kvadratvikter
där λ (lambda) är den regulatoriska parametern som styr straffstyrkan. Välja en lämplig λ är avgörande och ofta gjort via korsbekräftelse.
Bästa praxis
Vid genomförandet av regelbundenhet, överväga följande bästa praxis:
- Använd korsbekräftelse för att ställa in regelbundna parametrar.
- Börja med enkla modeller och öka gradvis komplexiteten.
- Kombinera flera regelbundna tekniker om det behövs.
- Övervaka valideringsprestanda för att undvika underfitting eller överfitting.