Berekenen van Bias en Variance in Modellen voor onderricht in toezicht: Een stapsgewijze aanpak

Bias en variantie zijn belangrijke concepten in het onder toezicht leren die helpen de prestaties van modellen te evalueren. Begrijpen hoe deze metrics kunnen verbeteren model selectie en tuning.

Begrijpen van Bias en Variance

Bias verwijst naar de fout die is geïntroduceerd door het benaderen van een reëel probleem met een vereenvoudigd model. Variantie meet hoeveel de voorspellingen van het model schommelen voor verschillende trainingsdatasets. Beide beïnvloeden de nauwkeurigheid en generalisatievermogen van het model.

Berekenen van Bias

Bias wordt berekend door de gemiddelde voorspelling van het model te vergelijken met de werkelijke waarde. De stappen omvatten:

• Het model meerdere malen trainen op verschillende trainingsdatasets.
• Voorspel de output elke keer voor een vast testpunt.
• Bereken het gemiddelde van deze voorspellingen.
• Bereken het verschil tussen dit gemiddelde en de werkelijke waarde.
• Vierkant dit verschil om de vooringenomenheid kwadraat te verkrijgen.

Variantie berekenen

Variantie meet de variabiliteit van de voorspellingen van het model.

• Gebruik de voorspellingen van meerdere modellen die op verschillende datasets zijn getraind.
• Bereken de gemiddelde voorspelling voor alle modellen.
• Bepaal de kwadraatafwijking van elke voorspelling van dit gemiddelde.
• Gemiddelde deze kwadraatafwijkingen om de variantie te vinden.

Praktisch voorbeeld

Stel dat je een dataset hebt en een model vijf keer traint op verschillende subsets. Voor een specifiek testpunt zijn de voorspellingen 3.2, 3.8, 3.5, 3.7 en 3.3. De werkelijke waarde is 4.0.

De gemiddelde voorspelling is 3.5. De vooringenomenheid kwadraat is (4.0 - 3.5)^2 = 0.25. De variantie wordt berekend door middel van de kwadraatafwijkingen van elke voorspelling van 3.5, wat resulteert in 0,14.