Modellförtroendeintervaller ger ett intervall inom vilket den sanna modellprestanda eller parametervärde förväntas falla med en viss sannolikhet. De är användbara för att förstå osäkerheten i samband med modelluppskattningar i maskininlärningsapplikationer.
Förstå förtroendeintervaller
Ett förtroendeintervall är ett statistiskt intervall beräknat från data som sannolikt innehåller det verkliga parametervärdet. I maskininlärning kan detta hänvisa till mätvärden som noggrannhet, precision eller modellkoefficienter.
Steg för att beräkna förtroendeintervaller
Följ dessa steg för att beräkna förtroendeintervaller för modellmetri:
- Samla ett prov av modellprestanda metrik genom korsbegränsning eller flera körningar.
- Beräkna medelvärdet och standardavvikelsen av provet.
- Välj en självförtroendenivå (t.ex. 95%).
- Bestäm det lämpliga kritiska värdet från t-distributionen eller z-distributionen baserat på provstorlek och förtroendenivå.
- Beräkning av felmarginalen: ] kritiskt värde × (standardavvikelse / √sample size)]].
- Beräkna konfidensintervallet som: ]] betyder ± felmarginal[].
Exempel Beräkning
Anta att en modells noggrannhet utvärderas över 30 körningar, med en genomsnittlig noggrannhet på 85% och en standardavvikelse på 3%. För en 95% konfidensnivå är det kritiska värdet från t-distributionen cirka 2.045.
Risken för fel är: 2.045 × (3 / √30) ≈ 2.045 × 0.547 ≈ 1,12%. Förtroendeintervallet är 85% ± 1,12%, vilket resulterar i en rad cirka 83,88% till 86,12%.