Modellens tillitsintervaller gir et område der den sanne modellens ytelse eller parameterverdien forventes å falle med en viss sannsynlighet. De er nyttige for å forstå usikkerheten som er forbundet med modellestimater i maskinlæringsapplikasjoner.

Forstå tillitsintervaller

Et tillitsintervall er et statistisk område beregnet fra data som sannsynligvis inneholder den sanne parameterverdien. I maskinlæring kan dette referere til metriske som nøyaktighet, presisjon eller modellkoeffisienter.

Trinn for å beregne tillitsintervaller

Følg disse trinnene for å beregne tillitsintervaller for modellmålinger:

  • Samle en prøve av modellytelsesmetrikker gjennom kryssvalidering eller flere løp.
  • Beregn gjennomsnittet og standardavviket til prøven.
  • Velg et tillitsnivå (f.eks. 95%).
  • Fastsett den passende kritiske verdien fra t-fordelingen eller z-fordelingen basert på prøvestørrelsen og tillitsnivået.
  • Beregn feilmarginen: kritisk verdi × (standardavvik / ⁇ mørstørrelse).
  • Beregn tillitsintervall som: gjennomsnittlig ± feilmargin].

Eksempelberegning

Anta at modellens nøyaktighet vurderes over 30 løp, med en gjennomsnittlig nøyaktighet på 85% og et standardavvik på 3%. For et 95% tillitsnivå er den kritiske verdien fra t-fordelingen ca. 2.045.

Feilmarginen er: 2.045 × (3 / ⁇ 30) ⁇ 2.045 × 0,547 ⁇ 1,12 %. Konfidensintervallet er 85 % ± 1,12 %, noe som resulterer i et område på ca. 83,88 % til 86,12 %.