Mallin luotettavuusvälit tarjoavat vaihteluvälin, jonka sisällä mallin todellisen suorituskyvyn tai parametriarvon odotetaan laskevan tietyllä todennäköisyydellä. Ne ovat hyödyllisiä, jotta voidaan ymmärtää koneoppimissovellusten malliestimaatteihin liittyvää epävarmuutta.

Luottamusvälin ymmärtäminen

Luottamusväli on tilastollinen vaihteluväli, joka lasketaan tiedoista, jotka todennäköisesti sisältävät todellisen parametriarvon. Koneoppimisessa tämä voi viitata mittareihin, kuten tarkkuuteen, tarkkuuteen tai mallikertoimiin.

Luottamusvälien laskentavaiheet

Seuraa näitä vaiheita laskea luottamusvälit mallimittareita:

  • Kerätään mallisuoritusmittareiden näyte cross-validoinnin tai useiden juoksujen avulla.
  • Näytteen keskiarvo ja keskihajonta lasketaan.
  • Valitse luottamustaso (esim. 95%).
  • Määritetään näytekoon ja luottamustason perusteella t-jakelusta tai z-jakelusta saatava asianmukainen kriittinen arvo.
  • Lasketaan virhemarginaali: kriittinen arvo × (keskihajonta / ... näytteen koko).
  • Lasketaan luottamusväli seuraavasti: keskiarvo ± virhemarginaali.

Esimerkkilaskenta

Oletetaan, että mallin tarkkuutta arvioidaan yli 30 ajoa, joiden keskimääräinen tarkkuus on 85% ja keskihajonta 3%. 95 prosentin luotettavuustasolla kriittinen arvo t-jakelusta on noin 2.045.

Virhemarginaali on: 2.045 × (3 / ...30) ... 2.045 × 0.547 .12%. Luottamusväli on 85% ± 1,12%, mikä johtaa noin 83.88% - 86,12%.