Koneoppimismallien suorituskyvyn arviointi on olennaista niiden tehokkuuden ymmärtämisessä. Valvotussa oppimisessa käytetään yleisesti tarkkuuden, tarkkuuden ja takaisinvedon kaltaisia mittareita mittaamaan, miten hyvin malli ennustaa tuloksia.

Tarkkuus

Tarkkuus mittaa oikeaennustusten osuuden kaikista tehdyistä ennusteista. Se lasketaan jakamalla oikeiden ennusteiden määrä ennusteiden kokonaismäärällä.

Vaikka tarkkuus on hyödyllistä, se voi olla harhaanjohtava epätasapainoisissa aineistoissa, joissa yksi luokka hallitsee. Tällaisissa tapauksissa muut mittarit antavat paremman käsityksen mallisuorituskyvystä.

Tarkkuus ja palautus

Tarkkuus osoittaa todellisen positiivisen ennusteen osuuden kaikista mallin tekemistä positiivisista ennusteista. Se kuvastaa mallin kykyä välttää vääriä positiivisia tuloksia.

Muistutettakoon myös herkkyydestä, että mallin avulla on voitu mitata, kuinka hyvin malli havaitsee positiivisia tapauksia.

Metriikan laskeminen

Nämä mittarit on johdettu sekavuusmatriisista, jossa on yhteenveto todellisista positiivisista (TP), vääristä (FP), todellisista (TN) ja vääristä (FN) negatiivisista (FN).

Kaavat:

  • Tarkkuus: (TP + TN) / (TP + FP + TN + FN)
  • Tarkoitus: TP / (TP + FP)
  • Palautus: TP / (TP + FN)