Tarkkuus, muistin palautuminen ja F1-score ovat tärkeitä mittareita, joita käytetään arvioitaessa NLP-luokitusmallien suorituskykyä. Ne auttavat ymmärtämään, miten hyvin malli ennustaa eri luokkia, erityisesti epätasapainoisissa aineistoissa.

Tarkkuuden ymmärtäminen

Tarkkuus mittaa todellisten positiivisten ennusteiden osuuden kaikista mallin tekemistä positiivisista ennusteista. Se osoittaa, kuinka moni ennustetuista positiivisista tapauksista on todella positiivisia.

Ymmärtäminen Palautus

Muistutettakoon myös herkkyydestä, että mallin asianmukaisesti tunnistamien todellisten positiivisien tapausten osuus mitataan.

F1-pistemäärän laskeminen

F1-piste on harmoninen tarkkuuden ja takaisinvedon keskiarvo. Se tarjoaa yhden metrisen, joka tasapainottaa molempia, erityisesti kun luokkajakauma on epätasainen.

Esimerkkilaskenta

Oletetaan, että malli ennustaa 80 positiivista tapausta, joista 60 on oikein. Todellisten positiivisien tapausten kokonaismäärä on 70. Laskelmat ovat seuraavat:

  • Tarkoitus: 60 / 80 = 0,75
  • Palautus: 60 / 70 ... 0,857
  • F1-pisteet: 2 * (0,75 * 0,857) / (0,75 + 0,857) .