Vastaanottajan toimintaominaisuuskäyrä (ROC) on graafinen työkalu, jota käytetään luokitusmallien suorituskyvyn arviointiin. Se kuvaa todellisen positiivisen ja väärän positiivisen nopeuden välistä eroa eri raja-asetuksissa. On tärkeää ymmärtää, miten tulkita ja laskea ROC-käyrät mallin tehokkuuden arvioimiseksi.

Mikä on ROC-käyrä?

ROC-käyrä osoittaa todellisen positiivisen nopeuden (herkkyys) väärää positiivista nopeutta (1-spesifisyyttä) vastaan eri raja-arvoilla. Se tarjoaa visuaalisen edustuksen mallin kyvystä erottaa luokat toisistaan. Mitä lähempänä käyrä seuraa vasemmalla yläkulmassa, sitä parempi mallin suorituskyky on.

Miten laskea ROC-käyrä

ROC-käyrän laskeminen edellyttää seuraavia vaiheita:

  • Saada ennustetut todennäköisyydet mallista kunkin tietopisteen osalta.
  • Määritetään useita kynnysarvoja ennustettujen todennäköisyyden vaihteluvälin mukaan.
  • Kunkin kynnysarvon osalta tietopisteet luokitellaan positiivisiksi tai negatiivisiksi.
  • Todellinen positiivinen nopeus ja väärä positiivinen nopeus lasketaan kullakin kynnyksellä.
  • Plot nämä hinnat muodostaa ROC-käyrä.

ROC-käyrän tulkinta

AUC 0,5:n AUC ei tarkoita syrjintää, joka vastaa satunnaista arvailua. AUC 1,0:n AUC merkitsee täydellistä luokitusta.

ROC-kurvien käyttö

ROC-käyriä käytetään laajalti eri aloilla, kuten lääketieteessä, rahoituksessa ja koneoppimisessa, jotta voidaan vertailla malleja, valita optimaaliset raja-arvot ja arvioida luokittelun suorituskykyä. Ne auttavat ymmärtämään eri päätöskynnysten kompromissien toteutumista.