Tasapainoton data on koneoppimisen yhteinen haaste, jossa yksi luokka on huomattavasti muita suurempi. Tämä epätasapaino voi johtaa puolueellisiin malleihin, jotka toimivat huonosti vähemmistöluokissa. Kustannusherkät oppimistekniikat käsittelevät tätä ongelmaa, kun ne asettavat erilaisia kustannuksia väärin luokittelulle ja auttavat malleja keskittymään vähemmistöluokkiin.

Epätasapainoisten tietojen ymmärtäminen

Tasapainoisia aineistoja esiintyy eri aloilla, kuten petosten havaitseminen, lääketieteellinen diagnoosi, ja roskapostin suodatus. Näissä tapauksissa vähemmistöluokka on usein tärkeämpi, mutta vähemmän edustettuna. Standard algoritmeilla on taipumus suosia enemmistöluokkaa, mikä johtaa alhaiseen takaisinkutsuun vähemmistöluokassa.

Kustannusherkkä oppimistekniikka

Kustannusherkkään oppimiseen kuuluu oppimisprosessin muuttaminen erilaisten luokitteluvirheiden huomioon ottamiseksi. Kun malleja käytetään suurempien kustannusten määrittämiseen vähemmistöluokkien virheille, ne ovat entistä herkempiä näille luokille ja parantavat yleistä suorituskykyä.

Yhteiset lähestymistavat

  • Pitkät algoritmit:[] Sisällytä luokkapainot tappiofunktioon rangaistaksesi vähemmistöluokkien virheellistä luokittelua voimakkaammin.
  • Kustannukset:[ Määrittele matriisi, jossa eritellään kunkin luokitteluvirhetyypin kustannukset ja jossa mallin ohjaaminen kokonaiskustannusten minimoimiseksi.
  • Otantatekniikat:[ Yhdistä kustannusherkkä menetelmä ylinäyttelyyn tai aliotantaan datakokonaisuuden tasapainottamiseksi.