Tasapainoiset tietoaineistot ovat yleisiä monissa reaalimaailman sovelluksissa, kuten petosten havaitsemisessa, lääketieteellisessä diagnosoinnissa ja anomalian havaitsemisessa. Epätasapainon korjaaminen on ratkaisevan tärkeää tehokkaiden koneoppimismallien rakentamiseksi. Tässä artikkelissa tarkastellaan matemaattisten periaatteiden tukemia käytännön tekniikoita, joilla voidaan tehokkaasti käsitellä epätasapainoista dataa.

Tietojen epätasapainon ymmärtäminen

Tietojen epätasapaino ilmenee, kun yhden luokan tapausten määrä ylittää merkittävästi toisessa luokassa. Tämä epätasapaino voi johtaa malleja kohti enemmistöluokkaa, mikä vähentää niiden kykyä havaita vähemmistöluokan tapauksia. Matemaattisesti, jos [ N[] on otosten kokonaismäärä ja [ N[]n vähemmistö [][[]] on vähemmistöluokan näytteiden lukumäärä, epätasapainosuhde on []IR = N / N [[]]-vähemmistö[[]]][[[[[]]]].

Epätasapainon käsittelytekniikat

Useat tekniikat voivat lieventää datan epätasapainon vaikutuksia, ja nämä menetelmät voidaan luokitella laajasti datatasoiksi ja algoritmitasoisiksi lähestymistapoja.

Tietotason menetelmät

  • Ylivoimainen:[] Vähemmistöluokan näytteiden lisääminen, usein SMOTEn kaltaisia menetelmiä käyttäen, jotka tuottavat synteettisiä tietopisteitä olemassa olevien vähemmistönäytteiden perusteella.
  • Ala:[] Vähennetään enemmistöluokan näytteitä aineiston tasapainottamiseksi, mikä voi olla vaarana menettää arvokasta tietoa.
  • Hybridi lähestyy:[ Yhdistäen ylinäytteenoton ja alinäytteenoton optimoimaan datatasapainoa.

Algoritmin tason menetelmät

  • Kustannuksiin liittyvä oppiminen:[) Määritellään suuremmat virheluokituksen kustannukset vähemmistöluokan virheille, jotta ne vaikuttaisivat mallin painopisteeseen.
  • Kokoa menetelmät:[ Käyttämällä tekniikoita, kuten tehostamalla parantaa vähemmistöluokan havaitsemista.
  • Päätöksen kynnysarvojen mukauttaminen: [ Muutetaan todennäköisyysrajaa vähemmistöluokkien ennustusten suosimiseksi.

Matematiikan perusteet

Monet tekniikat ovat pohjautuen tilastollisia ja matemaattisia käsitteitä. Esimerkiksi, SMOTE luo synteettisiä näytteitä interpoloimalla välillä vähemmistöluokan pistettä:

]x[]new[] = x[][ + lambda (x]j[] - x[[]]][[[]]]]][[[]]]]]]

jossa x[][] ja x[]j[][[[]] ovat vähemmistöluokan näytteitä ja []lambda[/1]]] on satunnaisluku välillä 0-1. Tämä lähestymistapa varmistaa, että synteettiset tiedot ovat vähemmistöluokan ominaisuuden sisällä ja ylläpitää tietojen jakelun eheyttä.