Tiedonsaannin laskeminen on tärkeä askel päätöksentekopuiden rakentamisessa. Se auttaa määrittämään parhaan ominaisuuden tietojen jakamiseen kussakin solmussa, mikä parantaa mallin tarkkuutta. Tämä prosessi edellyttää entropian vähenemistä mittaamista sen jälkeen, kun tietokokonaisuus on jaettu tiettyyn ominaisuuteen.

Entropian ymmärtäminen

Entropia mittaa häiriön tai epäpuhtauden aineistossa. Se lasketaan käyttäen todennäköisyyttä kunkin luokan sisällä aineisto. Aineisto, jossa on sekaluokkia on korkeampi entropia, kun taas puhdas tietokokonaisuus on pienempi entropia.

Entropia on seuraava kaava:

]Entropia = -...]i[ log[]] p[]i[][[]]]

Tietojen saamisen laskeminen

Tiedon hyöty on alkuperäisen aineiston entropian ja jaon jälkeen painotetun keskimääräisen entropian välinen ero. Se määrittää, kuinka paljon epävarmuutta vähennetään jakamalla johonkin ominaisuuteen perustuva tieto.

Tiedonsaannin kaava on:

Tiedonsaanti: Entropia(vanhempani) - ... (lapsen paino) × Entropia(lapsi)[

Käytännön laskentavaiheet

Tietojen saamiseksi käytännössä on noudatettava seuraavia ohjeita:

  • Laske koko tietokokonaisuuden entropia.
  • Jakaminen aineisto perustuu arvioitava ominaisuus.
  • Laske entropia kunkin subset luotu split.
  • Laske näiden entropien painotettu keskiarvo.
  • Vähennä tämä arvo alkuperäisestä entropiasta tiedon saamiseksi.

Esimerkki

Oletetaan, että aineisto on alkuperäinen entropia on 0,94. Jakamisen jälkeen perustuu ominaisuus, painotettu keskimääräinen entropia subsets on 0,5. Tietoa hyötyä tästä jako on 0,44, mikä osoittaa huomattavaa vähentyminen epävarmuutta.