Tietojen esikäsittely ja täydentäminen ovat olennaisia vaiheita tietojen valmistelussa syväoppimismalleihin. Nämä tekniikat parantavat mallin tarkkuutta ja luotettavuutta muuntamalla raakadata sopivaksi muotoon ja lisäämällä datan monimuotoisuutta.

Tietojen esikäsittelytekniikat

Tietojen esikäsittelyssä on kyse raakadatan puhdistuksesta ja muuntamisesta laadun ja johdonmukaisuuden varmistamiseksi. Yhteisiin tekniikoihin kuuluu normalisointi, joka mittaa tiedot tietylle alueelle, ja kategoristen muuttujien koodaaminen numeerisiksi formaatioiksi. Puuttuvien tietojen käsittely imputoinnin tai poistamisen avulla on myös olennaisen tärkeää tietojen eheyden ylläpitämiseksi.

Tietojen muokkausstrategiat

Datan lisäys keinotekoisesti lisää koulutusaineistojen kokoa ja monimuotoisuutta. Tämä on erityisen hyödyllistä kuvan ja puheentunnistuksen tehtävissä. Tekniikoita ovat muun muassa kierto, flipping ja rajauskuvat sekä melun lisääminen tai kirkkausten muuttaminen. Nämä menetelmät auttavat malleja yleistymään paremmin näkymättömään dataan.

Tekniikan parantamistekniikat

Esikäsittely- ja augmentointitekniikoiden yhdistäminen voi parantaa merkittävästi mallin suorituskykyä. Oikea ominaisuus skaalautuu nopeammin, kun taas augmentaatio vähentää oversibilityä. Sopivien menetelmien valinta riippuu datatyypistä ja ongelma-alueesta.

  • Normalisointi ja standardointi
  • Yksikuuma koodaus
  • Data Augmentation - kuvat
  • Meluruiske
  • Ominaisuuden valinta