Lausekkeen samankaltaisuuden mittaaminen on tärkeä tehtävä luonnollisessa kielenkäsittelyssä. Se auttaa esimerkiksi tiedonhaussa, tekstin yhteenvedossa ja kysymyksen vastaamisessa. Tämä opas selittää, miten lauseiden samankaltaisuus lasketaan kahdella yhteisellä menetelmällä: Cosine samankaltaisuus ja Jaccardin samankaltaisuus.

Tuomion samankaltaisuuden ymmärtäminen

Tuomion samankaltaisuus mittaa, miten molemmat lauseet perustuvat niiden sisältöön. Siihen liittyy muuntaa lauseita numeerisiksi vektoreiksi ja sitten vertailla näitä vektoreja käyttäen erityisiä matemaattisia kaavoja. Kaksi suosittua menetelmää ovat Cosine samankaltaisuus ja Jaccard samankaltaisuus.

Kosiinin samankaltaisuus

Kosiini samankaltaisuus laskee kosini kulman välillä kaksi vektoria. Se vaihtelee -1-1, jossa 1 osoittaa identtiset vektorit, 0 osoittaa ortogonalisuus, ja -1 osoittaa vastakkaisia vektoreja. Laskeakseen sen, lauseet ensin muunnetaan vektoreiksi, usein käyttäen tekniikoita kuten TF-IDF tai sana upotetaan.

Kosiinin samankaltaisuuden kaava on:

Kosine Yhtäläisyys = (A · B) / (...A. * ....................................................................................................................................................................................................................................

Jos A ja B ovat vektoreita, "·" tarkoittaa piste tuotetta ja ... ja ... ja ...B.. ovat vektorien suuruusluokkaa.

Jaccardin samankaltaisuus

Jaccardin samankaltaisuus mittaa päällekkäisyyttä kahden sarjan välillä. Se lasketaan leikkauspisteen koon jaettuna koko liiton asetetaan. Tämä menetelmä on hyödyllinen verrattaessa läsnäoloa tai poissaoloa sanoja lauseissa.

Jaccardin samankaltaisuuden kaava on:

]Jaccardin samankaltaisuus = ................................................................................................................................................................................................................................................

Jossa A ja B ovat sanoja kustakin lauseesta. Osoittaja laskee yhteisiä sanoja, ja nimittäjä lasketaan yhteensä ainutlaatuisia sanoja molemmissa lauseissa.

Laskennan käytännön vaiheet

Laske lauseiden samankaltaisuus seuraa seuraavia vaiheita:

  • Esikäsittely lauseita poistamalla välimerkkejä ja lopettaa sanat.
  • Muuta lauseet vektoreiksi tai sanasarjoiksi.
  • Käytä Cosine tai Jaccard kaava saada samankaltaisuus pisteet.

Suuremmat pisteet viittaavat siihen, että tuomiot ovat samankaltaisempia.