BLEU (Bilingual Evaluation Understudy) pisteet on metri, jolla arvioidaan konekäännöstuloksen laatua vertaamalla sitä yhteen tai useampaan viitekäännökseen. Tämä opas tarjoaa vaihe vaiheelta prosessin BLEU-tulosten laskemiseksi tehokkaasti.

BLEU-pisteiden ymmärtäminen

BLEU-pisteet mittaavat, kuinka läheisesti koneella luotu käännös vastaa ihmisen viittauksia. Se tarkastelee n-grammien päällekkäisyyttä ehdokkaan ja viitekäännösten välillä sekä lyhyttä rangaistusta liian lyhyiden käännösten estämiseksi.

Vaihe 1: Valmistele tiedot

Kerää ehdokas käännös ja yksi tai useampi viitekäännöksiä. Varmista, että kaikki tekstit on poletisoitu johdonmukaisesti, jakamalla lauseita sanoiksi tai alasanayksiköiksi.

Vaihe 2: Laske N-gramman tarkkuus

Kunkin n-gramma koko (yleisesti 1-4), laskea määrä n-grammaa ehdokas käännös, joka myös näkyy viitekäännöksiä. Jaa tämä luku n-grammaa ehdokkaan saada tarkkuus pisteet kunkin n-gramma tasolla.

Vaihe 3: Käytä lyhyyttä

Lyhennesakko rankaisee käännöksiä, jotka ovat lyhyempiä kuin viite. Laske se seuraavasti:

BP = 1, jos ehdokkaan pituus > vertailupituus; muutoin, BP = e^{(1 - referenssipituus / ehdokaspituus)}.

Vaihe 4: Laske lopullinen BLEU-pistemäärä

Yhdistä n-grammatarkkuus käyttäen geometrista keskiarvoa ja kertomalla lyhyysrangaistuksella:

BLEU = BP * exp(keskimäärin n = 1 - 4).

Lisävinkkejä

  • Käytä useita viitekäännöksiä paremman arvioinnin.
  • Varmista johdonmukainen tokenointi kaikissa teksteissä.
  • Käytetään olemassa olevia laskentatyökaluja tai kirjastoja, kuten NLTK tai SacreBLEU.