Skor value Understudy (Bilingual Evaluation Understudy) adalah sebuah metrik yang digunakan untuk mengevaluasi kualitas keluaran terjemahan mesin dengan membandingkannya dengan satu atau lebih terjemahan referensi. Panduan ini menyediakan proses langkah-berdasarkan langkah untuk menghitung skor BLEU secara efektif.

Memahami Skor BLEU

Nilai ELEU mengukur seberapa dekat terjemahan yang dihasilkan mesin sesuai dengan referensi manusia. Ini menganggap tumpang tindih n-gram antara kandidat dan terjemahan referensi, bersama dengan penalti singkat untuk mencegah terjemahan yang terlalu pendek.

Langkah 1: Siapkan Data

Kumpulkan terjemahan kandidat dan satu atau lebih terjemahan referensi. Pastikan semua teks ditoken secara konsisten, membagi kalimat menjadi kata atau subkata unit.

Langkah ke- 2: Menghitung Presisi N-gram

Untuk setiap ukuran n-gram (kommon 1 sampai 4), hitung jumlah n-gram dalam terjemahan kandidat yang juga muncul dalam terjemahan rujukan. Membagi penghitungan ini dengan jumlah total n-gram dalam calon untuk memperoleh skor presisi untuk setiap tingkat n-gram.

Langkah 3: Terapkan Penalti Kepantasan

¡Aqor penalti tanpa batas (BP) menalisasi terjemahan yang lebih pendek dari referensi. Menghitungnya sebagai:

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Step 4 : Kira Skor BLEU Final

Anda akan menggabungkan presisi n-gram menggunakan arti geometris dan dikalikan dengan penalti singkat:

LUAR BLEU = BP * exp(rata-rata presisi log untuk n= 1 sampai 4).

Tips Tambahan

  • Alih bahasa menggunakan terjemahan referensi ganda untuk evaluasi yang lebih baik.
  • Pastikan tokenisasi konsisten di semua teks.
  • Memanfaatkan alat atau pustaka yang ada untuk perhitungan, seperti NLTK atau ScreBLEU.