BLEU (Bilingual Evaluation Understudy) puanı, bir veya daha fazla referans çevirileriyle makine çeviri çıktısını değerlendirmek için kullanılan bir ölçümdür. Bu kılavuz BLEU puanlarını etkili bir şekilde hesaplamak için bir adım adım adım adım süreci sağlar.
BLEU Puanını Anlamak
BLEU, makine tarafından üretilen bir çeviri maçlarını insan referanslarını nasıl yakından takip eder. Aday ve referans çevirileri arasındaki n-gramların çakışmasını, kısa çevirileri bozmak için bir boşluk cezasıyla birlikte değerlendirmektedir.
Adım 1: Veri Hazırlayın
Aday çevirisini ve bir veya daha fazla referans çevirilerini toplayın. Tüm metinlerin sürekli olarak dağıtılması, cümleleri kelimelere veya alt kelime birimlerine bölmesi.
Adım 2: N-gram Hassasiyetini Hesaplayın
Her n-gram büyüklüğü (ortalama 1 ila 4) için, başvuru çevirilerinde de görünen n-gram sayısını sayın.Bu sayıyı adaydaki toplam n-gram sayısına göre bölün.
Adım 3: Brevity Cezaty Uygula
Aklıt cezası (BP) referanstan daha kısa olan çevirileri cezalandırır.Bunu şöyle hesaplayın:
BP = 1 aday uzunluğu vegt; referans uzunluğu; aksi takdirde BP = e^{ (1 - referans uzunluğu / aday uzunluğu) ⁇
Adım 4: Tamamlanmış Final BLEU Puan
Geometrik ifade kullanarak n-gram hassasiyetleri birleştirin ve brevity cezasıyla çoğaltın:
BLEU = BP * n=1 için log hassasiyetlerinin genişliği 4).
Ek ipuçları
- Daha iyi değerlendirme için birden fazla referans çeviri kullanın.
- Tüm metinlerde tutarlı tokenizasyon sağlayın.
- NLTK veya SacreBLEU gibi mevcut araçları veya kütüphaneleri kullanın.