Η βαθμολογία BLEU (διγλωσσική αξιολόγηση Understudy) είναι μια μετρική που χρησιμοποιείται για την αξιολόγηση της ποιότητας της εξόδου μετάφρασης μηχανών συγκρίνοντας την με μία ή περισσότερες μεταφράσεις αναφοράς.

Κατανόηση της βαθμολογίας BLEU

Η βαθμολογία BLEU μετράει πόσο στενά μια αυτόματη μετάφραση ταιριάζει με τις αναφορές του ανθρώπου. Θεωρεί την επικάλυψη των n-grams μεταξύ των υποψηφίων και των μεταφράσεων αναφοράς, μαζί με μια ποινή συντομίας για να αποθαρρύνει υπερβολικά σύντομες μεταφράσεις.

Βήμα 1: Προετοιμασία δεδομένων

Συγκέντρωσε την υποψήφια μετάφραση και μία ή περισσότερες μεταφράσεις αναφοράς. Βεβαιωθείτε ότι όλα τα κείμενα είναι με συνέπεια, χωρίζοντας τις προτάσεις σε λέξεις ή υπολεξικές μονάδες.

Βήμα 2: Υπολογισμός ακρίβειας N-gram

Για κάθε n-gram μέγεθος (κοινώς 1 έως 4), μετρήστε τον αριθμό των n-grams στην υποψήφια μετάφραση που εμφανίζεται επίσης στις μεταφράσεις αναφοράς. Διαιρείτε τον αριθμό αυτό με το συνολικό αριθμό των n-grams στον υποψήφιο για να λάβετε βαθμολογία ακρίβειας για κάθε n-gram επίπεδο.

Βήμα 3: Εφαρμογή Ποινών Γεννήσεως

Η ποινή της συντομίας (BP) τιμωρεί μεταφράσεις που είναι συντομότερες από την αναφορά. Υπολογίστε την ως:

BP = 1 εάν το μήκος του υποψηφίου & gt; το μήκος αναφοράς; διαφορετικά, BP = e^{(1 - το μήκος αναφοράς / το μήκος του υποψηφίου)}.

Βήμα 4: Υπολογισμός τελικής βαθμολογίας BLEU

Συνδυάστε τις ακρίβεια n-gram χρησιμοποιώντας γεωμετρικό μέσο και πολλαπλασιάστε με την ποινή της συντομίας:

BLEU = BP * exp (μέσος όρος ακρίβειας του log για n=1 έως 4).

Πρόσθετες συμβουλές

  • Χρήση πολλαπλών μεταφράσεων αναφοράς για καλύτερη αξιολόγηση.
  • Διασφάλιση συνεκτικής μελάνωσης σε όλα τα κείμενα.
  • Χρήση υφιστάμενων εργαλείων ή βιβλιοθηκών για υπολογισμούς, όπως το NLTK ή το SacreBLEU.