Calcul des scores bleus pour l'évaluation de la traduction automatique : guide étape par étape

La note BLEU (Bilingual Evaluation Understudy) est une mesure utilisée pour évaluer la qualité de la traduction automatique en la comparant à une ou plusieurs traductions de référence. Ce guide fournit un processus étape par étape pour calculer efficacement les notes BLEU.

Comprendre la cote UEBL

Le score BLEU mesure la proximité d'une traduction générée par machine avec des références humaines. Il considère le chevauchement des n-grammes entre les traductions candidates et de référence, ainsi qu'une pénalité de brièveté pour décourager les traductions trop courtes.

Étape 1: Préparer les données

Rassemblez la traduction du candidat et une ou plusieurs traductions de référence. Assurez-vous que tous les textes sont tokenisés de façon cohérente, en divisant les phrases en mots ou en sous-mots.

Étape 2: Calculer la précision du N-gramme

Pour chaque taille de n-gramme (communément de 1 à 4), compter le nombre de n-grammes dans la traduction du candidat qui apparaissent également dans les traductions de référence. Diviser ce nombre par le nombre total de n-grammes dans le candidat pour obtenir des notes de précision pour chaque niveau de n-gramme.

Étape 3: Appliquer la pénalité pour actes de bravoure

La pénalité pour brièveté (PB) pénalise les traductions plus courtes que la référence. Calculez-la comme suit :

BP = 1 si longueur du candidat > longueur de référence; sinon, BP = e^{(1 - longueur du candidat / longueur du candidat)}.

Étape 4: Calculer la note finale de l'EUBL

Combiner les précisions n-gram en utilisant la moyenne géométrique et multiplier par la pénalité de brièveté:

BLEU = BP * exp(moyenne des précisions logarithmiques pour n=1 à 4).

Conseils supplémentaires