עקבו אחרי Bleu Scores הערכה לתרגום מכונה: מדריך שלב-על-ידי-צעד

ציון הערכה מילולית (Bilingual Assessment Understudy) הוא מדד המשמש להערכת איכות של תפוקה תרגום מכונה על ידי השוואתו לתרגומים אחד או יותר התייחסות.מדריך זה מספק תהליך שלב אחר צעד כדי לחשב ציוני BLEU ביעילות.

הבנה של BLEU Score

מדדי BLEU מודדים כמה קרוב תרגום ממוחשב תואם אזכורים אנושיים.זה רואה את החפיפה של n-grams בין המועמד לתרגומים ההתייחסות, יחד עם עונש קלוש כדי להרתיע תרגומים קצרים מדי.

שלב 1: הכינו נתונים

במקום את התרגום של המועמד ואחד או יותר תרגומים של התייחסות.להבטיח שכל הטקסטים יושמו באופן עקבי, פיצול משפטים למילים או יחידות משנה.

שלב 2: חישוב N-gram Precision

עבור כל בגודל של n-gram (בעיקר 1 עד 4), לספור את מספר n-grams בתרגום המועמד שמופיע גם בתרגום ההתייחסות.חלק ספירה זו על ידי המספר הכולל של n-grams במועמד כדי להשיג ציונים מדויקים עבור כל רמה N-gram.

שלב 3: החל את עונש המוות

עונש הקיצור (BP) מעניש תרגומים קצרים יותר מההתייחסות. ⁇ אותו כ:

BP = 1 אם אורך המועמד וגיל; אורך ההתייחסות; אחרת, BP = e^{ (1 - אורך ההתייחסות / אורך המועמד)

שלב 4: סיום אחרון BLEU

לשלב את הדיוקן של n-gram באמצעות משמעות גיאומטרית וכפל על ידי עונש השבר:

BLEU = BP * exp(average of log דיוקs for n=1 עד 4).

טיפים נוספים