BLEU (Дієлінгуальна оцінка) бал є метричним, який використовується для оцінки якості виходу машин шляхом порівняння його до одного або декількох довідкових перекладів. Цей посібник забезпечує покроковий процес обчислення BLEU результативності.

Розуміння BLEU Оцінка

В БЛЕУ заявляє, як тісно пов’язаний з машинобудівним перекладом відповідає людським довідкам. Розглянуто перекриття n-грам між кандидатом та довідковими перекладами, а також занурення штрафу, щоб управлятися за короткий переклад.

Крок 1: Підготовка даних

Зробіть переклад кандидата і один або інший довідковий переклад. Забезпечте всі тексти, які можна зашифрувати послідовно, розщеплення вироків на слова або субслов'яні одиниці.

Крок 2: Розрахунок N-грамної точності

Для кожного n-грама розміром (одноразово 1 до 4), підрахунку кількості n-грам у перекладі кандидата, які також з'являються в довідкових перекладах. Розбавити цей підрахунк на загальну кількість n-грам у кандидаті, щоб отримати точність балів за кожен n-грамовий рівень.

Крок 3: Застосовувати пенісність

Пальмування бревності (BP) керує перекладами, які коротше посилання. Розрахувати його як:

BP = 1, якщо довжина кандидата і гт; довжина довідки; інакше, BP = erc(1 - довжина довідки / кандидат.

Крок 4: Збірник підсумків BLEU Оцінка

Комбінувати n-грамові прецизії за допомогою геометричних ознак і розмножуються пені за бревності:

BLEU = BP * exp(загальнення заготовок для n=1 до 4).

Додаткові поради

  • Використовуйте декілька посилань для кращого оцінювання.
  • Забезпечити послідовну токенезацію по всіх текстах.
  • Утилізувати наявні інструменти або бібліотеки для розрахунку, такі як NLTK або SacreBLEU.