BLEU (tiếng nói đánh giá bản in) là một bộ đo hiệu quả của việc dịch ra máy bằng cách so sánh nó với một hay nhiều bản dịch tham khảo. Hướng dẫn này cung cấp một tiến trình từng bước để tính điểm BLE.

Hiểu được điểm BLEU

Điểm BLEU đo tỉ mỉ như thế nào một bản dịch do máy tạo ra trùng khớp với các tham khảo của con người. nó cân nhắc sự chồng n-gram giữa các bản dịch tham khảo và các bản dịch, cùng với một hình phạt ngắn gọn để làm nản lòng các bản dịch quá ngắn.

Bước 1: Chuẩn bị dữ liệu

Hãy thu thập các bản dịch tham khảo của ứng cử viên, và đảm bảo rằng tất cả các văn bản đều được đánh dấu, chia câu thành từ hoặc đơn vị chữ hoa văn.

Bước 2: Tính chính xác của N-gram

Đối với mỗi kích thước n-gram (comm chỉ 1 đến 4), đếm số n-gram trong bản dịch cũng xuất hiện trong các bản dịch tham khảo. Chia số này cho tổng số n-gram trong ứng cử viên để có được điểm chính xác cho mỗi n-gram.

Bước 3: Áp dụng sự hối lộ

Hình phạt ngắn gọn (BP) phạt phạt các bản dịch ngắn hơn tham chiếu. Tính nó là:

BP = 1 nếu ứng cử viên chiều dài > chiều dài tham khảo; nếu không, BP = e^ 1 - chiều dài tham khảo / chiều dài ứng cử viên).

Bước 4: Tính điểm BLEU cuối cùng

Kết hợp độ chính xác n-gram sử dụng ý nghĩa hình học và nhân với hình phạt ngắn gọn:

BLEU = BP * exp (một mức độ chính xác bản ghi cho n = 1 đến 4).

Mẹo phụ

  • Dùng nhiều bản dịch tham khảo để đánh giá tốt hơn.
  • Đảm bảo sẽ nhất quán hóa tất cả các văn bản.
  • Sử dụng các công cụ hoặc thư viện đã có để tính toán, như là NLTK hoặc SacrebleU.