BLEU (Bilingual मूल्यांकन अंडरस्टडी) स्कोर एक मीट्रिक है जिसका उपयोग मशीन अनुवाद आउटपुट की गुणवत्ता का मूल्यांकन करने के लिए किया जाता है, जिसकी तुलना एक या अधिक संदर्भ अनुवादों की तुलना में की जाती है। यह गाइड प्रभावी ढंग से BLEU स्कोर की गणना करने के लिए एक कदम दर कदम की प्रक्रिया प्रदान करता है।

BLEU स्कोर को समझना

BLEU स्कोर यह बताता है कि कैसे एक मशीन-जनित अनुवाद मानव संदर्भों से मेल खाता है। यह उम्मीदवार और संदर्भ अनुवादों के बीच n-grams की ओवरलैप पर विचार करता है, साथ ही साथ ओवरली शॉर्ट अनुवादों को हतोत्साहित करने के लिए एक बहादुरी जुर्माना भी करता है।

चरण 1: डेटा तैयार करना

उम्मीदवार अनुवाद और एक या अधिक संदर्भ अनुवाद इकट्ठा करें। सुनिश्चित करें कि सभी ग्रंथों को लगातार टोकनाइज़ किया जाता है, वाक्यों को शब्दों या उपशब्द इकाइयों में विभाजित किया जाता है।

चरण 2: गणना N-gram प्रेसिजन

प्रत्येक n-gram आकार (आम तौर पर 1 से 4) के लिए, उम्मीदवार अनुवाद में n-grams की संख्या की गणना करें जो संदर्भ अनुवाद में भी दिखाई देती हैं। प्रत्येक n-gram स्तर के लिए सटीक स्कोर प्राप्त करने के लिए उम्मीदवार में n-grams की कुल संख्या से इस गणना को विभाजित करें।

Step 3: लागू करें Brevity Penalty

ब्रह्मचर्य (BP) ने अनुवादों को दंडित किया है जो संदर्भ से कम हैं। इसे गणना करें:

यदि उम्मीदवार की लंबाई और gt; संदर्भ लंबाई; अन्यथा, बीपी = e^{(1 - संदर्भ लंबाई / उम्मीदवार की लंबाई)}।

स्टेप 4: Compute Final BLEU स्कोर

एन-ग्राम परिशुद्धता को जोड़कर ज्यामितीय अर्थ का उपयोग करके और ब्रीविटी जुर्माना द्वारा गुणा करें:

BLEU = BP * exp(लॉग परिशुद्धता का औसत n=1 से 4) के लिए।

अतिरिक्त सुझाव

  • बेहतर मूल्यांकन के लिए एकाधिक संदर्भ अनुवादों का उपयोग करें।
  • सभी ग्रंथों में लगातार टोकनाइज़ेशन सुनिश्चित करना।
  • मौजूदा उपकरणों या पुस्तकालयों को गणना के लिए उपयोग करें, जैसे कि NLTK या SacreBLEU।