वाक्य समानता को मापना प्राकृतिक भाषा प्रसंस्करण में एक महत्वपूर्ण कार्य है। यह सूचना पुनर्प्राप्ति, पाठ सारांशीकरण और प्रश्न जवाब देने जैसे अनुप्रयोगों में मदद करता है। यह गाइड बताता है कि दो सामान्य विधियों का उपयोग करके वाक्य समानता की गणना कैसे की जाए: Cosine समानता और Jaccard समानता।

समानता

वाक्य समानता के उपाय कैसे समान दो वाक्य उनकी सामग्री पर आधारित हैं। इसमें वाक्यों को संख्यात्मक वेक्टर में परिवर्तित करना और फिर विशिष्ट गणितीय सूत्रों का उपयोग करके इन वेक्टरों की तुलना करना शामिल है। दो लोकप्रिय विधियां कॉसिन समानता और जैककार्ड समानता हैं।

Cosine समानता

Cosine समानता दो वैक्टरों के बीच कोण के कोसिन की गणना करती है। यह -1 से 1 तक है, जहां 1 समान वैक्टर इंगित करता है, 0 त्रृथकता इंगित करता है, और -1 विपरीत वैक्टर इंगित करता है। इसे संकलित करने के लिए, वाक्यों को पहले वेक्टर में बदल दिया जाता है, अक्सर TF-IDF या शब्द एम्बेडिंग जैसी तकनीकों का उपयोग किया जाता है।

Cosine समानता के लिए सूत्र है:

कोसिन समानता = (A · B) / ( |A | * |B |B |)

A and B, where A and B, वेक्टर हैं, "·" डॉट उत्पाद को दर्शाता है, और | A | | | B | वेक्टरs वेक्टरs की परिमाण हैं।

Jaccard समानता

जैककार्ड समानता दो सेटों के बीच ओवरलैप को मापती है। इसे सेट के संघ के आकार से विभाजित चौराहे के आकार के रूप में गणना की जाती है। यह विधि वाक्यों में शब्दों की उपस्थिति या अनुपस्थिति की तुलना करते समय उपयोगी है।

Jaccard समानता के लिए सूत्र है:

]Jaccard समानता = |A ^ B | / ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^A ^ = ^ = ^A ^A ^ = ^ = ^ = ^ = ^ = ^ = ^ = ^ = ^ = ^ = ^ = ^ = ^ = ^ = ^ = ^ = ^ = ^ = ^ = ^ = ^ = ^ = ^ = ^ = ^ = ^ = ^

A and B प्रत्येक वाक्य से शब्दों के सेट हैं। संख्यात्मक शब्दों की गिनती आम है, और विभाजक दोनों वाक्यों में कुल अद्वितीय शब्दों की गिनती करता है।

गणना के लिए प्रैक्टिकल चरण

वाक्य समानता की गणना करने के लिए, इन चरणों का पालन करें:

  • पूर्ववर्ती वाक्यों को punctuation को हटाकर और शब्दों को बंद कर देते हैं।
  • वाक्यों को वेक्टर या शब्दों के सेट में कनवर्ट करें।
  • समानता स्कोर प्राप्त करने के लिए कॉसिन या जैककार्ड सूत्र लागू करें।

उच्च स्कोर वाक्यों के बीच समानता को दर्शाता है।