قياس مدى التشابه في السمعة: دليل لحسابات الكون وجاكارد

ويعد قياس تشابه العقوبات مهمة هامة في تجهيز اللغات الطبيعية، وهو يساعد في تطبيقات مثل استرجاع المعلومات، وتلخيص النصوص، والرد على الأسئلة، ويوضح هذا الدليل كيفية حساب تشابه الجملة باستخدام طريقتين مشتركتين هما: التماثل بين الكوسين وتشابه جاكرت.

فهم التشابه في السمات

ويتخذ التشابه في الأحكام ما يماثل الجملتين استنادا إلى محتواهما، ويشمل تحويل الأحكام إلى ناقلات رقمية، ثم مقارنة هذه النواقل باستخدام صيغ رياضية محددة، والطريقة الشائعة هما التشابه بين الفلزات وتشابه البطاقات.

التشابه بين الكوكايين

ويحسب التماثل في الكوكائين كون الزاوية بين ناقلين، وتتراوح بين 1 و1، حيث يشير 1 إلى ناقلات متطابقة، ولا يشير إلى الثورغونية، و1 إلى نواقل معاكسة، ولإخضاعها، تتحول الأحكام أولا إلى ناقلات، وتستخدم في كثير من الأحيان تقنيات مثل قوة الطوارئ الدولية أو كلمة مبعثرة.

والصيغة التي تُستخدم في تماثل الكوكايين هي:

Cosine Similarity = (A · B)/( ⁇ A ⁇ * ⁇ B ⁇ )]

حيث أن (أ) و(ب) ناقلان، "يقولون" "نبات المنتج" و"آي أو" و"بي" هي حجم النواقل.

التشابه بين جاكارد

ويحد التماثل في البطاقات من التداخل بين مجموعتين، ويحسب على أنه حجم التقاطع الذي يقسم إلى حجم اتحاد المجموعات، وهذا الأسلوب مفيد عند مقارنة وجود الكلمات أو عدم وجودها في الأحكام.

والصيغة التي تُستخدم في تماثل جاكارد هي:

Jaccard Similarity = ⁇ A ⁇ ⁇ / ⁇ A ⁇ B ⁇ ]

حيث أن الحرفين ألف وباء عبارة من كل جملة، ويحتسب العدد الكلمات المشتركة، ويحسب القاسم كلمات فريدة من نوعها في الجملتين.

الخطوات العملية للحساب

ولحساب تشابه العقوبة، اتبع هذه الخطوات:

• -يُسبق إصدار الأحكام بإزالة التألق ووقف الكلمات
• تحويل الأحكام إلى ناقلات أو مجموعات من الكلمات.
• تطبيق صيغة كوزين أو جاكارد للحصول على درجات التشابه.

وتشير الدرجات العليا إلى وجود تشابه أكبر بين الأحكام.