עונש מאסר דמיון דומה: מדריך צעד-על-ידי-צעד לקולסטין וג'קארד קלקלי

שקיפות המשפט היא משימה חשובה בעיבוד שפה טבעית.זה עוזר ביישומים כגון שחזור מידע, סיכוך טקסט, ותשובה לשאלה.מדריך זה מסביר כיצד לחשב דמיון משפטי באמצעות שתי שיטות נפוצות: דמיון קוסטין ודמיון Jaccard.

הבנה של משפטים דומים

עונש דומה מודד כיצד שני משפטים דומים מבוססים על התוכן שלהם.זה כרוך להמיר משפטים ל וקטורים מספריים ולאחר מכן השוואת הווקטורים האלה באמצעות נוסחות מתמטיות ספציפיות.השתי השיטות הפופולריות הן דמיון קוסטין ודומה של Jaccard.

זהות

דמיון קוסטין מחשב את קוסטין של הזווית בין שני וקטורים.זה נע בין 1 ל-1, שבו 1 מציין וקטורים זהים, 0 מציין אורטוקיונאליות, ו-1 מצביע על וקטורים מנוגדים.כדי ליישר אותו, משפטים הופכים ראשונים לכדי שינוי, לעתים קרובות באמצעות טכניקות כמו TF-IDF או קידוד מילים.

הנוסחה למקבילות קוסאין היא:

(ב) ⁇ (ב) ⁇ (ב) ⁇ ⁇ *

כאשר A ו- B הם וקטורים, "..." מציין את המוצר dot, ו ⁇ A ⁇ ו ⁇ B ⁇ הם גודל של הווקטורים.

ג'קארדנס דומה

זהות Jaccard מודדת את החפיפה בין שני סטים.הוא מחושב כגודל הצומת מחולק על ידי גודל האיחוד של הקבוצות. שיטה זו מועילה בעת השוואת נוכחות או היעדר מילים במשפטים.

הנוסחה למקבילה של Jaccard היא:

(ב) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

כאשר A ו- B הם סטים של מילים מכל משפט.המבודדים מספרים מילים נפוצות, והמניפסט נחשב מילים ייחודיות לחלוטין בשני המשפטים.

צעדים מעשיים לשעת חירום

כדי לנסח את הדמיון, בצע את השלבים הבאים:

ציונים גבוהים יותר מצביעים על דמיון גדול יותר בין משפטים.