اندازه گیری شباهت جمله یک کار مهم در پردازش زبان طبیعی است.این به برنامه هایی مانند بازیابی اطلاعات، خلاصه متن و پاسخ سوال کمک می کند.این راهنما توضیح می دهد که چگونه شبیه سازی جمله را با استفاده از دو روش مشترک محاسبه کنید: شباهت Cosine و Jaccardity مشابه.

درک شباهت های حکم

اندازه گیری مشابه بودن حکم که چگونه دو جمله بر اساس محتوای آنها است، شامل تبدیل جملات به بردارهای عددی و سپس مقایسه این بردارها با استفاده از فرمول های ریاضی خاص است.دو روش محبوب شبیه سازی Cosine و شبیه سازی Jaccard هستند.

شباهت های Cosine

شباهت Cosine محاسبه کننده زاویه بین دو بردار است. آن را از 1 تا 1، که 1 نشان دهنده بردارهای یکسان، 0 نشان دهنده orthogonament، و -1 نشان دهنده بردارهای مخالف.

فرمول مشابه بودن Cosine:

[[ویرایش] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱]

در جایی که A و B ناقل هستند، “·” محصول dot را نشان می دهد و É و ⁇ ، اندازه بردارها هستند.

شباهت های Jaccard

شباهت کارت Jaccard بین دو مجموعه همپوشانی دارد، به عنوان اندازه تقاطع تقسیم شده توسط اندازه اتحادیه مجموعه ها محاسبه می شود.این روش در مقایسه حضور یا عدم وجود کلمات در جملات مفید است.

فرمول شبیه سازی Jaccard این است:

[[ویرایش] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۲] [۱] [۱] [۲] [۱] [۱] [۱] [۱] [۱] [۳] [۱] [۲] [۱] [۲] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۲] [۲] [۲] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۲] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۱] [۲] [۲] [۱] [۱] [۱] [۱] [۲] [۲] [۱]

در جایی که A و B مجموعه ای از کلمات از هر جمله هستند، تعداد اعداد و ارقام رایج است و مخرج کل کلمات منحصر به فرد را در هر دو جمله به حساب می آورد.

گام های عملی برای محاسبه

برای محاسبه ی شباهت های جمله، این مراحل را دنبال کنید:

  • جملات پیش پردازش را با حذف نشانه گذاری و متوقف کردن کلمات.
  • تبدیل جملات به بردار یا مجموعه کلمات.
  • فرمول Cosine یا Jaccard را برای به دست آوردن نمرات مشابه اعمال کنید.

نمرات بالاتر نشان دهنده شباهت بیشتر بین جملات است.