Pagsukat sa Pagkakatulad ng mga Ritwal: Isang Hakbang-By-Tandaang Patnubay sa Cosine at ang mga Pagkalkula ng Jaccard
Ang pagsukat sa pagkakatulad ng pangungusap ay isang mahalagang gawain sa pagpoproseso ng natural na wika. Tumutulong ito sa mga aplikasyon tulad ng pag-iinsect ng impormasyon, pag-eesthesible ng teksto, at pagsagot sa tanong. ang gabay na ito ay nagpapaliwanag kung paano kakalkulahin ang pagkakahalintulad ng pangungusap gamit ang dalawang karaniwang paraan: Cosine pagkakatulad at Jaccard pagkakatulad.
Pag - unawa sa Pagkakatulad ng mga Paghatol
Ang pagkakatulad ay sumusukat kung paanong ang dalawang pangungusap ay parehong batay sa nilalaman nito.
Pagkakatulad ng Cosine
Ang pagkakatulad ng cosine ay tumatantiya sa cosine ng anggulo sa pagitan ng dalawang vector. Ito ay mula -1 hanggang 1, kung saan 1 ay nagpapahiwatig ng mga magkatulad na vector, 0 ay nagpapakita ng orthodonality, at -1 ay nagpapahiwatig ng magkasalungat na vector. Upang mag-embento nito, ang mga pangungusap ay unang binabago upang maging mga vector, na kadalasang gumagamit ng mga tekniks tulad ng TF-IDF o mga salitang embending.
Ang pormula para sa pagkakatulad ni Cosine ay:
Cosine Assity = (A · B) / ( ⁇ A ⁇ i ⁇ i ⁇ * ⁇ B ⁇ i ⁇ )
Kung saan ang A at B ay mga vector, ang "·" ay nagpapahiwatig ng produktong tuldok, at ang ⁇ Aixić ati ⁇ B ⁇ i ⁇ i ⁇ ang mga magnitude ng mga vector.
Pagkakatulad ng Jaccar
Ang pagkakatulad ni Jaccard ay sumusukat sa pagkakasanib ng dalawang set. ito ay kinakalkula bilang sukat ng interseksiyon na hinati ng sukat ng pagsasanib ng mga set. Ang paraang ito ay kapaki-pakinabang kapag inihahambing ang presensiya o kawalan ng mga salita sa mga pangungusap.
Ang pormula para sa pagkakahawig ng Jaccard ay:
Jaccard Astity = ⁇ A ⁇ B ⁇ / ⁇ A ⁇ B ⁇ []
Kung saan ang A at B ay mga set ng salita mula sa bawat pangungusap, ang mga salita ay mahalaga sa isang numero, at ang mga gilid ay katumbas ng kabuuang natatanging mga salita sa magkabilang pangungusap.
Praktikal na mga Hakbang sa Pagkalkula
Upang magkaroon ng pagkakatulad sa pangungusap, sundin ang mga hakbang na ito:
- Ang mga pangungusap bago ang pagproseso ay sa pamamagitan ng pag - aalis ng bantas at paghinto sa mga salita.
- Ikumberte ang mga pangungusap sa mga vector o set ng mga salita.
- Ikapit ang pormulang Cosine o Jaccard upang makakuha ng mga pagkakatulad na iskor.
Ang mas mataas na mga iskor ay nagpapahiwatig ng mas malaking pagkakatulad sa pagitan ng mga pangungusap.