คําที่ออกจําหน่าย (OV) เป็นคําท้าทายในการประมวลผลภาษาตามธรรมชาติ (NLP) คําเหล่านี้ไม่มีในรุ่นที่อาจมีผลต่อความถูกต้องและทนทานของโปรแกรม NLP ได้มีการพัฒนาเทคนิคต่าง ๆ เพื่อจัดการปัญหานี้ ระบบตรวจสอบสามารถจัดการกับคําใหม่หรือคําที่หายากได้
เทคนิค การ ใช้ คํา OOV
มีหลายวิธีที่ใช้จัดการคํา OOV ในระบบ NLP ซึ่งรวมทั้งการเซ็นคําย่อย โมเดลตัวอักษร และกลยุทธ์การฝังตัว แต่ละวิธีการจะเน้นคําที่มองไม่เห็นในรูปแบบที่แบบจําลองสามารถเข้าใจและประมวลผลได้
การทําคําย่อยให้ง่าย
สัญลักษณ์ย่อยแบ่งคําเป็นหน่วยย่อย เช่น คํานําหน้า, คํากํากับ, หรือลําดับตัวละคร เทคนิกเช่น ไบต์ เพียร์ (BPE) และคําพ้องนิยมนั้นเป็นที่นิยม พวกเขาอนุญาตให้โมเดลจัดการคําใหม่ได้โดยรวมหน่วยย่อยที่รู้จักกัน เพื่อลดปัญหา OOV
กลยุทธ์ ที่ ฝัง ราก
วิธีการฝังตัวช่วยตั้งค่าเวกเตอร์โดยใช้คํา สําหรับคํา OOV นั้น แบบจําลองสามารถสร้างการฝังตัวแบบได้โดยอิงจากตัวอักษร n-gram หรือใช้การฝังตัวแบบบริบทเช่น BTS กลยุทธ์เหล่านี้จะช่วยในการหาความหมายของคําที่มองไม่เห็น
การ คํานวณ เพื่อ การ หา ปลา
การ คํานวณ เกี่ยว ข้อง กับ การ ประมาณ ความ เป็น ไป ได้ ที่ คํา OOV จะ มี อยู่ ใน บริบท.