إن معالجة الكلمات خارج المفردات تشكل تحدياً مشتركاً في معالجة اللغات الطبيعية، وكثيراً ما تصادف نماذج اللغات كلمات لم ترها أثناء التدريب، مما قد يؤثر على أدائها، وتناقش هذه المادة الخوارزميات العملية المستخدمة لمعالجة هذه المسألة بفعالية.

كلمة فرعية

وتكسر كلمة السرد إلى وحدات أصغر حجماً، مثل المفترسات أو المقابض أو تسلسلات الشخصية، وهذا النهج يسمح للنماذج بتصنيف الكلمات غير المرئية عن طريق تحويلها إلى عناصر معروفة للكلمات الفرعية، وتشمل الخوارزميات الشعبية تزيين البيت بير ووردبيس.

النماذج ذات المستوى السمعي

وتمارس نماذج على مستوى السمات مباشرة على شخصيات معينة بدلا من الكلمات، وهذه الطريقة تتيح للنموذج معالجة أي كلمة جديدة عن طريق تحليل تسلسله الخاص، وعلى الرغم من أن هذا النموذج مكثف من الناحية الحسابية، فإنه يوفر قوة ضد قضايا التوقيف.

تقنيات التقريب

ويشمل التقريب المخفف تقدير النواقل للكلمات غير المنظورة على أساس عناصرها من كلماتها الفرعية أو ما شابهها من الكلمات المعروفة.

خاتمة

ويؤدي تنفيذ هذه الخوارزميات إلى تعزيز قدرة نماذج اللغات على معالجة الكلمات خارج نطاق النطق بفعالية، وكثيرا ما يؤدي الجمع بين كلمة فرعية وتقريب التقريب إلى تحقيق أفضل النتائج في التطبيقات العملية.