وتشكل الكلمات غير الرسمية تحدياً في نظم تجهيز اللغات الطبيعية، وهي عبارة مفادها أن النموذج لم يصادف أثناء التدريب، مما قد يؤثر على دقة تطبيقات البرنامج الوطني للتحرير وقدرتها على الصمود، وقد وضعت أساليب مختلفة لمعالجة هذه المسألة، بما يكفل أن تكون النظم قادرة على معالجة الكلمات الجديدة أو النادرة بفعالية.

التقنيات اللازمة لمعالجة الكلمات

وتستخدم عدة طرق لإدارة كلمات مكتبوف في نظم التخطيط غير الرسمي، وتشمل هذه الأساليب وضع حد للكلمات الفرعية، ونماذج على مستوى الشخصية، واستراتيجيات الترسيخ، ويهدف كل نهج إلى تمثيل الكلمات غير المنظورة بطريقة يمكن أن يفهمها النموذج ويعالجها.

كلمة فرعية

وتكسر كلمة السرد كلماتها إلى وحدات أصغر مثل المفترسات أو المقابض أو تسلسلات الشخصيات، وتكتيكات مثل بيت بير إنكورديندينغ ووردبيس شعبية، وتتيح نماذج لمعالجة الكلمات الجديدة عن طريق الجمع بين وحدات الكلمات الفرعية المعروفة، والحد من مشكلة اليو فيوف.

الاستراتيجيات المدمجة

وتُسند أساليب الإيداع إلى الكلمات عروضاً للمناقلات، ويمكن أن تُنتج النماذج، بالنسبة للكلمات الصادرة عن مكتبوف، تُنشئ مداخلات تستند إلى أرقام الطبعية (N-غرام) أو تستخدم فيها مواد مُخلّصة للسياق مثل الـ"بي.تي.تي.تي.تي.تي.

حسابات للروبوت

الإحتمالات تتضمن تقدير إحتمال كلمات الأووف في سياق معين النماذج التساهلية وتقنيات السلس مثل سلاسة لاب مكان تستخدم لتخصيص الاحتمالات للكلمات غير المنظورة هذه الحسابات تُحسن قدرة النظام على التنبؤ وفهم البرمجيات الجديدة