校外语(OOV)词在自然语言处理(NLP)系统中构成一个重大挑战,这些词在系统的培训数据中并不存在,这会导致翻译,情绪分析和语音识别等任务的准确性降低. 实施有效的策略来处理OOV词对于提高系统稳健性和性能至关重要.

处理 OOV 单词的方法

为解决NLP系统中OOV词的问题,使用了几种方法,这些方法旨在预测或生成隐形词的表示,或减少未知词汇对系统输出的影响.

共同战略

  • 子词切变:[] 将单词分解成摩菲或音节等较小的单位,使系统能够识别部分未见单词.
  • 分划器级模型:[ 使用字符而不是单词使系统能够处理任何已知或未知的单词.
  • 嵌入式近似:[]根据类似的已知单词对OOV词进行矢量表示估计.
  • 文字学克吕斯:[ 借周围的词来推断一个未知词的含义或作用.

优点和限制

子词和字符法提高了系统处理新词和降低省外率的能力,但是,它们可能会增加计算的复杂性,有时导致表述的不精确. 上下文法可以提供更好的理解,但严重依赖周围的文字,并可能与模糊的文字相抗衡.