处理vocabulary(OOV)词是自然语言处理中常见的挑战. 语言模型经常遇到在训练中未见到的词,这可能会影响其性能. 本条讨论有效解决这一问题所使用的实用算法.

子词切变

子字符号化将单词分解为较小的单位,如前缀,后缀,或字符序列. 这种方法允许模型通过将不见的单词分解为已知的子字组件来处理它们. 流行算法包括字节平面编码(BPE)和WordPiece.

字符级模型

字符级模型直接运行在单个字符上而不是单词上。这种方法通过分析其字符序列,使模型能够处理任何新词。虽然在计算上是密集的,但它提供了与OOV问题相对应的强性。

嵌入式近似技术

嵌入近似值涉及根据子词组件或类似已知词来估计未见词的矢量。技术包括平均嵌入子词单元,或使用上下文推论为OOV词生成可信的嵌入值。

结论

应用这些算法可以增强语言模型有效处理伏尔加语外词的能力. 将子词的符号化与嵌入近似化相结合,往往在实际应用中产生最佳效果.