语言模型的词汇扩展和初始化方法的实证比较
原文中文，约300字，阅读约需1分钟。发表于：。这篇论文论述了通过扩展标记器、初始化新词汇对应的嵌入，以及使用基于凸包的初始化方法（Constrained Word2Vec）来改进语言模型在其他语言上的表现，并通过实验结果展示了 CW2V 方法在多语言环境下与其他复杂方法相媲美的性能，进一步表明即使使用较简单的初始化方法，也能实现高效的大规模多语言持续预训练。
该论文介绍了一种改进语言模型在其他语言上表现的方法，通过扩展标记器、初始化新词汇对应的嵌入，并使用基于凸包的初始化方法。实验结果显示，该方法在多语言环境下与其他复杂方法相媲美，证明即使使用简单的初始化方法，也能实现高效的大规模多语言持续预训练。
