本文提出了新的标准来评估子词符号化器中的词汇表示质量和词汇重叠度，发现跨语言单词表的重叠可能对某些下游任务产生负面影响，但在命名实体识别和句子级任务中分享词汇表是有益的。同时，多语种语言模型中特定语言标记的覆盖范围显著影响单词级任务。本文为未来的模型开发人员提供了选择最适合他们特定应用程序的符号化器的详细指导。

本文提出新的标准以评估子词符号化器中的词汇表示质量和词汇重叠度，发现跨语言单词表的重叠可能对某些下游任务产生负面影响，但在命名实体识别和句子级任务中分享词汇表是有益的。同时，多语种语言模型中特定语言标记的覆盖范围显著影响单词级任务。为未来的模型开发人员提供了详细的指导，以选择最适合他们特定应用程序的符号化器。