低资源跨语言迁移的词汇扩展
原文中文，约1300字，阅读约需4分钟。
📝
内容提要
本文研究了生成式大型语言模型在跨语言适应中的有效性，发现跨语言词汇适应可提升推理速度达271.5%。提出了多种技术以改善低资源语言的性能，包括词汇替换和嵌入重初始化。实验表明，持续训练和任务特定微调能提高语言理解和下游任务性能，而词汇扩展效果有限。
🔎
延伸解读
词汇扩展的局限与替代方案
文章指出，扩展词汇对低资源语言性能提升有限，而词汇替换和嵌入重初始化更有效。这表明单纯增加词表可能无法解决标记器效率低下的根本问题，读者应关注混合映射等替代方法，它们能更好地处理词汇缺失。
持续训练与任务微调的分工
持续训练主要提升语言理解能力，任务特定微调则改善下游任务表现。两者作用不同，实践中需根据目标权衡：若需通用语言能力，持续训练更关键；若针对具体任务，微调不可或缺。但文章未说明两者结合的最佳顺序。
模型规模与适应策略的关联
较大模型通过少样本微调即可提高任务性能，而多语言模型在适应时表现不如单语言模型。这提示资源有限时，优先选择较大模型进行少样本微调可能更高效，但需注意多语言模型本身的适应劣势。
❓
Q&A
跨语言词汇适应如何提升模型推理速度？
跨语言词汇适应可提升模型推理速度高达271.5%。
有哪些技术可以改善低资源语言的性能？
可以通过词汇替换和嵌入重初始化来改善低资源语言的性能。
持续训练和任务特定微调对语言理解有什么影响？
持续训练和任务特定微调能提高语言理解和下游任务性能。
词汇扩展对模型性能的提升效果如何？
词汇扩展对性能的提升效果有限。
较大的模型如何提高任务性能？
较大的模型通过少样本微调可以提高任务性能。
混合映射方法在多语言模型中有什么优势？
混合映射方法在解决多语言模型中的词汇缺失问题上更有前途。
🏷️
