本文研究了使用高资源语言预训练的模型权重作为启动来降低获取低资源语言高质量语言模型所需的数据和计算量的方法，并提出了一种嵌入初始化方法FOCUS，该方法在适应XLM-R时优于先前的方法。

Tik-to-Tok：一个逐令牌翻译语言模型的嵌入初始化策略用于有效语言适应
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证