通过多语言提示翻译进行自然语言推理的跨语言迁移
💡
原文中文,约300字,阅读约需1分钟。
📝
内容提要
基于多语言预训练模型的多语言提示翻译器(MPT)在低资源情景中表现出有效性,能够转移软提示到下游任务中,尤其在XNLI的少样本设置中,MPT比基线方法更为突出。
🎯
关键要点
-
基于多语言预训练模型的多语言提示翻译器(MPT)在低资源情景中表现出有效性。
-
MPT能够将软提示有效转移到下游任务中,尤其是在XNLI的少样本设置中。
-
MPT在与源语言相当不同的语言转移时表现更为突出。
-
提出了一个新颖的框架,通过引入多语言提示翻译器来处理嵌入在提示中的重要知识,同时保留任务知识。
➡️