本文研究了在预训练语言模型中插入可学习的嵌入或软提示,实现参数高效的Soft Prompt Tuning (SPT)方法。通过冻结模型参数并只训练软提示,可以减少计算成本和存储开销,并提升跨语言传递性能。同时,还探索了软提示相关因素对跨语言传递性能的影响。
本研究通过插入可学习的嵌入或软提示到模型的输入层,将预训练语言模型调适到特定任务。研究发现,这种方法减少了计算成本和存储开销,同时增强了跨语言传递性能。研究还探索了不同因素对跨语言传递性能的影响。
完成下面两步后,将自动完成登录并继续当前操作。