多空间投影和提示融合的高效提示调整
原文中文,约300字,阅读约需1分钟。发表于: 。通过多空间投影和提示融合的方式,我们提出了一种高效的提示调整方法(EPT),旨在解决平衡准确性和效率的问题,同时提升语言模型在不同下游任务上的表现。实验结果表明,相对改进百分比高达 28.8%,训练时间减少了 14%。
本文研究了在预训练语言模型中插入可学习的嵌入或软提示,实现参数高效的Soft Prompt Tuning (SPT)方法。通过冻结模型参数并只训练软提示,可以减少计算成本和存储开销,并提升跨语言传递性能。同时,还探索了软提示相关因素对跨语言传递性能的影响。