DePT: 分解式提示调整用于参数高效微调
原文中文,约300字,阅读约需1分钟。发表于: 。通过将软提示分解为较短的软提示和一对低秩矩阵并使用两个不同的学习率进行优化,我们提出了分解提示调优(DePT)。通过在 23 个自然语言处理(NLP)和视觉语言(VL)任务上的广泛实验,我们证明了 DePT 在某些情景下优于最先进的参数高效微调方法,包括完全微调基线。此外,我们的进一步研究揭示了 DePT 在模型规模增大时更加高效,并展示了 DePT 在少样本学习设置和各种模型架构和规模中的适应性。
该文介绍了一种名为“分解提示调优(DePT)”的新方法,通过将软提示分解为较短的软提示和一对低秩矩阵并使用两个不同的学习率进行优化,可以在某些情景下优于最先进的参数高效微调方法。作者在23个自然语言处理和视觉语言任务上进行了广泛实验,并发现DePT在模型规模增大时更加高效,在少样本学习设置和各种模型架构和规模中也表现出适应性。