DePT: 解耦式提示调节
原文约300字/词，阅读约需1分钟。发表于：。该研究通过解决提示调整中的基础 - 新任务权衡困境，提出了一种基于 Decoupled Prompt Tuning (DePT) 框架的方法，通过将基础特定知识与特征通道解耦，最大程度地保留原特征空间中的任务共享知识，从而在新任务中实现更好的零样本泛化能力。
DePT是一种新的参数高效微调方法，通过将软提示分解为较短的软提示和一对低秩矩阵并使用两个不同的学习率进行优化。在23个自然语言处理和视觉语言任务上的实验表明，DePT在某些情况下优于最先进的参数高效微调方法，包括完全微调基线。此外，DePT在模型规模增大时更加高效，并且适用于少样本学习设置和各种模型架构和规模。
