本文综述提示微调(Prompt Tuning)的参数高效方法。SPT通过可学习概率门选择提示层,并用SPT-DARTS双层优化提升性能;软提示的可迁移性取决于神经元激活重叠率;Fast Prompt Tuning节省30%训练算力;SPoT用源任务提示初始化目标任务,减少2.7万倍参数;PPT在预训练阶段加入软提示以改善初始化;LPT将提示插入中间层,训练更快;SPTAR强化密集检索;MPT学习可迁移的共享提示,仅调0.035%参数。
本文提出了Selective Prompt Tuning (SPT)框架,通过插入可学习的概率门控制的提示来选择适当的提示层。同时,提出了SPT-DARTS双层优化框架,可以更好地优化可学习门并改善所学提示层设置的最终提示调整性能。实验证明,SPT框架在全数据和少样本情况下比PETuning基准方法表现更好,参数可调性相当或更少。
完成下面两步后,将自动完成登录并继续当前操作。