跨语言迁移的软提示调整：少即是多
内容提要
本文综述提示微调（Prompt Tuning）的参数高效方法。SPT通过可学习概率门选择提示层，并用SPT-DARTS双层优化提升性能；软提示的可迁移性取决于神经元激活重叠率；Fast Prompt Tuning节省30%训练算力；SPoT用源任务提示初始化目标任务，减少2.7万倍参数；PPT在预训练阶段加入软提示以改善初始化；LPT将提示插入中间层，训练更快；SPTAR强化密集检索；MPT学习可迁移的共享提示，仅调0.035%参数。
延伸解读
软提示迁移的关键：神经元激活重叠率
文章指出，软提示在不同任务和模型之间的可迁移性，很大程度上取决于神经元激活的重叠率。这意味着，当源任务与目标任务在模型内部激发的神经元模式越相似，提示的迁移效果就越好。这一发现为提示迁移提供了可量化的依据，也提示研究者在选择源任务或设计提示时，可以关注激活重叠这一指标，而非仅凭任务表面相似性。
参数高效与训练高效的平衡
文章介绍了多种提升效率的方法：Fast Prompt Tuning通过将部分PLM中的软提示转化到整个PLM，节省30%训练算力；LPT将提示插入中间层，训练更快且内存更低；MPT仅调整0.035%的任务特定参数。这些方法表明，在追求参数高效的同时，训练效率和内存成本也是重要考量，读者可根据实际资源约束选择合适方案。
提示初始化策略的演进
从SPoT用源任务提示初始化目标任务，到PPT在预训练阶段加入软提示以获得更好初始化，文章展示了初始化策略的演进。SPoT减少了多达27000倍的任务特定参数，PPT则使预训练提示调整达到或优于整体微调。这些工作说明，良好的初始化能显著提升提示微调的性能和参数效率，是实际应用中的重要环节。
Q&A
SPT是什么？它有什么创新点？
SPT是Selective Prompt Tuning的缩写，是一种半参数化的提示微调方法。它包含一个内存库，可以根据离散提示检索记忆提示，并通过在每个中间层插入由可学习的概率门控制的提示来学习选择适当的提示层。此外，SPT还提出了双层优化框架SPT-DARTS，可以更好地优化可学习门并改善最终提示调整性能。
软提示的可迁移性受什么因素影响？
软提示的可迁移性取决于神经元激活的重叠率。研究发现，神经元激活的重叠率是决定软提示在不同任务和不同模型之间可迁移性的重要指标。
Fast Prompt Tuning如何提高训练效率？
Fast Prompt Tuning通过将partial PLMs中的soft prompts转化到整个PLM中来提高prompt tuning的训练效率，该技术可以在保持性能的同时节省30%的训练计算资源。
SPoT方法如何提升Prompt Tuning的性能？
SPoT（Soft Prompt Transfer）通过学习源任务的prompt来初始化目标任务的prompt，从而提升Prompt Tuning的性能。它在语言模型大小上向SuperGLUE基准匹配或胜过标准模型调整，同时减少了多达27,000倍的任务特定参数。此外，还提出了一种高效的检索方法来识别相似的任务和预测最适合新目标任务的来源任务。
LPT方法有什么特点？
LPT（Late Prompt Tuning）是一种PETuning方法，它将追加的提示插入到PTM的中间层而非输入层或所有层，并通过一个神经提示生成器获得实例依赖的提示。它具有更快的训练速度和更低的内存成本，可在全数据和少样本场景下实现与全模型调整和其他PETuning方法竞争的性能。
MPT方法在参数效率方面表现如何？
MPT（多任务提示调整）方法通过从多个特定于任务的源提示中提取知识来首先学习一个单一可传输的提示，然后学习该共享提示的乘性低秩更新，以高效地将其适应每个下游目标任务。在23个自然语言处理数据集上进行的广泛实验表明，该方法在某些情况下优于最先进的方法，包括完全微调基线方法，尽管只有0.035％的特定于任务的参数被调整。
