多空间投影和提示融合的高效提示调整
内容提要
本文介绍了多任务提示调整（MPT）方法，通过提取多个任务的知识，学习可传输的提示并进行低秩更新，以提升自然语言处理任务的性能。研究提出了快速提示调整和选择性提示调整等技术，显著提高了训练效率和性能，尤其在少样本情况下表现优异。
延伸解读
参数高效微调的核心优势
多任务提示调整（MPT）仅调整0.035%的任务特定参数，却在23个自然语言处理数据集上优于完全微调基线。这表明在预训练语言模型规模不断增大的背景下，参数高效微调方法能够以极低的计算和存储成本达到甚至超越传统全参数微调的效果，为实际部署提供了更经济的解决方案。
训练效率的优化路径
Fast Prompt Tuning通过将部分预训练语言模型中的软提示转化到整个模型，节省了30%的训练计算资源。这一技术表明，提示调整不仅关注性能，也在训练效率上持续改进。对于资源有限的研究者或企业，此类方法能显著降低训练成本，同时保持模型性能。
提示插入位置的多样化探索
文章介绍了多种提示插入策略：Selective Prompt Tuning通过可学习概率门选择中间层插入提示，Late Prompt Tuning在中间层插入实例依赖的提示，而Soft Prompt Tuning则在输入层插入可学习嵌入。这些方法各有侧重，分别在全数据、少样本、跨语言等场景下展现出优势，反映了提示调整技术的灵活性和适应性。
跨任务与跨语言迁移的关键因素
研究发现神经元激活的重叠率是决定软提示可迁移性的重要指标，这为理解提示迁移机制提供了新视角。同时，Soft Prompt Tuning在跨语言传递中表现出增强性能，尤其对语言上远离的语言。这些发现提示，提示的迁移能力与模型内部表征的相似性密切相关，未来研究可据此设计更有效的提示初始化或选择策略。
Q&A
什么是多任务提示调整（MPT）方法？
多任务提示调整（MPT）方法通过提取多个任务的知识，学习一个可传输的提示，并进行低秩更新，以高效适应每个下游目标任务。
Fast Prompt Tuning技术有什么优势？
Fast Prompt Tuning技术提高了提示调整的训练效率，能够在保持性能的同时节省30%的训练计算资源。
Selective Prompt Tuning (SPT)框架是如何优化提示调整性能的？
SPT框架通过可学习的概率门控制提示层，选择适当的提示层，从而优化提示调整性能。
Late Prompt Tuning (LPT)方法的主要特点是什么？
LPT方法通过在中间层插入提示，具有更快的训练速度和更低的内存成本，能够在全数据和少样本场景下与全模型调整竞争。
Soft Prompt Tuning (SPT)如何增强跨语言传递性能？
Soft Prompt Tuning通过插入可学习的嵌入到输入层，保持参数高效性，并增强对语言上远离的语言的跨语言传递性能。
注意力提示调整（APT）方法在视频行为识别中的效果如何？
APT方法在视频行为识别中显著提升性能，减少计算复杂度，并在多个数据集上取得了良好效果。
