FPT：用于少样本可读性评估的特征提示调整
内容提要
本文介绍了多种提示调整技术，如Fast Prompt Tuning、统一的Prompt Tuning框架、CP-Tuning和FRPT，旨在提升预训练语言模型的训练效率和性能。研究表明，软提示的迁移性与神经元激活重叠率相关，测试时间提示调整方法能有效提高模型的校准能力和泛化能力。这些技术在文本分类和图像检索等任务中表现优异。
延伸解读
提示调整的效率优化路径
文章介绍了多种提升提示调整效率的技术。Fast Prompt Tuning通过将部分预训练语言模型中的软提示转化到整个模型，节省了30%的训练计算资源，同时保持性能。PPT框架则在预训练阶段添加软提示以获得更好的初始化，使下游任务效果达到或优于整体微调。这些方法表明，提示调整不仅关注性能，也注重计算效率，为实际应用大规模预训练语言模型提供了有效且高效的途径。
软提示迁移性的关键因素
文章指出，软提示在不同任务和模型之间的可迁移性是一个重要研究方向。研究发现，神经元激活的重叠率是决定软提示可迁移性的重要指标。这意味着，当软提示与目标模型神经元的激活模式重叠较高时，迁移效果可能更好。这一发现为改进提示调整方法提供了理论依据，并建议进一步研究提示对模型的刺激方法，以提升迁移性能。
测试时间提示调整的校准与泛化
针对CLIP模型，文章探讨了测试时间提示选择对校准能力的影响。研究发现，导致更高文本特征分散的提示能带来更好校准的预测，并据此提出了平均文本特征分散（ATFD）指标及校准的测试时间提示调整方法（C-TPT），无需标记数据即可提高校准能力。此外，测试时提示调整（TPT）方法能在单个测试样本上实时学习适应性提示，显著提高CLIP模型的泛化能力，在zero-shot top-1准确率上比以往方法提升3.6%。
知识融入与规则提示的增强效果
文章还介绍了通过外部知识和逻辑规则增强提示调整的方法。知识型提示微调将外部知识融入语言模型的提示操作，在评论分类任务中有效提高和稳定了性能。基于规则的提示调整（PTR）方法则将逻辑规则应用于构建提示，以编码先前知识，在关系分类等文本分类任务中显著且一致地优于现有最先进基线。这些方法表明，结合外部知识或规则可以进一步提升提示调整的效果。
Q&A
什么是Fast Prompt Tuning技术？
Fast Prompt Tuning技术通过将部分预训练语言模型中的软提示转化为整个模型，节省了30%的训练计算资源，同时保持性能。
统一的Prompt Tuning框架有什么优势？
统一的Prompt Tuning框架通过捕获提示语义，提升了BERT风格模型在少样本文本分类中的性能。
CP-Tuning的特点是什么？
CP-Tuning是一种端到端的对比提示调整框架，无需手动工程任务特定提示，集成了连续提示编码技术和可训练的提示参数。
Fine-grained Retrieval Prompt Tuning方法的应用效果如何？
Fine-grained Retrieval Prompt Tuning方法在细粒度图像检索任务中达到了最先进的性能水平，利用鉴别性扰动提示和特征自适应学习少量参数。
软提示的迁移性与什么因素相关？
研究发现，软提示的迁移性与神经元激活的重叠率相关，这是决定软提示可迁移性的重要指标。
测试时间提示调整方法的主要贡献是什么？
测试时间提示调整方法显著提高了CLIP模型的校准能力和泛化能力，能够在单个测试样本上实时学习适应性提示。
