FPT：用于少样本可读性评估的特征提示调整
原文中文，约1400字，阅读约需4分钟。
📝
内容提要
本文介绍了多种提示调整技术，如Fast Prompt Tuning、统一的Prompt Tuning框架、CP-Tuning和FRPT，旨在提升预训练语言模型的训练效率和性能。研究表明，软提示的迁移性与神经元激活重叠率相关，测试时间提示调整方法能有效提高模型的校准能力和泛化能力。这些技术在文本分类和图像检索等任务中表现优异。
❓
Q&A
什么是Fast Prompt Tuning技术？
Fast Prompt Tuning技术通过将部分预训练语言模型中的软提示转化为整个模型，节省了30%的训练计算资源，同时保持性能。
统一的Prompt Tuning框架有什么优势？
统一的Prompt Tuning框架通过捕获提示语义，提升了BERT风格模型在少样本文本分类中的性能。
CP-Tuning的特点是什么？
CP-Tuning是一种端到端的对比提示调整框架，无需手动工程任务特定提示，集成了连续提示编码技术和可训练的提示参数。
Fine-grained Retrieval Prompt Tuning方法的应用效果如何？
Fine-grained Retrieval Prompt Tuning方法在细粒度图像检索任务中达到了最先进的性能水平，利用鉴别性扰动提示和特征自适应学习少量参数。
软提示的迁移性与什么因素相关？
研究发现，软提示的迁移性与神经元激活的重叠率相关，这是决定软提示可迁移性的重要指标。
测试时间提示调整方法的主要贡献是什么？
测试时间提示调整方法显著提高了CLIP模型的校准能力和泛化能力，能够在单个测试样本上实时学习适应性提示。
🏷️
