为少样本示例选择设计信息指标
内容提要
本研究提出了 MetricPrompt 方法，解决了少样本分类中的 verbalizer 设计问题，表现优于手动和其他自动方法。同时，研究探讨了多种少样本学习技术，如 LM-BFF 和 PERFECT 方法，在多种自然语言处理任务中均显示出显著改进。
延伸解读
少样本学习中的提示设计挑战
文章指出，在少样本分类中，verbalizer 的设计是一个关键难题。传统方法依赖手动设计或自动搜索，但效果有限。MetricPrompt 将 verbalizer 设计转化为文本对相关性评估任务，利用 prompting 模型作为度量，从而超越了手动和其他自动方法。这提示我们，将分类问题重构为匹配或评估任务，可能是一条提升少样本性能的有效路径。
低资源场景下的微调改进
LM-BFF 通过改进面向小型语言模型的少样本微调方法，在低资源环境下显著提升了多种 NLP 任务的性能，最高可达 30%，平均提高 11%。这表明，即使不依赖大规模标注数据，通过优化微调策略和提示组合，也能充分释放预训练语言模型的潜力。对于资源有限的实际应用，这类方法具有较高的参考价值。
无需手动提示的自动化方法
PERFECT 方法无需手动构造提示信息，仅需少量数据即可完成微调，其基于任务适配器和多令牌标签嵌入的设计，在多种自然语言处理任务上优于现有先进方法。这反映出少样本学习正朝着减少人工干预、提高自动化程度的方向发展，为快速部署到新任务提供了可能。
数据增强与提示排列的补充思路
文章还提到，通过调参生成大量新训练样本，并在小样本和合成样本上微调，能在 GLUE 基准上超过现有方法。此外，PERO 方法表明适当排列示例是关键，少于十个示例即可实现有效泛化。这些思路说明，除了改进模型结构，数据合成和示例组织方式也是提升少样本学习效果的重要维度。
Q&A
MetricPrompt 方法的主要优势是什么？
MetricPrompt 方法在少样本分类中表现优于手动和其他自动 verbalizer 设计方法，取得了最新的 SOTA 表现。
LM-BFF 方法如何提升少样本学习的性能？
LM-BFF 方法通过改进的 fine-tuning 技术，在低资源环境下提升了多种 NLP 任务的性能，最高可达 30%。
PERFECT 方法的特点是什么？
PERFECT 方法无需手动构造提示信息，仅需少量数据即可完成微调，优于现有的先进方法。
Few-Shot Bot 是什么？
Few-Shot Bot 是一种无需微调的提示分类器，能够通过少量对话示例完成知识检索并生成人类般自然的响应。
STPrompt 模型的创新之处在哪里？
STPrompt 模型通过构建新型提示，能自动选择合适的语义提示，提升少样本文本分类的性能。
如何通过调参生成新训练样本？
通过调参生成大量新训练样本，能在小样本学习中取得更好的结果，超越现有方法。
