微调、提示、上下文学习和指导微调：我们需要多少标记样本？
内容提要
综述表明，小规模指令微调数据具有高效性：仅需1k-6k样本即可在NLP基准上取得良好性能；通过样本选择、指令增强和少量参数更新，可降低训练成本并提升效果。小语言模型结合提示学习在少样本场景下展现潜力，专家模型微调优于多任务训练。
延伸解读
小规模指令微调的高效性
文章指出，仅需1k-6k个指令微调样本即可在传统NLP基准和基于模型的评估上取得良好性能。这表明，对于许多任务，大规模标注数据并非必需，小规模高质量数据即可达到实用效果，从而显著降低数据收集和训练成本。
数据选择与指令增强的价值
通过基于样本学习百分比的训练数据选择，语言模型能自主筛选高质量数据，降低训练成本并达到或超过全数据集训练的性能。此外，增加指令任务的附加指令（指令增强）能显著提升模型性能，尤其在低数据范式下，其效果等价于平均约200个数据样本，有助于非专家用户定义新任务。
小语言模型与提示学习的潜力
在少样本场景下，小语言模型（如220M参数的T5-base）结合提示学习，仅用有限标记数据（高达全数据的15%）即可达到约75%的准确率。主动少样本抽样和集成策略能进一步提升性能。零样本设置中，优化提示可使小模型准确率大幅提升，凸显提示工程的重要性。
专家模型微调的优势
针对单个任务进行专家模型微调，相比多任务提示微调，在11个未知数据集和13个BIG-bench基准上平均准确率分别提高3.20%和1.29%。分别训练专家模型还能避免负面任务转移，支持持续学习新任务而无需重新训练，并展现组合能力。
Q&A
指令微调需要多少标注样本才能达到好的效果？
研究表明，仅需1k-6k个指令微调样本的子集就足以在传统NLP基准测试和基于模型的评估上取得良好性能。
如何降低大语言模型指令微调的数据使用量？
可以通过低训练数据指令微调（LTD Instruction Tuning）方式，从减少数据使用、优化任务性能、优化指令调整类型和使用任务特定模型等方面入手。实验表明，使用少于原始数据集0.5%的数据即可训练任务特定模型，且性能可提升2%。
小语言模型在少样本场景下表现如何？
小语言模型（如220M参数的T5-base）结合提示学习，在少样本设置下使用有限标记数据（高达全数据的15%）可实现约75%的准确性。主动少样本抽样和集成策略能显著提升性能。
专家模型微调与多任务提示微调相比有什么优势？
针对单个任务进行专家模型微调，相比多任务提示微调，在11个未知数据集和13个BIG-bench基准上平均准确率分别提高3.20%和1.29%。此外，还能避免负面任务转移、持续学习新任务而无需重新训练，并具有组合能力。
指令增强如何提升模型在低数据下的性能？
通过增加指令任务的附加指令，指令增强显著提高了模型性能，特别是在低数据范式下，对于指令微调模型的表现等价于平均约200个数据样本。
少量标注样本如何提升文本分类准确性？
借助大语言模型，通过少量标注样本和持续的人类反馈循环，可以显著提高模型准确性。在金融短语库、银行等数据集上，即使只有少量标注样本，也能超过零样本大语言模型的准确性，提供更好的文本分类性能。
