微调、提示、上下文学习和指导微调：我们需要多少标记样本？
原文中文，约600字，阅读约需2分钟。发表于：。在本研究中，我们旨在调查专用模型需要多少标记样本才能达到优越性能，同时考虑结果方差。我们通过观察提示、上下文学习、微调和指令调整的行为，确定它们在增加不同复杂度任务的标记训练样本数量时的平衡点，发现专用模型通常只需要少量样本（100-1000）就能达到或超越通用模型。与此同时，所需的标记数据量强烈依赖于任务复杂度和结果方差。
本研究探讨了小语言模型和prompt-learning在零售业中客户-代理商互动的文本分类中的潜力。结果显示，T5-base模型在少样本设置下的准确性约为75%。FLAN-T5-large模型在使用优化的提示时准确性提升了近13%。这些发现强调了小语言模型和prompt-learning的潜力，以及主动少样本抽样和集成策略的好处，以及零样本设置中提示工程的重要性。
