三则大模型使用提示技巧
内容提要
DeepMind的新论文研究了大模型的使用提示技巧，发现通过提供更多示例可以提升性能。建议使用合成生成的示例，并仅提供问题而不提供答案。多镜头ICL可以克服预训练偏差，在非NLP预测任务上表现良好。提示中示例的顺序和数量会影响多样本性能。多次ICL仅使用问题时，可以实现相当或更优的性能，同时提高通过情境学习解决分布外问题的能力。
延伸解读
示例数量与任务难度的权衡
文章指出，从少量示例（1-5个）增加到大量示例（100-1000个），模型性能会大幅提升，且任务越难，提升越明显。但添加更多示例有时反而会降低某些任务的性能，因此并非越多越好。读者需注意，示例数量需要根据具体任务进行权衡，避免盲目堆砌。
合成示例与无答案提示的实用价值
文章建议使用合成生成的示例而非人工标注的示例，并只在提示中提供问题而不提供答案，效果同样良好。这意味着在实际应用中，可以节省标注成本，并避免人工答案可能带来的误导。但需注意，这一结论基于特定实验，不同模型和任务可能有所差异。
模型差异与顺序影响
文章测试了Gemini 1.5、GPT-4和Claude 3.5，发现不同LLM在使用多样本ICL时成功程度不同，说明这不是一个与模型无关的技巧。此外，示例的顺序也会影响性能，优化系统如DSPy可能有助于解决此问题。读者在应用时需考虑模型特性和示例排列。
克服预训练偏差与分布外问题
文章表明，多次ICL可以克服模型在预训练期间灌输的偏见，随着任务学习，偏见会消失。同时，仅使用问题的多次ICL能提升解决分布外问题的能力，在数学任务等上表现良好。这提示读者，通过增加示例数量，可能缓解模型固有偏差，但需注意任务类型和示例质量。
Q&A
如何通过示例提升大模型的性能？
提供更多示例可以显著提升模型性能，尤其是在任务难度增加时。
使用合成生成的示例有什么优势？
建议使用合成生成的示例而非人类标注的示例，效果良好。
多镜头ICL如何克服预训练偏差？
多镜头ICL可以克服预训练偏差，适用于非NLP预测任务。
示例的顺序对模型性能有影响吗？
示例的顺序会影响多样本性能，优化系统如DSPy可能有助于解决此问题。
多次ICL仅使用问题时的效果如何？
多次ICL仅使用问题时可实现相当或更优的性能，表明提供解决方案可能多余。
添加更多示例会降低性能吗？
在提示中添加更多示例有时会降低某些任务的性能，需谨慎处理。
