通过影响分析的上下文学习示范选择
内容提要
本文综述大语言模型上下文少样本学习，涵盖基于影响的示例选择、语义相似演示、任务特定检索器、演示排序课程学习及Self-ICL等方法。研究发现示例选择与排序显著影响性能，最积极与最消极示例差距达22.2%，手写指令通常优于自动生成。
延伸解读
示例选择的影响与扩展性
基于影响的示例选择方法在10个SuperGlue任务上优于大多数基线，且随着k-shot增加性能稳定扩展。分析显示，最积极与最消极示例之间的性能差距高达22.2%，表明示例选择对少样本上下文学习效果影响显著。
语义相似与任务特定检索
语义相似的演示能提升大语言模型性能，并可泛化到大量语言和任务。任务特定的演示检索器可进一步提高性能。检索式少例学习还能减少手动示例选择中的偏差，提高效率和可扩展性。
演示排序与课程学习
演示排序显著影响模型性能。少样本上下文课程学习（ICCL）在推理中逐渐增加演示复杂度，对开源LLM在指导调整阶段有效。但LLM对演示难度层次的辨别能力弱于人类。
指令来源与鲁棒性差异
手写指令和简单指令通常比自动生成的指令更适用于上下文学习，后者泛化性不足。不同模型家族对扰动示例呈现不同行为，表明上下文学习的鲁棒性受多种因素影响，需进一步研究。
Q&A
基于影响的示例选择方法在哪些任务上表现优于基线？
该方法在10个SuperGlue任务上优于大多数基线，并且随着k-shot的增加而稳定扩展。
在少样本上下文学习中，最积极和最消极的示例之间的性能差距有多大？
性能差距高达22.2%。
语义相似的演示如何影响大型语言模型的性能？
语义上相似的演示可以提高大型语言模型的性能，并且可以有效地对大量语言和任务进行泛化。
什么是少样本上下文课程学习（ICCL）？
ICCL是一种演示排序方法，在推理过程中逐渐增加提示演示的复杂性，实验表明它在指导调整阶段对开源LLM有效。
Self-ICL是什么？它有什么作用？
Self-ICL是一种基于零-shot学习的简单框架，用于优化大型语言模型的内在能力，并创造了虚拟演示的概念以有效地进行ICL，在BIG-Bench Hard上能显著提高模型性能。
手写指令和自动生成指令在上下文学习中哪个更有效？
手写的命令和简单的命令通常比自动命令诱导方法更适用于ICL，后者缺乏泛化性。
