再探在上下文学习中的示范选择策略
内容提要
本文综述大语言模型上下文学习中的示范选择研究，涵盖语义相似示范提升性能并泛化至多语言任务、迭代示范选择结合零样本思维推理与多数投票优于现有方法、选择缓解标签模糊且接近决策边界的示范收益最大、基于信息量覆盖的Set-BSR可选出最丰富示范集、手写指令常优于自动诱导、上下文反思与影响分析示例选择均有效，以及利用注意力与梯度对偶的两阶段方法增强推理。
延伸解读
示范选择的关键维度：相似性、多样性与信息量
文章综述了多种示范选择策略，核心围绕相似性、多样性和信息量展开。语义相似示范能提升性能并泛化至多语言任务；迭代示范选择（IDS）结合零样本思维推理与多数投票，兼顾多样性与相关性；Set-BSR则基于信息覆盖选择最丰富示范集。这些方法表明，单一维度不足，需综合权衡。
标签模糊与决策边界：被忽视的示范价值
研究发现，选择有助于解决测试示例周围标签模糊性的示范，尤其是先前被LLM错误分类且接近决策边界的示例，能带来最大性能提升。这提示示范选择不应仅追求语义相似，还需关注对模糊样本的区分能力，从而更有效地引导模型决策。
手写指令与自动诱导：泛化性的权衡
文章指出，手写指令和简单指令通常比自动指令诱导方法更适用于上下文学习，后者缺乏泛化性。这意味着在实际应用中，精心设计的手写指令可能比自动生成的指令更可靠，尤其在跨任务场景下，自动方法可能因过拟合而表现不佳。
影响分析与两阶段方法：量化示范效应
基于影响分析的示例选择在10个SuperGlue任务上优于多数基线，并发现最积极与最消极示例间性能差距高达22.2%。两阶段方法利用注意力和梯度对偶，将上下文学习分为‘Thinking’和推理阶段，通过递归前向优化示范增强推理能力。这些方法为理解示范效应提供了量化视角。
Q&A
在上下文学习中，选择语义相似的示范为什么能提升大语言模型的性能？
语义相似的示范可以提高大型语言模型的性能，并且可以有效地对大量语言和任务进行泛化。此外，引入任务特定的演示检索器可以进一步提高性能。
迭代示范选择（IDS）方法是如何工作的？
IDS利用零样本思维推理（Zero-shot-CoT），迭代地选择既具有多样性又与测试样本强相关的示范。具体地，在示范选择之前对测试样本应用零样本思维推理，选择思维路径作为推理的示范，生成答案并得到下一次迭代中用于提取新示范的相关推理路径。经过多次迭代后，IDS采用多数投票的方法获得最终结果。
选择什么样的示范对缓解标签模糊性最有效？
选择那些有助于解决测试示例周围固有标签模糊性的示范示例有益，特别是包括之前被LLM错误分类并且与测试示例的决策边界相近的演示示例能够带来最大的性能提升。
Set-BSR方法如何选择信息量最丰富的示范集？
Set-BSR基于覆盖测试输入相关重要方面的信息量评估框架，来找出信息最丰富的示范集。应用于复杂构成生成任务和多元语言模型中，效果最佳。
手写指令和自动诱导指令在上下文学习中哪个更有效？
实验和评估发现，手写的命令和简单的命令通常比自动命令诱导方法更适用于ICL，因为后者缺乏泛化性。
基于影响的示例选择方法在少样本上下文学习中的效果如何？
基于影响的示例选择方法在10个SuperGlue任务上优于大多数基线，并且随着k-shot的增加而稳定扩展。分析发现最积极和最消极的示例之间的性能差距高达22.2％。
