Se²: 顺序示例选择用于上下文学习
内容提要
本文综述大语言模型上下文学习中的示范选择方法，包括IDS（迭代选择多样且相关的示范）、RetICL（用强化学习逐个选例）、SAICL（改进注意力架构）、CEIL（将选例视为子集优化）和SEER（用背包规划选代表性示例）。研究表明，选择语义相似且能解决标签模糊性的示范效果最佳，相似性方法优于随机和不确定性抽样。
延伸解读
示范选择方法的多样性
文章综述了多种上下文学习示范选择方法，包括IDS、RetICL、SAICL、CEIL和SEER等。这些方法从不同角度解决示范选择问题：IDS迭代选择多样且相关的示范，RetICL用强化学习逐个选例，SAICL改进注意力架构，CEIL将选例视为子集优化，SEER用背包规划选代表性示例。这表明该领域尚无统一方案，不同方法适用于不同场景。
相似性方法的优势与局限
文章指出，相似性算法在示范选择中胜过随机抽样和不确定性抽样。然而，相似性并非唯一关键因素。研究还发现，选择有助于解决测试示例周围标签模糊性的示范能带来最大性能提升，包括那些曾被LLM错误分类且与测试示例决策边界相近的示例。这提示读者，单纯依赖语义相似可能不够，还需考虑示范对模型决策的修正作用。
实际应用中的权衡
不同方法在效率和性能上各有取舍。例如，SAICL通过结构化注意力机制获得最多3.4倍的推理加速，并可扩展到数百个示范；RetICL在数学问题求解数据集上实现了最先进准确性；SEER在HybridQA基准上优于先前方法。读者在选择方法时，需根据任务类型、计算资源和性能需求进行权衡，而非盲目追求单一指标。
Q&A
上下文学习中的示范选择为什么重要？
因为ICL的性能对少样本示范的选择非常敏感，选择最适合的上下文示范仍然是一个持续的挑战和一个开放性问题。
IDS方法是如何选择示范的？
IDS利用零样本思维推理（Zero-shot-CoT），迭代地选择既具有多样性又与测试样本强相关的示范。具体来说，在示范选择之前对测试样本应用零样本思维推理，选择思维路径作为推理的示范，从而生成答案并得到下一次迭代中用于提取新示范的相关推理路径。经过多次迭代后，采用多数投票的方法获得最终结果。
RetICL方法有什么特点？
RetICL是一种可学习的方法，用于模拟和最佳选择逐个该如何为in-context learning选择任务例子。它将顺序示例选择问题作为马尔可夫决策过程，使用LSTM设计示例检索器模型，并使用PPO进行训练。在数学问题求解数据集上验证，表明它优于启发式和可学习的基线，并在TabMWP数据集上实现了最先进的准确性。
SAICL架构如何改进上下文学习？
SAICL通过将全注意力替换为专为上下文学习设计的结构化注意力机制，并消除个体示范之间的不必要依赖性，同时使模型对示范的排列具有不变性。在元训练框架中评估，显示出与全注意力相当或更好的性能，同时获得最多3.4倍的推理加速。SAICL还始终优于每个示范独立处理的强基线Fusion-in-Decoder（FiD）。由于其线性特性，可以轻松扩展到数百个示范，并实现连续的性能增益。
CEIL算法将示例选择视为什么问题？
CEIL算法将in-context example selection视为子集选择问题，并通过Contrastive Learning Objective进行优化，用于在12个分类和生成数据集上验证其性能。CEIL展示了最先进的性能以及可传输性和组合性。
SEER方法如何选择示例？
SEER是一种选择代表性和多样性的示例集合的新方法，通过将示例选择问题转化为背包整数线性规划问题，通过灵活调整多样性和容量约束条件来提高在HybridQA中的性能。在FinQA和TAT-QA两个真实世界的HybridQA基准测试中，SEER优于先前的示例选择方法。
哪种示范选择策略效果最好？
研究表明，选择语义相似且能解决标签模糊性的示范效果最佳，相似性方法优于随机和不确定性抽样。此外，包括之前被LLM错误分类并且与测试示例的决策边界相近的演示示例能够带来最大的性能提升。
