自我演示：引发大型语言模型的演示外泛化能力
内容提要
本文介绍了Self-ICL框架，通过虚拟演示优化大型语言模型的性能。研究表明，语义相似的示范显著提升模型效果，并提出了任务特定的演示检索器。此外，探讨了自生成上下文学习（SG-ICL）和迭代示范选择（IDS）方法，强调了示范选择对ICL性能的重要性。
延伸解读
示范选择：ICL 性能的关键变量
文章指出，大型语言模型的上下文学习性能对示范选择非常敏感，这构成了一个持续挑战。迭代示范选择（IDS）方法通过零样本思维推理迭代挑选既多样又与测试样本强相关的示范，并在多次迭代后采用多数投票。这提示读者，在实际应用中，示范的质量和相关性可能比数量更重要，盲目增加示例未必带来提升。
自生成示范：减少外部依赖的可行路径
自生成上下文学习（SG-ICL）让模型自行生成演示，从而减少对外部演示的依赖。实验表明，该方法显著优于零样本学习，且生成的演示比随机选取的训练样本表现更一致、方差更低。自我思辨激励策略（SEC）同样让模型自行创建示范，在多项基准上优于零样本学习，并与需要人工示范的上下文学习相当。这为缺乏标注数据的场景提供了参考。
示例数量与干扰：ICL 的潜在风险
文章提到，仅使用一组随机选择的示例也能达到接近全部示例的性能，而使用一组正确示例甚至优于多数先前采用全部示例的 ICL。更值得注意的是，当给出更多正确或错误示例时，ICL 的准确性反而下降或提高，暗示示例间可能存在干扰和虚假关联。这提醒研究者和实践者，在设计 ICL 提示或基准时，需警惕示例数量增加带来的负面效应。
Q&A
Self-ICL框架的主要功能是什么？
Self-ICL框架通过虚拟演示优化大型语言模型的性能，提升其在上下文学习中的能力。
什么是自生成上下文学习（SG-ICL）？
自生成上下文学习（SG-ICL）是一种方法，用于生成大型语言模型自身的演示，以减少对外部演示的依赖。
迭代示范选择（IDS）方法是如何提升ICL性能的？
迭代示范选择（IDS）方法通过零样本思维推理选择相关示范，迭代地选择多样性和强相关性的示范，从而提升ICL性能。
Self-ICL框架如何处理示范选择的挑战？
Self-ICL框架引入任务特定的演示检索器和迭代示范选择方法，以应对示范选择的挑战。
自我思辨激励策略（SEC）有什么优势？
自我思辨激励策略（SEC）允许模型自行创建示范，显著优于零样本学习策略，且无需人工示范。
大型语言模型在上下文学习中的表现如何？
大型语言模型在上下文学习中表现出强大的少样本学习能力，但对示范选择非常敏感。
