研究发现，当模型的上下文长度增加时，示例检索在较短上下文下表现好，但随着演示增加，增益减弱。微调比上下文学习更依赖数据，但有时可以超过长上下文性能。长上下文对乱序不敏感，相同标识示例分组可能对性能有负面影响。长上下文性能提升不是来自累积增益，而是来自于重新关注类似示例而非任务学习。

预训练大型语言模型在上下文少例学习方面表现出非凡能力。最近的发展是使用对每个输入查询量身定制的示例进行检索，提高了学习效率和可伸缩性。对检索式少例学习领域的研究进行了广泛概述回顾，讨论了不同设计选择。