上下文语言学习：结构和算法
内容提要
本文综述大语言模型上下文学习（ICL）新范式，涵盖训练与演示设计策略、挑战及未来方向。研究表明ICL可压缩为任务向量，其表现更受预训练语料与监督方法影响，而非模型规模；ICL可模拟核回归与梯度下降，语音模型经热启动训练也能实现ICL，小模型经微调亦可具备该能力。
延伸解读
上下文学习不依赖模型规模
文章指出，上下文学习（ICL）的表现更多受预训练语料库组成和监督方法影响，而非模型大小。这意味着即使模型参数较少，通过精心设计预训练数据和监督策略，也能获得较强的ICL能力。同时，在代码上预训练的模型展现出更好的泛化性，并更受益于思维链提示。这提示研究者和开发者，优化数据与训练目标可能比单纯扩大模型规模更有效。
ICL与经典算法的理论联系
文章提到，ICL可以模拟核回归和梯度下降等经典机器学习算法。例如，有研究证明在上下文提示上的贝叶斯推理可视为大样本上的核回归，且LLM的注意力与隐藏特征与核回归行为匹配。另一项工作则从理论上说明基于Transformer的模型能实现上下文梯度下降及算法自适应选择。这些发现为理解ICL机制提供了统计学习视角，也暗示ICL并非黑箱，而是有规律可循。
语音与翻译领域的ICL拓展
文章介绍了ICL在语音和机器翻译中的进展。在语音处理中，通过热启动训练，语音语言模型能在无文本监督下进行ICL，并在语音分类任务上验证了可行性。在神经机器翻译的领域适应中，小模型经微调也能执行ICL，利用少量示例适应新领域，其翻译质量和即时适应率优于传统监督技术和基于400亿参数大模型的ICL。这表明ICL能力可跨模态和任务迁移，且小模型经专门训练也能具备。
Q&A
上下文学习（ICL）通常具有什么样的简单结构？
上下文学习通常具有非常简单的结构，即对应于仅有查询 x 和从训练集计算得到的单个“任务向量”的 Transformer LLM，可将训练集 S 压缩为单个任务向量 θ(S)，并使用该任务向量来调节 Transformer 以产生输出。
哪些因素更影响大语言模型在语法敏感性上的变异性？
相较于模型大小，模型在语法敏感性上的变异性更多地受到预训练语料库组成和监督方法的影响。此外，在代码上预训练的模型更好地推广，并在更大程度上受到思维链提示的益处。
大语言模型如何模拟核回归算法？
大语言模型可以在面对语境示例时模拟核回归算法，在 Context prompts 上的贝叶斯推理可以被当作大样本上的核回归，并且 LLMs 中的注意力和隐藏特征与核回归的行为相匹配。
语音语言模型如何实现上下文学习？
通过提出的热启动训练方法，语音语言模型能够在未知任务上进行上下文学习，而当前的语音语言模型不具备这种能力。研究在语音分类任务上验证了语音语言模型进行 ICL 的可行性。
小模型能否通过微调获得上下文学习能力？
可以。通过针对专门的培训目标进行微调，一个更小的模型可以被训练用于执行上下文学习。在神经机器翻译的领域适应任务上，这种方法允许对多个领域进行高效的批处理推理，并在翻译质量和即时适应率方面优于现有技术基线。
上下文学习在意图分类和情感分类中的表现如何？
利用预训练的密集检索模型，在有限样本设置中的常见意图分类数据集上，以及特定情况下的细粒度情感分类中，上下文学习优于微调性能。实验还分析了模型对于上下文示例和不同模型规模的利用情况，并展示了在不同领域中需要不同程度上下文示例的相似性、类名的语义内容和示例与标签之间的正确对应。
