重新审视大型语言模型中的上下文学习推理电路

大型语言模型在少样本学习中表现出色，通过上下文示例学习，无需更新权重。扩展的上下文窗口支持多样本学习，提升生成和判别任务性能。为解决人类示例不足，研究了增强和无监督多样本学习。增强方法用模型生成示例，无监督方法仅用领域问题提示。这些方法在复杂推理任务中有效，能覆盖预训练偏差。分析指出下一个标记预测损失的局限性。