多模态基础模型中的多示例上下文学习
内容提要
本文探讨了大型语言模型在少样本和多样本学习中的表现，提出了增强和无监督多样本学习方法，以克服人类示例的局限性。研究表明，这些方法在复杂推理任务中有效，且多样本学习能够覆盖预训练偏差，学习高维函数。此外，文章介绍了一种新的上下文学习机制，结合视觉线索和指令，提升模型能力。
延伸解读
多样本学习的瓶颈与突破
文章指出，多样本学习虽能提升性能，但依赖大量人类生成示例，成为瓶颈。为此，作者探索了增强和无监督两种方法：前者用模型生成的思考链替代人类示例，后者完全取消提示中的理由，仅用领域特定问题提示。这两种方法在复杂推理任务中表现有效，为突破人类示例限制提供了新思路。
多样本学习覆盖预训练偏差
与少样本学习不同，多样本学习能有效覆盖预训练偏差，并学习具有数值输入的高维函数。这表明，当提供足够多的上下文示例时，模型可以克服预训练阶段形成的偏见，适应新的复杂函数关系。这一发现对理解上下文学习的机制和潜力具有重要意义。
I²L：图像中的上下文学习
文章介绍了一种新的上下文学习机制In-Image Learning（I²L），将示范示例、视觉线索和指令结合到一张图像中，以增强GPT-4V的能力。这种方法避免了复杂图像的文本描述不准确、位置示范示例灵活、输入负担减少等优势。实验在MathVista和Hallusionbench上测试了I²L在复杂多模态推理任务中的有效性，以及对语言幻觉和视觉错觉的缓解作用。
评估指标的局限性
文章分析揭示了下一个标记预测损失作为下游上下文学习性能指标的局限性。这意味着，仅依靠该损失来评估模型在上下文学习中的表现可能不够全面，需要结合其他指标或任务特定评估。这一发现提醒研究者和实践者在评价模型时需谨慎选择指标。
Q&A
大型语言模型在少样本学习中如何表现？
大型语言模型在少样本上下文学习中表现出色，能够通过少量示例进行学习，无需权重更新。
什么是增强和无监督的多样本学习方法？
增强多样本学习方法使用模型生成的思考链替代人类示例，而无监督多样本学习方法则通过领域特定问题进行提示，完全取消了提示中的理由。
多样本学习如何克服预训练偏差？
多样本学习能够有效覆盖预训练偏差，并学习具有数值输入的高维函数。
In-Image Learning（I²L）机制的作用是什么？
I²L机制结合示范示例、视觉线索和指令，提升模型能力，避免复杂图像的文本描述不准确等问题。
多样本学习在复杂推理任务中的表现如何？
增强和无监督多样本学习方法在复杂推理任务中表现出色，能够有效解决人类生成示例的瓶颈。
扩展上下文窗口对多样本学习有什么影响？
新的扩展上下文窗口使得多样本学习成为可能，显著提升了生成性和判别性任务的性能。
