通过上下文学习评估子群体代表建模的泛化能力
内容提要
本文综述大语言模型上下文学习研究，指出多模态模型分布外泛化困难，上下文学习对领域、标签及虚假相关偏移较脆弱；示范选择算法可提升性能12.5%；稠密模型理解复杂上下文较难；LLM集成语音识别仍具挑战；基于上下文学习可提升句子嵌入，2.7B OPT超越4.8B ST5；多样性评估方法可提升模型多样性；语法鲁棒性更多受预训练语料与监督方法影响。
延伸解读
多模态大模型的泛化短板
文章指出，当前多模态大型语言模型在超出训练分布的常见领域和特定任务上泛化困难，直接应用效果不佳。同时，上下文学习对领域偏移、标签偏移以及示例与测试数据间的虚假相关偏移都较为脆弱。这意味着在实际部署中，仅靠提示工程难以保证模型在分布变化下的稳定性，需要针对性的适应或鲁棒性增强方法。
示范选择与上下文理解
从贝叶斯视角将大模型视为主题模型，文章提出一种从标注数据中选择最佳示范的算法，在真实数据集上相比随机选择平均提升12.5%。这表明示范的质量和代表性对上下文学习效果至关重要。此外，一个上下文理解基准测试发现，预训练稠密模型在理解复杂上下文特征方面比经过优化调整的模型更困难，提示上下文理解仍是稠密模型的弱项。
语音识别与句子嵌入的实践进展
在语音识别中，通过添加适配器的少量可训练参数，可以让预训练大模型获得上下文化语音识别能力并显著提升性能，但用大模型上下文学习直接修正转录错误仍具挑战。在句子嵌入方面，基于上下文学习的方法能使大模型生成高质量嵌入，语义文本相似度任务上表现与对比学习相当；微调后的2.7B OPT模型甚至超过了4.8B ST5，说明提示方法结合适当微调可弥补模型规模差距。
多样性评估与语法鲁棒性的影响因素
针对生成模型多样性不足的问题，文章提出度量多样性的评估数据集和指标，并应用集体批判与自我投票等方法，有效提升模型对人群和文化的多样性。在语法鲁棒性上，研究发现模型变异性更多受预训练语料库组成和监督方法影响，而非模型大小；在代码上预训练的模型泛化更好，且从思维链提示中获益更大。这提示预训练数据与监督策略比单纯扩大规模更关键。
Q&A
多模态大语言模型在分布外泛化方面表现如何？
多模态大语言模型在常见训练域之外的泛化上存在困难，需要经过适应性的直接应用。
上下文学习在分布偏移下有哪些脆弱性？
上下文学习在领域偏移、标签偏移和上下文示例与测试数据之间的虚假相关偏移中表现出脆弱性。
如何通过示范选择算法提升大语言模型性能？
从贝叶斯角度将大语言模型视作主题模型，提出从标注数据中选择最佳示范的算法，在实际数据集中相对于随机选择基线平均有12.5%的显著改进。
预训练稠密模型在理解复杂上下文方面有什么困难？
预先训练的稠密模型在理解复杂上下文特征方面比优化调整模型困难。
基于上下文学习如何提升句子嵌入性能？
通过上下文学习，使大语言模型生成高质量句子嵌入，在语义文本相似度任务上表现与对比学习方法相当；微调后2.7B OPT模型性能超过4.8B ST5，实现新的最先进结果。
语法鲁棒性主要受哪些因素影响？
语法鲁棒性更多地受到预训练语料库组成和监督方法的影响，而非模型大小；在代码上预训练的模型泛化更好，并更大程度受益于思维链提示。
