长上下文语言模型对长上下文学习困难
内容提要
本文评估了大型语言模型在处理长上下文的能力，发现商业模型（如GPT-3.5-Turbo-16k）在短任务上表现优于开源模型，但在长依赖任务中仍存在困难。研究提出了新的基准测试，分析了扩展序列长度的技术及其局限性，强调了长上下文理解的重要性，并探讨了未来研究方向。
延伸解读
长上下文评估的基准演进
文章梳理了长上下文评估基准的发展脉络：从LongBench、LooGLE到L-Eval、M4LE，基准的数据长度和任务复杂度不断提升。M4LE覆盖36个数据集、11种任务类型和12个领域，是首个平均数据长度超过100K标记的基准。这些基准的推出，反映出评估重点从短任务转向长依赖和多跨度注意力任务，也说明社区对长上下文能力的衡量正趋于标准化和全面化。
商业模型与开源模型的差距与局限
评估显示，商业模型如GPT-3.5-Turbo-16k在短任务上优于开源模型，但在长依赖任务中仍存在困难。开源模型通过持续预训练和指令调整，在长上下文任务上取得显著提升，例如70B变体在长上下文任务中整体性能超过了GPT-3.5-Turbo-16k。然而，整体上模型在需要多跨度注意力的任务上表现不佳，表明长上下文理解仍是普遍挑战。
扩展上下文长度的技术路径与效果
文章讨论了扩展序列长度的多种技术，包括缩放位置嵌入、微调、检索和上下文压缩等。缩放位置嵌入和微调在长语境理解上带来实质性改进，但性能仍落后于具有强长上下文理解能力的模型。检索式技术对短问答任务有明显好处，但对长上下文理解影响有限。此外，长上下文持续预训练比从头开始的长序列预训练更高效且同样有效，且预训练数据中大量长文本并非达到强性能的关键。
长距离上下文对预测的实际影响
研究发现，将长距离上下文提供给模型，仅能在少数Token上提高预测能力，例如可以从远处文本中复制的Token，而对句子级别的预测任务没有显著帮助。长范围上下文对文学小说的帮助最大。这一发现提示，长上下文并非对所有任务都有益，其价值高度依赖于任务类型和上下文特征，未来研究需更细致地分析长上下文在不同场景下的作用机制。
Q&A
长上下文语言模型的评估标准是什么？
研究提出了一个包含411个长文档和超过2000个查询-回复对的L-Eval评估标准。
商业模型和开源模型在长上下文处理上的表现有何不同？
商业模型（如GPT-3.5-Turbo-16k）在短任务上表现优于开源模型，但在长依赖任务中仍存在困难。
扩展序列长度的技术有哪些？
扩展序列长度的技术包括架构修改和注意机制的改变等多种方法。
长上下文理解对模型预测能力的影响是什么？
长范围上下文对文学小说的帮助最大，但对句子级别的预测任务没有显著帮助。
未来研究方向有哪些建议？
研究讨论了当前方法的局限性，并强调了序列长度对大型语言模型进一步发展的重要性。
如何提高长上下文语言模型的性能？
通过缩放位置嵌入和微调可以带来长语境理解的实质性改进，但仍需进一步研究。
