使用 LoCo 和 M2-BERT 进行长上下文检索模型的基准测试和构建
内容提要
本文综述长上下文大语言模型研究。LongBench评估显示商业模型领先，但长文本处理仍具挑战。LLaMA2经持续预训练将上下文扩展至32K令牌，70B变体超越GPT-3.5-16k。检索增强方法性能可媲美长窗口且速度更快。LooGLE、M4LE等基准揭示长依赖建模困难。EVALM、密集检索器、局部对比估计等方法可提升性能。
延伸解读
长上下文评估：商业模型领先，但长依赖仍是难点
LongBench和LooGLE等基准测试显示，商业模型如GPT-3.5-Turbo-16k在短依赖任务上优于开源模型，但在长依赖任务中所有模型都表现不佳。M4LE基准进一步揭示，当前大语言模型在需要多跨度注意力的任务上理解长上下文尤其困难。这表明，尽管上下文窗口不断扩大，模型真正理解长文本中远距离依赖关系的能力仍有待提升。
检索增强与长窗口扩展：性能与效率的权衡
研究表明，检索增强方法能让4K上下文窗口的LLaMA2-70B在长上下文任务上达到与16K窗口微调模型相当的性能，且计算量更小。检索增强的32K LLaMA2-70B在7个长上下文任务上平均得分超过GPT-3.5-turbo-16k和Davinci003，生成速度也更快。对于长上下文能力较弱的模型，检索等压缩技术能带来改进，但性能仍落后于原生强长上下文模型。
持续预训练扩展上下文：高效且有效
通过从Llama 2开始的持续预训练，模型上下文窗口可扩展至32K令牌，70B变体在长上下文任务上整体性能超过GPT-3.5-turbo-16k。消融实验表明，预训练数据中大量长文本并非关键，长上下文持续预训练比从头开始的长序列预训练更高效且同样有效。这为从业者提供了一条经济可行的长上下文扩展路径。
提升长上下文能力的技术方向
除了扩展窗口和检索增强，研究还探索了多种提升长上下文性能的方法：EVALM基于高效Transformer机制，可测试长达256K的上下文，平均精度比现有PLMs高4.1%；训练密集检索器识别高质量上下文示例，能显著提升上下文学习表现；局部对比估计用于训练重排器，在文本检索任务上优于现有深度两阶段模型。这些方法从不同角度缓解长依赖建模的困难。
Q&A
LongBench 评估了哪些大型语言模型？主要发现是什么？
LongBench 对 8 个大型语言模型进行了全面评估，发现商业模型（如 GPT-3.5-Turbo-16k）优于其他开源模型，但在更长的语境下仍存在困难；缩放位置嵌入和微调在长语境理解方面带来了实质性改进；检索等上下文压缩技术对长上下文能力较弱的模型有改进，但性能仍落后于具有强大长上下文理解能力的模型。
如何将 LLaMA2 的上下文窗口扩展到 32K 令牌？扩展后的模型表现如何？
通过从 Llama 2 开始的持续预训练，在更长的训练序列和上采样长文本的数据集上构建模型系列，支持高达 32,768 个令牌的有效上下文窗口。70B 变体通过耗时高效且无需人工注释长指导数据的指令调整过程，在一套长上下文任务中的整体性能超过了 gpt-3.5-turbo-16k。
检索增强方法与扩展上下文窗口方法相比，在长上下文任务上表现如何？
使用简单的检索增强在生成时可以实现与微调后的具有 16K 上下文窗口（通过位置插值）的 4K 上下文窗口的大型语言模型在长上下文任务上具有可比性能，而计算量较小。检索可以显著提高大型语言模型的性能，不受其扩展上下文窗口大小的限制。最佳模型检索增强的 32K 上下文窗口的 LLaMA2-70B 在 7 个长上下文任务中平均得分优于 GPT-3.5-turbo-16k 和 Davinci003，且生成速度优于非检索的 LLaMA2-70B-32k 基线。
LooGLE 基准测试揭示了长上下文理解中的哪些困难？
LooGLE 评估显示商业模型在短依赖任务上胜过开源模型，同时揭示了长依赖任务的困难，并指出在短问答任务中检索式技术有着明显的好处，而扩展上下文窗口长度的策略对于长上下文理解的影响有限。
M4LE 基准测试是什么？它揭示了大型语言模型在长上下文理解方面的哪些问题？
M4LE 是一个针对大型语言模型的多能力、多范围、多任务、多领域的长上下文评估基准，通过在 36 个 NLP 数据集、11 种任务类型和 12 个领域中用多样的 NLP 任务池来支持。研究揭示了当前的大型语言模型在理解长上下文方面的困难，尤其是在需要多个跨度注意力的任务上。
有哪些方法可以提升长上下文检索或理解性能？
方法包括：EVALM（基于高效 Transformer 机制的长程语言模型，可测试长度达 256k 的上下文，平均精度比现有 PLMs 高 4.1%）；训练密集检索器来识别高质量的上下文示例以提高上下文学习表现；局部对比估计方法用于训练基于深度先前训练的语言模型的重排器，以实现更好的文本检索性能。
