随着文本增加，需求加大：推理时间训练有助于长文本生成
内容提要
该文综述长上下文大语言模型研究：通过持续预训练将Llama 2上下文扩展至32768令牌，70B模型在长上下文任务上超过GPT-3.5-turbo-16k；分析位置编码局限，发现长文本数据非关键，持续预训练比从头训练更高效；并介绍语义压缩、检索增强、LongLoRA等高效扩展方法及时间推理、文本连贯生成技术。
延伸解读
长上下文扩展：持续预训练比从头训练更高效
文章通过消融实验表明，在预训练数据集中加入大量长文本并非提升长上下文性能的关键，而持续预训练比从头开始的长序列预训练更高效且同样有效。这意味着研究者和开发者不必过度追求长文本数据量，而应关注训练策略和序列长度的课程设计，以更低的计算成本实现上下文窗口的扩展。
检索增强与长上下文窗口的权衡
文章指出，简单的检索增强在生成时可以达到与经过位置插值微调的16K上下文窗口模型相当的性能，且计算量更小。检索增强还能显著提升模型性能，不受扩展上下文窗口大小的限制。对于从业者而言，在资源有限时，检索增强是扩展上下文能力的实用替代方案，尤其适合问答和基于查询的摘要任务。
长上下文并非对所有任务都有帮助
一项针对8K令牌长文本转换器的研究发现，长距离上下文仅对少数令牌的预测能力有提升（例如可从远处文本复制的令牌），对句子级别的预测任务没有帮助，且对文学小说的帮助最大。这提示读者，长上下文窗口的价值因任务而异，在需要复制或参考远处信息的任务中更有优势，而非万能。
高效扩展方法：语义压缩与LongLoRA
文章介绍了两种高效扩展上下文的方法：语义压缩通过减少长输入的语义冗余，使LLM能处理6-8倍长的文本，无需显著计算开销或微调；LongLoRA则通过有限的计算成本微调扩展上下文大小。这些方法为资源受限的场景提供了可行路径，但文章未给出具体性能数据，读者需结合自身任务评估适用性。
Q&A
如何将Llama 2的上下文窗口扩展到32768个令牌？
通过持续预训练，在更长的训练序列和上采样长文本的数据集上构建模型，从而将Llama 2的上下文窗口扩展至32768个令牌。
70B模型在长上下文任务上的表现如何？
70B变体在长上下文任务上整体性能超过了GPT-3.5-turbo-16k，且通过高效、无需人工注释长指导数据的指令调整过程实现。
长上下文持续预训练与从头开始的长序列预训练相比哪个更高效？
长上下文持续预训练比从头开始的长序列预训练更高效且同样有效。
预训练数据集中有大量长文本是达到强大性能的关键吗？
不是，消融实验表明在预训练数据集中有大量长文本并不是达到强大性能的关键。
有哪些高效扩展大语言模型上下文长度的方法？
包括语义压缩方法（减少语义冗余）、检索增强（使用简单检索增强实现与微调模型可比性能）、LongLoRA/LongQLoRA（高效微调扩展上下文）、以及原始文本改写任务低成本扩展上下文窗口至32k。
检索增强与扩展上下文窗口相比有何优势？
检索增强在生成时计算量较小，且能显著提高性能而不受扩展上下文窗口大小的限制；最佳模型检索增强的32K上下文窗口LLaMA2-70B在7个长上下文任务上平均得分优于GPT-3.5-turbo-16k和Davinci003，生成速度也更快。
