通过可扩展的分词技术灵活扩展大型语言模型的上下文
内容提要
该文综述了扩展大语言模型上下文窗口的多种方法：语义压缩利用源编码减少长输入冗余，使LLM可处理6-8倍长文本；CLEX通过连续长度外推将窗口扩至训练长度的4-8倍；E2-LLM降低计算成本以支持任意长度；Giraffe采用线性标度位置编码，训练出4k、16k、32k上下文模型；EVALM基于高效Transformer可测试256k上下文。研究还表明，长上下文持续预训练比从头进行长序列训练更高效。
延伸解读
语义压缩：不微调也能扩展6-8倍
文章介绍了一种基于源编码的语义压缩方法，能在不显著增加计算开销、无需微调的情况下，让LLM处理6-8倍长的文本。其核心是减少长输入的语义冗余，再交给LLM执行问答、摘要等任务。这意味着对于资源有限、无法重新训练模型的团队，语义压缩提供了一条低成本的上下文扩展路径，但效果依赖于冗余消除的质量。
位置编码外推：线性标度最有效
针对固定上下文长度训练的限制，文章调研了多种外推方法，并发现线性标度位置编码是扩展上下文长度的最佳方法，评估时使用更长标度还能获得进一步收益。Giraffe模型据此训练出4k、16k和32k上下文版本。这提示读者，若想在不重新预训练的情况下扩展窗口，线性标度是值得优先尝试的策略，但截断基础策略的潜力仍需更多验证。
持续预训练比从头长序列训练更高效
文章通过消融实验表明，在预训练数据集中大量长文本并非达到强性能的关键，且长上下文持续预训练比从头进行长序列预训练更高效且同样有效。这意味着扩展上下文窗口时，不必从头训练，基于已有模型（如Llama 2）进行持续预训练是更经济的选择。同时，文章也指出Llama的位置编码在建模长依赖上存在局限，需结合其他技术改进。
不同方法覆盖不同长度与成本
文章综述的方法各有侧重：CLEX可将窗口扩至训练长度的4-8倍；E2-LLM通过降低计算成本支持任意长度；EVALM基于高效Transformer可测试256k上下文，平均精度比现有PLMs高4.1%。读者可根据目标长度和计算预算选择方案，但需注意这些结果多来自特定任务和模型，实际部署时仍需评估自身场景的兼容性与开销。
Q&A
如何在不微调大语言模型的情况下处理更长的文本？
可以采用语义压缩方法，利用信息论中的源编码概念和预训练模型减少长输入的语义冗余，再传递给LLM进行下游任务。这样无需显著计算开销或微调，就能使LLM适用于长度为原先6-8倍的文本。
CLEX方法能将上下文窗口扩展多少倍？
CLEX（连续长度外推）能将基于Transformer的大语言模型的上下文窗口扩展到训练序列长度的4倍或8倍，并在实际任务中表现出竞争性性能。
E2-LLM如何支持任意长度的上下文？
E2-LLM通过减少计算成本并对不同样本进行增强方法，在推理时支持任意上下文长度，实验表明其在具有挑战性的长上下文任务中有效。
Giraffe模型支持多长的上下文？
Giraffe发布了三个13B参数的长上下文模型：从基础LLaMA-13B训练的4k和16k上下文模型，以及从基础LLaMA2-13B训练的32k上下文模型。
EVALM模型能测试多长的上下文？
EVALM基于高效Transformer机制，采用8k批处理行训练，可测试长度达到256k的上下文，平均精度比现有PLMs高4.1%。
长上下文持续预训练和从头训练哪个更高效？
研究表明，长上下文持续预训练比从头进行长序列训练更高效且同样有效。例如，从Llama 2开始的持续预训练构建的模型在长上下文任务上显著提升，且不需要大量长文本数据。
