循环上下文压缩：高效扩大 LLM 的上下文窗口
内容提要
本文提出了一种新颖的语义压缩方法，旨在提升大型语言模型（LLM）处理长文本的能力。该方法通过减少语义冗余，将上下文窗口扩展至128k个令牌，同时显著降低计算开销和内存使用。实验结果显示，该方法在问答和摘要任务中表现优异，为高效处理长文本提供了解决方案。
延伸解读
长上下文处理的技术路线
文章汇总了多种扩展LLM上下文窗口的方法，包括语义压缩、选择性上下文、AutoCompressors、自扩展、SoftPromptComp、Parallel Context Windows和E2-LLM等。这些方法从不同角度应对长文本挑战：有的通过压缩减少冗余，有的通过分块并行处理，有的利用软提示或记忆机制。读者可借此了解该领域的技术多样性，以及不同方法在效率与性能之间的权衡。
LLoCO技术的核心优势
LLoCO结合上下文压缩、检索和参数高效微调，将LLaMA2-7B的有效上下文窗口从4k扩展到128k令牌。评估显示，它在长上下文问答任务中推理时使用少30倍的令牌，相比上下文学习有显著提升，并实现高达7.62倍的加速。这表明LLoCO能大幅降低长文档问答的成本，为高效处理长上下文提供了实用方案。
选择性上下文的效率提升
选择性上下文方法能显著提高LLM的推理效率，在维持可比性能的同时，降低50%的上下文成本、36%的推理内存使用和32%的推理时间。这一数据表明，通过有选择地保留关键上下文信息，可以在不牺牲太多性能的情况下，有效减少计算资源消耗，对于实际部署中的成本控制具有参考价值。
实际应用中的权衡
文章提到的方法在扩展上下文窗口的同时，都注重降低计算开销和内存使用。例如，LLoCO通过压缩和微调降低长文档问答成本，选择性上下文通过减少冗余提升推理效率。这些技术为处理长文本提供了可行路径，但读者需注意，不同方法可能适用于不同场景，如在线对话、长文档问答或信息检索，选择时需结合具体需求评估其效果与开销。
Q&A
什么是循环上下文压缩方法？
循环上下文压缩是一种新颖的语义压缩方法，旨在提升大型语言模型处理长文本的能力，通过减少语义冗余来扩展上下文窗口至128k个令牌。
该方法如何降低计算开销和内存使用？
该方法通过信息论中的源编码概念和使用预训练模型，减少长输入的语义冗余，从而降低计算开销和内存使用。
实验结果显示该方法在什么任务中表现优异？
实验结果表明，该方法在问答和摘要任务中表现优异，能够保持生成文本的流畅性。
LLoCO技术的主要优势是什么？
LLoCO技术结合上下文压缩和参数高效微调，显著降低长文档问答的成本，并扩展上下文窗口。
选择性上下文方法的效果如何？
选择性上下文方法显著提高推理效率，减少内存占用和推理时间，同时降低上下文成本。
该研究对大型语言模型的应用有什么影响？
该研究为大型语言模型处理长文本提供了有效的解决方案，提升了模型在长文本任务中的效率和性能。
