InfLLM: 揭示 LLM 对于无需训练的记忆理解极长序列的内在能力
内容提要
本文综述多项大语言模型长文本处理研究：LongMem引入长期记忆机制；MemWalker将长上下文构建为摘要节点树，通过迭代导航提升长文本问答与可解释性；LTM学习无限长序列信息；StreamingLLM实现无需微调的流式部署；另有研究通过序列调度提升推理吞吐量86%，利用闪存扩展内存并加速推理，以及VideoLLM将序列推理能力迁移至视频理解。
延伸解读
长文本处理的多路径探索
文章综述了多种扩展大语言模型长文本能力的研究，包括LongMem引入长期记忆机制、MemWalker构建摘要节点树进行迭代导航、LTM学习无限长序列信息、StreamingLLM实现无需微调的流式部署。这些方法分别从记忆增强、结构导航、持续学习和推理优化等角度切入，反映了该领域尚未形成统一解决方案，不同场景可能适用不同技术路径。
效率优化与硬件协同
除了算法层面的改进，文章还提到通过序列调度技术对响应长度相似的查询进行微批处理，可提升86%的推理吞吐量；以及利用闪存扩展内存，通过窗口化和行列捆绑技术，在DRAM容量两倍的情况下运行模型，实现CPU和GPU推理速度分别提升4-5倍和20-25倍。这些工作表明，长文本处理不仅依赖模型结构创新，也需要系统与硬件层面的协同设计。
能力迁移至多模态任务
文章指出，大语言模型的序列推理能力可迁移至视频理解。VideoLLM框架通过模态编码器和语义转换器将视频输入转换为统一标记序列，馈入仅解码的LLM中，在多个任务上验证了LLM的理解和推理能力可有效转移到视频序列理解。这提示长序列建模的价值可能超越纯文本，为多模态长视频分析提供新思路。
Q&A
InfLLM 是什么？它有什么作用？
InfLLM 是一种通过自扩展方法利用现有大型语言模型的内在能力来处理长文本，并延伸其上下文窗口，以有效应对长输入序列的技术。
LongMem 框架是如何让语言模型利用历史上下文信息的？
LongMem 框架通过引入长期记忆机制，使得语言模型能够利用历史上下文信息，从而在文本生成等任务中取得优异效果。
MemWalker 如何处理长文本问答任务？
MemWalker 将长上下文处理成摘要节点树，模型通过迭代提示的方式导航该树以寻找相关信息，一旦收集足够信息便回答问题。在长文本问答任务上，其性能优于使用长上下文窗口、重复和检索的基线方法。
StreamingLLM 在流式部署中解决了哪些挑战？
StreamingLLM 针对大型语言模型在流式应用中的两个主要挑战，提供了一种有效解决方案，能够在无需微调的情况下实现 LLMs 的稳定和高效的语言建模。
如何通过序列调度技术提高大语言模型的推理吞吐量？
通过利用大语言模型准确感知和预测响应长度，并引入有效的序列调度技术对响应长度相似的查询进行微批处理，可以实现 86% 的推理吞吐量提高，同时不影响效果。该方法是现有工具包（如 FlashAttention、Quantization）的宝贵补充。
VideoLLM 如何将序列推理能力迁移到视频理解任务？
VideoLLM 利用 NLP 预训练 LLMs 的序列推理能力，通过精心设计的模态编码器和语义转换器，将不同来源的输入转换为统一的标记序列，然后馈入仅解码的 LLM 中。实验证明，LLMs 的理解和推理能力可以有效地转移到视频理解任务中。
