一个受人类启发的具有大量长期上下文的主要记忆的阅读代理
内容提要
该文综述大模型长上下文与记忆机制研究，涵盖MemWalker（摘要节点树迭代导航长文本问答）、递归摘要增强对话长期记忆、KwaiAgents信息获取代理、LongMem长期记忆、Episodic Memory Reader结合强化学习筛选记忆、Selective Context降低推理成本、RAISE双组件记忆提升多轮对话、LLM专家代理挑战ARC、RecallM增强时间理解，以及LooGLE评估显示长依赖任务仍困难。
延伸解读
长上下文处理的两条路径：树状导航与递归摘要
MemWalker 将长文本构建为摘要节点树，通过迭代提示导航树结构，在长文本问答任务上优于长上下文窗口、重复和检索基线。递归摘要增强对话长期记忆则通过递归生成摘要来提升长期记忆能力，解决开放领域对话中的遗忘问题。两者都试图在有限上下文窗口下处理长文本，但 MemWalker 强调交互式阅读和可解释性，能突出推理步骤并定位相关文本片段；递归摘要方法则更侧重于对话场景中生成更一致的回应。
记忆机制与代理系统的结合：从 LongMem 到 RAISE
LongMem 通过引入长期记忆机制，使语言模型能利用历史上下文，在文本生成等任务中取得优异效果。RAISE 则采用双组件记忆系统，镜像人类的短期和长期记忆，以维持对话的上下文和连续性，在房地产销售背景的初步评估中显示出比传统代理更好的可控性和适应性。这些工作表明，为 LLM 代理配备外部或结构化记忆，是提升多轮对话和长期任务表现的重要方向。
效率与评估：选择性上下文与 LooGLE 的启示
选择性上下文方法能显著提高 LLM 推理效率，在维持可比性能的基础上，实现上下文成本降低 50%、推理内存使用降低 36%、推理时间降低 32%。LooGLE 评估显示，商业模型在短依赖任务上胜过开源模型，但长依赖任务仍然困难；检索式技术在短问答中明显有益，而扩展上下文窗口长度对长上下文理解的影响有限。这提示读者，单纯增加上下文长度并非万能，结合检索和记忆机制可能更有效。
Q&A
MemWalker 是如何处理长文本问答的？
MemWalker 将长上下文处理成摘要节点树，模型通过迭代提示导航该树以寻找相关信息，一旦收集足够信息便回答问题。在长文本问答任务上，其性能优于使用长上下文窗口、重复和检索的基线方法，并提升了解释能力，能突出推理步骤并准确指出与查询相关的文本片段。
有哪些方法可以增强大语言模型的长期记忆能力？
文章提到多种方法：使用大型语言模型递归生成摘要/记忆以提高长期记忆能力，解决开放领域对话系统中的遗忘问题；LongMem 框架通过引入长期记忆机制使模型利用历史上下文；RAISE 架构具有双组件记忆系统，镜像人类的短期和长期记忆；RecallM 架构提供可适应和可更新的长期记忆机制，增强时间理解能力。
Selective Context 方法如何提升大型语言模型的推理效率？
Selective Context 方法可以显著提高大型语言模型的推理效率，减少内存占用和推理时间，并在维持可比较性能的基础上实现上下文成本降低 50%、推理内存使用率降低 36%、推理时间降低 32%。
RAISE 架构是什么？它有什么特点？
RAISE（Reasoning and Acting through Scratchpad and Examples）是一种增强了 GPT-4 等大型语言模型与对话代理之间整合的先进架构。它具有双组件记忆系统，与人类的短期和长期记忆镜像，以维持对话的上下文和连续性。初步评估表明，RAISE 在房地产销售背景中比传统代理有一些优势，显示出更广泛应用的潜力。
LooGLE 评估揭示了长上下文理解的哪些挑战？
基于 LooGLE 评估模型的表现，研究显示商业模型在短依赖任务上胜过开源模型，同时也揭示了长依赖任务的困难，并指出在短问答任务中检索式技术有着明显的好处，而扩展上下文窗口长度的策略对于长上下文理解的影响有限。
Episodic Memory Reader 是如何进行记忆筛选的？
Episodic Memory Reader 是一个基于序列阅读的外部内存读取模型，结合强化学习代理进行记忆筛选，用于在大规模数据流中进行问答。实验结果表明该模型在文本 QA 和视频 QA 任务中相较于传统记忆调度策略或独立序列学习的强化学习 baseline 有了更好的表现。
