SirLLM: 流式无限保留 LLM
内容提要
本文介绍了多种大型语言模型（LLM）在处理长文本和记忆能力方面的创新方法，如InfLLM、Self-Controlled Memory和LongMem。这些模型在超长文本摘要和多轮对话中表现优异，能够有效整合历史信息并提升一致性。MemWalker方法通过摘要节点树处理长文本，显著提高了问答任务的性能。
延伸解读
长文本处理的两条技术路径
文章介绍了多种处理长文本的方法，可归纳为两类：一类通过外部记忆机制扩展模型能力，如InfLLM、Self-Controlled Memory和LongMem；另一类通过内部记忆池或检索增强，如MEMORYLLM和RET-LLM。这些方法大多无需训练或微调，降低了应用门槛，但各自侧重不同：有的擅长长序列依赖，有的专攻多轮对话一致性。
记忆机制的实际效果与局限
实验表明，Self-Controlled Memory能使非优化多轮对话模型达到与ChatGPT相当的效果，并在超长文本摘要或长期对话方面优于ChatGPT。然而，文章也指出，即使使用长上下文LLM或RAG等策略，模型在理解冗长对话中的长程时间和因果动态方面仍远落后于人类。这说明现有记忆增强方法虽有效，但尚未根本解决长期记忆的挑战。
评估长期记忆的新基准
文章提到一个包含300个回合、平均9K个记号的非常长期对话数据集，并基于此提出了评估基准，涵盖问题回答、事件摘要和多模态对话生成任务。该基准通过机器-人类管道生成并经过人工检验，旨在衡量模型的长期记忆能力。这为比较不同记忆增强方法提供了标准化测试环境，但文章未给出具体排名或分数。
MemWalker的交互式阅读优势
MemWalker将长上下文处理成摘要节点树，模型通过迭代提示导航树以寻找相关信息，并在收集足够信息后回答问题。在长文本问答任务上，其性能优于使用长上下文窗口、重复和检索的基线方法。此外，MemWalker通过交互式阅读提升了可解释性，能突出推理步骤并准确指出与查询相关的文本片段，这有助于用户理解模型决策过程。
Q&A
InfLLM是什么，它的主要功能是什么？
InfLLM是一种无需训练的基于内存的方法，能够高效处理长序列并捕获远距离依赖关系。
Self-Controlled Memory系统的核心模块有哪些？
Self-Controlled Memory系统由语言模型代理、记忆流和记忆控制器三个核心模块组成。
LongMem框架如何提升语言模型的表现？
LongMem框架通过引入长期记忆机制，使语言模型能够利用历史上下文信息，从而提升文本生成任务的效果。
MEMORYLLM模型的特点是什么？
MEMORYLLM模型通过固定大小的内存池有效整合新知识，保持长期信息记录能力。
RET-LLM框架的主要功能是什么？
RET-LLM框架提供通用的写-读内存单元，能够从文本中提取、存储和检索知识，提升问答任务的性能。
MemWalker方法是如何处理长文本的？
MemWalker方法通过将长上下文处理成摘要节点树，提升长文本问答任务的性能和解释能力。
