MemGPT：将大语言模型作为操作系统的长记忆解决方案
内容提要
MemGPT系统在文档分析和对话代理领域的应用。在文档分析方面，MemGPT通过将相关上下文分页进出内存，能够处理超出当前LLM上下文限制的长篇文本。在对话代理方面，MemGPT能够维持长期记忆、一致性和可发展性，以应对扩展对话。未来的研究方向包括将MemGPT应用于其他具有庞大或无界上下文的领域，并进一步改进控制流程和内存管理策略。
延伸解读
MemGPT 的核心思路：用操作系统思想管理大模型记忆
MemGPT 借鉴传统操作系统的虚拟内存分页机制，将大模型的上下文窗口视为“主存”，外部存储视为“磁盘”，通过函数调用在两者之间动态分页数据。这样，即使底层模型上下文有限，也能处理超长文档和多轮对话。其多级内存架构区分主上下文和外部上下文，主上下文包含系统指令、工作上下文和 FIFO 队列，外部上下文则存储于固定窗口之外，需显式移入主上下文才能被模型访问。
队列管理器如何防止上下文溢出
队列管理器负责监控提示令牌数量。当令牌数超过警告阈值（如上下文窗口的 70%）时，系统会插入“内存压力”警告，提示模型将重要信息保存到工作上下文或归档存储。若超过刷新阈值（如 100%），则逐出部分消息（如 50%），并生成递归摘要。被逐出的消息不再位于上下文中，但会永久保存在回忆存储中，可通过函数调用重新读取。这种机制确保了上下文窗口的高效利用。
自我导向的内存编辑与函数链式调用
MemGPT 通过系统指令中的函数模式，让模型自主决定何时移动或修改内存内容，无需用户干预。函数链式调用允许模型在返回控制权给用户前连续执行多个函数调用，例如跨文档整理信息。每个推理周期中，模型输出被解析并执行，结果（包括错误）反馈给模型，形成学习循环。这种设计使模型能动态调整内存管理策略，适应复杂任务。
实验验证：对话代理与文档分析的双重优势
MemGPT 在对话代理和文档分析两个领域进行了评估。在对话代理方面，基于 Multi-Session Chat 数据集，MemGPT 在深度记忆检索任务中展现出更好的一致性，能记住过往事实和偏好。在文档分析方面，MemGPT 能处理远超底层模型上下文窗口的长文档，并在嵌套键值检索任务中表现出多跳检索能力。实验表明，MemGPT 能克服有限上下文的限制，性能优于现有基于 LLM 的方法。
Q&A
MemGPT如何处理长文本的上下文限制？
MemGPT通过将相关上下文分页进出内存，能够处理超出当前LLM上下文限制的长篇文本。
MemGPT在对话代理中有什么优势？
MemGPT能够维持长期记忆、一致性和可发展性，以应对扩展对话，提升对话的自然性和参与度。
MemGPT的内存管理是如何实现的？
MemGPT采用虚拟上下文管理技术，通过函数调用管理内存，无需用户干预。
MemGPT的多级内存架构是怎样的？
MemGPT的多级内存架构区分主上下文和外部上下文，主上下文由LLM提示令牌组成，外部上下文指存储在LLM固定上下文窗口之外的信息。
未来MemGPT的研究方向是什么？
未来的研究方向包括将MemGPT应用于其他具有庞大或无界上下文的领域，并进一步改进控制流程和内存管理策略。
MemGPT在文档分析任务中的表现如何？
MemGPT在文档分析任务中表现出色，能够处理长文本并超越现有基于LLM的方法。
