UniMem：面向长上下文大型语言模型的统一视图
内容提要
本文综述大语言模型长期记忆研究，涵盖LongMem的长期记忆机制、UniMC的对话连贯性增强、MemWalker的摘要树长文本问答、LongBench对商业与开源模型的评估、RET-LLM的读写记忆单元，以及语义压缩法将上下文扩展6-8倍。
延伸解读
长期记忆机制的不同实现路径
文章综述了多种为LLM引入长期记忆的方法。LongMem通过长期记忆机制利用历史上下文；UniMC专注于开放域对话中的长期亲密关系；MemWalker将长上下文处理为摘要节点树，通过迭代导航回答问题；RET-LLM提供通用的写-读内存单元，以三元组形式存储知识。这些方法从不同角度尝试解决LLM的长期记忆问题，但各自针对的任务和场景有所差异。
长上下文评估揭示的模型能力差距
LongBench对8个大型语言模型的评估显示，商业模型如GPT-3.5-Turbo-16k在长上下文任务上优于开源模型，但在更长语境下仍存在困难。缩放位置嵌入和微调能带来实质改进，而检索等上下文压缩技术对长上下文能力较弱的模型有帮助，但性能仍落后于具有强大长上下文理解能力的模型。LooGLE的评估进一步指出，商业模型在短依赖任务上表现更好，长依赖任务则普遍困难。
语义压缩扩展上下文窗口的实用价值
文章提到一种语义压缩方法，基于信息论中的源编码概念，利用预训练模型减少长输入的语义冗余，使Transformer LLM能处理6-8倍长的文本，且无需显著计算开销或微调。实验表明，该方法在问答、摘要、少样本学习和信息检索等任务中有效扩展了上下文窗口，同时保持生成文本的流畅性。这为在不修改模型权重的情况下提升长文本处理能力提供了可行思路。
Q&A
LongMem 框架是如何让语言模型利用历史上下文信息的？
LongMem 框架通过引入长期记忆机制，使语言模型能够利用历史上下文信息，从而在文本生成等任务中取得优异效果。
UniMC 模型如何提升开放域对话的连贯性和魅力？
UniMC 通过学习相关表示增强不同任务子模块之间的联系，并通过参数共享和联合训练来优化对话的连贯性和魅力。
MemWalker 在处理长文本问答时有什么优势？
MemWalker 将长上下文处理成摘要节点树，通过迭代提示导航树来寻找相关信息并回答问题。在长文本问答任务上，其性能优于使用长上下文窗口、重复和检索的基线方法，同时提升了解释能力，能突出推理步骤并准确指出相关文本片段。
LongBench 对大型语言模型的评估有哪些主要发现？
LongBench 对 8 个大型语言模型进行了全面评估，发现商业模型（如 GPT-3.5-Turbo-16k）优于其他开源模型，但在更长语境下仍存在困难；在较长序列上进行缩放位置嵌入和微调能带来长语境理解的实质性改进；检索等上下文压缩技术对长上下文能力较弱的模型有改进，但性能仍落后于具有强大长上下文理解能力的模型。
RET-LLM 框架如何为 LLMs 提供通用的读写内存单元？
RET-LLM 框架为 LLMs 提供了一个通用的写-读内存单元，使它们能够从文本中提取、存储和检索知识以执行任务。它通过 Davidsonian 语义理论以三元组形式提取和保存知识，在问答任务中展现出比基线方法更卓越的性能，并且在处理基于时间的问题回答任务时表现强大，能有效处理时态信息。
语义压缩方法如何扩展大型语言模型的上下文窗口？
语义压缩方法通过信息论中的源编码概念和使用预训练模型，减少长输入的语义冗余后再传递给 LLM 进行下游任务，从而使得基于 Transformer 的 LLM 能够适用于长度为原先 6-8 倍的文本，而无需显著计算开销或微调。实验表明，该方法有效扩展了 LLM 在问答、摘要、少样本学习和信息检索等任务中的上下文窗口，并在减少计算开销的同时保持生成文本的流畅性。
