一分钟读论文:《智能体学会主动清空记忆》

一分钟读论文:《智能体学会主动清空记忆》

💡 原文中文,约1600字,阅读约需4分钟。
📝

内容提要

香港中文大学、腾讯与港科大提出CORAL方法,让智能体在关键节点存档进度、清空被污染上下文并开启新回合,并用MERPO强化学习训练该能力。8B模型在GAIA基准平均准确率达42.8%,提升集中于最难两档,输入token比ReAct少6-7倍,可泛化到多跳问答,在BrowseComp上助强模型提升8分。其启示是将清空上下文作为主动管理的一等动作。

🔎

延伸解读

主动清空与被动截断的关键区别

CORAL 的核心不是简单缩短上下文,而是让模型自己决定何时存档、清空并开新回合。与按固定长度滑动窗口或截断不同,清空时机和保留内容由模型判断,避免框架硬切丢掉关键事实。但论文也指出,预训练模型并不天生善用这个动作,乱清反而会丢失已验证信息,因此需要 MERPO 强化学习把该能力训进策略。

提升集中在长周期最难档位

GAIA 基准分三档难度,CORAL 训练的 8B 模型平均准确率 42.8%,提升主要集中在 Level 2 与 Level 3。这两档正是多步工具调用与网页检索的长周期分水岭,说明方法的价值不在简单任务上刷分,而是缓解上下文膨胀导致的注意力稀释。同时输入 token 比 ReAct 少 6-7 倍,干净上下文本身也构成成本优势。

对前沿模型同样有增量

CORAL 的能力可泛化到多跳 Knowledge QA,在更难的 BrowseComp 上让一个强的专有智能体提升 8.0 分。这意味着主动管理上下文不只适用于小模型,对前沿模型也有增益。不过论文标注的代码仓库实测返回 404,开源可用性需以作者后续发布为准,复现前应留意这一限制。

没有训练条件时的落地方式

论文的工程启示是:跑长任务时,与其指望模型在几十万 token 噪声里保持清醒,不如在框架或提示词中显式提供存档加开新回合的动作,并给出 checkpoint 模板,分别写清已验证事实、未决问题和下一步计划。没有强化学习训练条件的团队,可以用模板强制模型在每个阶段交一次答卷再轻装上阵,把上下文当作需要主动管理的资源。

❓

Q&A

CORAL方法具体是怎么工作的?

CORAL让智能体在关键节点存档任务进度与已验证事实(checkpoint),然后重置被污染的上下文,只保留checkpoint信息开启新回合,从干净状态继续任务。何时清空、保留什么由模型自己决定,而非框架按固定长度硬切。

CORAL和传统的上下文截断或滑动窗口有什么区别?

传统方法是被动截断或滑动窗口,由框架按固定长度硬切;CORAL是主动清空,何时清、留什么由模型自己决定,并且通过强化学习训练模型学会在污染开始前动手,而不是等窗口撑爆才被动裁剪。

CORAL在GAIA基准上的表现如何?

CORAL训练出的8B模型在GAIA基准上平均准确率42.8%,提升集中在最难的Level 2和Level 3两档,同时输入token比ReAct智能体少6-7倍。

MERPO算法在CORAL中起什么作用?

MERPO(多回合智能体强化策略优化)把checkpoint能力训进策略,让模型学会在上下文污染开始前主动清空并开新回合,而不是等窗口撑爆才被动裁剪。

没有强化学习训练条件的团队如何应用CORAL的思路?

可以在框架或提示词中显式提供存档加开新回合的动作,并给出checkpoint模板:已验证事实、未决问题、下一步计划各写一段,强制模型在每个阶段交一次答卷再轻装上阵。

CORAL的能力可以泛化到其他任务吗?

可以。CORAL可泛化到多跳Knowledge QA(串联多个事实才能作答的问答题);在更难的BrowseComp上,CORAL让一个强的专有智能体提升8.0分,说明对前沿模型也有增量。

🏷️

标签

➡️

继续阅读