内容提要
SCLATE是一个持续学习智能体的训练与评估执行基座,通过适配器让基准测试与未修改的智能体共享事件调度器,并用混合模拟时钟压缩长周期场景。研究移植了七个基准、对比十种配置,发现额外记忆系统未必优于原生记忆。经后训练,Qwen3.5-4B读取文件行数减少6.8倍,SWE-bench通过率提升16.7个百分点。
延伸解读
统一调度:降低持续学习智能体评估的工程负担
现有基准测试和训练框架通常只调度自身事件,导致每个基准与智能体组合都需要定制调度循环。SCLATE通过适配器让基准和未修改的智能体将事件添加到同一个开放事件调度器,并用混合模拟时钟在共享时间线上运行,既能在智能体工作时实时推进,又能跳过空闲间隔,从而将长达一个月的场景压缩到几小时内完成。这为持续学习智能体的训练与评估提供了可复用的执行基座。
记忆系统并非万能:原生记忆可能更可靠
SCLATE将七个基准移植到统一基座,并在十种模型上对比了十种未修改的智能体框架与记忆配置。结果显示,额外添加的记忆系统并不总能稳定超越智能体框架自带的原生记忆,而且不同模型在使用相同框架和记忆时表现差异很大。这提示研究者和开发者不应默认外挂记忆一定带来提升,而应针对具体模型和任务进行实证评估。
后训练效果:更少读取、更高通过率与更丰富记忆
研究通过未修改的智能体框架和记忆系统对Qwen3.5-4B进行后训练。训练后,模型学会同时利用框架和记忆,读取文件行数减少6.8倍,SWE-bench Verified通过率提升16.7个百分点,并能写出更丰富的记忆记录;在留出的MetaClaw基准上准确率最高提升11.8个百分点。这表明后训练能显著改善智能体对工具和记忆的使用效率。
Q&A
SCLATE是什么?它主要解决什么问题?
SCLATE是一个持续学习智能体的训练与评估执行基座。它通过适配器让基准测试与未修改的智能体共享一个开放事件调度器,解决现有基准和训练框架只调度自身事件、导致每个基准与智能体组合都需要定制调度循环的问题。
SCLATE如何压缩长周期场景的评估时间?
SCLATE使用混合模拟时钟在共享时间线上运行事件:智能体工作时事件实时流动,空闲间隙则被跳过,从而将长达一个月的场景压缩到几小时内完成。
SCLATE作为rollout引擎有什么特点?
SCLATE可以运行任何智能体的harness和记忆系统而不修改它们,并通过容器内代理记录每次模型调用的token和log概率。
SCLATE的对比实验发现了什么关于记忆系统的结论?
SCLATE移植了七个基准,在十个模型上对比了十种未修改的harness和记忆配置。结果显示,额外添加的记忆系统并不一定能可靠地胜过harness的原生记忆,而且不同模型在使用相同harness和记忆时差异很大。
通过SCLATE对Qwen3.5-4B进行后训练取得了哪些效果?
后训练后,Qwen3.5-4B读取文件行数减少了6.8倍,SWE-bench Verified通过率提升了16.7个百分点,并写出更丰富的记忆记录,同时在留出的MetaClaw准确率上最高提升了11.8个百分点。
SCLATE支持哪些基准测试?
SCLATE移植了七个基准测试,但文章未具体列出名称。