一分钟读论文：《PAST-Bench：评估个人智能体递归自我改进的基础基准》
内容提要
香港中文大学与阿里巴巴联合提出PAST-Bench，首个系统评估个人AI智能体递归自我改进能力的基准。通过控制组设计隔离经验保留效应，在26个任务族上测试7个模型和4种框架，定义记忆、程序、主动信息收集和更新四维度。发现跨会话改进不均衡，并提出Hermes+框架增强机制，但效果依赖模型，通用性待验证。
延伸解读
评估设计的关键：控制组隔离经验效应
PAST-Bench 的核心创新在于匹配的控制组设计，通过开关持久化机制来隔离经验保留的因果效应。这解决了以往基准无法区分“模型本身强”和“从经验中学习后变强”的问题。对于研究者而言，这种设计思路值得借鉴，它强调了在评估智能体能力时，需要精细控制变量，才能准确归因性能提升的来源。
机制级归因：超越表面性能指标
论文不仅测量能力级表现，还通过 artifact-level 和 trace-level 证据实现机制级归因，揭示了表面增益背后的真实路径。这提醒读者，在评估 AI 系统时，不能只看最终结果，还要深入分析其内部机制，避免被虚假的改进所误导。对于开发者和评估者来说，这种细粒度的分析有助于识别真正有效的改进策略。
Hermes+ 的改进与局限
Hermes+ 框架通过五个机制（Plan、Render、Route、Gate、Close）增强了 Agent 的自我改进能力，尤其在需要替换过时状态的任务上效果显著。然而，其效果依赖具体模型和框架，通用性尚未验证。这表明，针对特定基准设计的改进方案可能无法直接迁移到其他场景，实际应用中需要谨慎评估其适用范围。
基准的局限性与适用场景
PAST-Bench 存在任务覆盖有限、评估器偏差等局限，且对于一次性任务或客服对话等场景，跨会话经验复用的价值有限。因此，该基准更适合评估需要长期记忆和持续学习的个人助理类应用，而非所有类型的 AI 系统。读者在参考该基准时，应结合自身应用场景判断其适用性。
Q&A
PAST-Bench是什么？
PAST-Bench是香港中文大学和阿里巴巴联合提出的首个系统评估个人AI智能体递归自我改进能力的基准测试框架。它通过匹配的控制组设计，在26个任务族、204个episode上评估7个基础模型和4种Agent框架的跨会话能力演进。
PAST-Bench的核心创新是什么？
PAST-Bench的核心创新在于匹配的控制组设计，通过开启或关闭持久化机制来隔离经验保留的因果效应，从而区分模型本身的能力和从经验中学习后变强的能力。
PAST-Bench定义了哪四个能力维度？
PAST-Bench定义了四个能力维度：memory_ability（保留稳定偏好、约束和先例）、procedural_ability（复用流程和技能）、proactive_information_gathering（行动前查找先前上下文）和update_ability（替换过时事实、规则和流程）。
PAST-Bench实验的主要发现是什么？
主要发现是跨会话经验带来的改进确实存在但不均衡，不同模型和框架在相同任务族上的表现差异显著，改进效果呈现明显的能力和模型依赖性。部分Agent的增益可能来自其他因素而非真正的经验复用。
Hermes+框架是什么？它有什么效果？
Hermes+是基于PAST-Bench诊断结果提出的改进框架，在Agent循环中增加了五个机制：Plan、Render、Route、Gate和Close。它在需要替换过时状态的任务上改进最显著，但效果依赖模型，通用性未验证。
PAST-Bench存在哪些局限性？
PAST-Bench的局限性包括：任务覆盖范围有限（仅26个任务族）、评估器偏差风险（使用MiniMax-M2.7作为judge model）、Hermes+的通用性未经验证。对于一次性任务或客服对话等场景，跨会话经验复用的价值有限。
