五个AI智能体框架参加了同一项记忆测试，结果差距悬殊。
内容提要
Letta发布FrontierMemory基准，用于测试AI智能体能否从过往经验中学习并提升后续任务表现，而非仅检索记忆。结果显示智能体框架影响显著：Letta Dream以73.3%居首，Prime Agent为60%，OpenAI Agents SDK为40%，Claude与Hermes更低。在模型生成记忆能力上，Claude Opus 5.5与GLM-5.3并列第一，但GPT-6.1 Sol成本更低。该基准目前仅含15项任务，后续将加入更长任务与在线记忆更新。
延伸解读
框架差异比模型差异更值得关注
同一模型下，不同智能体框架的得分差距明显：使用GPT-6.1 Sol生成记忆时，Letta Dream为73.3%，OpenAI Agents SDK仅40%；换成Claude Opus 5.5后，Dream仍为73.3%，Claude Managed Agents只有33.3%。这说明承载智能体的“框架”本身对能否从经验中学习影响很大，选型时不能只看底层模型。
记忆质量与成本存在权衡
在生成有用记忆的能力上，Claude Opus 5.5与GLM-5.3并列第一（73.3%），GPT-6.1 Sol为60%。但成本差异显著：GPT-6.1 Sol每任务约0.77美元，Opus 5.5为2.80美元，GLM-5.3为3.58美元。文章还提到，用较强模型生成记忆、再用较便宜模型执行任务，可能是一种兼顾效果与成本的思路。
记忆不是越多越好，错误经验会被继承
文章指出，若不对保存内容加以检查，智能体可能学到并重复坏习惯。案例中，GPT-6.1 Sol生成了四个独立技能，但执行时找不到所需那个；Gemini 4 Argon记住具体文件大小，换文件后失效；Opus 5.5则给出“同时检查常规文件和邮件”的通用指引，任务变化后仍有效。可见记忆的抽象方式比数量更关键。
基准仍处早期，分数波动需谨慎解读
FrontierMemory 1.0目前只有15项任务，且每项仅尝试一次，单个结果就能让分数变动约6.7个百分点。它当前侧重智能体从过往工作学习，而非在线更新记忆。后续版本将加入更长任务和在线记忆更新。因此，现有排名更适合作为方向性参考，而非最终结论。
Q&A
FrontierMemory基准测试的是什么？和普通记忆测试有什么不同？
FrontierMemory测试AI智能体能否从过往经验中学习并提升后续任务表现，而不仅仅是检索记忆。它让智能体接收之前工作的记录（包括成功和失败尝试），然后生成自己的记忆来帮助完成后续任务，衡量记忆是否真正改善下游任务性能。
五个AI智能体框架在FrontierMemory测试中的得分排名如何？
Letta Dream以73.3%居首，Prime Agent为60%，OpenAI Agents SDK为40%，Claude Managed Agents为33.3%，Hermes Agent为26.7%。
为什么说智能体框架（harness）本身可能和模型一样重要？
测试显示，即使使用相同模型，不同框架表现差异显著。例如Letta Dream和OpenAI Agents SDK都用GPT-6.1 Sol生成记忆、GPT-6 Sol完成任务，但Dream得分60%远超SDK的40%；使用Claude Opus 5.5时差距更大（Dream 73.3% vs Claude Managed Agents 33.3%）。Packer指出智能体处理“ dreaming”（回顾过往工作并转化为指令或记忆）的方式影响很大。
哪些模型生成记忆的能力最强？成本方面有何差异？
Claude Opus 5.5和GLM-5.3并列第一，得分73.3%；Kimi K3为66.7%；GPT-6.1 Sol和Gemini 4 Argon均为60%；Muse Wonder为46.7%；Grok 4.7为33.3%。成本上，GPT-6.1 Sol每任务约0.77美元，远低于Opus 5.5的2.80美元和GLM-5.3的3.58美元，因此OpenAI虽得分较低但运行成本优势明显。
不同模型生成的记忆质量差异体现在哪里？能举例说明吗？
在涉及公司定价数据的测试中，Opus 5.5创建了一个技能，告诉智能体何时使用特定信息；GPT-6.1 Sol创建了四个独立技能，但智能体从未找到所需的那一个；Gemini 4 Argon记住了具体文件大小，当后续任务涉及不同文件时帮助不大；Opus 5.5则指示智能体同时检查常规文件和电子邮件，即使任务变化也有效。
FrontierMemory基准目前有哪些局限性？未来计划如何改进？
目前仅包含15项任务，每个任务只尝试一次，单个结果可能使分数波动约6.7个百分点；且当前聚焦于智能体从过往工作学习，而非在线更新记忆。Packer表示下一个版本将加入更长运行的任务和在线记忆更新。
