Muse Wonder vs. Claude Fable 5.1: Meta’s new model came closer than I expected

Muse Wonder vs. Claude Fable 5.1: Meta’s new model came closer than I expected

💡 原文英文,约1100词,阅读约需4分钟。
📝

内容提要

Meta于10月12日发布Muse Wonder,标准版通过Model API和Muse Code提供,Full版仅限Muse Code高级订阅。定价为每百万输入4美元、输出20美元,比Anthropic的Fable 5.1便宜60%。实测三项任务:两者均通过事件调查;Fable修复漏洞略优;但Fable因“网络安全”误判拒绝常规后端项目,Muse完成并满分。Muse性能接近Fable,但token消耗更高,总成本反而更贵。

🔎

延伸解读

价格优势可能被高token消耗抵消

Muse Wonder标准版每百万输入4美元、输出20美元,比Fable 5.1的10美元和50美元便宜60%。但实测中Muse消耗的token约为Fable的两倍,导致总成本反而更高:三项任务总花费2.25美元对1.85美元,两项共同完成的任务为1.78美元对1.28美元。因此,低单价不等于低成本,实际支出取决于任务中的token用量。

Fable的网络安全误判可能中断常规开发

在第三项后端任务中,Fable 5.1因“网络安全”分类拒绝执行,50轮中有34轮被拒,包括最终交付物和测验,导致得分为零。该任务只是普通webhook中继,与网络安全无关。Anthropic建议为被拒请求设置回退模型,但作者未采用。使用Fable的开发者若处理类似代码,可能遇到请求被中途拦截的情况。

性能接近但细节仍有差距

在事件调查任务中,两者均得10分;在漏洞修复任务中,Fable通过全部6个隐藏测试,Muse通过5个,因修复后仍将旧尝试次数发送给失败事件。Muse在第三项任务中得25分,而Fable因拒绝得零分。总体看,Muse在agentic任务上接近Fable,但Meta自己的基准表显示标准版在OSWorld等测试上落后于Fable 5.1。

测试局限:单次运行与默认推理设置

作者每个测试只运行一次,且使用默认推理设置,而Meta的对比使用了最大推理努力。因此结果可能因运行而异,不能视为稳定结论。此外,Fable因拒绝而未能完成记忆测试,该测试无法反映其长会话记忆能力。这些限制意味着对比结果应谨慎解读。

❓

Q&A

Muse Wonder 和 Claude Fable 5.1 的价格分别是多少?

Muse Wonder 标准版每百万输入 token 4 美元、输出 20 美元;Claude Fable 5.1 每百万输入 10 美元、输出 50 美元。Muse Wonder 比 Fable 5.1 便宜 60%。

Muse Wonder 有哪些版本?如何获取?

Muse Wonder 有两个版本:标准版通过 Meta 的 Model API 和 Muse Code 提供;Full 版仅限 Muse Code 高级订阅计划。

在实测中,Muse Wonder 和 Fable 5.1 在修复漏洞任务上表现如何?

两者都正确追踪了第一个 bug 并修复了第三个 bug,且未破坏 22 个回归测试。但 Fable 通过了全部 6 个隐藏测试,而 Muse 只通过了 5 个,因为其修复仍将旧尝试次数发送到作业失败事件。

为什么 Fable 5.1 在第三个测试中得零分?

Fable 5.1 在第三个测试中因 Anthropic API 返回“网络安全”类别的拒绝而失败。该测试要求从环境变量读取中继目标 URL,但 Fable 在 50 轮中拒绝了 34 轮,包括最终交付物和测验。该项目是普通的 webhook 中继,与网络安全无关。

在成本方面,Muse Wonder 和 Fable 5.1 的实测总花费分别是多少?

在实测中,Muse Wonder 总花费 2.25 美元,Fable 5.1 总花费 1.85 美元。尽管 Muse 单价更低,但由于其 token 使用量更高,总成本反而更贵。

作者最终推荐使用哪个模型?为什么?

作者仍推荐 Fable 5.1 用于智能体调试和调查,因为它更准确、使用轮次更少且总成本更低。但当 Fable 的网络安全防护阻止工作时,Muse Wonder 可作为替代方案。

🏷️

标签

➡️

继续阅读