Gemini 4 Argon 对比 Claude Opus 5.5:价格减半,准确率也减半

Gemini 4 Argon 对比 Claude Opus 5.5:价格减半,准确率也减半

💡 原文英文,约1000词,阅读约需4分钟。
📝

内容提要

谷歌Gemini 4 Argon在18项基准测试中14项领先Claude Opus 5.5,且限时半价。作者实测三项任务:代码审查两者持平,Argon更便宜;规格测试因一行代码错误失败;长上下文测试中Argon推理错误严重、回答草率。结论:Argon虽便宜,但可靠性不足,不建议使用。

🔎

延伸解读

基准测试与真实任务之间的落差

文章指出,谷歌公布的18项基准中Argon领先14项,但作者实测三项任务却得到不同结果:代码审查持平,规格测试因一行代码错误失败,长上下文测试推理错误严重。这提醒读者,厂商基准分数不能直接等同于实际工作表现,尤其当测试任务与基准设计差异较大时,需以自身场景验证。

半价窗口的短期性与长期成本

Argon目前输入每百万token 2美元、输出10美元,仅为Opus 5.5的一半,但12月1日起将涨至4美元和20美元,与Opus持平。作者测试中Argon因token用量更少,即使恢复原价仍可能更便宜,但价格优势会缩小。读者需注意限时折扣的截止时间,并综合token消耗评估长期成本。

长上下文任务中的可靠性风险

在长上下文“爆炸半径”问题中,Argon在500K、600K、900K文档上均出现错误,且回答迅速、缺乏推理步骤,token用量远低于Opus。作者认为这反映推理过程草率,虽不能证明因果,但提示在需要精确追溯依赖关系的任务中,Argon的可靠性不足,不宜盲目信任。

单次测试的局限与使用建议

作者每个任务只运行一次,且承认无法从单次运行证明Argon错误的原因。因此结论应视为警示而非定论。对于代码审查等任务,Argon表现与Opus相当且更便宜;但对于规格实现和长上下文推理,作者基于实测表示不会使用Argon。读者可参考其方法,在自身关键任务上做小规模对比测试。

❓

Q&A

Gemini 4 Argon 和 Claude Opus 5.5 的价格对比如何?

在限时优惠期间(至11月30日),Gemini 4 Argon 的价格为每百万输入token 2美元、每百万输出token 10美元,是 Claude Opus 5.5 价格的一半。但从12月1日起,Argon 的价格将上涨至每百万输入token 4美元、每百万输出token 20美元,与 Opus 5.5 持平。

Gemini 4 Argon 在基准测试中的表现真的比 Claude Opus 5.5 好吗?

根据谷歌公布的基准测试,Argon 在18项测试中的14项领先 Opus 5.5,例如 DeepSWE(77.9% vs. 74.2%)和 GraphWalks(84.2% vs. 66.8%)。但 Opus 5.5 在 Terminal-bench 4.0 等4项测试中领先。然而,实际测试表明基准测试并不总能反映真实工作表现。

在实际代码审查任务中,Gemini 4 Argon 和 Claude Opus 5.5 哪个更准确?

在代码审查任务中,两者表现持平:都找到了全部14个bug,包括4个跨文件追踪的bug,且都没有误报。后续修复中,两者都修复了所有bug且未破坏现有测试。但 Argon 的成本更低,平均每个bug的审查成本为1美分,而 Opus 为2.4美分。

为什么 Gemini 4 Argon 在规格测试中失败?

Argon 在规格测试中失败是因为它犯了一个小错误:在代码中向 Python 的 `datetime.combine()` 传递了额外的参数,导致错误,而大多数模块依赖于该辅助函数。当作者手动修正这一行后,Argon 通过了所有测试(80/80 和 100/100)。但官方评分仍基于未修正的版本。

在长上下文测试中,Gemini 4 Argon 的表现如何?

在长上下文测试中,Argon 表现不佳。对于“爆炸半径”问题(要求列出所有受影响的服务),正确答案是33个服务。Opus 在500K和600K上下文下分别正确识别了33个和32个服务,没有错误条目。而 Argon 在500K时正确20个、错误8个;600K时正确19个、错误16个;900K时正确23个、错误2个。此外,Argon 推理错误严重,回答草率,没有展示逐步推理过程。

作者对 Gemini 4 Argon 的整体评价是什么?

作者认为,尽管 Argon 在代码审查任务中与 Opus 5.5 持平且更便宜,但在规格测试和长上下文测试中表现不可靠,推理错误严重。因此,作者不建议使用 Argon,因为其可靠性不足,无法在不加质疑的情况下信任它完成任何任务。

🏷️

标签

➡️

继续阅读