内容提要
OpenAI发布GPT-6.1 Terra,称其在科学编程和电脑操作任务上接近Opus 5.5且成本更低。作者自建三项测试:发布分诊两者打平;细胞追踪Terra得分更高;大表格任务Terra完成而Opus因超输出上限未作答。Terra总成本约为Opus的12%,耗时更短,但大表格数值仍有错误,结果不具可重复性。
延伸解读
测试结果的可重复性有限
作者在测试过程中根据初步结果调整了任务难度,且每个最终版本仅对每个模型运行一次。因此,文中呈现的分数和成本对比不能代表模型在重复运行或不同工作负载下的平均表现。读者应将这些结果视为特定条件下的单次观察,而非稳定的性能排名。
成本优势需结合具体任务理解
在作者的三项测试中,Terra的估算未缓存token成本约为Opus的12%,耗时也更短。但这一比例基于特定任务和标准费率计算,实际费用还会受token用量、缓存读写及定价调整影响。此外,Terra在输入超过272,000 token时费率会上升,而聚合任务总量无法判断是否触发该阈值。
大表格任务暴露数值准确性风险
在缩减至约1,200行的大表格任务中,Terra虽完成作答,但50道题中错了3道,包括两个状态计数各差一,以及一个本应标记为无法回答的问题却给出了错误答案。这与作者此前对比Astra时观察到的数值错误一致。因此,即便Terra能完成任务,对表格类数值结果仍需人工复核。
努力设置与任务差异影响对比公平性
测试均在两家厂商的最高努力设置下运行,但不同模型的推理预算并不等价。作者也指出,这些测试与OpenAI的基准不同,且未隔离努力设置的影响。Anthropic建议Opus 5.5从默认中等努力开始,而作者未测试该配置。因此,直接根据本次结果推断模型整体优劣并不充分。
Q&A
GPT-6.1 Terra 和 Claude Opus 5.5 在价格上差多少?
根据文章,Terra 的标准 API 价格为每百万输入 token 1 美元、输出 token 5 美元,而 Opus 5.5 为输入 4 美元、输出 20 美元。在作者的三项最终测试中,Terra 的估算未缓存 token 总成本为 25.99 美元,Opus 为 214.96 美元,Terra 约为 Opus 的 12.1%,成本比约 8.27 比 1。
作者做了哪三项测试来对比 Terra 和 Opus?结果如何?
三项测试是:1) 发布分诊(release triage),两者打平;2) 细胞追踪(cell lineage),Terra 得 48/50,Opus 得 43.5/50;3) 大表格任务(约 1,200 行),Terra 完成并得 47/50,Opus 因达到 128,000 token 输出上限未给出最终答案。
Terra 在速度上比 Opus 快多少?
在三项最终测试中,Terra 总耗时 2,418 秒,Opus 总耗时 3,962 秒,Terra 快约 1,544 秒(约 25.7 分钟)。在细胞追踪测试中,Terra 用时约 15 分钟,Opus 约 36 分钟。
这些测试结果可靠吗?有什么局限性?
文章明确指出结果不具可重复性:作者在看过早期结果后修改了测试,且每个最终版本每个模型只运行一次,因此不能代表平均性能或可重复性。此外,测试使用各厂商的最大努力设置,但推理预算并不等价;大表格任务中 Terra 仍有数值错误;Opus 未完成大表格任务仅说明在该配置下达到输出上限,不能断定其无法回答。
OpenAI 官方宣称 Terra 比 Opus 5.5 强在哪里?
OpenAI 称在 Terminal-Bench-Science 0.1 上,Terra 与 Opus 5.5 的差距在 5 个百分点以内,且回退成本不到 Opus 的五分之一;在最大努力下,Terra 的 token 效率是 Opus 的三倍以上,标准输入输出价格仅为四分之一;在 Agents’ Last Exam 上,Terra 得分 60.0%(每任务 1.01 美元),Opus 得分 63.2%(每任务 8.82 美元),成本比约 8.73 比 1。
对于实际使用,作者有什么建议?
作者建议:对于浏览器和代码执行类任务,可以先在最大努力下试用 Terra 再决定是否选用 Opus;应针对具体工作负载比较各模型的最佳努力设置,并在多次运行中检查准确率、完成率、时间和成本;对于大表格的数值答案仍需人工复核,因为 Terra 在本次测试和之前与 Astra 的对比中都出现过错误。