内容提要
OpenAI推出低价快速模型GPT-6.1 Terra,价格约为旗舰Astra的十分之一。作者用三项合成任务测试:Terra在SQL推理和数据校验上得分较低,事件日志排查与Astra持平,但速度更快、成本约为Astra的8%。结论是Terra适合部分低成本场景,数值汇总和全面数据校验仍需人工复核。
延伸解读
测试结果揭示的取舍:速度与成本优势伴随准确性风险
在作者的三项合成任务中,Terra在SQL推理和数据校验上得分明显低于Astra,但在事件日志排查上与Astra持平。Terra总耗时258.8秒,约为Astra的37%,估算成本0.61美元,仅为Astra的7.8%。然而,Terra在SQL测试中未尝试六道需汇总计算的题目,并答错六题,且错误答案与正确答案同样自信,用户难以察觉。这表明低价快速模型在需要精确汇总或全面校验的场景中风险较高。
Terra的“诚实”与局限:拒绝计算但可能遗漏隐蔽错误
Terra在SQL测试中未编造数字,而是生成查询让用户自行运行,这避免了虚假答案,但也将最耗时的汇总工作交还用户。在数据校验任务中,Terra正确标记了35个违规记录且无误报,但漏掉了5个需跨记录比对的违规项。作者提醒,Terra的得分是测试分数,并非整体准确率。这些表现说明Terra适合辅助性工作,但关键数值和全面校验仍需人工复核。
测试方法的边界:单次运行与合成任务限制结论外推
作者强调,这些结果是单次运行、合成任务上的表现,不能代表重复性或所有工作负载。测试经过多次迭代才达到区分度,且高推理努力设置并不保证两模型获得相同推理令牌预算。因此,Terra与Astra的对比仅反映本次测试中的成本、时间与得分权衡,不能推断OpenAI故意削减推理能力。读者应结合自身场景验证,而非直接套用结论。
Q&A
GPT-6.1 Terra 和 GPT-6 Astra 的价格差多少?
Terra 的价格约为 Astra 的十分之一:输入每百万 token 1 美元(Astra 为 10 美元),输出每百万 token 5 美元(Astra 为 50 美元)。
在高强度模式下,Terra 和 Astra 的速度和成本具体相差多少?
在作者的三项高强度测试中,Terra 总耗时 258.8 秒,Astra 为 709.2 秒,Astra 耗时约为 Terra 的 2.74 倍;估算 token 成本分别为 0.61 美元和 7.88 美元,Terra 成本约为 Astra 的 7.8%。
Terra 在 SQL 推理测试中表现如何?
Terra 得分 26/50,远低于 Astra 的 48/50。它处理了全部 500 行数据并处理了软删除、重试和三种货币,但在六道需要跨行汇总成本或时长的题目上未作答,而是生成 SQL 查询让用户自行运行;另有六题答错,其中四题计数仅差一两个,且错误答案与正确答案同样自信。
在数据校验任务上,Terra 和 Astra 的准确率对比如何?
Astra 获得满分 50 分,Terra 获得 45 分。Terra 正确标记了 40 条无效记录中的 35 条,且未误标任何有效记录(召回率 87.5%,精确率 100%),但漏掉了 5 条无效记录;Astra 则全部捕获,但耗时超过四倍,成本约十二倍。
Terra 在事件日志排查任务中能否与 Astra 匹敌?
可以。两者在该任务上均获得满分 50 分,都正确将故障追溯到账本服务的设置变更,并找出三台时钟错误的服务器,且都避开了误导性线索。但 Astra 成本约为 Terra 的 11 倍,耗时是 Terra 的 2.6 倍。
根据测试,Terra 适合哪些场景,哪些场景需要谨慎?
Terra 可能适合部分低成本工作负载,例如经过验证的事件排查任务;但在未经核对的数值汇总或全面数据校验方面应谨慎使用,因为它在这些任务上得分较低且可能自信地给出错误答案。无论使用哪个模型,结果都建议人工复核。