内容提要
OpenAI发布GPT-6.1 Sol,宣称以Astra五分之一的价格提供接近其智能水平。作者通过三项测试对比,发现GPT-6.1 Sol准确率与Astra持平,速度更快,总成本仅为Astra的18%,验证了OpenAI的定价与性能主张。
延伸解读
实测成本与官方定价的吻合度
作者通过三项测试统计总成本,GPT-6.1 Sol 花费 2.66 美元,Astra 花费 14.77 美元,前者仅为后者的 18%,与 OpenAI 宣称的“五分之一价格”基本一致。具体到每项测试,成本优势主要来自输出 token 更少以及单价更低,例如在 resolver 规格测试中,Astra 输出 token 多出 28%,导致单次成本差距拉大。
速度表现并非全面占优
在首项测试中,Astra 平均每次运行 24 秒,快于 GPT-6.1 Sol 的 31 秒;但在后两项耗时更长的测试中,GPT-6.1 Sol 反而更快,分别快约 19% 和 30%。这说明速度优势与任务类型和运行时长有关,不能简单认为 GPT-6.1 Sol 在所有场景下都更快。
准确率打平但测试范围有限
三项测试中,GPT-6.1 Sol 与 Astra 在准确率上完全持平,均通过所有检查。但作者明确指出,这些测试无法证明两者在所有任务上完全等同,且 Artificial Analysis 的指数仍显示 Astra 在最大推理努力下略占优势。因此,准确率打平仅适用于本次测试覆盖的智能体编码、计算机使用和专业工作场景。
对实际选型的参考意义
基于测试结果,作者表示会在这类工作中选用 GPT-6.1 Sol,因为它在三项测试中全部正确,成本不到 Astra 的五分之一,且在两项长测试中更快。不过,如果任务对 Astra 的微弱智能优势有硬性要求,或超出本次测试范围,仍可能需要考虑 Astra。选型时应结合具体任务类型和成本敏感度权衡。
Q&A
GPT-6.1 Sol 和 GPT-6 Astra 的价格具体差多少?
GPT-6.1 Sol 每百万输入 token 2 美元,输出 10 美元,缓存输入 0.10 美元;GPT-6 Astra 每百万输入 10 美元,输出 50 美元,缓存输入 1 美元。即输入输出价格为 Astra 的五分之一,缓存输入为十分之一。
在实际测试中,GPT-6.1 Sol 和 Astra 的准确率谁更高?
三项测试中两者准确率完全持平:第一项均 40 次调用全对,第二项均 7 题全对,第三项均通过 120 个隐藏测试。
GPT-6.1 Sol 在速度上比 Astra 快多少?
第一项测试 Astra 平均 24 秒/次,GPT-6.1 Sol 31 秒/次;第二项 GPT-6.1 Sol 快约 19%;第三项快约 30%。
三项测试的总成本分别是多少?
GPT-6.1 Sol 总成本 2.66 美元,Astra 总成本 14.77 美元,GPT-6.1 Sol 仅为 Astra 的 18%。
OpenAI 对 GPT-6.1 Sol 的定位是什么?
OpenAI 称其为“以五分之一价格提供接近 Astra 的智能”,在代理编码、计算机使用和专业工作上接近 Astra,且低推理努力下事实错误少于 GPT-6 Sol。
作者对 GPT-6.1 Sol 的最终推荐是什么?
作者推荐在这类工作中使用 GPT-6.1 Sol,因为它准确率与 Astra 持平,成本不到五分之一,且在两个较长测试中更快。