内容提要
OpenAI曾考虑对下一代模型放弃按token计费,改为开发者提交提示词后直接报价的AWS模式,但客户强烈反对,认为无法了解费用构成,宁愿接受token涨价也要保持透明。Altman承认token是“虚假单位”,并非理想计量方式,但暂无更好替代方案,token计费仍将继续沿用。
延伸解读
客户为何拒绝“一口价”
奥特曼透露,OpenAI曾考虑像AWS那样,开发者提交提示词后直接获得报价,而非按token计费。但客户反馈极其负面,他们坚持“我需要知道钱花在哪里”。开发者日常需追踪输入输出token以控制成本,若只给总价而无明细,将更难预估用量增长后的开支。因此,即便token单价可能被抬高,客户也宁愿保留透明计费。
token是“虚假单位”却难替代
奥特曼承认token是“某种虚假单位”,虽真实存在但并非理想计量方式。他拒绝创造“智能等效token”的提议,类比芯片制程纳米数已不对应物理尺寸。目前OpenAI找不到更好替代方案,token计费仍将沿用。这揭示AI计费的核心矛盾:缺乏公认的、能反映实际价值的计量单位,只能沿用近似指标。
对智能体开发者的实际影响
文章指出,若改为按任务报价,对构建智能体的开发者影响显著,因为多步工作流本就消耗不可预测的算力,费用难以预估。奥特曼未说明OpenAI将如何设定每任务价格,也未提及客户能否比价。当前token模式下,开发者还需在便宜模型与更强模型间权衡,并猜测任务所需推理量,奥特曼称这是“不增加价值的认知负担”。
Q&A
OpenAI为什么最终没有放弃按token计费?
因为客户强烈反对。开发者表示需要知道费用是如何计算的,宁愿接受token涨价也要保持透明,否则会担心长期被坑。
OpenAI曾考虑用什么方式替代token计费?
考虑像AWS一样,开发者提交提示词后直接获得一个报价,而不是按token逐次计量收费。
奥特曼如何评价token作为计费单位?
他承认token是“虚假单位”,虽然某种意义上是真实的,但并不是一个好的计量单位,不过目前没有更好的替代方案。
开发者为什么更愿意接受token计费而不是一口价?
因为token计费能让他们了解费用构成,便于控制成本和预估支出;而单一不透明的价格会让他们担心长期被坑。
按任务报价对构建AI代理的开发者有什么影响?
代理的多步工作流消耗的计算量难以预测,即使按token计费也难以预估支出;若改为按任务报价,可能使费用更不透明,增加预算难度。
目前OpenAI的计费方式是什么?
目前仍继续沿用按token计费,尽管奥特曼承认其缺点且OpenAI难以找到更好的替代方案。