为什么你的AI账单翻了三倍，而token价格却下降了75%
内容提要
AI账单飙升并非因token单价上涨，而是代理式AI工作负载消耗的token量远超聊天场景，且缺乏成本可见性。文章建议通过记录每次运行的token数、模型、重试次数等字段，计算每项任务的真实成本，并采用成本/任务等指标来衡量价值，而非仅关注token价格。
延伸解读
成本单位已变，仪表盘未跟上
文章指出，token单价下降75%与账单翻倍同时成立，原因在于计费的工作负载已从单轮聊天变为多轮代理任务。代理式工作流通常消耗相当于聊天任务5到30倍的token，足以抵消降价。企业若仍以token价格衡量成本，就会忽略实际消耗量的剧增，导致财务与工程对账困难。
上下文重复是隐藏的烧钱大头
代理每执行一步，都会将累积的历史上下文重新发送给模型，导致同一批token在多次迭代中被重复计费。一项覆盖30个工程团队的审计显示，这类重复消耗占总推理账单的62%。此外，多跳检索、工具调用和重试机制都会进一步放大token消耗，且不同运行之间的成本波动可达30倍，使预测变得困难。
成本可见性缺失阻碍项目落地
调查显示，仅23%的AI项目完全部署并达到原始ROI目标，而85%的企业计划实施LLM可观测性，但只有8%真正落实。缺乏按任务计费的能力，使团队无法向管理层证明AI投入的回报，进而影响后续预算审批。文章建议先记录每次运行的token数、模型、重试次数等五个字段，以计算每项任务的真实成本。
Q&A
为什么token价格下降了75%，但AI账单却翻了三倍？
因为AI账单的飙升不是由于token单价上涨，而是由于工作负载的变化。代理式AI工作负载（如智能体处理任务）消耗的token量远高于简单的聊天场景，通常是聊天任务的5到30倍，这抵消了价格下降的影响。
代理式AI工作负载为什么消耗这么多token？
主要原因是多步推理、多轮对话、多跳操作、重复循环、工具调用、上下文重新注入和重试循环。每一步都会将累积的历史上下文重新发送给模型，导致重复计费。一项审计发现，重复上下文占总推理账单的62%。
如何计算每个AI任务的真实成本？
需要记录每次运行的五个字段：输入token数、输出token数、使用的模型、重试次数以及任务是否完成。通过这些数据可以计算出每个已完成任务的实际成本，并识别出消耗预算最多的两三个工作流。
为什么企业难以看清AI成本？
因为81%的企业使用三个或更多AI模型，88%使用两个或更多提供商，成本数据分散在不同的计费控制台中，缺乏统一的比较单位。此外，85%的企业计划实施LLM可观测性，但只有8%真正做到了，导致缺乏每个任务的成本遥测。
AI项目失败的主要原因是什么？
根据文章，只有23%的AI项目完全部署并达到原始ROI目标。项目失败很少是因为模型质量，而是因为无法清晰阐述工作负载成本与回报之间的关系，即成本可见性差。
有哪些指标可以替代token价格来衡量AI价值？
文章建议使用四个指标：每个已完成任务的成本、上下文效率、质量调整效率和业务价值倍数。这些指标将衡量单位从token转移到结果，有助于回答董事会层面的问题。
如何优化AI工作负载的成本？
首先通过单一网关路由流量，确保所有运行数据集中。然后比较同一工作流的最高和最低十分位，找出成本差异，这是优化工作的重点。文章强调部分遥测优于完美规划，应尽快开始收集数据。
