AI账单飙升并非因token单价上涨，而是代理式AI工作负载消耗的token量远超聊天场景，且缺乏成本可见性。文章建议通过记录每次运行的token数、模型、重试次数等字段，计算每项任务的真实成本，并采用成本/任务等指标来衡量价值，而非仅关注token价格。

Uber公开AI成本优化实践：通过将总花费拆解为六个可独立优化的变量，并采用四层架构管理智能体，实现了周活跃用户增长7倍、请求量增长9.4倍的同时，AI总支出自4月起保持稳定，单次请求成本下降34%，会话成本下降52%。核心方法包括模型选型基准测试、MCP工具CLI化、Code-Mode压缩Token、优化Prompt Cache TTL及构建上下文图谱，强调成本可见性与文化引导，为AI编程降本提供了系统化工程方案。

OpenCost与llm-d集成，为Kubernetes上的LLM推理提供成本可见性。通过vLLM指标计算每模型和每token成本，区分分配成本（含闲置GPU）与使用成本（仅活跃推理），帮助平台团队评估自建与SaaS成本、优化GPU利用率。支持按命名空间和团队计费，已发布OpenCost 1.121.0。

成功的数据团队在SaaS平台中通过云优先、可视化成本和灵活架构获得优势。随着代理系统的兴起，数据团队需适应新的用户需求，支持短期应用和实验。关键在于实现隔离、在线变更、成本可见性和生命周期自动化，以应对动态需求。