Coinbase运行1200个代理，并将其AI费用削减了一半
内容提要
Vercel和Coinbase的CEO正在构建多模型生产系统，以避免依赖单一AI提供商。两家公司通过降低成本、任务路由和缓存优化，提高了AI模型的使用效率。Armstrong强调，基础设施的自动化决策将成为关键竞争优势。
关键要点
-
Vercel和Coinbase的CEO正在构建多模型生产系统，以避免依赖单一AI提供商。
-
两家公司通过降低成本、任务路由和缓存优化，提高了AI模型的使用效率。
-
Vercel每天在数百万个部署中路由超过一万亿个令牌，正在逐步摆脱单一实验室的合作关系。
-
Coinbase将内部AI支出减少近一半，同时整体令牌使用量持续增长。
-
Coinbase的三大核心策略包括：内部LLM网关、基于任务的路由和积极的缓存策略。
-
Armstrong强调，基础设施的自动化决策将成为关键竞争优势，人工开发者不应手动选择模型。
-
随着基础模型的易于替换，工程重点转向周边基础设施，动态决策模型的使用。
-
评估低成本模型的性能至关重要，需在实际工作负载中进行持续测试。
延伸解读
多模型系统的优势
Vercel和Coinbase的策略显示，构建多模型生产系统可以有效降低成本并提高效率。通过动态路由和缓存优化，这种方法不仅减少了对单一AI提供商的依赖，还能根据任务需求灵活选择最合适的模型，从而提升整体性能。
成本控制的重要性
Coinbase通过内部LLM网关和任务路由策略，将AI支出减少近一半。这表明，企业在选择AI模型时，关注成本和性能的平衡至关重要。持续评估低成本模型的表现，能够帮助企业在竞争中保持优势。
基础设施的自动化决策
Armstrong强调，基础设施的自动化决策将成为未来的关键竞争优势。随着基础模型的易于替换，企业需要将重点放在周边基础设施的建设上，以实现更高效的模型选择和任务处理。
延伸问答
Coinbase如何降低其AI支出？
Coinbase通过使用内部LLM网关、基于任务的路由和积极的缓存策略，将内部AI支出减少近一半。
Vercel和Coinbase的共同点是什么？
两家公司都在构建多模型生产系统，以避免依赖单一AI提供商，并通过任务路由和缓存优化提高AI模型的使用效率。
Coinbase的三大核心策略是什么？
Coinbase的三大核心策略包括内部LLM网关、基于任务的路由和积极的缓存策略。
Armstrong对基础设施自动化决策的看法是什么？
Armstrong认为基础设施的自动化决策将成为关键竞争优势，人工开发者不应手动选择模型。
Vercel每天处理多少个令牌？
Vercel每天在数百万个部署中路由超过一万亿个令牌。
Coinbase如何提高缓存命中率？
Coinbase通过保持对话锁定在同一模型上，成功将缓存命中率从5%提升至60%。
