DigitalOcean 无服务器推理提示缓存正式上线：智能体重发上下文费用最高减免 90%
内容提要
DigitalOcean 无服务器推理正式推出提示缓存：缓存输入费用最高减免 90%，首字延迟降低 80%。新增缓存亲和路由，将重复请求导向已缓存提示的副本，命中率从约 35% 提升至 90% 以上。新增 prompt_cache_key 用于账户内流量隔离，支持 Responses API，上下文窗口提升至 256K 以上，并提供控制面板仪表盘查看命中率与节省费用。缓存自动生效，无需修改请求代码。
延伸解读
缓存亲和路由：从“碰运气”到稳定命中
文章指出，提示缓存只有在请求到达持有缓存的副本时才生效。此前公开预览阶段，缓存虽默认开启，但请求被负载均衡随机分发，命中率仅约35%，用户常为重复令牌支付全价。新增的缓存亲和路由会先筛选出已缓存大部分提示的副本，再在其中做负载均衡，从而将旗舰模型命中率提升至90%以上。这意味着缓存收益不再依赖运气，而是由路由机制保障。
prompt_cache_key：账户内流量隔离的实用控制
缓存默认在账户间隔离，但同一账户内不同团队或客户的流量可能共享缓存。新增的可选参数prompt_cache_key允许开发者按业务分组隔离缓存，例如将法务团队与市场团队的缓存分开，或隔离不同终端客户。不同键的请求不共享缓存，但各自仍正常缓存。该参数不负责将请求固定到某个副本，仅用于逻辑隔离，适合多租户场景下避免上下文串扰。
上下文窗口提升与可观测性：让节省看得见
GA版本将上下文窗口提升至256K令牌以上，使更长的代码库、文档或对话能作为单一前缀被缓存和复用。同时，每次响应都会报告缓存与未缓存令牌数，控制面板新增仪表盘展示命中率趋势、按模型细分及节省费用估算。这帮助开发者定位未受益的提示并优化。需注意，缓存仅对窗口内部分生效，且折扣与延迟改善因模型和提示而异。
Q&A
DigitalOcean 无服务器推理的提示缓存有什么好处？
缓存输入费用最高减免 90%，首字延迟降低 80%。缓存自动生效，无需修改请求代码。
什么是缓存亲和路由？它如何提高缓存命中率？
缓存亲和路由将每个请求导向已持有其大部分提示的副本。路由器先检查哪些副本已缓存请求的大部分提示，缩小到热集合，再在最少忙碌的副本间负载均衡。若无热副本，则回退到全池均衡。内部测试中，命中率从约 35% 提升至 90% 以上。
prompt_cache_key 有什么作用？如何使用？
prompt_cache_key 用于在账户内隔离流量，例如将法务团队与市场团队的缓存分开，或隔离不同终端客户的缓存。不同键的请求不共享缓存，但各自正常缓存。它是可选的，不会将请求固定到某个副本。在请求中添加 "prompt_cache_key": "tenant-4821-support-agent" 即可。
提示缓存支持哪些 API？上下文窗口有多大？
提示缓存支持 Chat Completions 和 Responses API。GA 后上下文窗口提升至 256K tokens 及以上，使更多长代码库、文档或对话可作为单一前缀被缓存和重用。
如何查看提示缓存的命中率和节省费用？
控制面板新增提示缓存仪表盘，显示缓存命中率随时间的变化、按模型的细分以及节省费用的估算，帮助找出未受益的提示并进行修复。每个响应也会报告缓存和未缓存的 token 数量。
使用提示缓存需要修改代码或开启什么设置吗？
不需要。提示缓存自动应用于每个符合条件的请求，无需开启。prompt_cache_key 是可选的，仅在需要分组或隔离流量时使用。将请求发送到 https://inference.do-ai.run/v1 即可，与现有方式相同。
