DigitalOcean 无服务器推理正式推出提示缓存:缓存输入费用最高减免 90%,首字延迟降低 80%。新增缓存亲和路由,将重复请求导向已缓存提示的副本,命中率从约 35% 提升至 90% 以上。新增 prompt_cache_key 用于账户内流量隔离,支持 Responses API,上下文窗口提升至 256K 以上,并提供控制面板仪表盘查看命中率与节省费用。缓存自动生效,无需修改请求代码。
完成下面两步后,将自动完成登录并继续当前操作。