自动提示缓存加速代理响应
💡
原文英文，约600词，阅读约需2分钟。
📝
内容提要
Heroku将于2025年12月18日推出自动提示缓存，旨在加速推理和代理的响应速度。该功能默认启用，仅缓存系统提示和工具定义，用户消息不受影响。缓存机制智能添加检查点，重复请求可重用缓存结果，五分钟后自动过期。用户可通过设置HTTP头禁用缓存，以确保敏感工作流的安全性。
🎯
关键要点
- Heroku将于2025年12月18日推出自动提示缓存，旨在加速推理和代理的响应速度。
- 该功能默认启用，仅缓存系统提示和工具定义，用户消息不受影响。
- 缓存机制智能添加检查点，重复请求可重用缓存结果，五分钟后自动过期。
- 用户可通过设置HTTP头禁用缓存，以确保敏感工作流的安全性。
- 提示缓存通过安全缓存和重用请求的处理组件来加速推理。
- 对于涉及代理的应用程序，大部分请求内容保持静态，Heroku可以重用安全缓存中的处理结果。
- 缓存行为因模型而异，不同模型有不同的阈值和能力。
- Heroku的提示缓存功能建立在经过验证的安全基础设施上，保护用户数据。
- 用户可以通过添加HTTP头来禁用缓存，适用于高度敏感的工作流或性能测试。
- 提示缓存使Heroku Managed Inference和代理更易于构建安全高效的AI应用程序。
➡️
