Heroku
·
自动提示缓存加速代理响应
💡
原文英文，约600词，阅读约需2分钟。
📝
内容提要
Heroku将于2025年12月18日推出自动提示缓存，旨在加速推理和代理的响应速度。该功能默认启用，仅缓存系统提示和工具定义，用户消息不受影响。缓存机制智能添加检查点，重复请求可重用缓存结果，五分钟后自动过期。用户可通过设置HTTP头禁用缓存，以确保敏感工作流的安全性。
🎯
关键要点
- Heroku将于2025年12月18日推出自动提示缓存，旨在加速推理和代理的响应速度。
- 该功能默认启用，仅缓存系统提示和工具定义，用户消息不受影响。
- 缓存机制智能添加检查点，重复请求可重用缓存结果，五分钟后自动过期。
- 用户可通过设置HTTP头禁用缓存，以确保敏感工作流的安全性。
- 提示缓存通过安全缓存和重用请求的处理组件来加速推理。
- 对于涉及代理的应用程序，大部分请求内容保持静态，Heroku可以重用安全缓存中的处理结果。
- 缓存行为因模型而异，不同模型有不同的阈值和能力。
- Heroku的提示缓存功能建立在经过验证的安全基础设施上，保护用户数据。
- 用户可以通过添加HTTP头来禁用缓存，适用于高度敏感的工作流或性能测试。
- 提示缓存使Heroku Managed Inference和代理更易于构建安全高效的AI应用程序。
❓
延伸问答
Heroku的自动提示缓存功能有什么作用？
该功能旨在加速推理和代理的响应速度，提供显著的性能提升。
如何禁用Heroku的提示缓存？
用户可以通过设置HTTP头X-Heroku-Prompt-Caching: false来禁用缓存。
提示缓存的工作机制是怎样的？
提示缓存通过智能添加检查点来缓存系统提示和工具定义，重复请求可重用缓存结果。
Heroku的提示缓存对用户消息有影响吗？
不影响，提示缓存仅缓存系统提示和工具定义，用户消息不受影响。
提示缓存的自动过期时间是多久？
缓存会在五分钟后自动过期。
Heroku的提示缓存如何保障用户数据安全？
提示缓存建立在经过验证的安全基础设施上，使用加密哈希和自动过期来保护用户数据。
➡️
