GPT-6 更佳的提示缓存
内容提要
OpenAI为GPT-6推出改进的提示缓存系统，默认提高缓存命中率，30分钟内复用共享前缀可享折扣。新增仪表盘和诊断工具，帮助开发者监控命中率、排查未命中原因。开发者还可设置显式缓存断点、调整推理强度、保持工具定义稳定及预热缓存，以优化性能并降低成本。
延伸解读
缓存命中率提升与成本优化
GPT-6 的改进提示缓存系统默认提高了缓存命中率，对30分钟内复用的共享前缀提供折扣，缓存输入令牌最高可享90%折扣。这能显著降低推理成本，尤其适合需要多次API调用的持久代理应用。开发者应关注缓存命中率，以充分利用成本优势。
新增监控与诊断工具
OpenAI 推出了提示缓存仪表盘和诊断工具。仪表盘可跟踪缓存命中率随时间的变化，并通过输入组成图表比较缓存与未缓存令牌。诊断工具能帮助识别缓存未命中的原因，如工具变更，并估算受影响令牌数，便于评估影响并优化集成。
优化缓存的实用策略
开发者可通过显式缓存断点选择要缓存的提示前缀；在GPT-6模型上调整推理强度而不破坏缓存；保持工具定义、模式和顺序稳定，使用allowed_tools或tool_choice控制工具调用；以及预热缓存以减少延迟。这些策略有助于定制缓存，提升性能并降低成本。
Q&A
GPT-6 的提示缓存有什么新改进？
GPT-6 推出了改进的提示缓存系统，默认提高缓存命中率，并对 30 分钟内复用的共享前缀提供折扣。新增了仪表盘和诊断工具，帮助开发者监控缓存性能、排查未命中原因，并支持显式缓存断点等控制选项。
如何监控 GPT-6 的缓存命中率？
可以使用新的 Prompt Caching Dashboard 查看应用程序输入从缓存中服务的比例，跟踪随时间变化的命中率，并通过输入组成图表比较缓存和未缓存的 token。这些视图有助于发现缓存命中下降并评估更改的影响。
当 GPT-6 出现意外的缓存未命中时，如何诊断原因？
使用提示缓存诊断工具，将请求与最近的响应进行比较，以识别模型、工具、设置或输入的变化，这些变化阻止了重用。工具会提供未命中原因（如 tools_changed）和受影响 token 的估计数量，帮助评估影响并优化集成。
如何优化 GPT-6 的提示缓存以提高命中率？
可以采取以下措施：使用显式缓存断点选择要缓存的提示前缀；在 GPT-6 模型上通过追加 configuration_update 调整推理强度而不破坏缓存；保持工具定义、模式和顺序稳定，使用 allowed_tools 或 tool_choice 控制工具调用；使用新的开发者消息在上下文末尾追加指令；预热缓存以减少延迟。
GPT-6 的提示缓存能节省多少成本？
OpenAI 为缓存的输入 token 提供高达 90% 的折扣。实际案例中，有开发者通过优化缓存将推理成本降低了 20% 到 36%，缓存写入减少约三分之二。
什么是显式缓存断点，如何使用？
显式缓存断点允许开发者选择要重用的提示前缀。通过设置断点，可以控制哪些部分被缓存，从而在工具和输入变化时保持稳定上下文可重用。具体使用方法可参考更新的提示缓存指南。
