构建Claude Code的经验教训：Prompt 缓存就是一切
💡
原文中文，约3000字，阅读约需8分钟。
📝
内容提要
提示缓存技术是Claude Code等AI Agent成功的关键，能有效降低延迟和成本。通过优化提示词顺序、使用消息传递更新和避免中途更改工具等方法，可以提高缓存命中率，确保系统高效运行。
🎯
关键要点
- 提示缓存技术是AI Agent成功的关键，能显著降低延迟和成本。
- 提示缓存通过前缀匹配工作，内容顺序至关重要，静态内容应放在前面。
- 更新提示词时应通过消息传递，而非直接修改，以避免缓存未命中。
- 在对话中途添加或移除工具会导致缓存失效，应避免此类操作。
- Plan模式应围绕缓存设计，保持工具集不变以维护缓存稳定性。
- 工具搜索功能应采用延迟加载而非移除，以保持缓存前缀的稳定性。
- 上下文分支操作需共享父对话的前缀，以确保缓存命中。
- 监控缓存命中率，设置告警以处理缓存中断，避免成本和延迟增加。
- 压缩操作需使用相同的系统提示和工具定义，以保持缓存一致性。
❓
延伸问答
提示缓存技术如何降低AI Agent的延迟和成本？
提示缓存技术通过复用之前交互的计算结果，显著降低了延迟和成本。
在优化提示缓存时，内容的顺序有何重要性？
内容顺序至关重要，静态内容应放在前面，以便最大化缓存命中率。
如何避免在对话中途更改工具导致缓存失效？
应避免在对话中途添加或移除工具，因为这会导致整个对话的缓存失效。
在更新提示词时，为什么推荐使用消息传递而非直接修改？
使用消息传递可以避免缓存未命中，从而降低用户成本。
Plan模式应如何设计以维护缓存稳定性？
Plan模式应保持工具集不变，并通过系统消息告知模型当前状态，以维护缓存稳定性。
如何监控提示缓存的命中率以避免成本增加？
应设置监控告警，一旦命中率过低，就启动故障事件处理流程。
➡️
