内容提要
本文探讨了Claude模型中的提示词缓存技术，强调静态前缀与动态后缀的分离如何降低计算成本。通过缓存，Claude实现了92%的命中率和81%的费用节省，避免了重复计算。文章提出三条规则以保持缓存有效性，并建议在设计提示词时将静态内容放在顶部，动态内容放在底部，以优化性能。
关键要点
-
Claude模型通过提示词缓存技术实现92%的命中率和81%的费用节省。
-
静态前缀与动态后缀的分离是提示词缓存的核心，静态前缀保持一致，动态后缀随着每个回合增长。
-
预填阶段和解码阶段是Transformer处理提示词的两个阶段，预填阶段计算密集，解码阶段内存密集。
-
键值缓存通过持久化张量，避免重复计算，显著降低计算复杂度。
-
缓存的定价结构使得高命中率至关重要，缓存读取享受九折优惠，写入需支付溢价。
-
在会话中，修改工具、切换模型或改变前缀会导致缓存失效，需遵循三条规则以保持缓存有效性。
-
提示词结构应按层次组织，静态内容在顶部，动态内容在底部，以优化缓存性能。
-
监控缓存效率的指标包括缓存创建令牌、缓存读取令牌与输入令牌，确保缓存正常工作。
-
提示词缓存是一种设计哲学，需围绕其进行架构设计，以实现高效的计算和成本节省。
延伸问答
Claude模型的提示词缓存技术如何降低计算成本？
Claude模型通过分离静态前缀与动态后缀，实现了92%的命中率和81%的费用节省，避免了重复计算。
提示词缓存的静态前缀和动态后缀分别是什么？
静态前缀是各回合间保持一致的内容，如系统指令和工具定义；动态后缀是随着每个回合增长的内容，如用户消息和助手回复。
如何设计提示词以优化缓存性能？
提示词应按层次组织，静态内容放在顶部，动态内容放在底部，以确保缓存的有效性。
缓存的定价结构是怎样的？
缓存读取享受九折优惠，而缓存写入需支付25%的溢价，保持高命中率对成本控制至关重要。
在使用Claude模型时，哪些操作会导致缓存失效？
修改工具、切换模型或改变前缀都会导致缓存失效，需遵循相关规则以保持缓存有效性。
如何监控提示词缓存的效率？
可以通过监控缓存创建令牌、缓存读取令牌与输入令牌的数量来评估缓存的效率。
