The DigitalOcean Blog
·
大规模高级提示缓存
💡
原文英文，约1600词，阅读约需6分钟。
📝
内容提要
提示缓存通过重用已计算的KV状态来节省成本和降低延迟。现代推理引擎在单个副本中自动处理缓存，但在多个副本中缓存命中率降低。使用会话亲和性可以确保请求路由到同一副本，从而提高缓存利用率。理想的架构是共享缓存，但实现难度较大。目前团队应关注会话亲和性和良好的提示结构，以优化性能。
🎯
关键要点
- 提示缓存通过重用已计算的KV状态来节省成本和降低延迟。
- 现代推理引擎在单个副本中自动处理缓存，但在多个副本中缓存命中率降低。
- 使用会话亲和性可以确保请求路由到同一副本，从而提高缓存利用率。
- 理想的架构是共享缓存，但实现难度较大。
- 单副本架构中，KV缓存存储在GPU VRAM中，支持自动前缀缓存。
- 在多副本架构中，缓存命中率随着副本数量增加而降低。
- 会话亲和性可以解决多副本中的缓存问题，确保请求一致性。
- 分层提示缓存可以提高多任务部署的性能，避免无关前缀的干扰。
- 理想的提示缓存架构是共享的，但网络延迟可能影响性能。
- 监控缓存命中率、TTFT和每个副本的缓存利用率是关键。
- 提示结构的最佳实践是静态内容在前，动态内容在后。
- 对于大多数团队，当前的最佳选择是会话亲和性和良好的提示结构。
❓
延伸问答
什么是提示缓存，它的主要作用是什么？
提示缓存是通过重用已计算的KV状态来节省成本和降低延迟的过程。
在多副本架构中，缓存命中率为何会降低？
在多副本架构中，缓存命中率降低是因为请求在多个副本中均匀分配，导致相同前缀的请求只有1/N的机会命中缓存。
会话亲和性如何提高缓存利用率？
会话亲和性通过确保请求路由到同一副本，使得缓存的提示前缀可以在会话中重复使用，从而提高缓存利用率。
理想的提示缓存架构是什么样的？
理想的提示缓存架构是一个共享缓存，所有副本都可以访问，但实现难度较大。
在提示结构中，最佳实践是什么？
最佳实践是将静态内容放在前面，动态内容放在后面，确保系统提示、工具定义等按顺序排列。
如何监控提示缓存系统的性能？
关键监控指标包括缓存命中率、首次令牌时间（TTFT）和每个副本的缓存利用率。
➡️
