本文介绍了在 Amazon Bedrock 上为 Claude 应用设计的 Prompt Cache 策略，旨在降低输入成本和响应延迟，适用于长上下文应用。讨论了 cache checkpoint 的放置、内容块的定义及其限制，并提出了单个尾部 checkpoint 和三 CP 布局两种策略。建议监控使用情况，以优化性能和降低成本。

大模型缓存技术包括KV Cache、Prompt Cache和Prefix Cache等，旨在提高生成效率和降低成本。KV Cache避免重复计算，Prompt Cache和Prefix Cache用于跨请求复用相同前缀。应用层的Semantic Cache和Response Cache可以复用历史答案，减少模型调用。本文探讨了缓存机制的设计、成本测算及常见误区，强调了缓存对大模型推理的重要性。

本文探讨了大模型推理中的KV Cache优化，分析了显存瓶颈及其对推理成本的影响。通过比较DeepSeek MLA和vLLM等技术架构，提出了Prompt Cache的应用，以降低推理成本并提升效率。