文章讨论了如何通过优化提示缓存来降低智能代理的延迟和成本。合理组织提示内容、避免在会话中更改工具或模型、使用消息更新信息等策略可以提高缓存命中率。同时，强调监控缓存命中率的重要性，并建议在系统设计时考虑缓存约束。

负载均衡在大型语言模型（LLM）中与传统服务不同，主要由于提示缓存的存在。提示缓存能显著降低输入成本和延迟，但需要优化请求路由。文章探讨了缓存感知路由策略，强调精确前缀缓存路由的优势，以提高吞吐量。使用外部源如Redis可以实现高可用性和独立扩展。未来方向是实现跨副本共享缓存，以提升效率。

提示缓存通过重用已计算的KV状态来节省成本和降低延迟。现代推理引擎在单个副本中自动处理缓存，但在多个副本中缓存命中率降低。使用会话亲和性可以确保请求路由到同一副本，从而提高缓存利用率。理想的架构是共享缓存，但实现难度较大。目前团队应关注会话亲和性和良好的提示结构，以优化性能。

大型语言模型（LLMs）在现代AI应用中至关重要，但重复发送长提示会迅速增加成本。提示缓存技术的出现允许重用相同的提示部分，从而显著降低延迟和费用，开发者可将成本降低70-90%。这种优化在高流量应用中尤为有效。

提示缓存技术是Claude Code等AI Agent成功的关键，能有效降低延迟和成本。通过优化提示词顺序、使用消息传递更新和避免中途更改工具等方法，可以提高缓存命中率，确保系统高效运行。

构建大型语言模型时，延迟和成本问题普遍存在。通过提示缓存，可以存储计算状态，减少冗余计算，从而降低响应时间和输入成本。提示缓存通过匹配前缀优化请求，结合Redis等工具可实现更高效的缓存策略，提升性能并降低费用。

大型语言模型和AI代理正在改变技术互动方式。缓存技术对提升AI代理性能和降低成本至关重要。文章介绍了提示缓存和语义缓存两种方法：提示缓存通过重用已处理的提示加快响应速度，语义缓存通过存储查询与答案的语义相似性避免重复调用LLM。结合这两种方法可显著提高AI系统效率。

AWS Bedrock扩展了对Claude和Nova模型的提示缓存支持，Bedrock的缓存TTL固定为5分钟，而Nova模型不支持工具缓存。Spring AI在两者间保持一致的缓存策略，用户可根据模型可用性和缓存需求选择提供者。

Spring AI支持Anthropic Claude的提示缓存，允许重用已处理的提示内容，从而降低API调用成本。通过自动管理缓存断点，Spring AI简化了实现过程，显著减少延迟和费用，适用于文档分析和多轮对话等多种场景。

Anthropic API推出四项新功能：代码执行工具、MCP连接器、文件API和延长的提示缓存。这些功能提升了AI代理的构建效率，支持代码执行、外部系统连接、文件管理和上下文维护，降低了开发成本。

在重复任务中，是否每次发送相同提示取决于系统设计和目标。通常需要每次发送提示，除非使用会话记忆、提示缓存或对模型进行微调。最佳实践是利用系统提示、缓存和动态记忆，以提高效率和降低成本。

Amazon Bedrock推出智能提示路由和提示缓存功能，显著降低生成式AI应用的成本和延迟。智能提示路由根据请求复杂性选择合适模型，成本降低30%；提示缓存可保存常用上下文，成本降低高达90%，延迟减少85%。这些功能助力用户构建高效AI应用。

在2024年10月1日的OpenAI SF DevDay上，OpenAI发布了新功能，包括实时API、视觉微调、模型蒸馏和提示缓存。实时API支持WebSocket连接，实现实时语音交互。功能调用让AI执行超出预训练的任务。视觉微调和模型蒸馏API帮助在有限资源环境中部署AI。提示缓存减少延迟。OpenAI还强调了安全性和用户控制的重要性。

新推出的提示缓存功能允许开发者重用最近的输入令牌，从而降低成本和延迟，享受50%的折扣和更快的处理速度。