本文探讨了提示缓存与微调在降低AI代理系统成本与延迟方面的差异及选择框架。提示缓存通过存储重复提示结果减少计算开销，适合静态文档和重复查询；微调通过LoRA等技术训练模型提升特定任务效率，适合格式一致性和个性化需求。混合策略可兼顾两者优势，实现高效架构。

本文介绍如何通过优化提示缓存来降低LLM API的token成本。提示缓存可复用已计算的KV缓存，避免重复预填充，从而减少费用和延迟。优化要点包括：保持系统提示（工具和技能定义）不变、会话中不修改工具或模型、利用会话压缩控制历史长度，并注意缓存失效和压缩成本。

OpenAI 宣布将于 7 月 9 日推出 GPT-5.6 系列模型，包括旗舰版 Sol、均衡版 Terra 和实惠版 Luna。这些模型经过美国政府审核，现已公开使用。Sol 模型价格较高，而 Terra 和 Luna 更具性价比。此外，OpenAI 引入了新的提示缓存机制以降低 tokens 使用量。

在旧金山举行的全球最大数据、应用和人工智能活动中，研究人员探讨了提示缓存技术在大型语言模型（LLM）推理中的应用。提示缓存可以消除重复请求的冗余，提高模型在特定领域的质量，并降低计算成本。Databricks为开源模型提供此功能，确保安全性并自动优化性能，提升推理效率。

文章讨论了如何通过优化提示缓存来降低智能代理的延迟和成本。合理组织提示内容、避免在会话中更改工具或模型、使用消息更新信息等策略可以提高缓存命中率。同时，强调监控缓存命中率的重要性，并建议在系统设计时考虑缓存约束。

负载均衡在大型语言模型（LLM）中与传统服务不同，主要由于提示缓存的存在。提示缓存能显著降低输入成本和延迟，但需要优化请求路由。文章探讨了缓存感知路由策略，强调精确前缀缓存路由的优势，以提高吞吐量。使用外部源如Redis可以实现高可用性和独立扩展。未来方向是实现跨副本共享缓存，以提升效率。

提示缓存通过重用已计算的KV状态来节省成本和降低延迟。现代推理引擎在单个副本中自动处理缓存，但在多个副本中缓存命中率降低。使用会话亲和性可以确保请求路由到同一副本，从而提高缓存利用率。理想的架构是共享缓存，但实现难度较大。目前团队应关注会话亲和性和良好的提示结构，以优化性能。

大型语言模型（LLMs）在现代AI应用中至关重要，但重复发送长提示会迅速增加成本。提示缓存技术的出现允许重用相同的提示部分，从而显著降低延迟和费用，开发者可将成本降低70-90%。这种优化在高流量应用中尤为有效。

提示缓存技术是Claude Code等AI Agent成功的关键，能有效降低延迟和成本。通过优化提示词顺序、使用消息传递更新和避免中途更改工具等方法，可以提高缓存命中率，确保系统高效运行。

构建大型语言模型时，延迟和成本问题普遍存在。通过提示缓存，可以存储计算状态，减少冗余计算，从而降低响应时间和输入成本。提示缓存通过匹配前缀优化请求，结合Redis等工具可实现更高效的缓存策略，提升性能并降低费用。

大型语言模型和AI代理正在改变技术互动方式。缓存技术对提升AI代理性能和降低成本至关重要。文章介绍了提示缓存和语义缓存两种方法：提示缓存通过重用已处理的提示加快响应速度，语义缓存通过存储查询与答案的语义相似性避免重复调用LLM。结合这两种方法可显著提高AI系统效率。

AWS Bedrock扩展了对Claude和Nova模型的提示缓存支持，Bedrock的缓存TTL固定为5分钟，而Nova模型不支持工具缓存。Spring AI在两者间保持一致的缓存策略，用户可根据模型可用性和缓存需求选择提供者。

Spring AI支持Anthropic Claude的提示缓存，允许重用已处理的提示内容，从而降低API调用成本。通过自动管理缓存断点，Spring AI简化了实现过程，显著减少延迟和费用，适用于文档分析和多轮对话等多种场景。

Anthropic API推出四项新功能：代码执行工具、MCP连接器、文件API和延长的提示缓存。这些功能提升了AI代理的构建效率，支持代码执行、外部系统连接、文件管理和上下文维护，降低了开发成本。

在重复任务中，是否每次发送相同提示取决于系统设计和目标。通常需要每次发送提示，除非使用会话记忆、提示缓存或对模型进行微调。最佳实践是利用系统提示、缓存和动态记忆，以提高效率和降低成本。

Amazon Bedrock推出智能提示路由和提示缓存功能，显著降低生成式AI应用的成本和延迟。智能提示路由根据请求复杂性选择合适模型，成本降低30%；提示缓存可保存常用上下文，成本降低高达90%，延迟减少85%。这些功能助力用户构建高效AI应用。

在2024年10月1日的OpenAI SF DevDay上，OpenAI发布了新功能，包括实时API、视觉微调、模型蒸馏和提示缓存。实时API支持WebSocket连接，实现实时语音交互。功能调用让AI执行超出预训练的任务。视觉微调和模型蒸馏API帮助在有限资源环境中部署AI。提示缓存减少延迟。OpenAI还强调了安全性和用户控制的重要性。

新推出的提示缓存功能允许开发者重用最近的输入令牌，从而降低成本和延迟，享受50%的折扣和更快的处理速度。