Spring
·
Spring AI中的AWS Bedrock提示缓存支持
💡
原文英文，约1200词，阅读约需5分钟。
📝
内容提要
AWS Bedrock扩展了对Claude和Nova模型的提示缓存支持，Bedrock的缓存TTL固定为5分钟，而Nova模型不支持工具缓存。Spring AI在两者间保持一致的缓存策略，用户可根据模型可用性和缓存需求选择提供者。
🎯
关键要点
- AWS Bedrock扩展了对Claude和Nova模型的提示缓存支持。
- Bedrock的缓存TTL固定为5分钟，而Anthropic的直接API提供可选的1小时缓存。
- Nova模型不支持工具缓存，使用TOOLS_ONLY或SYSTEM_AND_TOOLS策略会抛出异常。
- Spring AI在Claude和Nova模型之间保持一致的缓存策略。
- Claude模型支持完整的缓存，包括工具定义，而Nova模型仅支持系统和对话缓存。
- 模型特定的令牌阈值不同，Claude和Nova模型的最小令牌数各有不同。
- AWS Bedrock提供的缓存指标命名与Anthropic直接API不同。
- Spring AI在两个提供者之间使用相同的缓存策略。
- AWS Bedrock的定价因地区和模型而异，具有约25%的写入溢价和约90%的读取节省。
- 使用AWS Bedrock的提示缓存可以显著降低API成本和延迟。
➡️
