亚马逊AWS官方博客
·
使用 Amazon Bedrock 智能提示路由和提示缓存（预览版）降低成本并减少延迟
💡
原文中文，约11700字，阅读约需28分钟。
📝
内容提要
Amazon Bedrock推出智能提示路由和提示缓存功能，显著降低生成式AI应用的成本和延迟。智能提示路由根据请求复杂性选择合适模型，成本降低30%；提示缓存可保存常用上下文，成本降低高达90%，延迟减少85%。这些功能助力用户构建高效AI应用。
🎯
关键要点
-
Amazon Bedrock推出智能提示路由和提示缓存功能，降低生成式AI应用的成本和延迟。
-
智能提示路由根据请求复杂性选择合适模型，成本降低30%。
-
提示缓存可保存常用上下文，成本降低高达90%，延迟减少85%。
-
智能提示路由优化响应质量和成本，适用于客户服务等应用。
-
提示缓存适用于重复使用相同上下文的应用，如文档问答系统和编码助手。
-
用户可以通过AWS管理控制台、AWS CLI和AWS SDK访问智能提示路由。
-
提示路由器与其他Amazon Bedrock功能集成，支持评测和知识库。
-
提示缓存可在多个模型调用中缓存常用上下文，最多保留5分钟。
-
使用提示缓存时，缓存读取可享受90%的折扣，写入缓存的令牌需额外付费。
-
Amazon Bedrock智能提示路由和提示缓存功能在美国东部和西部的预览版中推出。
➡️
