亚马逊AWS官方博客
·
使用 Amazon Bedrock 智能提示路由和提示缓存（预览版）降低成本并减少延迟
内容提要
Amazon Bedrock推出智能提示路由和提示缓存功能，显著降低生成式AI应用的成本和延迟。智能提示路由根据请求复杂性选择合适模型，成本降低30%；提示缓存可保存常用上下文，成本降低高达90%，延迟减少85%。这些功能助力用户构建高效AI应用。
关键要点
-
Amazon Bedrock推出智能提示路由和提示缓存功能，降低生成式AI应用的成本和延迟。
-
智能提示路由根据请求复杂性选择合适模型，成本降低30%。
-
提示缓存可保存常用上下文，成本降低高达90%，延迟减少85%。
-
智能提示路由优化响应质量和成本，适用于客户服务等应用。
-
提示缓存适用于重复使用相同上下文的应用，如文档问答系统和编码助手。
-
用户可以通过AWS管理控制台、AWS CLI和AWS SDK访问智能提示路由。
-
提示路由器与其他Amazon Bedrock功能集成，支持评测和知识库。
-
提示缓存可在多个模型调用中缓存常用上下文，最多保留5分钟。
-
使用提示缓存时，缓存读取可享受90%的折扣，写入缓存的令牌需额外付费。
-
Amazon Bedrock智能提示路由和提示缓存功能在美国东部和西部的预览版中推出。
延伸解读
智能提示路由的应用场景
智能提示路由功能特别适合客户服务等需要快速响应的应用场景。通过根据请求复杂性选择合适的模型，企业可以在处理简单查询时使用更经济的模型，从而有效降低运营成本。
提示缓存的优势与限制
提示缓存能够显著降低重复请求的成本和延迟，适用于文档问答和编码助手等场景。然而，缓存内容的有效期仅为5分钟，用户需注意缓存的管理，以确保及时更新和使用最新的信息。
使用注意事项
目前，智能提示路由和提示缓存功能仅支持英语提示，用户在使用时需考虑语言限制。此外，虽然使用提示路由器不产生额外费用，但写入缓存的令牌需额外付费，用户应合理规划使用策略以控制成本。
延伸问答
Amazon Bedrock的智能提示路由功能如何降低成本？
智能提示路由根据请求复杂性选择合适模型，成本降低高达30%。
提示缓存功能的主要优势是什么？
提示缓存可保存常用上下文，成本降低高达90%，延迟减少85%。
如何在应用程序中使用Amazon Bedrock的智能提示路由？
用户可以通过AWS管理控制台、AWS CLI和AWS SDK访问智能提示路由。
提示缓存的内容可以缓存多长时间？
缓存的内容最多可保留5分钟，每次缓存命中都会重置倒计时。
智能提示路由适合哪些应用场景？
智能提示路由特别适用于客户服务等应用，处理简单和复杂查询。
使用提示缓存时，读取缓存的费用如何？
使用提示缓存时，缓存读取可享受90%的折扣，写入缓存的令牌需额外付费。
