亚马逊AWS官方博客
·
Amazon Bedrock 多 IAM 用户的成本追踪和控制方案助力 AI Character 最佳实践
内容提要
Amazon Bedrock是一项强大的服务，帮助构建和扩展基于生成式人工智能的应用程序。它提供多账号管理、成本控制、性能监控、内容审计和警报自动化等功能。通过集成云原生的CloudWatch监控服务，Bedrock提供全面的监控、审计和成本控制能力。文章还介绍了如何使用CloudWatch结合Lambda监控Bedrock的运行状况，并给出了具体的操作步骤和架构设计。
关键要点
-
Amazon Bedrock 是一项强大的服务，帮助构建和扩展基于生成式人工智能的应用程序。
-
Bedrock 提供多账号管理、成本控制、性能监控、内容审计和警报自动化等功能。
-
企业用户在使用 Bedrock 时关注应用程序的业务痛点、风险治理和性能成本控制。
-
通过集成 CloudWatch，Bedrock 提供全面的监控、审计和成本控制能力。
-
CloudWatch 可以跟踪应用程序使用情况，并构建自定义仪表盘。
-
启用模型调用日志记录功能以便进行审计和分析。
-
使用 CloudWatch 结合 Lambda 监控 Bedrock 的运行状况。
-
通过 Lambda 函数实现费用计算和超出阈值时的告警。
-
可以通过 CloudWatch Insight 获取模型使用的指标。
-
Lambda 函数可以根据使用情况限制 IAM 用户的权限。
-
Bedrock 与 CloudWatch 和 Lambda 的集成提供近乎实时的监控和审计功能。
-
文章提供了具体的操作步骤和架构设计，帮助用户实现监控和管理。
延伸问答
Amazon Bedrock 的主要功能是什么？
Amazon Bedrock 提供多账号管理、成本控制、性能监控、内容审计和警报自动化等功能。
如何使用 CloudWatch 监控 Bedrock 的运行状况？
可以通过集成 CloudWatch，使用其指标和日志来监控 Bedrock 的运行状况，并设置警报以应对潜在问题。
企业在使用 Bedrock 时需要关注哪些成本控制措施？
企业需要实时监控 token 的使用情况，以控制调用大语言模型的成本支出在可接受范围内。
如何启用 Bedrock 的模型调用日志记录？
在 Bedrock 控制台的设置页面中切换模型调用日志记录按钮，并选择日志记录的数据类型和目的地。
CloudWatch Insight 如何帮助分析模型使用情况？
CloudWatch Insight 可以运行查询以获取模型的输入和输出 token 使用情况，帮助用户进行数据洞察。
如何通过 Lambda 函数控制 IAM 用户的权限？
可以创建 Lambda 函数，根据 IAM 用户的使用情况限制其权限，剥夺超出阈值的用户的 Bedrock 使用权限。
