Bedrock 多模型接入 – Bedrock Connector 部署与使用指南

Bedrock 多模型接入 – Bedrock Connector 部署与使用指南

💡 原文中文,约10400字,阅读约需25分钟。
📝

内容提要

Amazon Bedrock是首个全托管的Claude 3服务,解决了多租户管理和客户端工具访问等需求。部署方式包括Amazon EKS、Amazon ECS和Lambda,使用Amazon Aurora PostgreSQL Serverless作为数据存储,通过ECR管理Docker镜像,使用ECS+Fargate创建任务定义和服务,通过Cloudfront配置HTTP/HTTPS接入点,通过API创建用户和充值,使用BRClient和API使用Bedrock Claude 3。

🔎

延伸解读

多租户管理与计费设计

Bedrock Connector 通过 API_KEY 和 Host 方式实现多租户管理,每个用户拥有独立的 API Key,并支持费用限额和预充值。Aurora PostgreSQL Serverless 存储 API Key 和费用信息,管理端 API 可创建用户、充值、查询费用明细。这种设计适合需要为多个团队或客户分配 Bedrock Claude 3 访问权限的场景,避免直接共享 AWS 凭证。

部署方式选择与考量

文章提供了三种部署方式:Amazon EKS、Amazon ECS 和 Lambda + Function URL。本文以 ECS + Fargate 为例演示,使用 ECR 存储镜像,Aurora 作为数据存储,CloudFront 提供 HTTPS 接入。选择时需考虑现有技术栈和运维成本:EKS 适合已有 Kubernetes 环境的团队,ECS 更简单,Lambda 则适合轻量级或事件驱动场景。

数据库配置注意事项

Bedrock Connector 使用 Aurora PostgreSQL Serverless v2 作为数据存储,启动时会自动创建表。若使用 RDS PostgreSQL,需修改参数 rds.force_ssl = 0 并重启,因为 Connector 未使用 SSL 连接数据库;而 Aurora PostgreSQL 默认 rds.force_ssl = 0,无需修改。部署前需确保数据库参数正确,避免连接失败。

客户端兼容性与接入

Bedrock Connector 兼容多种客户端工具,如 ChatHub、AIChatOne、OpenAI Translator 等,通过 API_KEY 和 Host 访问。文章演示了使用 BRClient 桌面应用,配置 CloudFront 分发域名和用户 API Key 即可使用。对于开发者,提供了聊天 API 和管理端 API 的调用示例,便于集成到自有应用中。

❓

Q&A

Amazon Bedrock Connector 的主要功能是什么?

Amazon Bedrock Connector 主要解决多租户管理、计费和客户端工具兼容性问题。

如何部署 Bedrock Connector?

可以通过 Amazon EKS、ECS 或 Lambda 部署 Bedrock Connector,具体步骤包括创建 Aurora PostgreSQL Serverless 集群和配置 ECR、ECS、Cloudfront。

Bedrock Connector 使用的数据库是什么?

Bedrock Connector 使用 Amazon Aurora PostgreSQL Serverless 作为数据存储。

如何通过 API 创建用户?

可以通过 API 调用创建用户,使用 curl 命令并提供必要的参数,如 name、email 和 role。

Cloudfront 在 Bedrock Connector 中的作用是什么?

Cloudfront 用于处理 HTTPS 请求,提升内容性能和安全性。

如何管理 Bedrock Connector 的费用?

可以通过管理服务端访问查询整体费用和费用明细。

🏷️

标签

➡️

继续阅读