亚马逊AWS官方博客
·
新一代云数仓 Databend Cloud 在亚马逊云上的架构实践
💡
原文中文，约7300字，阅读约需18分钟。
📝
内容提要
Databend Cloud是一款面向云架构设计的云数仓，使用廉价的云存储作为主要存储，并提供快捷高效的分析性能。它采用控制面与数据面分离的多租户存储层和Serverless计算层的设计。
🎯
关键要点
- Databend Cloud 是一款面向云架构设计的云数仓，基于开源的 Databend 发展而来。
- 使用廉价的云存储作为主要存储，提供快捷高效的分析性能。
- 支持 Serverless 部署模式，按集群规模和计算时长计费，降低成本并提高系统弹性。
- 设计目标包括按需付费、Serverless 架构、零信任架构和融入大数据生态。
- 采用控制面与数据面分离的多租户存储层和 Serverless 计算层的架构设计。
- 对象存储作为主要存储，简化了 Cloud 产品的开发难度。
- 计算层通过 EKS 管理，利用其高可用性和免运维特性。
- 使用 Operator 和 CRD 标准化数仓业务逻辑的封装。
- MetaSrv 作为多租户的元信息中心，提供事务性支持，保障 ACID 特性。
- 数据面通过 Query Gateway 处理外部请求，使用 HTTP 协议作为通讯传输层。
- 自动休眠与唤醒机制减少计算资源开销，用户无需关心 Warehouse 状态。
- 支持多区域部署，通过 IaC 管理基础设施，确保环境一致性。
- 数据安全是重中之重，采用 IAM 角色和加密机制保障数据安全。
- RBAC 机制确保只有授权用户才能访问敏感数据。
- 提供多种微服务以增强 Data Cloud 服务能力，如自动数据导入、冷热分离等。
- Databend 在基准测试中表现优异，导入性能和查询性能均居行业前列。
- 本文介绍了 Databend Cloud 的架构设计与优势，期待与用户共同探索大规模数据分析的现代解决方案。
➡️
