亚马逊AWS官方博客
·
利用 Amazon MSK，Amazon Redshift 和 Amazon Quicksight 搭建简易实时数仓
内容提要
本文介绍了使用Amazon MSK、Amazon Redshift和Amazon QuickSight快速搭建简易实时数仓的步骤，包括创建MSK集群和主题，创建Redshift集群和物化视图，以及配置QuickSight连接到Redshift并创建图表。文章提供了详细的操作步骤，并建议用户进一步探索Redshift和QuickSight的功能。
关键要点
-
许多客户希望快速搭建简易实时数仓，满足内控审计平台的需求。
-
使用 Amazon MSK、Amazon Redshift 和 Amazon QuickSight 是搭建实时数仓的有效选择。
-
Amazon MSK 是完全托管的 Apache Kafka 服务，用于处理流数据。
-
Amazon Redshift 是 AWS 的云数仓产品，支持 SQL 查询结构化和半结构化数据。
-
Amazon QuickSight 是云原生的 BI 服务，能够连接多种数据源并进行可视化。
-
搭建步骤包括创建 MSK 集群、Redshift 集群及物化视图，以及配置 QuickSight 连接。
-
创建 MSK 集群时需选择 VPC、安全组和 Kafka 版本，并可通过 CloudFormation 快速部署。
-
创建 Redshift 集群时需配置子网组和安全组，支持常规和 Serverless 集群。
-
配置 MSK 到 Redshift 的连接需要添加 IAM 策略并创建外部 Schema 和物化视图。
-
在 Redshift 中刷新物化视图以查询数据，成功建立 MSK 到 Redshift 的实时通道。
-
配置 QuickSight 连接到 Redshift 需要创建 VPC 连接和数据集，以实现可视化能力。
-
清理步骤包括删除 MSK、Redshift 和 QuickSight 资源。
-
建议用户在搭建完成后进一步探索 Redshift 和 QuickSight 的功能。
