亚马逊AWS官方博客
·
使用 Amazon Aurora + Redshift 实现 HTAP 解决方案
💡
原文中文，约14600字，阅读约需35分钟。
📝
内容提要
混合事务分析处理（HTAP）是一种将OLTP和OLAP相结合的混合方法，用于实时数据处理和分析。本文介绍了使用纽约出租车测试数据模拟实时交易数据，并将数据写入Amazon Aurora，通过Zero-ETL技术将数据同步到Amazon Redshift，对数据进行聚合后再回写到Aurora的过程。同时还介绍了使用Redshift Serverless和Glue ETL来实现数据聚合和回写的方法。最后进行了性能测试，结果显示Aurora可以满足客户需求。
🎯
关键要点
- 混合事务分析处理（HTAP）结合了OLTP和OLAP，用于实时数据处理和分析。
- HTAP需求增加，传统数仓ETL链路长，延迟大，难以满足高并发、低延时需求。
- 使用纽约出租车测试数据模拟实时交易数据，数据写入Amazon Aurora。
- 通过Zero-ETL技术将数据同步到Amazon Redshift，并进行聚合后回写到Aurora。
- Amazon Aurora是与MySQL和PostgreSQL兼容的托管关系数据库，具备高性能和可靠性。
- Amazon Redshift是PB级数据仓库服务，支持实时分析和机器学习模型构建。
- 实时交易数据写入Aurora，需配置特定参数以实现Zero-ETL。
- 在Aurora中创建实时交易明细表，必须包含主键以避免Zero-ETL失败。
- 使用Glue连接导入数据，需创建Glue连接以连接Aurora。
- 使用Python代码导入纽约出租车数据，需安装相关依赖包。
- 配置Redshift Serverless和Zero-ETL，将Aurora中的数据同步到Redshift。
- 在Redshift中创建聚合表，使用存储过程对实时交易数据进行聚合。
- 通过Glue ETL将Redshift中的聚合数据回写到Aurora。
- 使用MWAA调度数据聚合和回写操作，简化工作流程管理。
- 进行性能测试，比较Redshift和Aurora的并发读操作性能。
- 测试结果显示Aurora能够满足客户对实时汇总查询的需求。
- 测试结束后需释放Redshift Serverless、RDS、Cloud9和MWAA等资源。
➡️
