亚马逊AWS官方博客 ·

使用 Amazon Aurora + Redshift 实现 HTAP 解决方案

💡 原文中文，约14600字，阅读约需35分钟。

📝

内容提要

混合事务分析处理（HTAP）是一种将OLTP和OLAP相结合的混合方法，用于实时数据处理和分析。本文介绍了使用纽约出租车测试数据模拟实时交易数据，并将数据写入Amazon Aurora，通过Zero-ETL技术将数据同步到Amazon Redshift，对数据进行聚合后再回写到Aurora的过程。同时还介绍了使用Redshift Serverless和Glue ETL来实现数据聚合和回写的方法。最后进行了性能测试，结果显示Aurora可以满足客户需求。

🎯

关键要点

混合事务分析处理（HTAP）结合了OLTP和OLAP，用于实时数据处理和分析。
HTAP需求增加，传统数仓ETL链路长，延迟大，难以满足高并发、低延时需求。
使用纽约出租车测试数据模拟实时交易数据，数据写入Amazon Aurora。
通过Zero-ETL技术将数据同步到Amazon Redshift，并进行聚合后回写到Aurora。
Amazon Aurora是与MySQL和PostgreSQL兼容的托管关系数据库，具备高性能和可靠性。
Amazon Redshift是PB级数据仓库服务，支持实时分析和机器学习模型构建。
实时交易数据写入Aurora，需配置特定参数以实现Zero-ETL。
在Aurora中创建实时交易明细表，必须包含主键以避免Zero-ETL失败。
使用Glue连接导入数据，需创建Glue连接以连接Aurora。
使用Python代码导入纽约出租车数据，需安装相关依赖包。
配置Redshift Serverless和Zero-ETL，将Aurora中的数据同步到Redshift。
在Redshift中创建聚合表，使用存储过程对实时交易数据进行聚合。
通过Glue ETL将Redshift中的聚合数据回写到Aurora。
使用MWAA调度数据聚合和回写操作，简化工作流程管理。
进行性能测试，比较Redshift和Aurora的并发读操作性能。
测试结果显示Aurora能够满足客户对实时汇总查询的需求。
测试结束后需释放Redshift Serverless、RDS、Cloud9和MWAA等资源。

❓

延伸问答

什么是混合事务分析处理（HTAP）？

混合事务分析处理（HTAP）是一种结合OLTP和OLAP的技术，用于实时数据处理和分析，能够在没有复杂ETL解决方案的情况下进行近实时数据分析。

如何将实时交易数据写入Amazon Aurora？

实时交易数据可以通过配置特定参数创建Aurora集群，并在Aurora中创建实时交易明细表，将数据写入该表。

Zero-ETL技术在数据同步中有什么作用？

Zero-ETL技术用于将实时数据从Amazon Aurora同步到Amazon Redshift，减少数据处理的延迟，支持实时分析。

如何在Redshift中进行数据聚合？

在Redshift中，可以创建聚合表并使用存储过程对实时交易数据进行聚合，聚合结果可以通过MWAA调度回写到Aurora。

使用MWAA调度数据聚合和回写操作的好处是什么？

使用MWAA可以简化工作流程管理，自动调度数据聚合和回写操作，提高数据处理的效率和可靠性。

性能测试的结果显示了什么？

性能测试结果显示，Aurora能够满足客户对实时汇总查询的需求，且在并发读操作性能上表现良好。

🏷️