亚马逊AWS官方博客
·
Amazon MSK 推出从 Apache Kafka 到您的数据湖的托管数据传输
💡
原文中文，约3300字，阅读约需8分钟。
📝
内容提要
Amazon MSK推出新功能，允许用户使用Amazon Kinesis Data Firehose将数据从Apache Kafka集群连续加载到Amazon S3。该解决方案完全托管，无需编码和基础架构管理，并处理数据转换、压缩和错误处理。新功能在所有AWS区域中可用，定价基于从Amazon MSK传输到Amazon S3的数据量。
🎯
关键要点
- Amazon MSK推出新功能，允许用户将数据从Apache Kafka集群持续加载到Amazon S3。
- 该解决方案使用Amazon Kinesis Data Firehose，完全托管，无需编码和基础设施管理。
- Kafka用于构建实时数据管道，可靠地移动大量数据，但部署Kafka集群存在挑战。
- Amazon MSK减少了设置、扩展和管理Apache Kafka的工作量。
- 新功能支持公共和私有Amazon MSK集群，支持跨账户连接。
- Kinesis Data Firehose支持数据转换，能够将JSON转换为Apache Parquet和Apache ORC格式。
- 用户可以通过AWS控制台、CLI、SDK等创建和配置数据传输流。
- 新功能在所有AWS区域可用，定价基于从Amazon MSK传输到Amazon S3的数据量。
➡️
