亚马逊AWS官方博客
·
使用 AutoMQ 实现 Kafka 大规模成本及效率优化
内容提要
Apache Kafka是一个分布式流处理平台，AutoMQ Cloud是AutoMQ公司提供的全托管Kafka云服务，兼容开源Apache Kafka，并在高可用容灾架构、弹性和可观测运维等方面进行了增强。AutoMQ Cloud在AWS上部署架构使用Amazon EKS和S3Stream等组件，具备按量付费、免运维、支持BYOC和企业级能力开箱即用等优势。AutoMQ还进行了兼容性测试、弹性测试和性能测试，结果表明其与Apache Kafka完全兼容，并具有秒级扩缩容和较低的成本。AutoMQ还提供了可观测性功能，支持指标采集和导出，并提供了预设的Grafana大盘模板。未来，AutoMQ将继续研究与AWS云原生服务的数据集成解决方案。
关键要点
-
Apache Kafka 是一个分布式流处理平台，广泛应用于实时数据管道和流应用。
-
AutoMQ Cloud 是 AutoMQ 提供的全托管 Kafka 云服务，兼容开源 Apache Kafka，并增强了高可用性和可观测性。
-
AutoMQ Cloud 在 AWS 上部署，使用 Amazon EKS 和 S3Stream 等组件，具备按量付费和免运维等优势。
-
AutoMQ Cloud 提供企业级能力，如自动弹性伸缩和流量自平衡，用户开通后无需额外开发。
-
AutoMQ 经过兼容性、弹性和性能测试，结果显示与 Apache Kafka 完全兼容，具备秒级扩缩容能力。
-
AutoMQ 在性能测试中显示出更高的吞吐量，相比 Apache Kafka 成本降低至十分之一。
-
AutoMQ 提供可观测性功能，支持指标采集和导出，并提供预设的 Grafana 大盘模板。
-
未来，AutoMQ 将继续研究与 AWS 云原生服务的数据集成解决方案。
延伸问答
AutoMQ Cloud 的主要优势是什么？
AutoMQ Cloud 具备按量付费、全托管免运维、企业级能力开箱即用等优势，能够显著降低成本并提高效率。
AutoMQ Cloud 如何与 Apache Kafka 兼容？
AutoMQ 通过复用 Apache Kafka 的计算层代码，并在存储层进行小幅替换，确保与 Apache Kafka 完全兼容。
使用 AutoMQ Cloud 的成本优势如何体现？
AutoMQ Cloud 的云原生架构使得集群总成本在相同流量下降低至原来的十分之一，显著优化计算和存储成本。
AutoMQ Cloud 在 AWS 上的部署架构是怎样的？
AutoMQ Cloud 部署在 Amazon EKS 上，利用 AWS 的网络和安全服务集成，支持弹性计算和对象存储。
AutoMQ Cloud 提供哪些可观测性功能？
AutoMQ Cloud 使用 OpenTelemetry SDK 实现指标采集和导出，并提供预设的 Grafana 大盘模板用于监控。
AutoMQ Cloud 如何实现秒级扩缩容？
AutoMQ 通过 Karpenter 和 HPA 实现秒级扩缩容，能够快速迁移分区以满足实时需求。
