AWS Graviton3 加速 Flink 作业执行:Benchmark

AWS Graviton3 加速 Flink 作业执行:Benchmark

💡 原文中文,约6300字,阅读约需15分钟。
📝

内容提要

AWS推出Graviton3,使用ARM Neoverse内核定制设计的ARM架构,提高计算性能25%。在中国区域推出C7g、M7g和R7g实例。比较了5种相同配置的EC2实例在执行Nexmark Benchmark时的性能和成本。

🎯

关键要点

  • AWS于2022年5月推出Graviton3,使用ARM Neoverse内核定制设计的ARM架构,计算性能提高25%。
  • 2023年11月16日,AWS在中国区域推出C7g、M7g和R7g实例。
  • 客户在评估将大数据工作负载转移到AWS Graviton3时,关注其在流式处理引擎Flink中的性能和性价比。
  • 比较5种相同配置的EC2实例在执行Nexmark Benchmark时的性能和成本。
  • r6g.2xlarge相比r5.2xlarge,完成时间节省14%;r7g.2xlarge相比r5.2xlarge,完成时间节省48%。
  • 成本方面,r6g.2xlarge相比r5.2xlarge,成本节省31%;r7g.2xlarge相比r5.2xlarge,成本节省53%。
  • Nexmark是一个开源基准测试工具,用于测试和评估流处理引擎的性能。
  • Nexmark模拟了事件监控、查询分析和数据管道处理等3类流处理场景。
  • Nexmark提供了23个查询任务,评估性能的指标包括CPU使用率和执行时间。
  • 在Benchmark中搭建Flink Standalone集群,使用3个r7g.2xlarge节点。
  • 通过SSH登录EC2实例,安装必要的软件并配置Flink和Nexmark。
  • 启动Flink Standalone集群和Nexmark Benchmark程序,执行Benchmark并查看结果报告。
  • 在Benchmark执行时,可以通过htop命令查看CPU/内存利用率等信息。
➡️

继续阅读